Datengetriebenes Checkout Modell – Priorisierung von Sitzplatzreservierungen bei Flugreisen

(Musik) Ja, in wenigen Minuten werden wir euch hier ganz exklusiv den ersten Vortrag auf der Session-Stage präsentieren, der vielleicht schon für den einen oder anderen Aha-Moment sorgen wird. Es wird, glaube ich, ein fantastischer Tag. Schön, dass ihr da seid und damit hallo und ganz herzlich willkommen, liebe Gäste, zu unserer virtuellen OMKW März 2021, hier auf der Session Stage. Bevor wir mit dem ersten Vortag starten, möchte ich mich kurz vorstellen. Ich bin Roland Leist, bin Mitglied der Geschäftsleitung bei Think Eleven. Meine Leidenschaft ist die Beratung für neue Wege im digitalen Marketing und ich freue mich auf einen Tag mit euch, vollgepackt mit spannenden Inhalten und mit spannend meine ich zum Beispiel auch den Vortrag, der jetzt kommt. Es geht um ein datengetriebenes Checkout-Modell bei der Priorisierung von Sitzplatzreservierung bei Flugreisen. Und diesen Vortrag präsentiert uns Patrick Wollgarten von der e-dynamics. Patrick, stage is yours. Vielen Dank, Roland. Ähm, auch herzlich willkommen von mir. Äh, wie gesagt, ich bin der Patrick. Ich, äh, bin bei der e-dynamics ein Data Analyst und ich würde dann doch jetzt mal erst mal meinen Bildschirm teilen und hoffe, dass das alles funktioniert. Hmm. So, das scheint zu funktionieren. Äh, ja, wie gesagt, mein Thema ist heute, mit dem ich euch mit, über das ich sprechen möchte, ist, äh, das datengetriebene Checkout-Modell, Priorisierung von Sitzplatzreservierung bei Flugreisen. Äh, wenn ihr euch jetzt fragt, worum geht es da eigentlich? Also es wird ein bisschen um A/B-Testing gehen, es wird aber auch um Cross-Selling-Maßnahmen gehen. Es wird auch, äh, um statistische Modellierung gehen, aber es wird eben auch, äh, darum gehen, wie wir all diese verschiedenen Disziplinen zusammen verbinden konnten, um eben ein konkretes Ziel zu erreichen, nämlich eben, dass wir einen Checkout-Flow auf eine Weise optimieren wollen-wollten. Und wie wir das gemacht haben, das ist so ein bisschen, ähm, Thema des Vortrags. Aber bevor ich da jetzt richtig einsteigen werde, wollte ich noch eine kleine Kennenlernrunde drehen erst mal, kurz was zu e-dynamics sagen. Äh, wurde ja auch gerade schon ein bisschen in der Intro-Session was zu erzählt, ganz kurz von mir. Also iDynamics ist ein Unternehmen, ein Beratungsunternehmen im Bereich Digital Analytics und Conversion-Optimierung, und das jetzt schon seit über zwanzig Jahren. Ähm, wir bieten einen ganzheitlichen Service, der aus, äh, fachlicher Beratung auf der einen Seite besteht, aber auch bei, in einer technischen Unterstützung und auch Projektmanagement besteht. Eben alles aus einer Hand und dabei arbeiten wir generell anbieterunabhängig, können aber auch Partnerschaften mit großen und führenden Technologieanbietern vorweisen, die es uns eben ermöglichen, da ganz flexibel auf Kundenwünsche, aber auch auf neue Entwicklungen im Bereich Web Intelligence, ähm, zu reagieren. Was uns wichtig ist bei unserer Arbeit, dass wir eben unsere persönliche und Beratung, äh, persönliche Beratung und Kompetenz, die wir eben mitnehmen, mitbringen, ähm, eben mit den Technologien und den Produkten verbinden, die bei dem Kunden eingesetzt werden oder eben auch neu auf dem Markt sind, um da die bestmöglichen Handlungsempfehlungen zu generieren, zum Beispiel fürs Marketing oder auch für den, äh, für den Vertrieb. Soviel zu e-dynamics. Jetzt ganz kurz noch ein paar Worte zu mir. Also ich bin seit 2015 bei e-dynamics, damals angefangen noch als Mathestudent. Äh, mittlerweile nennt sich das Ganze Data Analyst, wie gesagt. Als Data Analyst bei der e-dynamics bin ich, äh, sozusagen der Experte für alle Themen rund um Statistik und auch Datenmanagement. So als kleinen Abriss, ähm, von meinen täglichen Aufgaben, äh, fällt zum Beispiel auch rein, äh, die Datenerfassung, Aufbereitung, aber auch die Transformation, um da vielleicht, äh, aus den Daten ein, ein Reporting zu generieren, aber eben auch die Entwicklung und auch Evaluierung von statistischen Modellen. Und was da ganz wichtig ist, wenn wir da mit so statistischen Modellen komplexe beziehungsweise analytische Fragestellungen von Kunden beantworten wollen, ist natürlich immer ganz wichtig, dass wir da irgendwie unsere Antwort auch verständlich vermitteln, weil da in den meisten Fällen kein geholfen ist, wenn ich da--Viel mit Fachbegriffen aus dem Mathejargon um mich schmeiße und es im Endeffekt keiner versteht. Das heißt, man könnte meine Rolle so als eine Art Dolmetscher verstehen. Oder wenn man es noch weiter abstrahieren wollen würde, könnte man auch sagen, ich mache eigentlich alles bei E-Dynamics mit großen Datenmengen. Genau, so viel zu mir. Dann würde ich jetzt direkt ins Thema einsteigen. Kurz noch ein paar Orgaworte dazu. Ich versuche natürlich immer alle Schritte und Ideen, die wir da so im Vortrag entwickelt haben, so verständlich wie möglich zu präsentieren. Tatsächlich geht es sogar ein Projekt, das wir so real auch beim Kunden durchgeführt haben, nämlich bei der Lufthansa. Und da werden wir auch immer wieder mal so ein paar Gebiete tangieren, die sehr lufthansa-spezifisch sind. Ich versuche das natürlich alles immer aufzuklären und alle immer da gleichermaßen abzuholen. Sollten da aber wirklich konkrete grundlegende Fragen auftauchen, falls irgendwas wirklich nicht verstanden wird, gerne einfach in den Chat schreiben. Ich habe hier auch einen Kollegen gegenüber sitzen. Der wird mich dann darüber aufklären, dass da Fragen sind. Ansonsten haben wir auch am Ende noch Zeit für eine allgemeine Diskussion, wo wir dann auch offene Fragen klären können. So, dann steigen wir doch ins Thema ein. Also wie gesagt, der Titel ist vielleicht ganz am Anfang so im Nachhinein ein bisschen sperrig gewählt, aber ich versuche da mal einzusteigen. Also generell geht es darum, dass wir Cross-Selling-Maßnahmen entwickeln wollten, mit der Lufthansa gemeinsam. Cross-Selling ist ja erst mal nur ein Begriff, der beschreibt, dass ein User, der auf einer Website initial ein Produkt kauft, dass man dem auch irgendwie weitere Produkte oder Dienstleistungen passend zu dieser initialen Kaufintention ja irgendwie noch dazu anbietet. Bei der Lufthansa wäre dieses initiale Produkt eben, wie man sich denken kann, ein Flug und so zusätzliche Produkte, die man dann noch dabei verkaufen könnte, wären zum Beispiel ein Mietauto vor Ort oder aber eine Reiseversicherung oder zusätzliches Gepäck. Und konkret in unserem Fall heute beschränken wir uns eben auf die Sitzplatzreservierungen. Das heißt, wir saßen am Anfang mit der Lufthansa zusammen und haben uns ganz konkret überlegt, Maßnahmen. Wie können wir denn im bestehenden Checkout-Flow der Lufthansa, den ich später noch mal konkret vorstellen werde, irgendwie Sitzplatzreservierungen zum einen für die User zugänglicher machen, sodass die Platzierung der Sitzplatzreservierung irgendwie für den User besser gestaltet wird, sodass der die Sitzplatzreservierung besser vornehmen kann und wir den User damit im Endeffekt ein bisschen glücklicher gemacht haben, weil er besser durch den Flow gekommen ist. Und auf der anderen Seite wollen wir die Sitzplatzreservierung ein bisschen prominenter platzieren, sodass wir damit vielleicht ein paar mehr User einfach erreichen und somit auch den Umsatz ein bisschen ankurbeln und im Endeffekt wäre ja damit das Unternehmen auch glücklich gemacht. Jetzt war es aber leider so, dass wir mit unseren Maßnahmen schon gewusst haben ... Sorry, hier fährt gerade die Jalousie runter. Wir wussten mit unseren Maßnahmen schon, dass es sein wird, dass wir nicht jeden User damit ansprechen werden und positiv ansprechen. Wir wussten von Anfang an, da wird es User geben, die werden halt überhaupt nicht positiv, sondern eher negativ auf die Maßnahmen reagieren, was ja den Effekt hätte, dass wir mit unseren Maßnahmen genau das Gegenteilige bewirken, nämlich dass der User genervt ist und eben gar nicht glücklich ist und im schlimmsten Fall sogar den Checkout-Flow aufgrund seiner Genervtheit verlässt und deshalb sogar der Umsatz runtergehen würde. Das heißt, unser Unternehmen wäre da auch nicht glücklich. Es war aber so, dass wir halt nicht nur wussten, es gibt auf jeden Fall User, die negativ auf die Maßnahmen reagieren werden, sondern wir waren uns auch sehr sicher, dass es da User gibt, die werden da positiv drauf reagieren. Das heißt, die Lösung war eigentlich eine ganz einfache, die wir uns überlegt haben, nämlich dann sprechen wir doch halt nur die User an, die eben positiv auf diese Maßnahmen reagieren werden. Was sich jetzt erst mal nach so einer einfachen Idee anhört, war tatsächlich eine lange Reise mit viel Ausprobieren und viel Überlegen. Und diese Reise ist quasi jetzt eigentlich Thema des Vortrags heute. Und ob wir am Endes dann geschafft haben, irgendwie eine User-Segmentierung zu finden, unsere User in zwei Gruppen einzuteilen, das wird das Ergebnis des ganzen Vortrags sein. Jetzt werde ich erst mal ein bisschen das Grundgerüst des Vortrags bauen. Das heißt, wir werden uns erst mal angucken, wie sieht denn dieser Checkout-Flow der Lufthansa, den wir optimieren wollen, grundsätzlich aus. Grundsätzlich hat der Flow der Lufthansa drei Schritte. Am Anfang ist die Flugsuche. Die Flugsuche ist einfach nur eine Auflistung aller Flüge, die zu den Sucheingaben passen. Man kann sich vorstellen, ich suche jetzt einen Flug für Frankfurt, Barcelona am 25.3. Dann komme ich da eine Auflistung von allen Flügen, die an diesem Tag dann fliegen, kann im Warenkorb dann einen dieser Flüge anklicken, lege ihn damit in den Warenkorb. Der Warenkorb ist einfach eine Auflistung aller meiner Flüge, die ich angeklickt habe, plus die Zusatzleistungen, die ich dabei habe. Und von dem Warenkorb kann ich dann ganz normal in den Checkout gelangen. Da gebe ich dann meine Passagierdaten ein, meine Rechnungsdaten und kann die Buchung abschließen. Wenn es jetzt so ist, dass ich ein User bin, der zu seinem Flug noch einen zusätzlichen Sitzplatz dazu buchen will, dann kann ich das machen, indem ich auf den Warenkorb auf einen Link klicke. Dann komme ich auf die sogenannte Sitzplatzseite. Da ist dann eine Übersicht aller verfügbaren Sitzplätze. Davon kann ich mir dann einen aussuchen, gelange dann wiederum in den Warenkorb und kann von da aus in den Checkout starten.Jetzt sieht man eigentlich schon relativ schnell, wenn ich ein User bin, der einen Sitzplatz dazu bucht, dann erhöht sich meine minimale Anzahl an Schritten, die ich im Checkout-Flow brauche, eben auf fünf, obwohl ich eigentlich nur vier Seiten habe. Das heißt, man besucht den Warenkorb ja auf jeden Fall doppelt und unsere Maßnahme, die wir uns da überlegt haben, war dann einfach, ja, wir können den Sitzplatz doch irgendwie so positionieren, dass wir da eben nicht den Warenkorb doppelt besuchen müssen. Und das haben wir einfach getan, indem wir gesagt haben, okay, dann setzt uns der Sitzplatz einfach fest nach der Flugsuche und vor dem Warenkorb ein. Ein User, der einen Sitzplatz suchen will, kommt direkt auf die Sitzplatzseite, kann da den Sitzplatz buchen, kann den Warenkorb checkout, hat nur vier Schritte, einen Schritt gespart, hat Zeit gespart, sollte eigentlich super happy sein mit dieser Lösung. Alles gut. Problem ist natürlich nur, wenn du jetzt ein User bist, der keinen Sitzplatz dazu buchen will, dann hast du natürlich einen Schritt mehr als vorher, weil vorher hattest du nur Flugsuche, Warenkorb, Checkout. Jetzt musst du diesen Weg gehen über den Sitzplatz. Und das könnte natürlich ein Grund sein, weshalb der User davon genervt ist. Er muss jetzt einfach einen Schritt mehr machen und seine ganze Buchung dauert ein bisschen länger als vorher. Und das war tatsächlich nur einer von Gründen, einer von vielen Gründen, die wir uns vorstellen konnten, warum unsere Maßnahmen dann halt nicht genauso gut funktionieren, wie wir uns das vorstellen. Und deshalb haben wir uns einfach, bevor wir unsere Maßnahmen wirklich live genommen haben und das getestet haben, erst mal Gedanken darüber gemacht: Was könnte denn eigentlich alles schiefgehen? Zum einen haben wir das gemacht, damit wir wirklich möglichst schnell während der Livesteellung des Tests auf bestimmte Effekte reagieren können, damit wir dann nicht erst suchen müssen, woran könnte es denn liegen, dass jetzt wirklich viele User abspringen oder eben nicht. Und zum anderen auch haben wir uns die Gedanken gemacht, uns zu überlegen: Wie könnte ich denn in meiner zukünftigen Segmentierung einen User unterscheiden, der genervt ist von einem, der eigentlich sehr happy ist mit den Maßnahmen, die wir da machen. Und Gründe, die wir da identifiziert haben, war zum einen eben, dass der Buchungsprozess jetzt einfach länger ist, aber eben auch, dass ein User ja diese neue ... Diese neue Seite im Checkoutflow eben einfach als eine aggressive Werbemaßnahme versteht und dann ein bisschen sich davon überrumpelt fühlt und das eigentlich gar nicht möchte und deshalb dann so ein bisschen beleidigt ist vielleicht sogar und deshalb den Checkoutflow verlässt. Es könnte aber auch einfach so banale Gründe sein, wie zum Beispiel, dass die User auf dieser neuen Sitzplatzseite den Button zum Überspringen gar nicht finden und vielleicht denken: „Ja, vielleicht muss ich jetzt unbedingt einen Sitzplatz dazu buchen? Möchte das gar nicht. Ich weiß aber nicht, wie ich von der Seite runterkomme, verlasse den Checkout-Flow, sind auch verloren. Ein weiterer Grund könnte natürlich auch sein, dadurch, dass wir eine neue feste Seite im Checkout-Flow integriert hatten, erhöht sich natürlich auch die potenziellen Fehler, also auch von technischer Seite einfach, die auf der Seite passieren könnten. Das war auch eine Sache, die wir im Blick halten mussten. Das waren jetzt alles eher Gründe, die dazu führen könnten, dass so ein User genervt ist, aber es könnte natürlich auch Gründe geben, warum so eine Maßnahme gar nicht so gut funktioniert, wie wir uns das eigentlich vor gestellt haben. Und dazu zählt zum Beispiel, dass Sitzplatzreservierungen vielleicht gar nicht so interessant sind, wie wir uns das eigentlich vorgestellt haben, dass da vielleicht gar nicht so viel Potenzial ist, diese Maßnahmen überhaupt zu pushen. Oder eben auch, dass die verfügbaren Sitzplätze, die da sind, die da auf der Sitzplatzseite angezeigt werden, eben gar nicht ansprechend sind. Jetzt gerade ist das wahrscheinlich ein Thema, dass so Mittelplätze in so einer Dreierei jetzt gerade überhaupt nicht attraktiv sind und selbst wenn die in den ersten drei Reihen verfügbar sind, wird die wahrscheinlich eher keiner gerade buchen wollen. Und es kann natürlich auch einfach sein, dass die Sitzplätze vielleicht generell für die User zu teuer sind. Und all diese Gründe haben wir dann in zwei Effekte übersetzt und zum einen eben in Kurzzeitschäden. Das ist einfach, dass der User genervt ist und eben den Checkoutflow verlässt und keine Buchung abschließt und die Umsätze ein bisschen sinken werden, aber eben auch in Langzeitschäden, nämlich dass der User einfach durch die Maßnahmen einen bleibenden schlechten Eindruck von der Lufthansa gewinnt und zukünftig auch gar nicht mehr auf die Lufthansa-Seite zurückkehren möchte. Und damit hätten wir so ein bisschen auch der Lufthansa-Marke an sich geschaden, was es natürlich unbedingt zu vermeiden gilt. Jetzt haben wir über die Effekte gesprochen und dass wir die vermeiden möchten. Jetzt müssen wir natürlich noch klären, wie messen wir denn diese Effekte überhaupt? Weil das Problem war bei der Lufthansa, wie es bei der Lufthansa, dass die Daten, die wir da messen, zwei sehr stark von zwei sehr starken Einflüssen beeinflusst werden. Und zwar zum einen von saisonalen Einflüssen und eben auch von einem generell steigenden Trend. Und das Problem, was daraus resultiert, ist eben, dass wir nicht einfach so einen Test live stellen können. Sagen wir mal, wir machen den für Q1 2021, stellen den live und gucken am Ende die Ergebnisse uns an und vergleichen das einfach mal mit Q4 aus 2020. Das geht eben nicht, eben weil die Lufthansa-Daten sehr stark davon abhängig sind, ob in einer Periode Ferien sind, welche Jahreszeit ist überhaupt, sind da Feiertage mit drin, aber auch tatsächlich sogar eine sehr starke Wochentagabhängigkeit. Das heißt, wir könnten dann nicht direkt zurückführen, ob ein Uplift oder ein Downlift in unserer Periode, in unserer Testperiode, jetzt wirklich mit unseren Maßnahmen zusammenhängt oder eben irgendeinen saisonalen Effekt hat. Gleiches gilt genauso für die Vorjahresvergleiche. Wir könnten jetzt auch nicht einfach sagen: „Gut, dann nehmen wir einfach die gleiche Saison, nehmen wir einfach Q1 2,20. Das geht eben auch nicht, weil wir einen stark steigenden Trend haben. Wir wissen aber nie genau, wie stark ist dieser Trend. Das heißt, wir werden, wenn wir die beiden Zeiträume miteinander vergleichen, auf jeden Fall.Also wahrscheinlich einen Uplift sehen, können den aber auch nicht zurückführen eben auf unsere Maßnahmen. Und glücklicherweise hatten wir aber eine Lösung bei der Lufthansa direkt, weil wir eben auch die A/B Testing Tools da mit betreut haben. So ein A/B Test ist ja im Endeffekt nichts anderes, als dass man zwei Versionen einer Website gleichzeitig live stellen kann und die User also zufällig auch eine der beiden Versionen, ähm, zugeteilt werden und wir einfach zum, im gleichen Zeitraum zwei verschiedene Versionen laufen lassen können. In unserem Fall wäre das dann eben so, dass wir den Standardflow einfach laufen lassen würden, fünfzig Prozent der User zuordnen und eben unsere Variante mit den festen Sitzplatzreservierungen laufen lassen würden und dann einfach am Ende gucken würden, wie haben sich denn die User von ihrem Verhalten an bestimmten Metriken, die wir messen, denn in den beiden Varianten unterschieden. Damit hätten wir immer noch nicht die Langzeitschäden abgedeckt. Die Langzeitschäden konnten wir aber glücklicherweise mit einem Voice of Customer Tool überwachen. In diesem Voice of Customer Tool hatten die User... Ich sehe gerade eine Frage: Ab wie vielen Seitenbesuchern macht denn ein A/B Testing Sinn? Ähm, das ist tatsächlich was, was können-- da gibt es riesige Diskussionen drüber. Ähm, das, das hängt auch ein bisschen davon ab, was man da genau testen wollen würde. Äh, generell bin ich immer ein Freund davon, nicht zu sagen, wie viele Seitenbesuche habe ich, sondern man lässt ihn einfach lang genug laufen. Ne, also man sagt dann, "Okay, der muss jetzt mindestens sechs Wochen laufen und danach breche ich den ab", und sich dann nicht zu sehr versteifen: wie viele User habe ich denn jetzt in den jeweiligen Varianten drin? Sondern dass man das ein bisschen mit dem Zeitraum festigt. Sonst ist man immer geneigt, vielleicht den Test zu früh abzubrechen, wenn man sich da wirklich nur darauf konzentriert: wie viele User hatte man denn da drin? Was ja nicht unbedingt, ähm, jetzt mit der Maßnahme zusammenhängen muss, sondern es kann auch immer Zufall sein, dass da der Traffic gerade angestiegen ist. Aber können wir gerne später noch mal drüber reden. Das ist auf jeden Fall eine gute Frage, aber ich hoffe, ich konnte das jetzt erstmal so ein bisschen beantworten. Gerne. Ähm, so zum Voice of Customer Tool: In diesem Voice of Customer Tool hatten die User eben die Möglichkeit, einfach in Freitextkommentaren zu sagen, wie war denn ihre Experience auf der Seite? Wie hat es ihnen gefallen? Wir hatten aber auch die Möglichkeit über so was wie NPS-Kurse einfach generell die Stimmung im Auge zu halten, ob die Stimmung in die eine Richtung oder in die andere Richtung kippt. So, damit hätten wir eigentlich alle formellen Sachen geklärt. Wir wissen nie, wie können wir unsere Effekte messen? Wir wissen, was ist unsere Maßnahmen, die wir eigentlich machen wollen. Wir wissen vielleicht schon ein bisschen, wie wir unsere User unterscheiden können. Dann können wir uns jetzt Grundgedanken darüber machen, wie bekommen wir denn unsere intelligente Segmentierung hin, die wir da bauen wollen und was muss sie denn eigentlich leisten? Also am Anfang haben wir ja sone Grundgesamtheit von Usern, bei denen wir noch nicht wissen, wie sie auf die Maßnahmen, die wir da live schalten, denn reagieren werden. Äh, im besten Fall, ähm, finden wir dann so eine Segmentierung und können dann, äh, genervte User, nenne ich sie mal, identifizieren, die ja diese Maßnahme eher negativ, ähm, finden werden. Denen würden wir einfach ganz normal den Standard-Flow, äh, ausspielen. Die hätten dann, da haben wir somit keine Kurz- und Langzeitschäden zu erwarten. Und bei den Usern, wo wir vermuten, dass die eben positiv auf die Maßnahmen reagieren werden, die würden dann halt diese Variante von dem Checkout-Flow bekommen und wären damit hoffentlich total happy und, ähm, würden im besten Fall auch noch mehr Umsatz generieren. Das Problem ist eben, dass diese Segmentierung aber, bevor wir die Maßnahme ausspielen, ja eigentlich schon wissen muss, ähm, wie diese User denn reagieren werden. Ne, also es muss wirklich eine Vorhersage sein und, ähm, die Schwierigkeit war wirklich, wie bekommen wir denn so eine Segmentierung hin? Und da haben wir uns dann so Stück für Stück herangetastet und begonnen haben wir tatsächlich damit, bevor wir so richtig reingegangen sind, mit einer Evaluierung, ob denn unsere Maßnahme überhaupt, äh, funktioniert. Weil wenn die Maßnahme generell gar nicht funktioniert, dann müssen wir den ganzen Test nicht machen und können uns das Ganze sparen. Das heißt, wir wollten erstmal beweisen eigentlich mit einem ersten Test, ob die Maßnahme denn tatsächlich mehr Sitzplatze generieren kann und auf der anderen Seite, ob es diese Gruppe von genervten Usern denn gibt. Und das haben wir damit bewiesen, ähm, dass die Conversions eigentlich dann in der Variante ein bisschen runtergehen würde im Vergleich zum Standard-Flow. Das heißt, wir haben diese beiden Varianten gemacht und wie gesagt, eine genügend lange Zeit laufen lassen, die wir vorher festgelegt haben. Und was am Ende rauskam, ist, dass wir tatsächlich, ähm, mehr Sitzplätze mit dieser Variante, ähm, verkaufen konnten und aber auch, dass die Conversions tatsächlich runtergegangen sind. Das heißt, es gab wirklich, ähm, diese zwei Gruppen von den, von den Happy Usern und den genervten Usern. Ähm, nach diesem Test waren wir glücklicherweise in der Position, dass sich der Uplift der Sitzplätze und der Downlift der Conversions umsatstechnisch ungefähr die Waage gehalten hat. Das heißt, wir waren da in einer guten Position zu argumentieren: ja, okay, dann suchen wir doch weiter nach der Segmentierung, weil die Lufthansa ja nicht direkt, ähm, Umsatzeinbußen durch diese Maßnahme erlebt hat. Das heißt, wir haben weitergemacht und uns überlegt: Gut, wie gehen wir die Segmentierung an? Vielleicht können wir direkt einen Teil der User direkt ausschließen und haben uns überlegt, ähm, welche Gründe hatten wir denn am Anfang? Da war ja auch bei son bisschen Sitzplätze sind vielleicht zu teuer oder nicht attraktiv und, und dachten, vielleicht können wir über den Weg, äh, irgendwie eine erste Segmentierung finden und haben die User eingeteilt in User, die eben kontinental fliegen. Das umfasst innerdeutsche sowie innereuropäische Flüge.aber auf der anderen Seite hatten wir dann die interkontinental Fliegenden, das heißt alles, was über europäische Grenzen hinausgeht. Und dazu muss man wissen, dass bei Kontinentalflügen die Sitzplätze eher ein wenig preiswerter sind und bei Interkontinentalflügen ein bisschen höher preisiger sind. Aber dass im Standardflow schon der Anteil an Usern, die einen zusätzlichen Sitzplatz buchen, eben bei den Interkontinentalflügen schon ein bisschen höher ist, weil anscheinend der Komfort da auch schon direkt eine wichtige Rolle spielt. Das haben wir uns so erklärt. Das heißt, wir haben gedacht, okay, bei den kontinental Fliegenden. Werden vielleicht die Sitzplätze ein bisschen besser gepusht werden können und im besten Fall vielleicht bei Interkontinental gar nicht so gut, dass wir die Interkontinentalen direkt rausschmeißen können. Das heißt, wir haben unseren Test wieder laufen lassen, diesmal aber getrennt nach kontinental und interkontinental. Das war alles mit dem A B Testing Tool glücklicherweise möglich. Was dabei rauskam, war tatsächlich auch, dass für kontinental Fliegende die Sitzplätze sehr viel besser gepusht werden konnten. Also da hatten wir wirklich sehr viel mehr Sitzplätze verkauft, verkaufen können und die Conversions sind ein bisschen weniger weit runtergegangen. Das heißt, da haben die Maßnahmen auf jeden Fall absolut gezündet. Leider war es so, dass wir die Interkontinental aber nicht so richtig rausschmeißen konnten bzw wollten, obwohl da die Sitzplätze weniger gepusht werden konnten und die Conversions ein bisschen mehr runtergegangen sind. Hat sich das immer noch so die Waage gehalten dadurch, dass eben die Sitzplätze so ein bisschen höher preisiger angesetzt waren und wir an dem Punkt eben gesagt haben, wir waren ja noch sehr optimistisch, dass das alles funktioniert. Sage mir okay, dann lassen wir die Segmentierung einfach wieder sagen okay, kontinental fliegende und interkontinental fliegen, die reagieren irgendwie unterschiedlich auf die Maßnahmen. Wir lassen die Segmentierung einfach da. Wir halten das im Hinterkopf und gehen einfach, gehen einfach weiter. So ein bisschen haben wir uns das Leben also schwer gemacht, weil wir mal jetzt uns zwei Modelle für kontinental und interkontinental überlegen mussten. Das heißt, wir haben einen zweiten Ansatz gesucht und haben gedacht, vielleicht gehen wir mal einen Schritt weiter und überlegen uns was könnte denn so ein Grund sein, weshalb ein User überhaupt ein eine Sitzplatzreservierung buchen möchte. Und da ist uns eingefallen, dass wir bei der Lufthansa unsere User grob in zwei zwei Gruppen einteilen können. Zum einen eben die Kunden, die aus beruflichen Gründen fliegen und auf der anderen Seite eben Reisende, die privat verreisen wollen. Und wir haben uns dann gedacht, so ein Businesskunde, der muss ja nicht unbedingt notwendigerweise aus dem eigenen Portemonnaie zahlen und ist vielleicht eher gewillt, da noch so einen Sitzplatz dazu zu buchen. Und bei so einem Privatreisenden vielleicht sind da mehr Sparfüchse noch mit dabei, die sagen nee, so einen Sitzplatz brauche ich überhaupt gar nicht. Hauptsache, ich komme, ich komm da gut und sicher an und die sind da vielleicht eher genervt und verstehen diese ganze ganze Variante vielleicht eher so ein bisschen als Werbemaßnahme und sind da ein bisschen genervt von. Das heißt, wir hatten da eine Vermutung, wir haben gedacht, ja, okay, vielleicht können wir entweder nur Business oder nur Privatkunden zukünftig ansprechen. Das Problem war dann aber erstmal die Daten über den Reisegrund, sage ich jetzt mal, die lagen uns erstmal gar nicht vor. Das heißt, die haben wir gar nicht auf der Seite so abgefragt. Und da wurde ich dann bzw das Team der Data Analysten erstmal gefragt Hör mal, können wir da nicht irgendwie ein Modell entwickeln, das uns vorhersagt, ob denn so ein ein Kunde privat oder Business fliegt? Ja, theoretisch können wir das machen. Also mein Ziel war es, da ein Entscheidungsbaum zu bauen, der eben nur ein paar Parameter braucht, um diese Vorhersage zu machen. Dazu mussten wir aber dann erstmal in einem separaten Zeitraum vorher Daten sammeln, die eben genau das abgefragt haben. Ob ein ein Kunde privat oder Business fliegt. Das geschah auf freiwilliger Basis, hat aber natürlich Zeit gekostet. Aber am Ende konnten wir dann wirklich einen einen Baum erstellen, der anhand wirklich drei verfügbarer Parameter die Flugroute, Flugdatum und Reisedauer in 8/10 Fällen tatsächlich richtig vorhersagen konnte, ob denn ein Kunde jetzt Business oder privat fliegt. Das heißt, wir konnten unseren Test dann mit diesem Modell wieder live gehen. Wir konnten unsere Variante testen für die beiden. Was leider aber dabei rausgekommen ist, ist tatsächlich, dann sieht es schon in der kleinen Tabelle. Ähm, tatsächlich haben diese beiden Gruppen, diese Privat und Businesskunden sich nahezu identisch verhalten bezüglich der Maßnahme. Und eine Trennung war da wirklich überhaupt nicht möglich. Und tatsächlich war es auch so im Vergleich zu den vorherigen Tests hat sich da eigentlich auch fast gar nichts getan. Das heißt, wir haben da viel Zeit und Arbeit reingesteckt und am Ende war so wirklich gebracht. Was hat uns das jetzt nicht? Und da fing es dann so ein bisschen an, dass man schon so ein bisschen frustrierter wurde, weil man hatte ja auch nicht ewig Zeit, da sich Gedanken zu machen. Wir haben uns aber trotzdem noch mal zusammengesetzt, dann im dritten Ansatz und haben gesagt okay, diese ganze Segmentierung der User scheint ja irgendwie komplizierter eigentlich, als wir uns das am Anfang gedacht haben. Und dann haben wir überlegt und jeder hat mal so reingeschmissen, was für Parameter die wir da messen, denn auch irgendwie einen Einfluss auf die auf die Intention der Kunden haben, halt so einen Sitzplatz noch dazu zu reservieren. Dann sind eingefangen, vielleicht die Gruppengröße, also die die gesamte Gruppe, der Reise oder ob Kinder mitfliegen oder eben nicht. Oder generell vielleicht die Kosten von so einem Flug. Und wir konnten uns bei allen dieser Parameter eigentlich auch irgendwie einen kausalen Zusammenhang da vorstellen. Wir mussten uns natürlich aber dann entscheiden Ja, was wollen wir denn davon testen? Wir können nicht alle testen nacheinander. Dafür reicht die Zeit nicht, weil so ein AB Test muss ja auch immer eine Zeit lang laufen. Und dann war die Idee die Idee der Data Analysten eben. Ja, warum machen wir es dann nicht einfach so?Dadurch, dass das Problem anscheinend so komplex ist, warum nehmen wir nicht einfach einen komplexen Lösungsansatz, gehen mal so ein bisschen anderen Weg ne. Ich als Mathematiker war da ganz, ganz froh, dass ich mich da mal ein bisschen austoben konnte und habe gesagt ja, warum nimmt man nicht ein Modell, was einfach alle Parameter, die wir halt bis zu dem Zeitpunkt, wo wir segmentieren, messen können und nutzen die, um die Wahrscheinlichkeit ähm zu berechnen, dass so ein User eben einen Sitzplatz reservieren wird oder eben nicht. Und wie haben wir das gemacht? Das Ganze nennt sich logistisches Regressionsmodell. Ähm, das einfach dazu in der Lage ist, wenn man ihm historische Daten gibt, zu gucken, ähm waren bei den Leuten also ganz einfach gesagt, waren bei den Leuten, die immer einen Sitzplatz dazu gebucht haben, waren da oft Kinder dabei. Dann würde er der Anzahl an Kindern eben einen positiven Effekt für die Buchungswahrscheinlichkeit zurechnen. Wenn bei günstigen Flügen eher wenige Sitzplatzreservierungen dabei waren, dann würde er günstigen Flügen eher einen negativen Effekt auf die Buchungswahrscheinlichkeit zusprechen. Und mit diesem Modell waren wir dann eben in der Lage, jedem Session zu dem Zeitpunkt, wo wir die Maßnahme ausspielen, vorzuberechnen, wie denn seine Wahrscheinlichkeit ist für den Sitzplatz. Zusätzlich, dass dieses Modell eben diese Wahrscheinlichkeit ausrechnen konnten, haben wir uns für ein Modell entschieden, was wirklich in der Lage war, einfach alle Daten zu zu beachten, die wir halt da ähm zur Verfügung hatten. Das heißt, wir mussten vorher keine Vorauswahl treffen, weil das Modell in der Lage war, ganz objektiv und auf mathematische Weise diese Parameter ähm zu betrachten und war selbstständig in der Lage, da Parameter rauszuschmeißen beziehungsweise im Modell zu lassen. Das heißt, da haben wir wirklich sehr viel Arbeit sparen können, indem wir einfach wirklich uns auf das Modell verlassen haben und gesagt, okay, wir versuchen das jetzt einfach mal mit so einem rein mathematischen Modell und gucken, was dabei rumkommt. Und was dabei rumgekommen ist, ist tatsächlich, dass wir mit dem Modell später in der Lage waren, die User in zwei Gruppen wieder einzuteilen. Einmal die User mit niedriger Affinität für die Sitzplatzreservierungen. Das waren einfach User, deren Buchungswahrscheinlichkeit äh zu diesem Zeitpunkt eben unter einem bestimmten Schwellenwert lag. Und wir hatten die User mit der hohen Affinität, die hatten einfach einen Schwellenwert der Buchungswahrscheinlichkeit, also die Buchungswahrscheinlichkeit war über diesen Schwellenwert und wir hatten uns dann gewünscht, dass wir mit dieser Segmentierung eben unsere unsere Usersegmentierung gefunden haben. Und tatsächlich war es wirklich am Ende dann so, nachdem wir unseren Test wieder laufen lassen haben, dass wir in der Gruppe mit der mit den hohen Affinitätsusern eben generell weniger Sitzplätze ähm verkaufen. Also der Uplift der Sitzplatzreservierung war ein bisschen geringer, weil die User ja tatsächlich sowieso eine hohe Buchungswahrscheinlichkeit hatten. Das heißt, da waren wahrscheinlich viele bei, die auch ohne diese Maßnahme eben einen Sitzplatz reserviert hätten. Auf der anderen Seite war dieser Uplift aber immer noch genügend groß, auf jeden Fall noch sichtbar. Und wir konnten aber auch feststellen, dass da in den Conversions eigentlich kein bemerkbarer Downlift war. Das heißt, die meisten User waren eben halt nicht genervt von dieser Maßnahme. Das heißt, wir hatten wirklich diese Gruppe gefunden, wo eigentlich nur happy User drin sind. Auf der anderen Seite in der Gruppe mit der niedrigen Affinität ließen sich die Sitzplätze sehr viel besser pushen. Da war einfach viel mehr Potenzial, da haben wir viel mehr mit erreicht, ähm noch einen zusätzlichen Sitzplatz dazu zu buchen. Aber in dieser Gruppe waren eben auch fast alle der genervten User, weil da war wirklich der Downlist der Conversions zu beobachten. Das heißt, wir haben tatsächlich unsere Segmentierung am Ende gefunden. Das war schön für uns. Wir sind damit tatsächlich auch in eine eine Live-Umgebung gegangen. Wir sind ah damit produktiv gegangen und was wir da langfristig messen konnten, war tatsächlich, dass wir pro hundert Sessions, die sich im Checkout-Flow aufgehalten haben, konnten wir etwa neun zusätzliche Sitzplatzreservierungen eben verkaufen mit der Lufthansa zusammen. Ich darf jetzt keine konkreten Zahlen natürlich nennen, aber man kann sich auf der Lufthansa-Seite die Preise angucken für so einen Sitzplatz. Sie liegt zwischen zwölf und hundertzehn Euro. Da kann man sich ungefähr ausrechnen, was da so umgesetzt wurde. Es sind auch weit mehr als hundert Sessions. So viel darf ich verraten am Tag. Ähm Und was wichtig ist dabei eben, dass die Anzahl an Conversions nicht bemerkbar gesunken ist. Das heißt, wir hatten wirklich, konnten fast reinen Umsatz einfach mit unserer Maßnahme generieren. Jetzt komme ich tatsächlich auch schon zum Fazit. Das Ganze soll eigentlich nicht in einer Beweihräucherung von uns selber so ausarten, sondern das ist so ein bisschen mein Vortrag und mein persönliches Fazit ist so ein bisschen: Habt keine Angst davor, so mathematische Modelle einfach im Unternehmen, wenn es passt, einfach einzusetzen oder wirklich mal den Schritt zu gehen und sich das zu trauen. Äh das muss tatsächlich nicht immer irgendwas Abgefahrenes, Machine Learning, Deep Learning, irgendwas sein, sondern man soll da wirklich ganz bewusst erst mal vielleicht mit was reduzierterem Anfang. Also so ein logistisches Regressionsmodell ist an sich Statistikgrundkurs, aber man muss sich selber so ein bisschen den Weg ebnen und den Weg gehen wollen, dass man sich wirklich einfach mal die Mathe macht, sich damit auseinandersetzt, einfach im Unternehmen halt auch so ein allgemeines Verständnis aufzubauen, weil bei uns haben wir das wirklich gemerkt, dadurch, dass dieses Modell wirklich einfach dauerhaft lief und wir mussten es ja auch immer mal wieder aktualisieren durch diese Saisonalitäten, die wir hatten, haben wir einfach viel mehr Verständnis und auch Akzeptanz für solche Modelle entwickeln können, sodass die Leute da auch einfach Vertrauen hatten. Und ja, das soll so mein Fazit sein: Traut euch da gerne ran und macht das einfach mal. Ähm, wenn jetzt noch Fragen sein sollten, gerne einfach in den Chat oder eben auch einfach direkt mich kontaktieren. Ich hatte meine E-Mail-Adresse hinterlegt oder iDynamics schreiben. Also wir quatschen alle gerne über solche Themen, über die Portale, die es alle gibt. Bin ich jederzeit erreichbar. Vielen Dank fürs Zuhören. Ja, Patrick. Prima Vortrag. Vielen Dank.