Video: Test, Measure, Learn. Warum Experimente erfolgskritisch im (digitalen) Marketing sind

(Intro-Musik) Herzlich als ersten Headliner des Tages unseren UMKB-Stammgast Maximilian Steudel begrüßen. Maximilian ist Head of International Digital Marketing bei Triple A Internetshops und er hat uns heute ein ganz, wie ich finde, spannendes und auch elementar wichtiges Thema mitgebracht mit dem Namen „Test Measure Learn warum Experimente erfolgskritisch im digitalen Marketing sind. Und er wird euch berichten, wie datenbasierte Entscheidungsfindung bei Triple A funktioniert und warum es eben entsprechend eine gute Idee ist, gerade im E-Commerce-Bereich, valide Testsszenarien aufzubauen, anhand derer man saubere Entscheidungen ableiten kann, um die eigene Business-Performance zu verbessern. Maximilian selber leitet die Online-und TV-Tätigkeiten von eis.de. Ihr kennt es gegebenenfalls, zuletzt gab es da einen ganz, wie ich finde, charmanten Werbespot, angelehnt an die BET eins-Werbung und Maximilian ist, äh, vorher unter anderem bei Leonardo und Gastro Hero aktiv gewesen. Also ein Kenner der Branche und unser OMKB-Stammgast, dadurch, dass er nicht das erste Mal mit uns dabei, bei uns dabei ist. Ganz kurz noch zu Triple A. Wer Triple A nicht kennt, Triple A ist ein E-Commerce-Pure-Player mit unter anderem Marken wie eis.de, gerade schon erwähnt, druckerzubehör.de oder auch bilder.de. Ähm, Triple A beschäftigt mittlerweile über zweihundertfünfzig Mitarbeiter an sieben Standorten in fünf Länder und der Hauptstandort ist tatsächlich in Bielefeld, also unserer eigenen Hometown. Und Maximilian, ich hoffe, du bist uns live zugeschaltet und kannst mich hier im Studio hören und sehen. Bist du da? Ich kann euch sehr gut hören und sehen. Guten Morgen. Viele Grüße nach Berlin. Hallo Maximilian. Erst einmal ganz herzliche Glückwünsche in deine Richtung. Ein Vögelchen hat mir zugezwitschert, dass du Vater geworden bist am letzten Samstag. Dafür siehst du, muss ich sagen, sehr, sehr frisch aus und (lachen) gut ausgeruht. Ähm, herzliche Glückwünsche vom gesamten OMKB-Team. Ich hoffe, dir und deiner Familie geht es fantastisch. Danke schön. Uns geht's sehr gut, aber, äh, zum Thema mit der Schlaflosigkeit reihe ich mich auf jeden Fall ein. (lachen) Maximilian, du hast uns heute einen ganz spannenden Vortrag mitgebracht – ich habe es gerade schon erwähnt – und bist uns wahrscheinlich aus dem Homeoffice in Bielefeld zugeschaltet. Sehe ich das richtig? Richtig, in Paderborn bei Bielefeld, ja. Okay, wunderbar. Dann würde ich vorschlagen, Maximilian, wir haben ja nach deinem Vortrag noch die Möglichkeit, die eine oder andere Frage in deiner Richtung zu stellen. Du kennst das Prozedere schon, warst ja tatsächlich damals zum Start der Pandemie auch bei uns vor Ort im Studio zu Gast. Und wir freuen uns ganz besonders auf deinen Content. Ich würde sagen, geh rein in die Präsentation, rock unsere Audience und wir sehen uns dann gleich zum Q&A. Ganz viel Spaß, mein Lieber. Super gerne. Danke, Mario. Könnt ihr die Präsentation sehen? Klappt das alles so weit? Sieht gut aus. Ich gehe davon aus. Super, perfekt. Danke euch. Ich freue mich, heute eröffnen zu dürfen. Äh, das freut mich wirklich sehr, auch weil ich schon mal dabei war, wie ich ja schon gesagt habe. Vielen Dank für das Intro auch. Ähm, hat mich sehr gefreut und ich versuche, heute euch, äh, n paar Impulse zu geben in Richtung datengetriebene Entscheidungsfindung mit Hilfe von Experimenten. Und ich glaube, das passt ganz gut, weil wir das bei Triple A und bei ISDE auch sehr, sehr intensiv machen und weil das, glaube ich, auch ein sehr, sehr wichtiger Bestandteil von unserem Erfolg ist, den wir ja bisher hatten und jetzt auch mittlerweile mit acht Millionen Kunden in Deutschland und in der gesamten DACH-Region auch der größte Onlineshop in diesem Bereich sind und, äh, 2020 auch das erste Mal unter den Top fünfzig der umsatzstärksten Shops in Deutschland waren. Ähm, ich bin seit drei Jahren jetzt schon bei Eis und, äh, leite, wie Mario schon gesagt hat, das digitale Marketing und, äh, das hat auch zur Folge, dass ich den Großteil meines Tages eigentlich mit Testen und mit Experimentieren verbringe. Und leider ist es aber immer noch so, dass in vielen Unternehmen Ideen immer noch viel zu häufig mit solchen Sätzen, wie ihr da seht, scheitern. Und, äh, ich bin mir sicher, dass der eine oder andere von euch, äh, das sicherlich kennt, ja, weil wir das entweder in unserem Berufsalltag schon mal selber gehört haben, einen dieser Sätze, oder weil wir den vielleicht hin und wieder auch mal selber nutzen, ja, inklusive des Gesichtsausdrucks. Das Problem an solchen Sätzen ist, dass es erstens keinen Raum für Diskussion oder für argumentative Auseinandersetzungen gibt und lässt und dass es zweitens eine sehr, sehr subjektive Meinung auf das Thema ist. Und das ist nicht immer per se schlecht. Also das suggeriert das Zitat ja ein stückweit, ne? Ähm, das ist nicht der Fall. Wir können hier theoretisch auch Data und Opinion einfach tauschen und der Satz wäre für mich persönlich immer noch korrekt. Ja. Also Daten zu nutzen ohne Interpretation ist in letzter Konsequenz nutzlos. Ja. Und das ist genau der Punkt, um den es mir heute geht, auch in der Präsentation. Es geht eben nicht darum, dass wir das eine durch das andere ersetzen, sondern dass wir anfangen zu verstehen, wie wir datengestützt Meinungen formulieren und vor allem durchgehend – das ist auch ein wichtiger Punkt – durchgehend kritisch hinterfragen können. Warum ist das notwendig? Das ist deshalb notwendig, weil Meinungen einen großen Nachteil haben, dem wir uns bewusstmachen müssen, ja. Meinungen unterliegen per se dem kognitiven Bestätigungsfehler, so heißt das in der Wissenschaft, oder auf Englisch dem Confirmation Bias. Und das heißt in kurz, dass wir Informationen immer so suchen, konsumieren und auch interpretieren, dass sie zu unseren Vorstellungen passen. Ja, das ist so die berühmte Filter Bubble, die wir von Twitter, äh, und Facebook kennen und von der alle sprechen.Echtes Beispiel für meine Präsentation habe ich kurzzeitig darüber nachgedacht, vorgestern eine Statistik zu integrieren, die aussagt, dass die Innovationskraft im deutschen Mittelstand sinkt. Das hätte einfach sehr, sehr gut gepasst zum Inhalt der Präsentation. Ich habe dann also gegoogelt und habe die Statistik auch gefunden nach einiger Zeit. Habe parallel aber leider noch fünf andere Statistiken gefunden, die genau das Gegenteil behauptet haben. Ja, Frage: Für welche hätte ich mich entschieden? Ja, ganz klar, ne? Anstatt die erste Statistik kritisch zu hinterfragen, hätte ich wahrscheinlich die fünf anderen ignoriert, weil sie einfach nicht zu meiner ursprünglichen Intention gepasst hat. Ich habe es jetzt nicht integriert, aber das soll sozusagen nur beispielhaft dienen und zeigen, wie wir im Alltag funktionieren. Und das Gleiche passiert eins zu eins täglich im Business-Kontext. Das heißt, wenn zum Beispiel die gleiche Person, die eine Kampagne konzipiert, am Ende für das Ergebnis Reporting verantwortlich ist, dann steigt die Wahrscheinlichkeit, dass das Reporting am Ende auch positiv ausfällt. Ne, und deshalb benötigen wir verlässliche Methoden, die uns wirklich zwingen, das Infragestellen von unseren Ansichten oder auch von unseren Überzeugungen, die wir in der Vergangenheit auf Basis unserer Erfahrungen gebildet haben, zu operationalisieren. Und das geht nur, indem wir objektive Daten nutzen, evidenzbasiert zu urteilen. Die Grundidee, wie wir das im Business Kontext erreichen können, ist relativ einfach. Ja? Also wir müssen anfangen, unsere Annahmen und Ideen in einem durchgängigen Zyklus von Experimenten in diesem Fall zu überprüfen, innerhalb derer wir einfach testen, messen und lernen. Und testen, messen und lernen und testen, messen und lernen und immer wieder, ja, um das immer wieder zu hinterfragen. Und das ist ein Grundprinzip, was schon ein bisschen älter ist tatsächlich und, ähm, grundlegend auf der Lean Startup Methode basiert, ja, wobei das dort explizit für die Entwicklung von Business Cases und von Produkteinführungen genutzt wird, weniger für das Marketing, aber was sich hier sehr, sehr gut als Modell projizieren lässt. Wenn wir das Schritt für Schritt durchgehen, dann bedeutet das Schritt eins testen, dass wir zunächst mal Ideen sammeln für Tests und für Ideen, die wir haben, Dinge, die wir verbessern wollen, Kampagnen, die wir umsetzen wollen, Produkte, die wir vielleicht testen möchten, auf dessen Basis wir einen Backlog erstellen und dann unsere Tests und Ideen in einer Roadmap priorisieren. Danach formulieren wir für jeden Test mindestens eine Hypothese nach einer fest definierten Struktur und dann fangen wir an, jede Hypothese zu operationalisieren und das am besten mithilfe von unterschiedlichen Testmethoden, die dann jeweils am besten zu dem Setup passen. Ja, das ist der erste Schritt. Im zweiten Schritt beurteilen wir den Erfolg und nutzen dafür Tracking und im dritten Schritt versuchen wir, daraus zu lernen. Das heißt also, Muster zu adaptieren und zu verstehen, woher kommen diese Testergebnisse und wie lassen sie sich in Zukunft für uns nutzen? Das System ist super simpel und hat dennoch sehr viele Vorteile. Und zwar hilft es uns, schneller und objektiver Erkenntnisse zu gewinnen und am Ende diese Erkenntnisse effizient und enorm günstig – wir erinnern uns an die erste Folie, typischer Satz: „Wir haben kein Budget für irgendwas" – also effizient und enorm günstig umzusetzen. Und das ist ein klarer Wettbewerbsvorteil. Und das ist auch deshalb ein Wettbewerbsvorteil, weil jede Idee, die eigentlich gut ist und die wir nicht implementieren, die aber eigentlich positiven Einfluss auf unser Geschäftsmodell hätte, Opportunitätskosten verursacht, nämlich entgangenen Umsatz, den wir vielleicht nicht direkt sehen, der aber eigentlich vorhanden ist und den wir haben könnten, wenn wir mehr implementieren würden oder mehr testen würden. Und am besten funktioniert das System immer dann, wenn interdisziplinäre Teams daran arbeiten. Ja? Das heißt also, wenn diese einzelnen Einheiten vielleicht sogar voneinander losgelöst sind und man so einen Checks-and-Balances-Effekt hat und eben nicht die gleichen Personen, die die Kampagne erstellen, am Ende auch reporten. Die Grundhaltung muss dabei immer die gleiche sein. Ja? Also sowieso. Wir brauchen immer ambitionierte Ziele, strategische Ziele, Mid Term und Long Term, die unsere übergeordnete Vision verfolgen und die das Bigger Picture im Hinterkopf behalten. Wir müssen aber gleichzeitig versuchen, diese Ziele in kleinere Einheiten herunterzubrechen, am Ende schnell Ergebnisse und Verbesserungen zu erziehen, was am Ende immer auch psychologisch eine Bedeutung hat, weil wir alle kennen die Frustration bei riesigen Projekten, die vermeintlich nie enden. Und wir müssen zuletzt – und das ist ganz, ganz wichtig – akzeptieren, dass Scheitern Teil des Lernprozesses ist und dass Misserfolge ebenso eine Form von Erkenntnisgewinn sind, ja? Gleichzeitig müssen wir natürlich versuchen, diese Misserfolge zu reduzieren und wir müssen vor allem versuchen, sie so schnell wie möglich zu identifizieren. Der beste Start, wie wir in diesen Prozess hineingehen können, ist eigentlich immer das Backlog, ja? Wir erinnern uns, Schritt eins war testen. Wir wollen ein Backlog aufbauen. Wir überlegen erst mal alles. Wir sammeln komplett, ne? Wir sammeln im ganzen Unternehmen. Es ist völlig egal, woher Ideen kommen. Jeder kann eine gute Idee haben. Es kann der Praktikant sein, es kann der Geschäftsführer sein. Es ist völlig egal. Jeder muss sich da einbringen. Er muss auch nicht in meinem Bereich arbeiten. Hauptsache, die Idee ist da und sie ist dokumentiert, egal wie verrückt sie ist. Man kann Ideen auch incentivieren mit Urlaubstagen oder mit anderen, ähm, spannenden Incentives beispielsweise. Das wiederum sammeln wir alles, ja, packen das alles in Excel-Datei-Salen rein und dann fangen wir an, die verschiedenen Ideen zu priorisieren. Also jede Idee, die hier ist, ist ein beispielhafter Test, auf dessen Basis man später eine Hypothese aufbaut. Die Ideen versuchen wir mit unseren relevanten Stakeholdern zu priorisieren, weil die ja häufig bessere Insights haben als wir, ja? Also jemand wie das Development-Team beispielsweise oder die Grafik, von denen wir abhängig sind.Und dazu bewerten wir unsere Ideen nach verschiedener Dimension. Als sehr zielführend hat sich erwiesen: Invest und Outcome. Es kann verschiedene Unterdimension haben, zum Beispiel Zeit, Ressourcen, Aufwand, Budget, aber auch Outcome, Umsatz, Leads und so weiter. Und dann verteilen wir zweimal einen Score und errechnen am Endeffel den Gesamt-Score. Wenn wir den einfach absteigen und sortieren, dann haben wir unsere Testing Roadmap für Step eins. Da ist schon klar, was wir tun wollen in nächster Zeit, in unserer Ideenfindung deutlich schneller voranzukommen, mithilfe von Experimenten. Im Anschluss müssen wir versuchen, auf Basis dieser Ideen Hypothesen zu formulieren. Also ein Beispielhypothese ist: Wenn wir USPs auf Landing Page X kundenspezifisch anpassen, dann erhöht sich unsere Conversion Rate. Das heißt, kann man schon ganz gut sehen: Die Hypothese gibt immer einen vermuteten Zusammenhang zwischen zwei Sachverhalten raus, wenn wir erst mal behaupten, weil wir davon ausgehen, dass es so ist. Bei zwei Variablen, wie es hier ist, sind es bivariate Zusammenhänge. Wenn es mehrere Variablen geht, also wir setzen mehrere Variablen in Bezug zu einer unabhängigen Variable, dann sprechen wir von multivarianten Tests. Wird dann allerdings sehr schnell auch sehr komplex, weil Wirkungen dann nur noch in Kombination zueinander beurteilt werden können. Generell ist es eben wichtig, immer eine abhängige und eine unabhängige Variable zu haben. Und bedeutet aber auch im Umkehrschluss: Wenn wir die unabhängige Variable ändern, vermuten wir parallel eine Veränderung der abhängigen Variable, weil dort möglicherweise Korrelationen bestehen. Und am Ende des Prozesses – und deshalb ist die Hypothese so wichtig – möchten wir im Optimalfall die Hypothese entweder bestätigen oder widerlegen, wiederlegen, daraus Learnings zu generieren. Wir erinnern uns an den Loop. Eine weitverbreitete Methode, Hypothesen zu überprüfen – und die kennen sicherlich viele von euch – ist mit Hilfe von A-B-Tests, also Split Testing. Wie funktioniert das grundlegend? Es werden mehrere alternative Varianten einer Webseite, Kampagne, Produkt erstellt und die werden dann direkt und parallel mit der Ausgangsvariante verglichen. Das ist quasi ein direkter Performance-Vergleich. Am Ende ist es dann das Ziel, die beste Variante zu identifizieren im direkten Wettbewerb und alle anderen Varianten zu eliminieren. Dazu wird die Zielgruppe einfach in zufällig gleich große Gruppen aufgeteilt, von denen jede immer konsistent die gleiche Variante sind. Und klassischerweise nutzen wir immer B-Testing auf Webseiten, weil es technisch sehr einfach ist, zu implementieren und auch zu visualisieren. Die stärken lassen sich aber eben auch auf andere Konzepte adaptieren. Und wir haben einfach schon gehört, bin ich auch bei ICE für den TV-Bereich zuständig und was wir machen, ist, wir versuchen, Learnings aus unserem Performance-Marketing-Bereich sehr stark auf andere Kanäle zu übertragen. Und das haben wir hier beispielsweise gemacht. Maya hat auch schon den Bet1-Spot vorhin angesprochen. Das ist genau das passende Beispiel hierfür. Zu unserer Adventskalenderkampagne haben wir Ende 2020 insgesamt drei verschiedene Spots produzieren lassen und haben die Spots dann einfach gleichmäßig rotierend im TV ausgespielt. Sender, Uhrzeiten zufällig verteilt. Guckt, dass da eine Gleichverteilung ist. Und dann eben zu testen, welcher Spot am besten für unsere Zielgruppe funktioniert. Wie machen wir das? Wir sehen uns jeden Spot dann im Einzelnen an, versuchen, die Performance zu attribuieren und können dann mithilfe von Reichweiten, Mediavolumen und unseren Web Analytics Daten relativ gut evaluieren, welcher Spot-Variante die höchsten Response Rates erzielt und sogar den niedrigsten Cost per Visit verursacht. Also sehr performancegetriebene Metriken, anhand derer wir auch klassische Werbeschaltungen beurteilen können und testen können. Bei dem Test haben wir auch mehrere Learnings generiert und ich finde, zwei Insights sind wichtig, die ich auch auf jeden Fall gerne teilen möchte. Das Erste ist, nicht jeder Test funktioniert nach Optimalbedingungen. Also manchmal sind auch Kompromisse notwendig, wie hier zum Beispiel, dass die Spots zwar zufällig verteilt sind, wo wir nicht sicherstellen können, dass immer die gleichen Personen immer nur die gleiche Variante sehen. Das funktioniert hier leider nicht. Dann geht es eher darum, Indikatoren zu finden, die die richtige Entscheidung unterstützen und uns helfen, Bewusstsein dafür zu entwickeln, wo Gefahren der Abweichungen bestehen. Und wenn wir wissen, wo die sind und wie hoch diese Abweichungen sein können, mit welchem Risiko die am Ende verbunden sind, dann ist das auch völlig in Ordnung. Da muss es nicht immer unter Optimalbedingungen laufen. Dann reichen uns auch Indikatoren aus. Und die zweite Sache: Prinzipiell könnt ihr alles AB testen, solange ihr kreativ seid. AB Testing ist nicht auf Online-Marketing beschränkt. Es geht offline, es geht im TV, es geht in ganz vielen anderen Kanälen. Da ist einfach nur Kreativität gefragt. Das Prinzip dahinter ist immer das Gleiche. Das ist sozusagen im Testbereich das erste klassische Testszenario, was viele von uns kennen. Das Zweite, was schon ein bisschen weniger bekannt ist, sind sogenannte Fake-oder Smoke-Tests. Die sind insofern sehr interessant, weil hier, wie der Name schon sagt, absichtlich Funktionen vorgetäuscht werden, die eigentlich so gar nicht existieren. Und hier geht es gar nicht mal darum, herauszufinden, welche Variante besser funktioniert, sondern ob überhaupt generelles Interesse an Funktionen besteht, bevor die aufwendig umgesetzt werden. Auch das kennen wir alle. Faktes sind deshalb nicht so ganz sauber, weil sie nehmen ja im Umkehrschluss auch in Kauf, dass Nutzer möglicherweise verärgert sind, wenn sie Fehler-Nachrichten bekommen. Man muss halt so ein sehr proaktives und smartes Erwartungsmanagement halten. Auf der anderen Seite aber, und das muss man irgendwie gegeneinander aufwiegen, ist.Hilfreich sind Fake Tests unfassbar hilfreich, insbesondere um Entwicklung sinnvoll zu priorisieren, also Entwicklung im Sinne von Development und echtes und intuitives Feedback zu sammeln. Ja? Also dem gegenüber können wir beispielsweise Umfragen stellen, die ja häufig sozial erwünscht beantwortet werden oder vielleicht mit einem sehr, sehr ausgeprägten Bewusstsein, ja? Aber insbesondere im Online-Marketing passiert ja viel intuitiv und impulsgesteuert. Das heißt, solche Fake Tests zielen genau darauf ab und sagen uns sehr, sehr schnell, welche Funktionen eigentlich spannend sind für Nutzer, obwohl sie es vielleicht noch gar nicht wissen. Wir sparen hier also im Umkehrschluss sehr, sehr viel Zeit und Budget. Beispiel, wie wir das gemacht haben: Wunschlisten sind in vielen Shops Standard. Ja? Wir hatten das lange Zeit nicht und wir waren uns auch nicht sicher, welche Relevanz Wunschlisten für uns haben. Wir haben verschiedene Effekte beobachtet, zum Beispiel, dass einige Nutzer den Warenkorb speichern, ja, verlassen, die Produkte drin lassen, später wiederkommen und kaufen. Wir haben aber auch andere gesehen, die weil wir ein sehr discounterorientierter Shop sind, eher sehr, sehr schnell zum Checkout wechseln. Und das hat uns dazu verleitet, dass wir völlig unterschiedliche Hypothesen auch zu dem Thema im Team haben. Die einen haben gesagt: „Ja, Wunschliste, da kaufen wahrscheinlich weniger Kunden, weil es dann die Möglichkeit gibt, Produkte zu speichern und noch mal wiederzukommen." Andere haben gesagt: „Hmm, die Funktion wird niemand nutzen wegen Diskretion." Also da möchte man eher sauber den Shop verlassen, ja? Und es gab noch die Hypothese: Na ja, wahrscheinlich könnten wir die Retention Rate, also die Wiederkehr oder Wiederkauf-Rate erhöhen und die Conversion Rate, weil die Nutzer zurückkehren und ihren Kauf abschließen und weil wir vielleicht sogar noch mal die Möglichkeit hätten, das mit Marketingmaßnahmen und Reminder Mails, ähm, zu kombinieren. Wir haben also, noch mal auf das Thema Smoke Test und Fake Test zurückzukommen, bevor wir die Funktionalität vollständig programmiert haben, erstmal über so einen Test versucht herauszufinden, ob überhaupt ein Nutzerinteresse besteht. Und das konnten wir bejahen und haben dann im Anschluss über einen Folgetest, einen AB-Test, dann relativ genau validiert, ob unsere Hypothesen stimmen und wenn ja, welche. Ja? Welche ob diese zutrifft, behalte ich für mich, aber die Wunschliste ist heute auf jeden Fall noch implementiert. Und dann gibt es noch eine dritte Möglichkeit, die auch relativ weit verbreitet ist, Ideen zu testen. Und das ist das MVP. Oder übersetzt „Minimum viable Product" und wörtlich übersetzt auf Deutsch das minimal überlebensfähige Produkt. Das ist ne Art Prototyp. Das heißt, im Gegensatz zum Fake Test versuchen wir mit dem MVP schon Grundfunktionen abzubilden, die mögliche Nutzer testen können, um das Produkt zu erleben. Und das beantwortet häufig die Frage, wie ein Produkt oder eine Funktion essentiell beschaffen sein soll und nicht, ob dieses Produkt überhaupt existieren soll. Das hilft, Marktlücken zu erkennen, ist aber irgendwie auch gleichzeitig ein Balanceakt, weil: Ist die Qualität zu schlecht – und das sehen wir hier ganz links –, dann hat das Produkt keine Chance. Ist die Qualität sehr, sehr gut, dann ist es zu teuer und dann lohnt sich die Entwicklung nicht, weil dann ergibt es mehr Sinn, schon das fertige Produkt zu erstellen. Diese MVPs waren sehr, sehr lange sehr beliebt. Das Problem, was in den letzten Jahren entstanden ist, ist, dass die Qualitätsstandards von Konkurrenzprodukten, zum Beispiel Apps, iOS-App-Store, so hoch sind, dass es immer aufwendiger wird, die Mindestanforderungen an Design, Service und User Experience zu erfüllen. Und das macht das MVP so ein Stück weit nutzlos und daher wurde das auch vor Kurzem weiterentwickelt und man spricht jetzt auch eher von MAP. Das heißt, man nimmt einen etwas aufwendigeren Prozess in Kauf und erstellt dafür ein Minimum Awesome Product, ja, und versucht dann sozusagen den gestiegenen Ansprüchen gerecht zu werden. Das heißt, es soll a) dem Markt gerecht werden und es soll parallel erlauben, mit relativ wenig zusätzlichem Aufwand einen konkurrenzfähigen Prototypen auf den Markt zu bringen. Bei Ice bauen wir seltener MVPs. Wir machen es aber hin und wieder. Es gibt beispielsweise eine Funktion, die heißt Toy Finder, das ist eigentlich nur ein Produktfinder bei uns auf der Webseite im Shop und es funktioniert so: Nutzer können Fragen beantworten und erhalten am Ende dann Produktempfehlungen passend zu ihren Antworten und Vorlieben, ja? Jeder Wettbewerber von uns hat einen Toy Finder. Alle funktionieren gleich oder zumindest ähnlich. Es sind sogar häufig eins zu eins die gleichen Fragen. Wir wissen zusätzlich, dass es auch eine Nachfrage für die Funktion gibt und das können wir sehen. Das Problem ist, dass die Systematik vieler Toy Finder sehr auf Desktop Devices optimiert ist und die bei allen irgendwie auch schon total lange vorhanden sind und niemand mal dieses Konzept infrage gestellt hat. Heißt, ich glaube, wir müssen uns hier verbessern und es bietet sich natürlich an, hier MVPs zu bauen, weil es einfach super viele verschiedene Ideen gibt, ja? Also Chatbot, Tinder-Swipe, KI-basiert, wie auch immer, klassische Fragebogen. Das heißt, wir müssen hier unterschiedliche MVPs bauen, um überhaupt testen zu können, ob die Grundidee, die wir haben, funktioniert. Wir können nicht alles gleichzeitig bauen, alles gleichzeitig testen. Das ist viel zu viel Aufwand. Da wären wir 2023 damit fertig, ja? Ähm, das ist sinnfrei. Und ich bin mir total sicher, dass viele von euch diese Situation kennen, nämlich Ideen werden erarbeitet zu Projekten. Projekte werden im Verlauf immer komplexer, sie werden immer komplizierter. Es gibt am Ende Workshops über Workshops, Sprints, Calls, Abstimmungen und am Ende ist niemand so richtig zufrieden, weil das Produkt ein Kompromiss aus Vorstellungen aller Beteiligten und Abteilungen ist, sich aber am Ende gar nicht mehr so richtig an den Bedürfnissen des Kunden orientiert. Und das ist eben das, was wir versuchen mit MVPs zu überbrücken, also Zeit und Kundenorientierung. Ja?Ganz kurze Wiederholung. Wir sprechen über das Test-Measure-Learn-Modell. Wir waren jetzt im Bereich testen und haben drei verschiedene Arten durchgesprochen, wie wir testen können. Gar nicht mal nur online, sondern auch bei anderen Kanälen. Und die Grundlage dieser Tests ist am Ende immer die Hypothese und das Ziel, die Hypothese in die Praxis zu überführen. Wir gehen dann zum nächsten Bereich über und das ist der Bereich „Messen". Bevor wir anfangen zu messen, müssen wir uns überlegen, wie lange soll unser Test eigentlich laufen? Und das ist gar nicht mal so trivial, weil es wichtig ist, dass wir am Ende sicherstellen, dass signifikante Ergebnisse kein Zufall sind. Das kann immer passieren, wenn die Zahlen sehr, sehr klein sind. Konversionskraft, Block für Conversion-Rate-Optimierung. Wir haben folgendes Phänomen in der Praxis beobachtet, nämlich, dass je häufiger Personen, die den Test am Ende durchführen, in das Testing Tool reinschauen, zu überprüfen, wie die Ergebnisse sind – jeder fiebert ja drauf hin –, desto höher ist die Wahrscheinlichkeit, dass der Test viel zu früh beendet wird, weil die häufig den Test einfach abbrechen oder für beendet erklären, sobald das erste Mal signifikante Ergebnisse vorhanden sind. Und das passiert häufig schon nach wenigen Tagen. Also häufig ist es so, dass die Kurve immer nach oben geht und dann aber abflacht und sich dann annähert, also die verschiedenen Varianten. Da sind wir nach dem Motto „Mission erfüllt, Check". Problem ist aber, dass die Fehlerwahrscheinlichkeit dadurch einfach enorm steigt und möglicherweise das Ergebnis falsch interpretiert hat. Ahhhm Wird. Und deshalb zwei Grundregeln, die wir immer beachten sollten: A) Die Testdauer müssen wir immer vorher berechnen und B) wir sollten im besten Fall weniger häufig Ergebnisse im Tool checken und lieber uns an der Testlaufzeit orientieren und ein paar mal weniger reinbringen. Alles auch schon erlebt in der Praxis. Wie lässt sich die Testdauer berechnen? Good News, das müsst ihr nicht manuell machen. Dafür gibt es verschiedene Anbieter. Das geht bei Convalytics beispielsweise – habe ich den Link hier in die Präsentation gepackt – oder auch mit Tracken oder auch andere Anbieter. Ihr müsst sozusagen nur eure Basis-KPIs einmal füllen, eure Prognosen und am Ende bekommt ihr einen sehr, sehr verlässlichen Anhaltspunkt, wie lange der Test dauern muss, damit ihr ein gewisses Konfidenzniveau und eine Signifikanz erreicht. Und im Endeffekt gilt das Gleiche für die tatsächliche Berechnung der Signifikanz. Viele Testing Tools, wie jetzt Google Optimize oder Optimize, die haben das schon implementiert. Solltet ihr das aber noch mal gegenchecken wollen oder doppelt testen wollen, dann findet ihr auch online – jetzt wieder bei Convalytics – keinen Vertrag mit denen, aber die Tools sind einfach super – findet ihr online viele Tools, wo ihr das tatsächlich auch ausrechnen könnt, ohne dass ihr jetzt G² aus „Statistik zwei" bemühen müsst. Das ist auch hundert Prozent transparent. Es ist super nachvollziehbar. Es ist sehr, sehr einfach erklärt. Und im Umkehrschluss heißt das: Sofern das berechnete Konfidenzniveau – wir erinnern uns zurück, wir haben den Tag ausgerechnet, an dem unser Test beendet sein wird mit einer hohen Wahrscheinlichkeit. Im Umkehrschluss heißt das: Sofern das berechnete Konfidenzniveau an diesem Tag des errechneten Testendes, was wir vorher gemacht haben, über fünfundneunzig Prozent beträgt, dann können wir sagen, die Irrtumswahrscheinlichkeit, dass unsere Hypothese korrekt ist, liegt nur noch bei fünf Prozent. Das ist eine sehr, sehr hohe Wahrscheinlichkeit, dass wir mit unserer Annahme, die wir in der Hypothese vermutet haben, richtig liegen. Ab welchem Niveau ihr Ergebnisse als positiv bewertet, das bleibt euch überlassen und eure Risikobereitschaft. Man kann halt sagen, je niedriger das Konfidenzniveau, umso höher ist die Wahrscheinlichkeit, dass ihr euch mit eurer Hypothese irrt und falsch liegt. So, wir haben also die Testlänge bestimmt. Wir wissen, wann wir Signifikanz erreichen. Wir wissen, wie wir das messen. Jetzt müssen wir uns Gedanken darüber machen: Wie sieht denn eigentlich unsere Zielgruppe aus? Und das ist prinzipiell sehr, sehr flexibel. Es richtet sich danach, welche Zielgruppe ihr über eure technischen Möglichkeiten erreichen könnt. Auch das kann offline sein, online, wo auch immer. Da seid ihr völlig frei. Es gibt noch eine wichtige Regel, die ihr immer beachten müsst, und zwar, dass jeder Test im Optimalfall eine Kontrollgruppe benötigt. Die Kontrollgruppe enthält immer Nutzer, die sich zwar im Test befinden, aber im Gegensatz zu den anderen Varianten keine Änderung erfahren. Warum macht man das? Das stellt die Validität des Tests sicher. Man kann das ganz gut an einem Beispiel illustrieren. Angenommen, hundert Personen bekommen das gleiche Medikament, Pharmakonzern, und zwanzig reagieren positiv auf das Medikament, dann wissen wir nicht, ob das wirklich das Medikament war oder ob es nicht andere Effekte waren, wenn wir keine Vergleichsgruppe haben. Könnte beispielsweise auch der Placebo-Effekt sein. Und genauso verhält es sich im Marketing. Uhhhm Also Uplifts können auch sehr, sehr einfach durch Saisonalitäten, Verfügbarkeiten oder parallele Werbemaßnahmen beeinflusst werden. Deshalb brauchen wir auch dort immer Kontrollgruppen, die den gleichen externen Faktoren unterliegt, sodass wir die wahre Wirkung am Ende auf die Experimentalgruppe viel, viel besser beurteilen können. Wie groß die Gruppen sind, ist völlig euch überlassen. Also so eine Kontrollgruppe muss nicht fünfzig Prozent sein bei zwei Varianten, kann theoretisch auch vierzig Prozent sein. Wichtig ist nur, dass sie repräsentativ ist und die gleiche Gruppe repräsentiert wie die andere Variante und dabei zufällig verteilt ist. Wir wissen, wie lange der Test laufen muss. Wir kennen die Gruppen. Wir müssen jetzt uns noch überlegen, wie wir Messbarkeit gewährleisten. Und da ist im Endeffekt keine Überraschung. Auf der linken Seite sehen wir, online ist sehr, sehr viel möglich. Auf der rechten Seite ist deutlich weniger möglich, aber – und dafür will ich zumindest einmal das Bewusstsein schärfen – auf der rechten Seite ist deutlich mehr möglich, als wir vielleicht auf den ersten Blick denken. Und ich glaube, so ein, zwei Tracking-Mechaniken lohnt es sich noch mal hervorzuheben, weil sie vielleicht nicht so häufig genutzt werden oder weil sie problematisch sind. Das eine sind Cookies. Das ist gerade eine sehr, sehr große Herausforderung. Das wissen sicherlich viele.Dass die AB Testing Gruppen einfach kleiner werden, weil durch die Cookie Constant Layer die Cookies über AB Testing Tools mehr und mehr abgelehnt werden. Da muss man kreativere Lösungen finden für die Zukunft. Dann das Bewusstsein zu verscherben, dass Tracking-Links eigentlich Standard sein sollten, auch im Offline-Bereich. Das fehlt sehr, sehr häufig. Dass Kontaktdaten, insbesondere auch für B2B-Anbieter, sehr einfach über Calltracking beispielsweise erhoben werden können, also individualisiert vergebenen Nummern pro Kunden, die beispielsweise über Google bei Anzeigen ausgespielt werden können und worüber ihr relativ genau zurückverfolgen könnt: Was ist das denn für ein Kunde, der am Ende auf meine Webseite gekommen ist oder bei mir angerufen hat? Also kann man bis auf Keyword-Basis dann zurückführen. Und dann kommen wir eben zum letzten Schritt in diesem Prozess, im Measurement-Prozess. Das ist am Ende die Bewertung des Testervolgs. In dem Kontext haben wir bereits über Signifikanz gesprochen, aber noch nicht über Signifikanz der richtigen KPIs. Und das ist eben sehr, sehr wichtig, denn nur wenn es dort, also in diesen primären KPIs, die für eure Signifikanz relevant sind, dort Unterschiede gibt, dann können wir die ursprüngliche Hypothese bestätigen oder verwerfen. Das heißt, diese primären und sekundären KPIs, die solltet ihr direkt am Anfang definieren, sie am Ende evaluieren zu können. Beispiel: Wenn wir jetzt den Betreff für Newsletter testen, dann wird wahrscheinlich die primäre KPI nicht Umsatz sein, sondern eher so was wie Öffnungsrate. Sekundäre KPI kann aber durchaus Umsatz sein, weil wir ja durch mehr Öffnungen wahrscheinlich auch einen höheren Traffic-Durchfluss im Shop erzielen. Wenn wir dagegen was Checkout testen, ist klar, dann wollen wir zwingend mehr Umsatz erzielen, Conversion Rate verbessern. Wir wollen aber auf der anderen Seite wahrscheinlich nicht die Newsletter Leads oder Opt-ins erhöhen. Und so ist es immer wichtig, dass ihr euch vor der Auswertung noch mal bewusst macht, sowieso am Anfang, aber bei der Auswertung noch mal konkret: Sind das die richtigen KPIs, auf die wir hier gerade abziehen? Oder sind das auch die richtigen KPIs, die wir am Ende intern reporten und die auf die Hypothese, die wir formuliert haben, einziehen? Noch vorsichtiger müsst ihr aber bei der Interpretation der Ergebnisse sein. Es gibt den klassischen Fehler, dass die verschiedenen Testgruppen einfach immer mit absoluten Zahlen miteinander verglichen werden. Variante eins hatte fünfzig Prozent, Variante zwei hatte auch fünfzig Prozent, Variante eins macht mehr absoluten Umsatz als Variante zwei, also gewinnt Variante eins. Das ist deshalb nicht immer richtig, weil ihr nie die gleiche Anzahl an Nutzern in den verschiedenen Testvarianten habt. Das wird nie passieren. Das heißt, es kann passieren, dass ihr mal tausend Nutzer habt in der einen Variante, die tausend Euro Umsatz generieren und dann habt ihr achthundert Nutzer in der anderen Variante, die achthundertfünfzig Euro Umsatz generieren. Die tausend-Euro-Umsatz-Variante ist aber nicht besser, nur weil sie mehr Umsatz generiert, weil sie pro Kunde deutlich weniger Umsatz generiert. Und so müsst ihr immer euch überlegen: Wie sind denn die relativen Zahlen, die normierten Zahlen und was passiert, wenn ich die hochrechne auf beispielsweise das gesamte Jahr? Ja Also welche Variante gewinnt mit der Hochrechnung auf sozusagen meine kompletten Daten über einen größeren Zeitraum? Und dann fehlt sich beispielsweise so was wie Umsatz pro Kunde, Öffnungen pro einhunderttausend versendeter Newsletter und so weiter. Und dann bleiben uns auf Basis dieser Auswertungen, also KPIs gemessen, Ergebnisse interpretieren. Am Ende nur noch zwei Optionen, nämlich entweder bestätigen wir die Hypothese oder wir widerlegen die Hypothese und lehnen sie ab. Und das kann manchmal wehtun. Ein Beispiel von einem Test, den wir gemacht haben, – für uns damals No Brainer – haben wir gesagt: „Wir würden gerne mehr opt-in sammeln und integrieren im Check-out einfach so einen Test mit einer Checkbox, die ist jetzt nicht getickt, darf man ja auch nicht, sondern das ist einfach optional für den Kunden und die, die halt nicht wollen, die gehen einfach weiter. Hat ja aber leider eine negative Auswirkung im Shop und wir haben dadurch wirklich Umsatz verloren. Und das zeigt manchmal, dass Nutzer nicht so reagieren, wie wir das annehmen und beweist auch, warum dieser Loop eigentlich wichtig ist, austesten, messen, lernen und hat am Ende dazu geführt, dass wir das erst mal wieder deaktivieren mussten und uns überlegt haben: „Okay, wie gehen wir denn da jetzt weiter? Und haben dann auf der Basis verschiedene Folgetests erst mal formuliert, sozusagen eine bessere Variante zu finden, die uns nicht so wehtut. Und manchmal sind es dann eben auch diese kleinen Tests, die vermeintliche No-Brainer sind, an die man dann noch mal ran muss und wo man vielleicht noch mal ein bisschen genauer hingucken muss und ein bisschen granularer und dezidierter auch arbeiten muss. Das war jetzt sozusagen unser Measurement-Part. Wir hatten den Test-Part mit Roadmap-Hypothesen, drei verschiedene Testing-Szenarien. Wir hatten den Measurement-Part mit: Wie lange gehen Tests? Wie sehen Signifikanzen aus? Wie können wir tracken? Und was ist am Ende wichtig bei der Bewertung? Wir kommen jetzt in den Bereich Learning und der ist eigentlich verhältnismäßig einfach. Es gibt ja nicht sehr viele Optionen, wenn wir einmal durch den gesamten Zyklus durchgegangen sind. Es gibt nur die Hypothese: Können wir bestätigen? Dann implementieren wir. Super, haben wir gewonnen. Oder unsere Annahme war falsch, dann verwerfen wir sie. Oder vielleicht lagen wir leicht daneben, es hat sich irgendwas verändert und wir hatten noch mal eine neue Idee und wir entwerfen darauf eine Folgehypothese. Das heißt, unser Loop geht nicht mit einem neuen Test los, sondern vielleicht mit einem adaptierten Test vom Anfang, der ein bisschen anders aussieht, weil sich unsere Hypothese in diesem ganzen Prozess einfach geändert hat.Was darüber hinaus ganz wichtig ist im Bereich Learning, ist und das habe ich jetzt auch schon häufiger erfahren, ist A, dass die verschiedenen Testszenarien immer dokumentiert werden intern und so auch immer weitergegeben werden und auch intern crossfunktional genutzt werden, weil sich häufig auch einfach Nutzer erkennen, ähm, Muster erkennen lassen und adaptieren lassen. Und zum Zweiten, wir müssen immer relativ breit, also so breit wie möglich kommuniziert werden, weil es die intrinsische Motivation aller Mitarbeiter, aller Departments extrem erhöht, wenn jeder Einzelne, der an einem Test beteiligt ist und daran arbeitet und wenn es nur ein kleiner Schritt ist, weiß, was er damit am Ende bewirkt. Also dieser Beitrag zum Ganzen ist insbesondere in diesem Bereich Testing extrem wichtig, ja. Es gibt sehr, sehr viele Developer, die im Sprint dann an einem sehr, sehr kleinen Teil des Tests arbeiten und am Ende gar nicht mehr kommuniziert bekommen, was das eigentlich gebracht hat. Da habe ich persönlich die Erfahrung gemacht, dass das sehr, sehr wichtig ist und dass das die Motivation noch mal sehr erhöht und sozusagen diesen gesamten Prozess am Ende noch mal zurückspiegelt und in der Retrospektive Ergebnisse kommuniziert, aber eben auch noch mal kritisch hinterfragt, was ist denn nicht so gut gelaufen aus einer Prozesssicht und was können wir nächstes Mal besser machen? Das Schöne ist, wenn wir von Testen sprechen, insbesondere online, dann kostet euch das im besten Fall gar nichts, außer wir sind Implementierungsaufwand, ja. Das ist jetzt sozusagen der Bonus Tipp am Ende. Das Low Budget Test Setup ist eigentlich total easy, nämlich Tag Manager, Analytics, Optimize und optional noch Otcha. Kennen einige vielleicht, damit kann man sehr, sehr gut, ähm, User Journeys aufnehmen, also den User, den Usern wirklich über die Schulter gucken, was die machen, Screen Recordings und vielleicht noch Survey Monkey, um Umfragen zu integrieren. Und das ist sozusagen schon ein sehr, sehr kleiner, aber basic Tech Stack für den Test-Measure-Learn-Loop. Und das war's. Vielen Dank. Äh, viel Spaß beim Testen. Ich hoffe, dass da der eine oder andere spannende Impuls dabei war und ich kann es nur wirklich empfehlen, weil es sehr, sehr schnell günstig Learnings generiert und weil es immer intern auch Argumente sind für neue Funktionen, für Ideen, die wir umsetzen können und weil es am Ende auch einfach Return on Invest ist mit, ähm, relativ geringem Aufwand. Danke. Jawohl, lieber Maximilian, ganz herzlichen Dank für deinen, wie ich finde, fantastischen und vor allen Dingen, ähm, Vortrag, der sehr nah an der Praxis ist. Danke für die Insights, die du mit uns geteilt hast rund um eure Test-Measure-Learn-Strategie. Und wir haben natürlich die eine oder andere Frage an dich. Ähm, du hast am Anfang davon gesprochen, Maximilian, dass es ja auch ganz wichtig ist, erst einmal in der Lage zu sein, tatsächlich valide Hypothesen aufzubauen und dafür benötigt es eine ganze Menge an Ideen-Input. Du hast es einmal skizziert, dass tatsächlich bei euch Ideen schon aus dem gesamten Unternehmen eben auch dazu beitragen, dass ihr euch verbessern könnt mit eurem E-Commerce-Setup. Wie kann ich mir euren Ideengenerierungsprozess, wenn ich den so nennen darf, denn vorstellen? Das heißt, wie motiviert ihr die Mitarbeiterinnen und Mitarbeiter? Müsst ihr dafür etwas Besonderes tun, etwas Besonderes bieten oder habt ihr eine Firmenkultur, in der so etwas ganz intrinsisch passiert? Da würde ich mich ja einmal freuen, wenn du uns einen kurzen Einblick gibst, wie ihr damit umgeht bei euch. Das ist tatsächlich beides. Also das Beispiel mit dem Urlaub habe ich mir nicht ausgedacht. Ähm, das gab es wirklich mal, das haben wir wirklich mal gemacht. Ähm, es ist aber auch sehr, sehr viel intrinsische Motivation. Also es ist wichtig, offen im ganzen Unternehmen zu kommunizieren, dass diese Ideen immer willkommen sind. Dann ist es wichtig, jemanden zu haben, der das einfach sammelt und der sozusagen auch intern einfach dafür die Verantwortung trägt. Und dann versuchen wir einfach alles offen zu aktivieren, was möglich ist. Also es ist jetzt nicht nur, dass wir das intern machen, sondern wir sprechen auch sehr viel mit Google. Wir nehmen alles, was Kunden auffällt. Wir versuchen, Kundenfeedback strukturiert zu analysieren und daraus Hypothesen, ähm, abzuleiten. Wir machen aber auch Workshops mit Partnern zusammen, wo wir strukturiert auch noch mal daran arbeiten: „Wie formulieren wir überhaupt Hypothesen und wie geht so eine Ideengenerierung?" Das ist so ein, ich sag mal, breiter Mix wirklich, ähm, wie wir das machen und das hat sich in der Vergangenheit als sehr zielführend herausgestellt. Okay, du hast davon gesprechen, dass ihr-- gesprochen, dass ihr sehr kontinuierlich im Testing-Setup arbeitet. Man merkt auch, wie tief du dich mit der Materie auseinandergesetzt hast. Das war ja schon ein kleiner Statistikexkurs, teilweise zumindest in der Hypothesenüberprüfung. Kannst du uns einen Einblick geben, wie viel testet ihr tatsächlich? Das heißt, mit wie vielen unabhängigen Variablen arbeitet ihr parallel oder sukzessive über einen Monat verteilt? Fahrt ihr eher fünf Tests oder je nachdem, wie viel Spend ihr auch habt im TV-Bereich, dann schon eine wesentlich höhere Anzahl? Was kannst du uns darüber verraten? Ja, das kann man tatsächlich so pauschal nicht beantworten. Das kommt auch immer darauf an, wie groß die Testgruppen sind. Ne, also es ist ein Unterschied, ob ich jetzt einen Test auf der Homepage mache oder auf 'ner Kategorieseite. Wir versuchen schon immer, den Traffic so optimal wie möglich zu nutzen. Das heißt also, wir haben eigentlich immer durchgehend mehrere Tests parallel laufen und, ähm, versuchen daraus dann sozusagen unsere Learnings zu generieren. Ähm, das ist sozusagen das grundlegende, ähm, Setup dahinter. Und was jetzt TV betrifft, ja, das kann man noch mal so ein bisschen separat davon betrachten, weil wir haben ja immer auch ein Stück weit das Problem, wir können jetzt die TV-Audience nicht ausschließen aus allen anderen Tests. Ne, das ist immer das Charmante im Online-Bereich. Da können wir immer so Exclusion Groups bilden und können sagen: „Okay, Person X bitte in diesen Test, aber nicht mehr in den anderen Test, ne. Das ist da immer so ein bisschen komplexer, aber generell haben wir immer sehr, sehr viele Tests nebenbei und parallel auch laufen, ähm, und das ist eigentlich in allen Shops.Du erwähnst auch noch mal eure TV-Kampagnen. Die haben ja durchaus auch für breitere Resonanz gesorgt, gerade weil ihr mit drei unterschiedlichen TV-Spots an den Start gegangen seid. Du hast davon gesprochen, dass ihr unter anderem eben auch die Performance eurer TV-Spots an solchen Metriken wie dem Cost per Vision orientiert. Andreas Borg aus unserer Community möchte gerne wissen, ähm, welche Tools ihr unter anderem einsetzt, um den Performance-Impact der TV-Spots zu messen. Sind das die Tools, die du uns auch tatsächlich gerade gezeigt hast und was du für weitere Metriken installiert hast neben dem CPV, um eben tatsächlich auch, ähm, na ja zu entscheiden, welcher TV-Spot dann den maximalen Media Spend bei euch erhält? Ja. Also, am Ende, das kann man, glaube ich, so offen sagen, weil man es ja auch sieht auf der, auf der Webseite, nutzen wir Spotifex dafür, ein Spot-Tracking-Tool. Ähm, wir wissen aber auch ganz genau, wo die Grenzen der Tools da liegen. Da gibt es verschiedene Tools, ähm, die dafür geeignet sind. Ähm, prinzipiell läuft es eben so, dass die Spots automatisiert erkannt werden und dann wird da noch mal ein sehr individualisiertes Attributionsmodell darübergelegt. Und dann wissen wir mit einer sehr, sehr hohen Wahrscheinlichkeit – man kann auf jeden Fall sagen, dass das keine hundertprozentige Wahrscheinlichkeit ist, aber wir wissen mit einer sehr, sehr hohen Wahrscheinlichkeit –, wie die Spots am Ende, ähm, performen, ja. Und, ähm, dann sind das auch die Hauptmetriken, auf die wir schauen. Also wir schauen uns die Response Rates an, ähm, wir schauen uns den CPV an. Es wird dann aber auch langsam irgendwann schwierig, ne. Also sich jetzt den Cost per Conversion auf TV-Werbung anzuschauen, das wird dann schon echt schwierig, weil es einfach sehr, sehr viele Effekte gibt, ja. Also die Direct-Zugriffe werden extrem erhöht. Dann gibt es aber parallel noch ein organisches Wachstum im Markt. Ähm, dann werden wir aber auch in den anderen Kanälen besser. Das-- Also, da haben wir ja schon auch sehr, sehr viele Inter-- Dependenzen zwischen den verschiedenen Kanälen. Wir versuchen das mit 'ner, sagen wir mal, 'ner Abweichung, die uns bewusst ist, zu tracken. Habt ihr in euren TV-Campaigns eigentlich auch Programmatic TV, also Addressable-TV-Anteile mit dabei oder schaltet ihr diese in Anführungsstrichen „klassisch? In Anführungszeichen klassisch. Okay. Was ist der Grund dafür, dass ihr noch im Addressable-TV-Bereich das nicht verlängert? Ja, das ist, das ist tatsächlich so ein bisschen schwierig. Also wir haben da schon mal ein paar Tests gemacht. Die Tests waren aber nicht so zufriedenstellend, wie wir uns das erwartet hatten, ne. Also tatsächlich ist es so, dass klassisch für uns sehr, sehr gut funktioniert. Ähm, es gibt aber einen Teil des Budgets, was wir auch anders verwenden, ja. Es gibt ja neben Addressable TV auch noch mal so 'n anderer, paar andere Plattformen, die die Vermarkter nutzen. Ähm, tatsächlich war das bisher aber nicht so zielführend für uns und hat nicht die Ergebnisse gebracht, die wir uns erwartet hätten. Okay. Eine weitere Frage aus der Community. Esther Barkowski möchte gerne wissen, ob du einen Tipp hast für sie beziehungsweise für Start-ups im Generellen, die noch nicht über ein sehr hohes Budget verfügen, aber trotzdem eben erfolgreich testen möchten. Ist Testing überhaupt eine Frage des Budgets? Sollte man sich bei geringeren Budgets dann eher auf wenige Tests konzentrieren und diese dann möglichst lange laufen lassen, um eine Validität zu erreichen? Was kannst du, äh, den Kolleginnen und Kollegen mit auf den Weg geben, die sich gegebenenfalls das erste Mal dann eben auch dem Thema Test-Setup nähern in dieser Form? Ich glaube, dass in dem, in dem Kontext die Roadmap sehr, sehr wichtig ist, ja. Also da wirklich zu priorisieren bei wenig Traffic und zu schauen: Wie können wir denn mit möglichst wenig Aufwand 'nen hohen Impact erzielen? Und das ist, glaube ich, insbesondere bei Start-ups sehr, sehr wichtig. Und dann noch mal die vorletzte Folie checken mit dem Tech Stack für Low-Budget-AB-Testing. Das ist eigentlich das perfekte Setup für den Beginn, also insbesondere die ersten drei sind ja komplett kostenlos und es geht eigentlich sehr, sehr einfach zu implementieren. Das würde ich definitiv empfehlen. Und dann ist es natürlich immer schwierig mit der Testlaufzeit. Tatsächlich ist es so, dass mit wenig Traffic, ähm, die Tests einfach ein Stück laufen müssen. Da muss man einfach priorisieren: Was sind die wichtigsten Tests? Mhm. Was habt ihr eigentlich für eine Erfolgsquote in euren Testmodellen? Also gerade in den klassischen A/B-Tests, die ja nun auch vom Setup her eben tatsächlich sehr clean und simpel gestaltet werden können, um einen Erkenntnisgewinn zu erzielen. Also wenn ihr testet Hypothese A gegen B, um etwas Neues auszuprobieren, wie häufig ist es dann tatsächlich so, dass ihr euch verbessert? Wie ist die Erfolgsquote? Das ist eine sehr, sehr gute Frage. Ich würde sagen, im Schnitt liegt die vielleicht bei fünfzig bis fünfundsechzig Prozent. Also das Scheitern ist schon ein sehr, sehr wichtiger Bestandteil, ja. Das, ähm, habe ich nicht ohne Grund erwähnt. Ähm, die Frage ist, ob man Scheitern jetzt als Misserfolg wertet, ja. Also ich, ich sehe auch das immer sehr, sehr positiv, weil wir auch dadurch Learnings generieren und am End entstehen dadurch Folgehypothesen oder wir wissen halt, dass wir uns mit einem Thema erst mal nicht mehr beschäftigen müssen. Deshalb, das ist schwer zu beantworten. Ich finde, beides ist irgendwie auch ein Erfolg in gewisser Hinsicht. Okay, vielen Dank. Ähm, Schaab, hast du noch weitere Fragen an den Maximilian? Dann schieß gerne los. Die habe ich. Maximilian, erst mal herzlichen Dank für deine Folien. Also sehr, sehr erfrischend und sehr praxisorientiert. Hat mir sehr gut gefallen. Ähm, Maximilian, du hast ja, du hast ja so ein Stück weit ein Low-Budget-Modell vorgestellt und hast gerade ja auch noch mal auf das Low-Budget-Modell so referenziert. Mich würde natürlich euer High Budget, ähm, oder eure High-Budget-Variante interessieren. Vielleicht kannst du dich dazu gleich noch mal kurz äußern, wenn du magst. Und dann würde mich interessieren, ob ihr erst, äh, den Best-in-Breed-Ansatz verfolgt habt oder jetzt, äh, eher einen All-in-One-Ansatz verfolgt. Also, wie ist die insgesamte technische Infrastruktur bei euch? Ist es eher fragmentiert, Best in Breed, oder sagt ihr eher, wir haben eine All-in-One-Lösung und versuchen, die Daten letztendlich zentral in einem System vorzuhalten? Ja. Also tatsächlich haben wir verschiedene Setups, ähm. Es ist so, dass wir sehr, sehr lange schon mit Optimized Lead zusammenarbeiten. Das ist definitiv auch die teure Variante. Ähm, man muss aber auch sagen, dass Optimized in letzter Zeit sehr aufgeholt hat, also zumindest meiner Meinung nach, und echt sehr, sehr viele Funktionen.Ähm, mittlerweile auch hat, die Optimizely auch hat, plus der three sixty Stack von, äh, Google natürlich auch sehr, sehr spannend ist hinsichtlich Daten, Datengewinnung und auch, ähm, actionable Audiences, ja, und, und auch Personalisierung am Ende. Ähm, deshalb, also wir haben sowohl Optimize als auch in einigen Shops Optimizely, also nie beide gleichzeitig, aber beide Varianten, ähm, implementiert. Deshalb kennen wir auch ganz gut die Zusammenarbeit mit den, mit den verschiedenen Tools, ähm, für den Start optimals einfach super. Ansonsten ja, was Best in Breed angeht oder All in One. Wir haben schon die Herausforderung, dass wir, sagen wir mal, gerne Richtung All in One gehen würden, das aber noch nicht der Fall ist. Also wir bewegen uns da langsam hin, aber es ist schon so, dass wir an sehr, sehr vielen verschiedenen Stellen einfach Daten auch haben im Unternehmen und das gerade auch eine Herausforderung ist, das zentraler-- Ne, das ist nicht schlecht, aber es geht natürlich besser, das zentraler zusammenzuführen, um am Ende, sagen wir mal, noch flexibler und noch besser im Testen zu werden und um Daten auch einfach noch besser für uns nutzbar machen zu können. Das ist schon 'ne aktuelle Herausforderung. Ich glaube aber in ganz, ganz vielen Unternehmen im Moment. Ja, absolut. Und Maximilian, das Thema Schnittstellen ist ja auch noch mal ein ganz, ganz wichtiger Punkt. Du hast gerade das Thema All in One angesprochen. Ihr würdet ganz gerne, aber wahrscheinlich müsstet ihr zu viele Kompromisse machen. Deswegen geht ihr wahrscheinlich teilweise immer noch den Best-in-Breed-Ansatz, so wie du es gerade auch dargestellt hast. Ähm, inwieweit hat sich die Arbeit in deiner Abteilung, auch was API, Schnittstellen und IT- und Softwarekompetenz angeht, noch nur mal gewandelt? Also siehst du hier noch viel, viel höheren Demand, auch in deiner eigenen Abteilung, sich mit, äh, vor allem Schnittstellenthematiken auseinanderzusetzen? Ja, total. Also i-i-wir haben auch einen MarTech-Manager ausgeschrieben. Nur so. Also wenn sich jemand-- Wenn jemand Interesse hat, gerne melden. (übersprechen 00:02:14) Nein, nein, also definitiv. Also sowieso finde ich, dass gerade auch ein Shift stattfindet, ja. Also viel im Bereich Onlinemarketing bewegt sich Richtung Data und Tech. Also es ist super wichtig, auch für alle Mitarbeiter im Team, sich da weiterzubilden und da dranzubleiben. Ähm, was Schnittstellen angeht, ja klar. Also wir arbeiten suuuuper-eng mit unserem Software-Development-Team zusammen. Ähm, wir brauchen immer Mitarbeiter, die sich auf Augenhöhe mit unseren Developern unterhalten und aber umgekehrt. Wir brauchen auch Developer, die ein sehr, sehr gutes Verständnis vom Marketing haben. Anders kann diese Zusammenarbeit, ähm, gar nicht funktionieren und das ist sehr, sehr wichtig. Und das funktioniert aber auch, auch ganz gut im Alltag. Also da haben wir, glaub ich, schon die, die Profile sehr, sehr gut entwickelt. Cool. Vielleicht noch 'ne abschließende Frage von meiner Seite aus. Äh, das Thema DMP, CMP. Wie ist da eure konkrete Positionierung? Wie stehst du persönlich auch zu dem Thema? (seufzt) Ja, (lacht) ja, ähm, ja, äh, CMP ist halt irgendwie notwendig, ne? Ähm, und, äh, und machen wir und, und, ne? Und, äh, ja, was DMP betrifft, (holt Luft), ja, auch das. Also, was soll ich dazu sagen? Wir müssen halt gucken, wo sich das in Zukunft dann, dann irgendwie, ähm, weiterentwickelt und wo sich das hinentwickelt, ne? Das ist halt irgendwie die große Frage. Also, DMP brauchen wir, am besten allumfassend mit sehr, sehr vielen Daten, die wir irgendwie gerade haben im Unternehmen. Hatte ich ja gerade schon gesagt, die wir irgendwie zusammenführen müssen und wo wir dann irgendwie auch gucken müssen, was können wir davon nutzbar machen und wie? Wir haben auch, auch, auch 'n spannender Punkt. Wir haben auch immer die Herausforderung, beispielsweise bei .......................... Und bei ..........., dass wir Policy Restrictions gegenüberstehen, ja. Also was können wir am Ende überhaupt mit den Daten machen? Also, so die eine Frage ist: Wie führen wir alles zusammen? Wo führen wir es zusammen? Wie ist der Tech Stack dahinter? Und was machen wir dann aber auch am Ende damit? Und wie machen wir das sozusagen actionable? Das sind immer, ähm, immer sehr, sehr, sehr, sehr wichtige Herausforderungen, vor denen wir gerade stehen. Und, ähm, ja, da muss man sagen, haben wir in der Vergangenheit auch sehr viel auf Custom Tools gesetzt und das ist, glaub ich, was, was sich jetzt auch in Zukunft hören muss. Okay. Ja, mit Sicherheit ein richtiger Hinweis in eurem Fall, auch was das Thema Policy angeht. Ja, klasse. Vielen Dank, äh, Maximilian. Und ich würde jetzt wieder abgeben in deine Richtung, Mario. Jawohl, es gibt tatsächlich noch die eine oder andere Frage aus der Community. Vielleicht hast du, Maximilian, auch noch Zeit, gleich ein paar Minuten auf unserer Plattform zu bleiben- -und mit den interessierten Personen noch in den direkten Dialog zu treten. Bin sehr gespannt, wie die Cocktail Tables gerade laufen, weil wir sind tatsächlich am Ende deiner Session angelangt. Ganz herzlichen Dank, dass du heute unser Gast gewesen bist und wie ich finde, einen super Vortrag mitgebracht hast mit vielen praktischen Insights aus deinem Tagesgeschäft. Wir gehen jetzt ganz kurz in die Pause und dann geht es auch in ein paar Minuten schon weiter mit dem nächsten Vortrag. Also bleibt dran. Bis gleich. (moderne elektronische Musik)