Video: Conversion Optimierung (Best of 2100 A/B Tests)

(Mikrofongeräusch) Ja, hallo und herzlich willkommen hier im Kosmos, dem ehemaligen DDR-Kino in Berlin. Heute sprechen insgesamt dreißig Speakerinnen auf insgesamt drei Stages zu den Themen Digital Business, Marketing und Innovation. Wir befinden uns hier auf der Blue Stage der OMKB presented by Adbaker. Und Adbaker ist hier genau das richtige Stichwort. Mein Name ist Stephanie Sandig und ich bin Teil des Teams der Firma Adbaker, einer Performance-Marketing-Agentur aus Köln, spezialisiert im Bereich Facebook- und Instagram-Advertising. Heißt also, nicht nur die Aftershowparty ist heute presented by Adbaker, (Mikrofongeräusch) sondern auch-- jetzt ist mein Ton weg, ja, hört man mich noch? Ja, sondern auch eben diese Blue Stage heute mit meiner Wenigkeit. Ich freue mich also, euch heute durch diesen Tag begleiten zu dürfen und will euch jetzt gar nicht lange langweilen. Deshalb würde ich sagen, starten wir direkt mit unserem ersten Vortrag. A/B-Tests haben meist zwei Ziele. Zum einen, die Website für den User zu verbessern und zum anderen, den Betreibern zu mehr Umsatz zu verhelfen. Doch was genau macht einen guten A/B-Test denn aus? Und wie kommt man auf die zielführenden Hypothesen und was kann man sich vielleicht von anderen abschauen? Genau dazu spricht heute hier Thomas Grole, Gründer und Gesellschafter von Lieb Digital Marketing, einer Spezialagentur, äh, für SEO und Conversion-Optimierung. Er arbeitet auf strategischer Ebene und begleitet Internationalisierungen, Relaunches und andere Projekte im Unternehmen. Außerdem ist Thomas für die Weiterentwicklung von Dienstleistungen im Unternehmen verantwortlich. Ich begrüße also jetzt Thomas Grole mit seinem Vortrag Conversion Optimierung, Best of two thousand one hundred A/B-Tests. Super. Vielen herzlichen Dank. (Applaus) So, schönen guten Morgen. Ähm, ich hoffe, euch geht's allen gut. Äh, ich hoffe, ihr seid wach, ähm, kognitiv bereit, äh, für den ersten Vortrag. Ich kann schon sagen, mindestens, eigentlich auch im ersten Teil, aber mindestens im zweiten Teil müsst ihr sehr aktiv mitdenken, äh, und auch mitmachen, damit es funktioniert. Ähm, aber (räuspert sich) fangen wir erst mal mit dem ersten an. Heute geht es um A/B-Testing. Äh, wer hat denn Erfahrungen mit A/B-Testing? Einfach mal kurz Hand hoch, ne, dass ich mal so 'n Eindruck bekomme. Na ja, immerhin, Hälfte, bummelig. Äh, das ist schön und begrüßenswert. Ähm, kurz zu, äh, A/B: Lieb macht als Agentur, äh, praktisch zwei Dinge, nämlich einmal SEO in, in der kompletten Ausprägung und Conversion-Optimierung, äh, mit 'nem hohen Fokus auf Psychologie, auf A/B-Testing, ähm, Design und Personalisierung. Und heute soll's ja praktisch genau um das zweitere Thema gehen, äh, um CAO und da genau um A/B-Testing. Und, äh, ja, nur noch drei Facts zu uns. Wir haben knapp neunzig Mitarbeiter, hundert Kunden, sind jetzt seit 2009 am Markt, ähm, äh, haben 'n ziemlich großen Fokus auf E-Commerce. Das sind so achtzig Prozent unserer Kunden. So, und damit will ich's mal bewenden lassen. Ähm, fangen wir erst mal ganz generell an. Äh, wenn wir, äh, mal ans echte Leben denken, ähm, mit diesem Bild, ja, äh, sagen wir mal, ihr habt zwei Azubis, hat eure Firma und der Max, der verkauft zehn Produkte am Tag und die Laura, die verkauft fünfzehn Produkte am Tag. Dann ist ja erst mal relativ klar, äh, wen man, äh, äh, sozusagen anhand dieser KPI übernehmen würde, nehme ich die Laura. Und, äh, weil die Laura der bessere Verkäufer ist. Ähm, und euer Shop ist ebenfalls ein Verkäufer. Und, ähm, wenn ihr es mal so überlegt, hat euer Shop eine ganze Menge zu tun. Der muss nämlich zum richtigen Produkt führen und beraten, der muss vom Angebot überzeugen, alle offenen Fragen beantworten, er muss Einwände erkennen und behandeln, er muss das Add-on dazu verkaufen und er muss den Wiederkauf vorbereiten. Und das soll alles dieser Onlineshop leisten. Und wenn wir jetzt mal, ähm, in diesem Bild bleiben, dann ist A/B-Testing letztendlich nichts anderes als 'ne Methode, den besseren Verkäufer zu finden und zu behalten, und zu behalten. Der, der zweite Nachsatz auch sehr wichtig. Und jetzt vergleichen wir mal die Laura mit dem Onlineshop, ne. Die Laura hat 'ne wahnsinnig gute Conversion-Rate, äh, weil die fünfzig von hundert Kunden überzeugt. Ähm, ähm, ist auch logisch, ne, die fahren extra in den Shop hin und die Laura kann das viel individueller machen, kann richtig auf, äh, äh, auf die Kunden eingehen, ähm, und da hat's der Shop schwieriger. Jetzt nehmen wir mal den Shop hier, hat zum Beispiel ne neun von hundert, der hätte ne Conversion-Rate von neun Prozent und stinkt natürlich gegen diese CR ab, aber der Vergleich ist natürlich auch, ähm, wie gesagt, nicht ganz fair. Trotzdem kaufen immer mehr Menschen ein. Also ist die Frage: Wie optimiere ich, äh, meinen, meinen wichtigsten Verkäufer, nämlich den digitalen Verkäufer, den Onlineshop? Und, ähm, wenn wir mal, äh, in der Analogie bleiben mit der Laura. Jetzt haben wir die Laura genommen, weil die die meisten Produkte verkauft. Und jetzt würde ein smartes Unternehmen zumindest sagen: „Okay, die Laura, die ist richtig gut. Ähm, ich investier jetzt Geld in Fortbildung, ähm, dann macht die nämlich mehr Umsatz irgendwann, ein Rhetorikseminar oder was weiß ich was. Ähm, und das würde man eigentlich tun. Und Conversion-Optimierung und A/B-Testing ist letztendlich auch 'n Prozess, um, äh, euren Shop dann kontinuierlich zu verbessern und fortzubilden, um mal in diesem, äh, Bilde zu bleiben. Und die Frage ist: Wie gut klappt die Ausbildung eures Shops, ähm, und wer sind die Trainer? Und das sind--, die zwei Sachen sind die Kernfragen, die dadrüber entscheiden, ob ihr langfristig eine hohe CR haben werdet oder nicht. Und CR0 lässt sich letztendlich sehr einfach beurteilen mit 'ner einfachen Formel. Und, äh, eine einfache Formel, die letztendlich maximale Transparenz über den Erfolg der Bemühungen gibt, nämlich einmal ein Teil, ähm, mit-Des Ganzen sind die Anzahl der Tests, nämlich die Versuche, die ihr durchführt, euren Shop, eure Webseite besser zu machen. (hörbares Einatmen) Das Zweite ist die Erfolgsquote, also wie viel davon sind erfolgreich, statistisch signifikant positiv, ähm, und das Dritte ist, wie ist der Impact, also das Ausmaß der Steigerung und, äh, das ergibt letztendlich n Umsatz-Uplift. Und, ähm, wenn man mal drauf guckt, dann ist es relativ einfach, es ist ja n Produkt, also, äh, wenn nur ein Faktor verdoppelt wird, äh, dann verdoppelt sich der Gesamteffekt. Und eigentlich, wenn man A-B-Testing macht und Conversion-Optimierung macht, muss man genau diese drei, äh, Faktoren im Griff haben. (hörbares Einatmen) Und, ähm, dann ist es letztendlich so, äh, wenn das Ganze, wenn ich vernünftig wachse, dann mache ich mit nem guten Conversion-Rate-Optimierungsprogramm zehn, zwanzig Prozent, äh, Umsatzzuwachs hier over here. Und dann ist es so wie bei einer Kapitalanlage, äh, es gibt n Zinseszinseffekt da drauf. Also in anderen Worten, im ersten Jahr gehe ich von hundert auf hundertzehn, ähm, im zweiten Jahr gehe ich von hundertzehn auf hunderteinundzwanzig. Und, äh, CAO ist also eben auch eine, äh, letztendlich ne langfristige, ähm, Disziplin. (hörbares Einatmen) A-B-Testing, CAO funktioniert, egal was eure Webseite macht. Hauptsache, sie hat eine, eine Transaktion, n Conversion-Ziel. Das funktioniert bei E-Commerce, bei Leadgen, ähm, bei Click-out-Modellen, bei noch mal Click-out-Modellen, ähm, äh, bei Marktplätzen, äh, es funktioniert bei B2C, bei B2B, es funktioniert weltweit, ja, relativ kurz gesagt. (hörbares Einatmen) Und, ähm, jetzt ist immer die Frage: Wo fängt man denn an und, äh, wie kommt man denn eigentlich zu guten Hypothesen? Ähm, und an der Stelle, ähm, sprechen wir immer gerne über diese zwei Bücher, vor allem das erste, äh, das linke, Schnelles Denken, Langsames Denken vom Kahnemann. Ähm, ich hoffe, der eine oder andere von euch hat's gelesen. Ich geb euch jetzt mal den Blink in, äh, in einer Minute und erkläre ich auch gleich noch mal die Relevanz und was das mit Conversion-Optimierung und A-B-Testing zu tun hat. (hörbares Einatmen) Ähm, der Kahnemann hat letztendlich gestellt, dass Menschen in zwei Systemen denken. Und da gibt es einmal n schnelles System, das schnelle Denken. Das läuft unterbewusst ab, ähm, intuitiv, schnell, instinktiv. Das ist genau das, was passiert, wenn ihr fahrt mit dem Auto, die Ampel springt auf rot, ähm, dann denkt ihr jetzt nicht nach: „Na, wie doll muss ich denn die Bremse drücken, damit ich, äh, den sieben Komma fünf Meter, äh, Weg bis zur Ampel schaffe", sondern ihr geht automatisch auf die Eisen, ja? Das ist der Autopilot. Ähm, das ist dieses System eins. Und das System zwei ist, ist dann ganz anders. Das ist rational, logisch, äh, berechnend, ja? Das, äh, schöpft seine Urteile aus Erfahrung und das kommt immer dann zum Einsatz, wenn's irgendwie rattert, beim Autokauf, bei ner schweren Entscheidung. Äh, wenn ich euch sage, fünfhundertsiebenundneunzig mal vierhundertvierunddreißig, rechnet es mal bitte aus, ja? Das ist System zwei. (hörbares Einatmen) Und, ähm, Kahnemann hat das letztendlich so kategorisiert und, ähm, was er rausgefunden hat und was halt so bahnbrechend ist, äh, ist, dass er sagt, dass Menschen (hörbares Einatmen) fünfundneunzig Prozent ihrer Entscheidungen in diesem System eins, äh, treffen und nicht im System zwei, also in diesem schnellen System. Und wir denken immer, wir sind so rational und logisch. Nein, sind wir nicht. Wir sind fünfundneunzig Prozent im Autopiloten unterwegs. (hörbares Einatmen) Und dieses System eins funktioniert letztendlich nur, weil es bestimmte Abkürzungen nehmen kann. Solche Abkürzungen, äh, wie Verlustaversion kennt man vielleicht, Social Proof, schon fünf haben das gekauft und Ankereffekt und Halo-Effekt. Und, äh, jetzt kennt ihr bestimmt n paar E-Commerce-Webseiten, die setzen das ein wie die Weltmeister, so booking dot com, da kennt man das ja immer. Weil ihr Online-Marketer seid, nervt euch das. Ähm, ihr seid da aber total biased, ähm, äh, denn, äh, letztendlich funktionieren sie eigentlich ziemlich gut. (hörbares Einatmen) Und von diesen kognitiven Verzerrungen gibt's, äh, über hundert, die, äh, irgendwo wissenschaftlich beschrieben sind. Tendenz stetig steigend. Ähm. Und im E-Commerce wird nur ein relativ geringer Teil davon, äh, eingesetzt bis dato. (Lippenschmatzen) Und ich will einfach mal ein Beispiel geben. Ähm. Äh, ja, n ganz nettes ist und das heißt, äh, eine dieser kognitiven Verzerrungen, die heißt Commitment und Konsistenzien. (hörbares Einatmen) Was bedeutet das? Das, äh, hier steht's, das bezeichnet das menschliche Verlangen, sich in allen Lebenslagen widerspruchsfrei zu verhalten. Es gibt ja dieses geflügelte, äh, Sprichwort „Ein Mann, ein Wort", ja? Und, äh, das bedeutet, wenn ein Mensch ne Zusage macht, irgendwas zu tun, ähm, äh, dann fällt's ihm relativ schwer, das zu brechen. Und noch schwerer fällt's ihm, zum Beispiel, wenn ich jetzt, wenn ich mal sagen würde: „Okay, ich möchte-- ich rauche, ich möchte aufhören mit Rauchen, ähm, äh, dann wäre das das Effektivste, wenn ich meine ganzen Freunde und Familie einlade, die setze ich hier hin und dann sage ich: „Liebe Freunde, liebe Familie, ich werde aufhören mit Rauchen. Ich gebe also ein öffentliches Commitment. Und dieses Commitment, ähm, das möchte ich unbedingt einhalten. Ähm, warum? Weil die Gesellschaft denkt, wer ein Commitment nicht einhält, ist einfach dumm. Ja? Ähm, und, äh, das heißt so in etwa diese, äh, diese Heuristik. Und jetzt so die Frage: Wie wendet-- Wie könnte man das denn auf einer Webseite anwenden? (hörbares Einatmen) Ich rede ein bisschen schnell, aber ich bin ein bisschen unter Zeitdruck. Zum Beispiel hier, ihr seht hier links, wie ne Hypothese formuliert ist. Das kennt ihr bestimmt. Wenn, dann, weil. Wenn ich irgendwas mache, dann wird das passieren, weil Begründungen. Und, ähm, ihr seht hier so einen Cookie-Banner und jetzt haben wir die Hypothese aufgestellt, wenn unsere Texte den Nutzern deutlich machen, dass sie schon eine Entscheidung für uns, für den Shop getroffen haben, dann wird die Sales-CR ansteigen, weil sie im Einklang mit dieser bereits getroffenen Entscheidung auch eine Kaufentscheidung treffen werden. So ist das jetzt mal formuliert. Ähm, klingt, äh, äh, ja, klingt kompliziert, relativ einfach, den, äh, den Name verpixeln müssen. Aber, äh, hier ist ein Beispiel, wo wir es getestet haben. Äh, das ist n Kunde, da kommt das Cookie-Layer am Anfang.Ähm, und weil die das Ganze mit und ohne Mehrwertsteuer anbieten, ähm, haben wir-- gibt's dann noch die Abfrage, ob der Privat- oder Firmenkunde ist. Und oben stand jetzt praktisch da, ähm, "Bitte, ähm, wählen Sie Ihre Cookies" oder irgendwie sowas. Und wir haben es einfach nur geändert in "Wir freuen uns, dass Sie sich für 'Name der Marke' entschieden haben". So, und das, (rauschen) das passiert, ähm, sozusagen, wenn der Nutzer, ähm, das erste Mal auf die Seite kommt und wir haben das Ganze getestet, ähm, hatte eine Signifikanz von sechsundneunzig Prozent, also statistisch signifikant. Man kann dem Ergebnis ?????? , ähm, und hat einen Sales Uplift, also auf die CR von neun Komma drei vier Prozent gebracht. Und das zeigt, was solche Heuristiken bringen können. Und, ähm, (Räuspern) das erst mal so zum, zum Grundprinzip, ähm, und letztendlich auch zum Zusammenhang, ähm, Psychologie und, ähm, Conversion Optimierung und A/B-Tests. Und im zweiten Teil möch-ich was mit euch machen. Damit das funktioniert, müsst ihr alle mitdenken und aktiv sein. Und, ähm, ich werd' euch jetzt ein paar A/B-Tests zeigen, die wir gemacht haben, ähm, in unterschiedlichen Bereichen. Und dann werde ich euch bitten abzustimmen, welche Variante gewonnen hat. Und, ähm, die Abstimmung wird immer so sein. Es wird 'ne Option null geben, die könnt ihr so hier anzeigen. Dann gibt es eine Eins, eine Zwei, eine Drei und die, ähm, könnt ihr dann praktisch so anzeigen in dem Moment, wo ich sage. Ähm, und dafür müsst ihr gut mitdenken, ähm, und die Hypothesen einmal durchdenken. (drei Sekunden Pause) Wir fangen mal hier an bei der Vorteils kommunikation. Ähm, wir hatten hier, ähm, alle Beispiele sind so ein bisschen verfremdet, dass man den Kundennamen nicht sehen kann, äh, aber wir hatten hier zwei Shops. Das eine war ein Möbel- und Einrichtungsshop und des andere ein Streetwear-Shop. Und, ähm, beide diese Shops hatten keine Vorteilskommunikation im First View. Und dann haben wir die Hypothese aufgestellt, wenn in der First View direkt Vorteile sichtbar sind, dann werden mehr Nutzer kaufen, weil ihnen durch die Vorteilskommunikation versichert wird, ähm, dass für sie mit der Bestellung kein Risiko gebunden ist. Das war jetzt die Hypothese. Und was haben wir gemacht? Ähm, wir haben praktisch, ähm, im First View oben, das seht ihr, diesen kleinen Balken, kostenlose Rücksendung, Kauf auf Rechnung, haben wir bei beiden letztendlich Vorteile eingeblendet, die so durchswitchen. Das heißt, man sieht immer einen auf der mobilen Version und nach 'ner Sekunde oder nach zwei Sekunden switcht der zum zweiten und dritten Vorteil durch. Und, ähm, letztendlich haben wir das jetzt bei beiden Shops laufen lassen und meine Frage euch für euer Voting ist, ähm, wer hat gewonnen? Option Nummer eins ist der erste Shop, also der Links. Option Nummer zwei, der zweite Shop. Option Nummer drei, keiner. Option Nummer vier, beide. Maik und Justina dürfen nicht mitmachen. (Lachen) Die wissen's nämlich. So, und deswegen würd ich sagen, denkt mal kurz nach. Mit, ähm, Handzeichen an und, ähm, ich würde sagen, leg los. Fünf, vier, drei, zwei, eins. Puh. So, und wer wertet das jetzt aus? Ähm, äh, (Lachen) eins, zwei, vier, zwei, drei, quer durch den Gemüsegarten. Sehr schön. Also sehr quer durch den Gemüsegarten, ne? Was ich jetzt gesehen habe-- hab ich 'ne fünf gesehen irgendwo? Ich glaub nicht. Ähm, also wenn, dann, (Lachen) dann wär die definitiv raus. Gucken wir mal drauf. Ähm, die erste Variante tatsächlich, dieser Shop eins hatte tatsächlich minus acht Komma fünf Prozent auf den Aufruf des Warenkorbs. Das heißt, es war schlechter und der Sale ist zwei Prozent runtergegangen. Zwei Komma eins Prozent, also Sale bedeutet die Conversion-Rate. Das war aber nicht signifikant. Wir haben das vorher abgebrochen, weil wir gesehen haben, dass der Trend negativ war. Mit der gleichen Änderung in etwa hat der andere Shop eine sieben Komma acht neun Prozent gemacht, ähm, und ist angestiegen. So ist die Frage: Kann das sein? Ja, selbe Hypothese, zwei unterschiedliche Shops irgendwie gleich umgesetzt, auch so von der Art her. Warum funktioniert's bei dem einen? Warum bei dem anderen nicht? Ähm, unsere Hypothese dahinter ist, ähm, ist, dass dieser Home-und Living-Shop tendenziell eine ältere Zielgruppe hat, ähm, die mit den schnellen Bewegungen, ähm, also wenn praktisch die Vorteile durchwechseln, nicht klarkommt, während die jüngere Zielgruppe, die im Streetwear-Bereich ist, ähm, damit ganz gut klarkommt, ne. Die kennt das, die sind jünger, die sind impulsiver, dynamischer und deswegen kommen sie damit klar, ähm, und, ähm, können sozusagen damit interagieren. Was wir da mitnehmen können, eine ganz wichtige Lektion und warum ihr nicht jetzt anfangen solltet, diese Hypothesen abzuschreiben und bei euch auf der Seite einfach einzubauen, ohne sie zu vertesten. Was bei Shop X funktioniert, muss noch lange nicht bei Shop Y funktionieren. Ähm, und das ist eine der, eine der größten Misskonzeptionen. Ich habe erst gestern wieder mit einem Kunden gesprochen, der hat gesagt, ähm, weil wir machen so A/B-Testing auch erfolgsbasier, dass wir praktisch nur für einen Erfolg bezahlt werden. Und dann hat er gesagt: „Hier, Krule, macht doch da nur die ganzen einfachen Sachen. Ihr wisst doch eh, dass sie funktionieren. Ja, und dann zahle ich für jeden Test, aber das ist nicht so. Wir wissen nicht, dass es funktioniert. Es muss getestet werden. Was für den einen funktioniert, muss für den anderen noch lange nicht funktionieren. Kommen wir mal zum zweiten Test. Ähm, Verlustaversion. Maik, ich will mit dir ein Spiel spielen. Das geht so: Ähm, ich sag dir, wir werfen eine Münze und, ähm, wenn's Kopf trifft, dann kriegst du von mir hundertfünfzig Euro. Wenn's Zahl ist, kriege ich von dir einen Hunderter. Möchtest du dieses Spiel mit mir spielen? (lacht leise)(lacht) Ich werf die. Ich bin auch fair. Ja. (lacht) Ich glaube, Mike kennt das eventuell auch schon. Er hat aber nein gesa-- Die meisten würden Nein sagen. Das zeigen Studien. Ähm, Verlustaversion bedeutet, dass Menschen, ähm, den, den gleichen Wert, äh, den, sag mal, den Lustgewinn, den sie haben, wenn sie das gewinnen, ähm, der Schmerz ist doppelt so groß praktisch. Also der Sch-- der Schmerz auf den Verlust desselben Wertes wiegt doppelt so hoch als der Gewinn des, äh, dieses Wertes. Das bedeutet Verlustaversion. Und das ist ne Sache, die man häufig gut in Onlineshops triggern kann. Gucken wir mal, wie gut man das hier kann. Äh, ihr seht hier wieder zwei Onlineshops links, einer, der macht so Sleepwear, Unterwäsche und so was in der Drehe. Äh, rechts, äh, ist ein Shop, der macht Streetwear, äh, wieder, glaube ich, derselbe. Und die Hypothese war praktisch: Wenn den Nutzern signalisiert wird, dass die von ihnen ausgewählten Produkte nur begrenzt verfügbar sind, dann werden sie den Kauf eher abschließen, weil sie einen Verlust des potenziellen Kaufs vermeiden wollen. Und, ähm, äh, jetzt ist die Frage: Welche dieser Varianten hat gewonnen? Wenn ihr mal reinguckt, dann seht ihr in der linken Variante, seht ihr hier oben, Artikel im Warenkorb werden nicht reserviert. Und in der rechten Variante seht ihr das auch über zur Kasse, Artikel im Warenkorb werden nicht reserviert. Und jetzt ist wieder meine Frage: Ähm, ihr seht oben die Option, äh, Nummer eins, Shop eins hat gewonnen, Nummer zwei, Shop zwei hat gewonnen, Nummer drei, keiner, Nummer vier, beide. Denkt mal kurz nach. Und dann würde ich sagen, fünf, vier, drei, zwei, eins. (Klatscht in die Hände) Wir machen das mit Buzzer in der Zukunft. Ähm ... (lacht) Ja, alles bar-- Es ist auch wieder relativ quer durch. Ich meine aber, mehr zwei gesehen zu haben. Ähm, meine ich. Ähm, und es wäre richtig. Also wir sehen hier, die erste ... ... aber bei eins ist dir nicht aufgefallen hier oben? Ja, kann natürlich immer mit der Position auch zusammenhängen, ne. Ist ja total drin. Ähm, äh, was wir jetzt sehen, ja, der erste Shop macht eine minus sechs Prozent, äh, und der zweite macht eine plus drei Prozent. Ähm, und das bläst eigentlich auch wieder ins gleiche Hörn, äh, Horn. Ähm. (lacht) Ihr seht, äh, äh, praktisch, es gibt Zielgruppen, mit denen kann man so was machen. Äh, die kann man sozusagen treiben. Und wenn ich Verlustaversion triggere, dann, ähm, äh, dann sagen sie: „Okay, ich will das nicht verlieren. Ich mach's." Es gibt aber auch Zielgruppen, die fühlen sich davon getrieben, die reagieren genau auf-- Und deswegen sehen wir hier eben auch nen, äh, nen signifikanten Downcast von sechs Prozent, ähm, also praktisch genau das Gegenteil und auch, äh, das unterstreicht das, was ich in Lektion eins gesagt habe. Jetzt gucken wir mal auf n weiteren Test, und zwar ging es hier um, äh, die Verwendung eines Add-to-Cart Buttons. Eine Frage? Nee. (wartet bis 0:03:52) (lacht) ... 0,53. Könnte man mit FOMO übersetzen. Man könnte es aber nicht mappen auf, äh, bei älterer Zielgruppe funktioniert's oder bei älterer funktioniert's nicht. Äh, nee, man würde in der Regel, wenn man jetzt sagt, welche Heuristiken funktionieren in welcher Zielgruppe, kommt man mit demografischen Faktoren, so wie Alter, Wohnort, äh, Geschlecht und so, äh, kommt man n bisschen weiter, äh, aber nicht endlos weit und spannender wäre es, äh, auf psychographische Faktoren zu gucken. Also man kann häufig eher, äh, auf Basis einer Limbic Map oder eines Motivkompasses, ähm, mappen, dass zum Beispiel die (Stimmengewirr) in der Ecke unten nichts ist, empfänglicher ist für diese und jene Heuristik. Ähm, äh, aber nur beim Alter, dass man sagt, okay, weil die sechzig sind oder so, ähm, äh, funktioniert bei Sechzigjährigen niemals, diese Hypothese. Das ist, glaube ich, nicht der Fall. Gut, ich muss weitermachen. Äh, Add to Cart auf der Kategorieseite sieht man relativ-- sieht manchmal, ne, dass Onlineshops haben auf der Kategorieseite die Option, das ganze Ding schon in den Warenkorb zu legen. So, der Test, hier müssen wir jetzt ein bisschen aufpassen, der ist ein bisschen komplizierter. Ähm, wir haben ja diese wunderschöne Seite, ähm, und dann haben wir uns so gedacht, das Design der Seite wirkt irgendwie unordentlich und nicht vertrauenswürdig und das könnte dazu führen, ähm, dass neue Nutzer abspringen, weil einfach auch in manchen Fällen unklar ist, welches Element zu welchem Produkt gehört und da, das, das trickt an so zwei Themen, nämlich Trust und, äh, das Gesetz der Nähe. Und dann haben wir mal gesagt, ihr seht ja, ne, hier oben der Kaufen-Button, der hängt da auf halb acht. Da oben steht noch irgendwas mit ner Auswahl und, äh, das eine Produkt, äh, Bild ist irgendwie kleiner. Also es ist alles nicht bündig schwer zu erkennen, was zueinander gehört. Dann haben wir gesagt, wenn es eine klare Struktur im Layout gibt, dann werden die Nutzer eher kaufen, weil sie die Webseite als vertrauenswürdiger empfinden und es ihnen leichter fällt, die Angebote zu verstehen. Das war jetzt mal so die Hypothese. Und dann haben wir da draus das hier gebaut. Rechts-- Ich glaube, man sieht es auch noch mal näher. Ich hab mal so ein bisschen reingezoomt und dann seht ihr, hier ist alles ein bisschen aufgeräumter, so wie wir das gebaut haben, rechts. Jetzt ist meine Frage: Welche der Varianten hat gewonnen? Einmal die null für das Original oder die eins für die Variante eins. Ähm, fünf, vier, drei, zwei, eins, go. Null und ganz viel eins. Ganz viel eins. Zwei.Ja, hauen wir rein. Habt ihr leider nicht recht. Also ihr seht es, die Variante eins hat zwar eine höhere Add to Card Rate, mehr Leute klicken praktisch Add to Card Button, aber weniger Leute kaufen. Und wir haben den Test dann auch irgendwann abgebrochen, weil wir gemerkt haben, der hatte jetzt nur siebenundachtzig Prozent Signifikanz auf dem Sale. Man hat aber schon gemerkt, ahhhm, die Variante rechts, wo wir sagen, Mann, die ist doch besser gestaltet, ahhh, die ist doch, ahhh, ahhh, die Informationen sind besser zu erfassen und sie performt schlechter. Was haben wir jetzt gemacht bei einem Test, wenn man den durchführt, dann ist es wichtig, nicht nur die CR zu messen und einen Add to Cart, sondern ... Geht das so besser? Ja, okay. Ahhhm, danke. Sondern so viele Informationen wie möglich mitzutracken, hinterher auswerten zu können und zu verstehen können, wie es eventuell zu diesem Ergebnis gekommen ist. Und das haben wir hier gemacht und haben uns einfach mal die ganzen gemessenen Sekundärziele so angeguckt und ich gehe jetzt nicht so riesig rein, aber was wir gemerkt haben, ist dass, ahhh, weil wir ja praktisch überall dieses diese Produkt Kachel angepasst haben, nicht nur auf der Kategorie, sondern auch auf Suchergebnisseiten. In Rekurs drin haben wir überall dieses neue Kachelmuster verwendet und es führte schon dazu, dass praktisch überall, wo dieses neue, diese neue Kachel verwendet wurde, dass der Add to Card nach oben ging und eine Metrik hat es aber komplett runtergezogen und zwar der Add to Card auf Produktdetailseiten. Und ahhhm deswegen ist praktisch das Ergebnis insgesamt runter gegangen. Und dann haben wir auch noch mal reingeguckt und haben wir zwei ahhhm Sachen verglichen, nämlich die Nutzer mit ahhh mit inter mit verschiedenen Interaktionen. Und dann haben wir gemerkt, vor allem seht ihr vielleicht rechts unten, dass sozusagen die Add to Cards auf den Produktseiten bei der vermeintlichen Verbesserung unserer Variante runtergegangen ist. Was wir dann gemerkt haben, jetzt haben wir praktisch eine Folgehypothese aufgebaut, basierend auf den Daten, weil wir jetzt gedacht haben, okay, ahhhm es packen zwar mehr ein Produkt auf einer Kategorie, auf einer Suchergebnisseite, in der Reco in einen Warenkorb, es kaufen aber weniger. Wie kann das sein? Ja, ahhhm und jetzt war unsere Folgehypothese, ahhhm dass bei diesem Kunden Produktbindung wohl eher mehr auf der Produktdetailseite erzeugt wird und das warum, weil Nutzer wahrscheinlich detaillierte Informationen zum Produkt benötigen. War es für uns auch relativ klar, wenn das so ist, wenn die Bindung auf der Produktdetailseite erzeugt wird, dann könnte der Follow up Test einfach sein, wir entfernen den Add to Card auf der Kategorieseite. So, und dann haben wir praktisch daraus diese Varianten aufgebaut. Ich zoome mal wieder rein. Links ist wieder die Originalvariante ahhhm und rechts ist jetzt die verbesserte Variante, vermeintlich verbesserte, die ihr eben schon gesehen habt, aber ohne den Kaufen Button. Und jetzt ist meine Frage: Wer hat gewonnen? Null oder eins? Drei, zwei, eins. Und ich sehe ganz viele Einsen und das stimmt auch. (kichern) Also, die hat deutlich gewonnen. eins komma vier neun % ist der Add to Card hoch, drei Komma sieben % mehr. Das bedeutet, ahhhm dass sozusagen die Kunden ahhh ahhh plus fünf Komma zwei % ahhh mehr Sale tatsächlich, eine bessere Conversion Rate. Das ist super gut und hier ist der Punkt, was Lektion Nummer zwei, was kann man daraus lernen? Nämlich ahhh dass man aus negativen Tests extrem viel lernen kann, wenn man sich die richtigen Fragen stellt und dass Unternehmen die aushalten müssen. Ahhhm Und Unternehmen dürfen nicht denken, dass sie anfangen zu testen und haben eine hundert Prozent Success Rate. Hat keiner. Es hat auch keiner fünfzig Prozent und es haben wenige vierzig und nach vielen Jahren haben auch wenig dreißig und wenig zwanzig, ja, wenige. Ich sage nicht keine, aber sehr wenige. Ahhhm Und wer negative Tests nicht als Teil des Ganzen versteht und sie sich nicht zunutze macht ja, um einen guten Follow up Test zu machen, wird nicht erfolgreich sein im Bereich A B Testing. Jetzt gucken wir nochmal auf einen anderen Test und zwar aktiver Call to Action auf der PDS, so haben wir den genannt. Wir haben hier wieder das Streetwear Unternehmen und das ist die Produktdetailseite auf dem Mobile. Und ihr seht hier, da kann man hier zig Größen auswählen und bis dato sieht das praktisch so aus, dass der Add to Card links unten in den Warenkorb, der ist immer inaktiv, also so grau angezeigt, wenn nicht irgendwie eine Größe ausgewählt ist. Und dann war unsere Hypothese, wenn der primäre CTA auf der Produktdetailseite dann werden Nutzer eher einen Kauf tätigen, weil sie erkennen, dass das Produkt verfügbar ist und der CTA Charakter verstärkt ist. Das war praktisch die Hypothese und jetzt haben wir dazu mal mehrere Variationen aufgebaut und ihr seht hier die eine Variation in der Mitte, ahhhm die Variante Nummer eins. Was haben wir hier im Wesentlichen gemacht? Eigentlich nichts, außer wir haben den ahhh CTA sozusagen mal so gemacht, dass man merkt, man kann drauf klicken, ahhhm man muss aber immer noch eine Auswahl machen. Das heißt würde man jetzt auf in den Korb gehen, dann würde der sagen bitte wähle eine Größe und zeigt das praktisch oben drüber als kleine rote Fehlermeldung an. Das ist die Variante. Und bei der Variante rechts haben wir es anders gemacht. Hier haben wir auch den CTA sozusagen ahhhm mit reingenommen und wir haben oben schon per Beginn wähle deine Größe drüber geschrieben. Und wenn man jetzt interagiert mit dem Ding rechts, geht so ein kleines Popup auf. Wenn man versucht was in den Warenkorb zu legen und die Größe ist noch nicht gewählt, dann legt sich ein kleines Popup drüber, wo man nur noch praktisch diese Handlungsoptionen hat. Und wir wollten hier so eine Art von, naja, Tunneling erzeugen und ahhhm.Das sind die Varianten. Uuund jetzt ist meine Frage, welche Variante hat gewonnen? Null, eins oder zwei? Drei, zwei, eins. (schnippt mit Fingern) Ach, herrje. Ähm, eins, zwei. Naja, ich glaub, es sind mehr zwei als Einsen, aber mehr, äh, zwei und eins-- ich habe wenige Nullen gesehen. So, hier ist die Auflösung, die uns total überrascht hat, muss ich ehrlich sagen, weil wir sind damals davon ausgegangen, äh, dass die Variante zwei deutlich gewinnen wird. Wir fanden die am intuitivsten. Wir fanden die am sinnvollsten. Wir haben die auch gebaut, äh, aber wir haben auch die in der Mitte gebaut. Ähm, äh, und interessant war das-- die rechts, die hat zwar auch zwei Komma drei Prozent bekommen und die war gerade bei fünfundachtzig Prozent Signifikanz. Dann haben wir es einfach abgebrochen, weil die in der Mitte halt bei neun Komma zwei, äh, und voller Signifikanz war. Ähm, und die wäre bestimmt auch noch signifikant geworden, aber eben nicht mit, äh, äh, mit neun Prozent Wahrscheinlichkeit zumindest nicht. Ähm, und wir waren total überrascht von dem Ergebnis und hätten es eigentlich nicht gedacht, dass das tatsächlich besser performt. Und, und das bringt mich zur Lektion Nummer drei. Ähm, lasst eure Nutzer über den Erfolg eines Tests entscheiden. Eure Meinung zählt nicht. (lacht) Das bringt mich zum nächsten Beispiel, nämlich zu so einem schönen Add-to-Cart-Overlay. Und, äh, das kennt ihr bestimmt. Manche Shops haben das. Ähm, man klickt etwas in den Warenkorb rein und dann legt sich n-- äh, nen Overlay drüber. Und, äh, wir hatten so ein Google Analytics gesehen. Nutzer, die hier einen Add-to-Cart durchführen, die legen im Durchschnitt so zwei Komma fünf Produkte in Warenkorb. Und wir haben dann so gedacht, hm, irgendwie über, äh, ähm, sagen wir mal, unterbricht das Add-to-Cart-Overlay den Kaufprozess. Und, ähm, da haben wir gesehen, in diesem, äh, Overlay waren dann noch so Recos drinne und die Recos waren irgendwie nicht so dolle. Äh, die Recos waren irgendwie dem Produkt, was da in den Warenkorb gelegt wurde, immer verdammt ähnlich. Also auch nicht so richtig smarte Recos. Und, ähm, das war praktisch so, äh, der Hintergrund zu dem Ganzen. Und jetzt haben wir daraus diese Hypothese aufgebaut und haben gesagt, wenn konkurrierende Elemente, äh, aus dem Overlay entfernt werden, dann schließen Nutzer eher den Kauf ab, weil sie in der Customer Journey nicht unterbrochen werden. Und ihr seht, wir haben einfach die Recos rausgeschmissen, ja, aus der Variante. Dann haben wir eine zweite gebaut mit einer anderen Hypothese. Wir haben gesagt, wenn das Aussehen des Overlays weniger aufdringlich in der User Journey erscheint, dann schließen Nutzer eher den Kauf ab, weil ihre Customer Journey nicht unterbrochen werden. Und jetzt seht ihr, ne, das Design hat sich geändert. Hier ist es, äh, wesentlich weniger auffällig sozusagen, äh, dieses Overlay. Und dann haben wir eine dritte Variante gemacht, auch mit einer anderen Hypothese wieder und haben gesagt, wenn das Overlay vollständig entfernt wird und das Add-to-Cart-Feedback, ähm, ausschließlich über den CTA gegeben wird... Ihr seht hier unten: "Artikel wurde in den Warenkorb gelegt", steht da. Der CTA ändert praktisch den Tes-- äh, den Text. Vorher steht da: "In den Warenkorb." Wenn er drauf geklickt hat, dann ändert sich der Text vom Add-to-Cart, ja. Also wir haben praktisch gesagt, das Overlay wird hier entfernt, ähm, und das Add-to-Cart-Feedback wird eben nur über den CTA gegeben, der seinen Text sozusagen ändert. Dann werden Nutzer eher ihren Kauf abschließen, weil sie in der Customer Journey nicht so unterbrochen werden. Und, ähm, jetzt haben wir mal ein paar Varianten mehr und, äh, wir haben also null, eins, zwei oder drei zur Auswahl. Und meine Frage an euch ist, wer hat gewonnen? Null, eins, zwei oder drei? (schnippt mit Fingern) Puh. Also ich sehe verhältnismäßig viel drei und zwei. Das sage ich jetzt mal so, habe ich alles gezählt. Also ganz viel drei und zwei und, äh, die Variante Nummer eins gewinnt tatsächlich, ähm, die simplifizierteste Version von allen. Einfach nur entfernen und wegnehmen ist häufig eine sehr effiziente Sache. (lacht leise) Ähm, wegnehmen und rausschmeißen wegen Distraction, Ablenkung, ähm, äh, und einem natürlicheren Flow, äh, weniger, ähm, ja, mehr kognitiver Leichtigkeit. Muss ich den ganzen anderen Kram nicht noch erfassen. Ne? Das ist immer meine Interpretation. Ob die stimmt, weiß ich jetzt auch nicht. Ähm, aber wir sehen praktisch, diese Variante ohne die Recos hat vier Komma eins Prozent und, ähm, das Sticky Overlay, welches weniger auffällig ist, hat immerhin, äh, noch ne Performance, die halb so gut ist. Auch beides statistisch signifikant. Ähm, ja, das, das sehen wir praktisch hier. Lektion Nummer vier ist ganz doll. Man sieht's hier, ihr habt's gesehen. Wir haben ja aus, äh, äh, praktisch einem Problem, haben wir erstmal drei Hypothesen gemacht und drei Variationen. Und die Hypothese ist immer das eine. Ne? Wenn die Hypothese scheiße ist, (lacht leise) gibt's auch kein gutes Resultat, weil Shit in, Shit out. Ne? Einfaches Prinzip. Ähm, eine gute Hypothese muss eine noch bessere Umsetzung treffen. Äh, ich kann die beste Hypothese der Welt haben, ähm, wenn ich die schlecht umsetze, beziehungsweise ihr seht ja hier, äh, es gibt zehn hoch zehn Varianten, etwas umzusetzen, groß, klein, oben, unten, ja, ähm, so und so ausgedrückt. Und deswegen entscheidet die richtige Umsetzung drüber, äh, ob aus einer vielversprechenden Hypothek ein Erfolg oder ein Misserfolg wird. (schnippt mit Fingern) So, ähm, na komm, einen machen wir noch ganz schnell. Ich muss auf die Uhr gucken. Ähm, Checkout Login Page, gucken wir mal da drauf. Wie sehen eine Anmeldeseite, äh, praktisch, wenn man in den Checkout reingeht, wieder vom Sleepwork-Kunde. Und da haben wir so gesehen irgendwie dieses Registrierungs-CTA. Ihr wisst, wie ihr bis jetzt registrieren ist, äh, super schlecht sichtbar. Wir haben auch gemerkt, die Registrierungsrate ist nicht hoch. Ähm, ähm, und, äh, wir haben so gedacht, dass die, dass die Nutzer auch nicht so richtig, dass es nicht in der Anordnung ist, wie es ein Nutzer sozusagen erwarten würde. Und haben da gesagt, wenn die verschiedenen Optionen-Besser sichtbar sind, dann werden mehr Nutzer weiter zum Kauf gehen, weil sie ihre bevorzugte Option leichter finden können und so der kognitive Aufwand minimiert oder gesenkt wird. Das war praktisch die Hypothese. Daraus haben wir zwei Variationen gemacht und ihr seht, in der mittleren Variation haben wir letztendlich den, äh, den Jetzt-registrieren-Button nur nach oben, äh, praktisch hochgezogen und ihn auffälliger gemacht. Ähm, dadurch, dass alles so ein bisschen nach oben rutscht, geht auch hier dieses Amazon Pay, also das Expressbezahlung, ähm, in den First View rein. Und bei der Variante haben wir das Ganze in Reiter eingeteilt und haben gesagt: „Ich bin neu hier oder du kannst dich einloggen", und haben zur Registrierung zusätzlich noch gesagt: „Warum sollte man sich registrieren? Was sind gute Gründe dafür, sich zu registrieren?" So, jetzt ist meine Frage: Wer hat gewonnen? Null, eins oder zwei? (Klicken) Hm, ja, eins, zwei. Ich sehe ganz viel, sage ich mal, zwei. Zwei und eins sehe ich ganz viel. Die Variante Nummer eins hatte fünfundachtzig Komma acht zwei Prozent mehr Registrierung. Liegt ja fast auf der Hand, wenn man den Button mal so macht, dass man den sieht. Also davon könnte man ausgehen. Die Variante Nummer zwei hatte neunzig Prozent mehr Registrierung und einen höheren Sale. Ähm, in anderen Worten: Die Variante zwei hat, äh, gewonnen. Die Leute, Hypothese, ne, wa-- wa-- man kann ja immer nur, äh, versuchen zu begründen, ne, warum etwas funktioniert hat. Ähm, äh, und die Vermutung ist sozusagen, dass, weil noch Gründe dazu gegeben werden, äh, warum sich diese Person registrieren soll. So, und, ähm, da bin ich am Ende. Ich hoffe, ihr konntet was aus den Tests mitnehmen. Ähm, ihr wisst ja, dass- (Rauschen) Aua, ähm, das tut mir leid. (Rauschen) Ähm, (Schreie) sowas auch für Kunden. Ähm, und, äh, wenn's euch interessiert, quatscht mich einfach an. Ich bin noch eine Weile da und wenn ihr es machen wollt, wenn ihr es selber lernen wollt, wie Conversion-Optimierung funktioniert, wie der ganze Cycle geht, von der Hypothese über die Analyse, äh, über das Aufsetzen eines Tests, ähm und so weiter und so fort, bringe euch das gerne bei, und zwar im Rahmen, äh, einer unserer CAO-Lehrgänge. Ähm, müsst ihr euch so vorstellen, die gehen vier Tage lang und wir haben da letztendlich das, was wir in den letzten zehn, zwölf Jahren gemacht haben, gebündelt, äh, in vier Tagen, ähm, und, ähm, bringen euch das in sehr kleinen Gruppen bei. Das machen wir in Berlin, bei uns direkt im Büro. Dafür gibt es vier Termine schon. Wird irgendwann noch mal ein paar mehr geben. Ähm, und, äh, dann kriegt ihr selbst das Zeug an, äh, um Conversion-Optimierer zu werden. Und ich wünsche mir, dass ganz, ganz viele Leute gute Conversion-Optimierer werden, weil es nämlich das Internet deutlich besser macht. Und von meiner Firma, äh, ist, ist die Vision jeder Klick eine gute Entscheidung und in dem Sinne, ähm, danke ich euch erst mal für eure Aufmerksamkeit und, äh, hoffe, ihr hattet Spaß und Vergnügen. (Applaus) Vielen Dank. Ja, herzlichen Dank, Thomas, für diesen spannenden Vortrag zum Thema Conversion-Optimierung. Ähm, jetzt haben wir vorhin schon den ein-- oder eine Frage gehabt während des Vortrags. Wir wollen dir aber die Zeit, die du hast, noch lassen. Jetzt hast du schon so viel, so schnell Gas gegeben. Gibt es denn noch Fragen im Publikum, die jetzt gestellt werden? Zu dem ersten Test, waren das die gleichen Benefits? Weil sonst kann man das ja nicht vergleichen. Es waren unterschiedliche Benefi-- Also, die Frage war, bei dem ersten Test mit der Vorteilskommunikation, waren das die gleichen Benefits? Nein, waren es nicht. Es waren schon unterschiedliche und ja, äh, dadurch macht es natürlich schwieriger vergleichbar. Ähm, die, äh, Aussage, die wir hier auch eher treffen wollten, war, ähm, genau deswegen auch zum Beispiel, weil die Benefits für jedes Unternehmen andere sind. Das ist unsere Aussage dahinter: Ihr müsst testen, ob es bei euch funktioniert. Ihr könnt nicht einfach davon ausgehen, dass es geht. Aber richtig bemerkt. Wir müssen einmal die Frage wiederholen für den Stream. Wie viel Zeit haben wir den Varianten gegeben? Äh, wie lange sind die Tests gelaufen? Also, äh, immer bis sie signifikant waren, also bis sie statistische Signifikanz hatten auf die, äh, auf das Testing-Ziel, was jetzt bei allen Tests die Makro-CR war, also die richtige Conversion-Rate. Und, ja, das ist dann unterschiedlich wahrscheinlich. Meistens zumindest zwei Wochen, teilweise länger. Ähm, kann ich jetzt nicht genau sagen, aber die wichtige Richtgröße ist immer, äh, das Ding muss auf die Makro-CR statistisch signifikant sein. Und, ähm, vielen Shops fehlt der Traffic, ja, um auf Makro-CR genügend zu testen. Aber nur auf Mikro-CR zu testen, also nur den Add-to-Cart zu messen. Wir haben an eins, zwei Tests gesehen, wozu das führen kann. Das kann dazu führen, dass die Add-to-Cart-e, Add-to-Cart-Rate hochgeht. Das heißt aber noch lange nicht, dass hinten die Sales-Rate hochgeht. Deswegen muss bei jedem A/B-Test die Signifikanz auf die Makro-CR sozusagen berechnet werden. Ich muss mal hier hinten ran nehmen. Ähm, bitte? (Flüstern) Sag noch mal bitte. (Flüstern) Äh, die Signifikanz misst letztendlich 'n, äh, 'n A/B-Testing-Tool. Äh, wir arbeiten sehr gern zusammen mit VWO und mit Chamäleon. Ähm, gibt's noch andere am Markt, äh, aber das machen praktisch die A/B-Testing-Tools, die messen das. Da drinne setzt man den Test auf und die berechnen auch ziemlich leidenschaftslos halt, ähm, äh, die Signifikanz. So würde ich es mal sagen. Eine, ob wir eine Kontrollgruppe verwenden? Äh, der A/B-Test ist ja so, wir nutzen da ganz normale Nutzer, die auf der Webseite drauf sind, ähm, und die Hälfte, wenn es eine Variation hat, geht halt ins Original und die andere Hälfte geht auf die Variation drauf. Ähm, die sind dann halt die Kontrollgruppe sozusagen. Ähm-Zwanzig Prozent auf die, ähm, sag ich mal, null, dann noch mal null und die Variante dann auf nummer, äh, fünfundvierzig Prozent. Ja. Ja, ja, verstanden. Ja, es gibt Fälle, wo wir das so machen. Ganz hinten haben wir einen. Ja, es sind noch ganz (kichern) viele Hände oben. (kichern) Ja, bitte? Häufig nicht. Ähm, äh, wir machen's für Kunden, die genügend Traffic auf der Seite haben, ähm, sprich mindestens zehntausend Makro-Conversions pro Monat. Ähm, und, äh, natürlich ist A, B Testing ist, ist das Mittel, auch wenn ich nur tausend Conversions habe, ja, um meine, äh, CR zu verbessern. Und, äh, wenn ihr's lernen wollt, dann, äh, könnt ihr halt praktisch diesen, auf diesen Lehrgang zurückgreifen. Ich halt's halt für total wichtig. Auf allen Konferenzen wird immer bis zum Ende über Traffic-Generierung gequasselt, ähm, aber 'n gutes CR-Programm macht einfach, wenn's gut ausgeführt ist, zehn, zwanzig Prozent mehr Umsatz aus dem bestehenden Traffic pro Jahr. Ähm, und, äh, das leisten wenige andere Marketingdisziplinen. Deswegen ist es aus meiner Sicht das am meisten unterschätzte, äh, Disziplin, ähm, ganzen Online-Marketing, äh, CAO und deswegen, ähm, äh, wär's sinnvoll, auch wenn ihr es macht, ja, wenn ihr es angeht, auch wenn ihr noch nicht genügend Conversions habt. Ich würde hier noch mal fragen, ja? Also da gibt's unterschiedliche Parallellauf-- Die Frage ist, kann man A, B Tests parallel laufen lassen? Das heißt, da was weiß ich, auf der Kategorieseite läuft der eine auf der Produktdetailseite der andere. Äh, man möchte vermeiden, ähm, dass sozusagen Nutzer in mehrere Tests kommt und die sich gegenseitig beeinflussen. Das heißt, wenn ich zwei Testing-Konzep-Konzepte habe, die sich deutlich unterscheiden, also in anderen Worten, das eine Mal mache ich irgendwas mit Sicherheit im Warenkorb, ja, ähm, und das andere Mal mache ich auf der Kategorieseeeite irgendeine andere Hypothese, ja. Also die sich wahrscheinlich thematisch nicht berühren, dann kann man sie auch parallel laufen lassen, ähm, so und Nutzer können auch in andere Variationen kommen. Dann kann man's machen. Wenn man denkt, ähm, die können sich gegenseitig beeinflussen, dann würde man-- Kann man trotzdem parallel testen. Man macht aber Cookie-Ausschlüsse, sodass die Nutzer, die in Test eins drin sind, nicht in Test zwei kommen. Häufig nicht, weil die, äh, B2B schon, ne. Also wir machen relativ viel Lead Gen, dann bei Versicherungen, Banken und so weiter. Oder Klick-out-Modelle, ne, gibt's ja viele. Ähm, äh, aber so White-Paper-Downloads machen wir häufig nicht. Ähm, das wollen unsere Kunden in der Regel nicht. Die haben immer 'n harten Online-Sale, den's zu steigern gibt-- gilt. Bitte, man muss nur laut sein. (kichern) Du meinst, äh, du meinst praktisch, äh, dass, dass sich Nutzer an den, äh, an etwas schon gewöhnt haben und dass deswegen eventuell etwas nicht mehr funktioniert. Oder du meinst, dass Nutzer, äh, sich an eine Verbesserung gewöhnt haben und dass der Conversion-Uplift-Effekt verpufft. Verstanden, das geht ja so in den Bereich Personalisierung rein, ne. Ähm, also die Frage ist, nehmen wir mal an, wir haben irgendwie nen Shop und der hat 'n hohen Bestandskundenanteil und die kommen immer wieder und die kennen die Seite seit zehn Jahren, ja, kennen die, die in- und auswendig. Ähm, und die sind an, an die ganzen Probleme, die er vielleicht hat, gewöhnt, ähm, äh, weil's Bestandskunden sind, die kennen das, die mögen die Marke trotzdem, die würden sich da durch, ja, weil sie die, äh, äh, Marke toll finden. Aber Neukunden kommen ja auch manchmal drauf und die sind vielleicht nicht so tolerant. Ähm, und wenn man so was hat, so 'n Bild, ja, äh, dann ist es eigentlich eine Form von Segmentierung, die man dann machen würde, wo man sagt, ich teste das. Ich gucke, wie läuft das bei Bestandskunden, die Verbesserung? Vielleicht läuft's ja doch besser. Äh, und wie läuft's bei Neukunden? Wenn ich dann merke und messe, nur bei Neukunden ist es signifikant und geht ab, ähm, dann spiele ich's hinterher nur bei Neukunden aus, also personalisiert. Bitte. Ja. Hätt ich gesagt, ich weiß gar nicht. (lachen) Zweitausend irgendwas, äh, aber, ähm, ah ja, hier, Justina hat unseren Wachturm mitgebracht. Ähm, der liegt oben aus. Ähm, ah ja. Ähm, äh, also zu der ersten Frage... Was war die erste Frage noch mal? Ah ja. Äh, welche Traffic-Quellen testen wir? Äh, in den meisten Tests auf alle, aber manchmal haben wir eben eine Hypothese, die nur in einem Segment ist, wo wir sagen, keine Ahnung, ganz häufig Onlineshops machen Google Shopping-Kampagnen oder Product Listing Ads Kampagnen, ähm, äh, und der Traffic landet auf den Produktdetailseiten. Ähm, und dann merkt man häufig, dass man auf diesen, auf genau diesen Traffic eine sehr hohe Bounce Rate haben wird, ähm, weil die das Produkt doch nicht geil finden und mal doch lieber mehr aus dieser Kategorie gesehen hätten. Und, äh, dann könnte man zum Beispiel sagen, ich mache 'n Test nur auf den Pay-Traffic, der auf diesen, äh, URLs sozusagen stattfindet. Dann darf ich's aber später auch nur personalisiert ausspielen, wenn ich 'n Sieger habe, nehme ich praktisch nur auf dieses Segment. Jo. Sind soweit alle Fragen beantwortet? Eine noch, ja. Eine schnell noch. Nee, andersrum. Ne, äh, Makro-Conversion ist immer die ganz große Conversion einer Seite, äh, im Onlineshop, der Kauf sozusagen. Und die Mikro-Conversion ist alles, was davor kommt sozusagen im Funnel und was man noch so irgendwie vertracken könnte, ähm, ähm, Startseite to Category, Category to Product, äh, Add to Cart, ähm, und was weiß ich, der ganze Krimskrams. Ähm, das sind praktisch Mikro-Conversions. Right, ansonsten, ich bin noch eine Weile da, 'n Streuner hier irgendwo rum, äh, sprecht mich einfach an, ähm, und vielen herzlichen Dank euch, ja, für die Aufmerksamkeit. (klatschen) Vielen Dank, Thomas.