A/B-Testing im SEO: Was ich aus über 100 A/B-Tests gelernt habe

Herzlich willkommen zurück auf der Green Stage. Frisch gestärkt aus der Kaffeepause mit einem Berliner im Bauch geht es hier weiter, und zwar mit einem Thema, das uns heute schon ein paar Mal begegnet ist auf dieser Stage, und zwar A/B Testing. Und diesmal geht es um A/B Testing im SEO. Hand hoch, wer hat denn schon mal Semrush genutzt oder ist aktiver Nutzer? Sehr schön. Und Gegenprobe: Wer hat noch nie damit gearbeitet? Und wer kennt das Tool gar nicht? Auch ein ganz paar. Gut, dann weißt du, worauf du dich einstellen kannst. Danke fürs Mitmachen. Bevor es gleich losgeht, stelle ich Nils einmal vor. Nils Danke von SemRush ist Lead-SEO-Spezialist bei SemRush und erzählt zu den SEOs der ersten Stunde. 1992, ich will jetzt gar nicht sagen, wie alt ich da war, noch nicht ganz so alt, ist er im Internet als Entwickler und Projektleiter unterwegs gewesen bereits und insofern wirklich SEO erster Stunde. Nils' Schwerpunkt liegt bei der Konzeption sowie Umsetzung von Strategien und skalierbaren Prozessen im Bereich der Suchmaschinenoptimierung. Bei SemRush entwickelt er in Zusammenarbeit mit Softwareentwicklern und Data Science-Fachleuten im Enterprise Solutions Team effiziente Unternehmenslösungen. Danke für den Werbeblock. Genau, den habe ich schon mal vorweggenommen. Insofern kannst du dich gleich voll aufs Thema sprengen und das ist das Thema A/B-Testing im SEO, was ich aus über 100 A/B-Tests gelernt habe. Viel Spaß dabei. Danke schön. Die wichtigste Frage direkt vorab: Ihr braucht nicht alle Folien fotografieren, sondern ich habe die Folien ganz am Endeffel als Link, sodass ihr das euch als PDF runterladen könnt. Also zwischendurch immer Fotos machen, natürlich gerne, aber das müsst ihr nicht jedes Mal. Worum geht es hier an der Stelle? Es wird im Prinzip vier Bereiche geben. Das eine, wo ich kurz erkläre, was sind A/B-Tests und wieso sind diese im SEO anders beziehungsweise warum sind diese wichtig? Gleichzeitig dann: Wie führe ich solche statistisch relevanten SEO-Tests durch? Denn wie eben schon angemerkt wurde, wir haben ja schon verschiedene A/B-Testing-Verfahren heute gehört und diese sind aber so, dass sie für SEO häufig nicht anwendbar sind. Das ist ein Problem und darauf weise ich auch sehr gerne auf diese Details hin, wie man es umgehen kann. Ich bringe Beispiele aus der Praxis mit und zeige am Ende noch mal, was so Fallstricke an der Stelle sind. Okay, gehen wir ins Thema eigentlich rein, das Thema einmal abzudecken, was ist A/B-Testing? Es ist eigentlich erst mal eine Testmethode, wo zwei Varianten gegeneinander getestet werden, nämlich die Originalversion und veränderte Version, und getestet wird im Prinzip, welche nachher besser performt. Wenn wir das Ganze sinnvoll nutzen wollen für ein Wachstum der Websites, dann ist das Ganze so, dass wir eigentlich drei Schritte haben. Wir testen, und zwar schnell und sicher. Wir sind so, dass wir Innovationen mit System versuchen zu erreichen und dadurch ein Wachstum skalierbar machen. Das ist das, wie man grundsätzlich vorgeht. Jeff Bezos hatte an der Stelle auch schon mal deutlich darauf hingewiesen: Wenn man die Anzahl der Experimente pro Jahr verdoppelt, verdoppelst du eben auch deinen Erfindungsreichtum, weil es so viele Sachen gibt eigentlich, die man testen kann, die wir häufig aber nicht testen, weil es oft nämlich so ist, dass die Möglichkeiten zum A/B-Testing im SEO nicht vorhanden sind und man denkt häufig in so Sprints und dann kommen fünf Veränderungen in ein Template rein und am Ende hat sich kaum was geändert und dann weiß man eben nicht, ob vielleicht drei von den Änderungen positiv, zwei negativ waren und am Ende haben die sich da aber aufgehoben gegeneinander und deswegen hat die ganze Veränderung eventuell nichts gebracht. Und es ist natürlich auch so, dass je mehr man sich mit den Seiten beschäftigt und versucht herauszufinden, wie Google funktioniert, desto mehr Ideen bekommt man eigentlich innerhalb dieses A/B-Testings. Das, was ich eben schon gesagt hatte, diesem UX-oder Conversion-Rate-Optimierungsbereich, wird dieselbe Seite mit unterschiedlichen Inhalten ausgeliefert an den Nutzer und an Suchmaschinen. Wenn dann so eine Suchmaschine mehrfach hintereinander kommt auf die gleiche Seite, kann die komplett unterschiedliche Seiten sehen, weil eventuell per Zufallsverfahren ausgeliefert wird oder nach statistischen Methoden. Das ist aber natürlich so, dann sieht Google mal die eine Version, mal die andere. Der Nutzer sieht vielleicht noch eine andere Version. Das ist schon nicht so ganz ohne. Und es geht immer darum, Nutzerverhalten beziehungsweise Conversion-Raten zu testen oder zu messen. Und das passiert dann ja, wenn der Nutzer bereits da ist. Und das Ganze ist ein iterativer Prozess, der sich immer wieder wiederholt und es geht eigentlich sichtbare Inhalte auf der Seite. Wenn wir das Ganze auf das Thema SEO beziehen, diese drei Schritte, dann können wir an der Stelle sagen, wir wollen Änderungen testen, wir wollen Änderungen priorisieren und wir wollen Änderungen dann erst implementieren. Hier noch mal kurz ein Zitat an der Stelle von Kevin Indig. Der war früher mal bei Shopify als SEO verantwortlich und da geht es darum: Seos kommen mit kühnen Fragen und Vorhersagen und sind nicht in der Lage, ihre Ideen zu verteidigen, weil auf Fragen „Wie viel bringt das? Hörst, höre ich sehr, sehr oft dieses „It depends. Also „Es kommt drauf an, kann ich nicht genau sagen. Und das ist halt nichts, womit man jemanden, der budgetverantwortlich ist, so richtig überzeugen kann. Und deswegen wirft die Checklisten weg und fangen an zu testen. Das ist wirklich das Allereffektivste. Wie sieht das Ganze im SEO, also mit dem A/B-Testing an? Da ist es ganz wichtig: Auf derselben Seite werden Benutzern und Suchmaschinen identische geänderte Inhalte gezeigt. Also in der veränderten Version natürlich die geänderte Version und in der Kontrollgruppe die Originaldaten. Und das bedeutet halt, dass man eben nicht immer wieder unterschiedliche Sachen sieht, wenn man mehrfach die gleiche Seite lädt, sondern man sieht halt wirklich immer.Das Gleiche. Und es wird an der Stelle eben nicht nur das Verhalten der Nutzer, sondern sowohl der Suchmaschinen als auch der Nutzer gemessen. Denn bevor ein Nutzer natürlich auf eine Seite kommt, muss er erstmal auf das reagiert haben, dass Google ihn zum Beispiel oder unsere Ergebnisse in den Suchergebnissen anders darstellt. Und das, was wir machen können an der Stelle, sind es ist auch wieder ein iterativer Prozess, also ein schrittweise, immer wiederholender Prozess, der sich Stück für Stück an das Idealbild heran arbeitet. Und wir können sowohl HTML Strukturen, Metadaten, sichtbare und nicht sichtbare Inhalte auf der Seite dann verändern, was auch noch mal ein ganz wichtiger Punkt ist. Wenn wir das gegeneinander stellen, dann sehen wir so als Beispiel beim Conversion Rate Optimierung ist es vielleicht nur die Farbe eines Buttons. Ähm In diesem Beispiel jetzt beim SEO Testing, ähm statistisch relevanten SEO Testing, würden wir strukturierte Daten im Template ergänzen, also etwas, was der Nutzer nicht sieht, was aber Google verarbeitet und deswegen eventuell mich für Inhalte ausspielt, wo ich vorher nicht relevant war, oder ähm Inhalte innerhalb den Suchergebnisse anzeigt, die sonst nicht da waren. Im Normalfall habe ich bei der Conversion Rate Optimierung ein Element, das immer gleich ist, was halt verändert wird. Und beim statistischen SEO Testing habe ich Kohorten. Was das sind, erkläre ich gleich noch mal. Und die können ohne Weiteres über 1000 Seiten sein groß sein. Stakeholder sind an der Stelle eigentlich die Nutzer der Seite. Beim UX oder beim UI Testing vor allem und die Suchmaschinen und Nutzer beim statistischen SEO Testing. Und das Ziel ist halt auf der einen Seite Conversion Optimierung und auf der anderen Seite beim SEO geht es um Steigung und Sichtbarkeit, organischen Klicks und Reichweite. Also wir haben direkt mehrere Ziele, die wir mit einem so einem Test messen und ähm uns anschauen können. Wenn wir uns diesen Prozess mal genau angucken, dann besteht er im Prinzip aus vier Schritten. Das ist einmal die Ideenfindung, die abgedeckt wird. Da sind diese ganzen Schritte drunter. Ich lese die nicht alle vor. Dadurch, dass ihr die ähm runterladen könnt, die Folien, ist das Ganze so, dass ihr euch das im Detail natürlich auch noch mal angucken könnt. Aber das Wichtigste ist: Ich analysiere auf Basis von Templates in erster Linie, damit eine Änderung, die im Template gemacht wird, von der Webseite anschließend auf hunderten oder auf tausenden Seiten Auswirkungen hat. Und ich stelle eine Hypothese auf. Das Nächste, was ich mache: Ich analysiere das Ganze und teile das Ganze in diese ähm Kohorten auf Basis von Templates auf. Wenn man das sich genauer anguckt, dann sieht es im Prinzip so aus. Wir nutzen zum Beispiel dafür gerne die Daten aus ähm Google Search Konsole und schauen uns genau diese Muster an. Dafür braucht man normalerweise Datenanalysten. Man kann es aber auch mit einem Tool machen ähm und teilen das in gleichmäßige Gruppen auf, damit es wirklich so ist, dass wir zwei große Vergleichsgruppen eigentlich haben. Und wir identifizieren Seiten, die ungewöhnliche Muster haben, wo es nicht in diese Kohorten reinpasst und schließen die eben aus, damit sowas wie, was weiß ich, wir gucken uns die letzte Zeit an und plötzlich war da sowas wie Valentinstag drin. Da muss man nicht glauben, dass dieses Ereignis irgendwie die nächsten Monate immer wieder irgendwie alle drei Monate kommt, sondern es ist halt was Einmaliges. Und sowas wird an der Stelle eben rausgerechnet. Genau. Ähm Und dann würde man Tests einrichten, Tests durchführen et cetera. Und das, was dabei rauskommt als Testergebnis, das ist dann so, dass ich sage: „Okay, darauf kann ich Änderungen priorisieren." Also wenn es darum geht, welche Änderungen will ich überhaupt vornehmen, welche Ressourcen nutze ich von der IT, um diese Änderungen wirklich für SEO mitzunehmen? Und das bedeutet, wenn man sich das genau anguckt, dass SEO eigentlich für mich so eine Art oder SEO A/B Test für mich so eine Art Sicherheitsnetz sind, weil ich halt Effekte vor der Umsetzung, die sich dann auf alle auswirken, vorher testen kann. Mein Risiko wird deutlich stärker kalkulierbar. Ich kann halt wirklich auch konkrete Aussagen machen, weil ich zum Beispiel einfach weiß, dieser Aus- äh diese Veränderung, zum Beispiel ich ändere eine H1 in eine H2 oder ähnliche Sachen, ähm kann ich direkt sagen, wird 3% plus oder minus oder was auch immer geben. Also ich werde plötzlich sehr, sehr konkret. Und danach kommt halt die Implementierung, sodass das Ganze in Tickets gekippt wird und ich das Ganze ausrolle und dann natürlich nach dem Livegang noch mal ähm teste, ob das, was ich vorher in meinem A/B Test schon vorher mir prüfender weise angeschaut habe, ob das real so ist. Das ist der Prozess. Und dann schauen wir doch einfach mal auf Beispiele. Ich muss einmal einen Schluck Wasser trinken, aber meine Wasserflasche ist mir geklaut worden. Erster Test: Wir haben immer das Obere ist die Kontrollgruppe, also die, die gleich geblieben ist und darunter die Variante. Wir haben das ja eben im Abstimmen schon mal probiert. Wer glaubt, an der Stelle Pipe, das erste Symbol ist so, dass es mehr bringt? Und wer ist der Meinung, dass unten der Bindestrich. Ich frage jetzt erstmal für Pipe. Wer glaubt, dass Pipe das Bessere ist? Okay, wer ist für den Bindestrich? Okay, vielleicht mal: Wer hat noch Puls? (kichern) Ja, dann sehe ich zumindest, wer schläft. Gut. Also, wir haben das getestet und haben festgestellt, der Bindestrich ist tatsächlich das Beste. Das ist das, was neun Prozent Uplift gebracht hat. Nur dieses eine Zeichen verändern und ähm zehn Prozent mehr fast. Das ist natürlich ein Argument. Und vorher hätte ich zumindest, bevor ich diesen Test gemacht habe, nicht überlegt, ob ich solch eine Änderung wirklich als in die IT als dringendes Ticket irgendwie mit reinbringe. Aber jeder Produktmanager wird irgendwie glücklich, wenn ich ihm erzähle, ich ändere ein Zeichen und du wirst voraussichtlich 10% mehr erreichen. Und so kriegt man die Leute eben auch auf seine Seite. Und wir haben neben dieser detaillierten Ansicht aus dem Data Science haben wir zusätzlich dann uns immer noch mal angeguckt, wie diese kumulativen Daten aussehen. Wir schauen uns natürlich auch an, ob der Effekt so ist, dass das statistisch relevant ist.Und dafür nutzen wir halt im Normalfall vorher, also für die vorausgehende Betrachtung hundert Tage und schauen uns anschließend an zwischen einundzwanzig und dreißig Tagen ist normalerweise der Zeitraum, der das Ganze läuft. Zweite Möglichkeit: Wir haben gesagt, wir bauen eine Call to Action unten in die Meta Description. „Jetzt einkaufen, so im Englischen. Und positiv, wer glaubt, dass das Ganze positiv wird? Call to Action. Wer ist negativ? Und negativ war (kichern) an der (kichern) Stelle tatsächlich, es kann eine andere Call to Action wiederum funktionieren. Diese hier hat definitiv nicht funktioniert und wenn wir uns das in Summe anschauen, ist es auch wirklich ein sehr, sehr deutlicher Trend. neunzehn Prozent und das ist, was ich vorhin gesagt habe: Wenn ihr mehrere von diesen Elementen gleichzeitig ändert, habt ihr hier eventuell neunzehn prozent minus. Da könnt ihr schon eine ganze Reihe von Optimierungen für wieder weg schmeißen. Genau. Dann hatten wir als Nächstes gesagt: „Okay, unten drunter unter so einer Bildergalerie, die Related Tags, also verwandte Themen. Vorher war das Ganze so, dass es einfach nur „Related Tags hieß und anschließend wurde das Ganze benannt, sodass da tatsächlich dann stand: Verwandte Bildersuche und dann halt das Thema. Wer ist für Related Tags? Okay, keiner. (kichern) Wer ist für das andere, (kichern) das Geänderte? Nein, ich möchte kein Update machen. Danke schön auch. (kichern) Das ist jetzt so geil. (kichern) So, komme ich hier wieder rein. Ja, genau, ich hoffe es jetzt. Also siebenundzwanzig Prozent positiv ist diese Veränderung und es war halt einfach nur die Überschrift über diesen Text „Mehr nicht verändert worden, siebenundzwanzig Prozent. Und wenn wir uns das Ganze anschauen, dann sehen wir halt auch in der Darstellung, das ist jetzt dieses hellblaue drumherum, dass die Abweichungen innerhalb der Messung schon sehr deutlich waren. Also der Durchschnittswert ist dann das, was dort in dunkelblau als Linie gezeichnet ist, aber es waren sehr starke Schwankungen. Aber auch innerhalb der Schwankungen ist es in Summe trotzdem deutlich positiv. Also auch das sehr, sehr schöne Effekt. Dann haben wir hier an der Stelle etwas gemacht bei einem Onlineshop für Getränke, sagen wir es mal so. Ähm Dann sehen wir oben die Breadcrumb Navigation und direkt unterhalb der Breadcrumb Navigation ist dann der Titel des Produkts und dadurch das Titel des Produkts und die Breadcrumb eigentlich direkt untereinander stehen als letztes Element, haben wir eine Dopplung und dann haben wir gesagt: „Na ja, dann nehmen wir doch einfach mal da hinten diesen Teil weg. So, und wer glaubt, dass das Wegnehmen, also Kürzen der Breadcrumb Navigation positiv gewesen ist? Mhhhm Ah, ihr habt einen guten Riecher. Genau, also war an der Stelle positiv auch wieder acht Prozent. Und das sind halt lauter so kleine Tests, die man machen kann, wo ich mich vorher vielleicht als CEO nicht rangetraut hätte, wo ich eher gesagt habe: „Never touch a running system läuft doch ganz gut, lasst uns woanders drangehen. Und hier können wir das halt sehr, sehr schön machen. Nächste Beispiel: FaQ. Da kann es ja auch sein, dass die Leute einfach gar nicht auf meine Seite kommen, sondern Zero Click. Die Leute kriegen direkt das Ergebnis oder die Lösung in den Suchergebnissen von Google und kommen auf meine Webseite. Positiv? Wer glaubt, dass das positiv war, dass wir das gelöscht haben, die FAQ? Ja, wer ist negativ? Genau. Und es war tatsächlich negativ. Also obwohl viele Nutzer dort an der Stelle die Informationen in den Suchergebnissen kriegen, trotzdem Uplift von fünf Prozent, was in Summe ja genau das war, was wir eigentlich auch haben wollten. Und auch da sieht man: Uplift, wenn ich es behalte, also negative Uplift sozusagen für das, was ich geändert habe. Entschuldigung, war etwas ah falsch formuliert. Hier ging es an der Stelle immer auf den Traffic, also die absoluten Klicks genau, die wir gemessen haben. Und dadurch, dass wir immer die Vergleichsgruppe und die Varianten gegeneinander haben laufen lassen in dem Zeitraum, sehen wir halt auch, wo die Klicks mehr geworden sind und weniger geworden sind. Hier haben wir an der Stelle jetzt überlegt, Marketingleute würden ganz gerne, dass immer alles großgeschrieben wird in den Hauptüberschriften, im Seitentitel. Ahhhm Wir finden es eigentlich häufig besser, wenn man autographisch korrekt schreibt oder Redakteure auch. Wer glaubt, dass großgeschriebene Buchstaben grundsätzlich besser sind im Seitentitel? Gut, ich lasse mal die Gegenprobe. Es waren ganz schön viele. Und da ist das Ganze so, dass es negativ ist. Aber jetzt kommt es: Dieser Wert ist halt so gering, diese Abweichung, die wir da haben, dass das Ganze so ist, dass man eigentlich an der Stelle zwar sagen kann, ja, das Ganze ist so, dass die Großschreibung gewonnen hat, aber ich würde jetzt mit zwei Komma vier Prozent Uplift das Ganze nicht in die Produktion geben, weil das Ganze so ist, dass es zu wenig ist im Prinzip zu dem, was ein Entwicklungsaufwand vielleicht auch dahinter steckt und welche Fehler dann noch durch sich einschleichen können und solche Sachen oder halt auch Veränderungen, die am System eventuell noch sonst irgendwie problematisch sein könnten. Deswegen würde ich so eine Änderung, gerade weil sie so gering ist, auch wenn sie positiv, auch wenn das Bestehende mit Großschreibung ähm besser war und würde ich es, wenn ich umgekehrt diesen Test hätte, würde ich eher auf Großschreibung vielleicht umstellen, aber nicht bei zwei Komma vier Prozent. Also so eine geringe Varianz ist eher so, dass ich sage, da gibt es Sachen, die wichtiger sind oder die ich eher bevorzugen würde.Dann hier ein Beispiel, was ich nur zeigen kann, indem ich das so ein bisschen verfremdet oder umgebaut habe. Also es war nicht genau diese Website, falls jemand es tatsächlich trotzdem erkennen kann, aber die haben ganz viele solche fünfzig Aufkleber, fünfzig Werbemittel, fünfzig, was auch immer oder hundert zum Abschluss von zur Silberhochzeit, zum Geburtstag. Und da haben wir jetzt davor einfach nur Best geschrieben. Also das Versprechen, dass es halt wirklich die besten fünfzig sind et cetera. Also haben wir hier nur diese kleine Änderung. Positiv, wer glaubt das? Schon sehr eindeutig. Und das hätte ich nie gedacht. Achtunddreißig Komma sechs Prozent plus nur durch dieses eine Wort, was wir eingesetzt haben. Und das ist halt wirklich etwas, wenn ich das von dem ganzen priorisieren müsste, einfach nur ein Template an einer Stelle so eine kleine Änderung einbauen. Ich hätte nicht vorher gedacht, dass wir so einen großen Effekt darüber erreichen können. Es ist auch ganz interessant, wenn wir mit Kunden daran arbeiten. Wir machen im Prinzip so kleine Wetten, hätte ich fast gesagt, wo jeder mal aus dem Team sagen soll, wo wird das ungefähr landen? Top Flop, wie auch immer. Und das ist schon ziemlich spannend, wenn man sich das Ganze jetzt einfach noch mal anguckt auf Länderbasis, hat das einen Einfluss und da haben wir uns auch einen Test für überlegt und mit dem Kunden durchgeführt. Es ging um Schema Org Integration, also strukturierte Daten. An der Stelle ging es um Reiseinformationen, also Trip. Alle Länder, in denen die das präsentieren, haben die gleichen Templates und die gleichen Texte. Die Texte sind nur in verschiedene Sprachen übersetzt worden. Alles andere ist ansonsten gleich geblieben und positiv oder nicht? USA. Wer glaubt, dass das positiv ist, nachdem wir das eingebaut haben, die strukturierten Daten? Mhm. Relativ wenig. Und das Ergebnis ist, es war mit fünf Komma zwei % positiv. Hätte ein bisschen mehr sein können, aber immerhin. Also von daher, auch da sehen wir einen Uplift an der Stelle. Jetzt haben wir uns das Ganze in Deutschland angeguckt und haben genau den gleichen Test wieder gemacht und haben festgestellt fünf Komma neun Prozent Uplift. Also auch da in Summe wunderbar. Diesen Verlauf, den sieht man übrigens manchmal, wenn die das Nutzerverhalten in den Suchergebnissen deutlich positiv ist und Google dadurch zum Beispiel auch die Position verändert. Oder wenn grundsätzlich Google einfach Informationen findet, die so sind, dass Google sie positiv bewertet und man dadurch eine bessere Position eben einfach erreicht oder plötzlich für Suchbegriffe gefunden wird, für die man vorher nicht da war. Aber so etwas kann auch passieren, weil wir testen ja nicht mit einer Seite, sondern wir testen mit tausenden. Und je mehr Seiten Google in dieser Zeit verarbeitet hat, desto mehr Seiten kommen in diesen Test rein. Aber dadurch, dass wir die Kohorten haben, können wir überwachen, dass es wirklich in Summe nachher identisch ist. Also auch wunderbar. Deutschland positiv. Machen wir das Ganze noch mal in Frankreich und in Frankreich negativ, obwohl es 100 % das Gleiche ist. Also Google und Märkte sind an der Stelle je nach Land, auch wenn du identische Sachen machst, unterschiedlich. Das bedeutet an der Stelle, dass du da natürlich abwiegen musst, wie wichtig ist zum Beispiel, wenn du nur Änderungen auf einem Template Basis für alle Länder machen kannst, wie wichtig ist dir der französische Markt? Ist es ein Hauptmarkt, dann kann er eventuell im negativen Effekt alle anderen Länder sozusagen runterziehen. Wenn Frankreich aber vielleicht ein Land ist, was dir nicht so wichtig ist, weil du zum Beispiel sagst, Kernländer sind USA und England als Beispiel, dann kannst du natürlich das gegeneinander genau in absoluten Zahlen gegeneinander rechnen und sagen, auch wenn wir damit in Frankreich vielleicht geringfügig runtergehen, in Summe ist es so, dass es als Template Änderung über alle dann wieder einen positiven Effekt hat. Und das ist gerade bei sehr sehr großen Unternehmen natürlich das, was am Ende eigentlich wirklich das Entscheidende ist. Bleibt die Frage, welche Fallstricke sind denn so, dass ich sie umgehen muss und wo muss ich wirklich darauf achten, wenn ich solche Tests durchführe? Das Allererste ist, darauf habe ich vorhin schon mal kurz bin ich schon kurz drauf eingegangen, nämlich dieses, dass ich gesagt habe, diese Kurve verlief nicht ganz linear, weil ich natürlich überprüfen muss, ist Google wirklich auch da gewesen? Hat Google diese Änderung gesehen? Denn nur weil ich jetzt was ändere und morgen steigen die Klicks in dieser Gruppe, bedeutet das erstmal noch gar nichts. Und deswegen ist das Ganze so, dass wir eben nicht nur diese Zahlen ermitteln mit unserem Tool, was wir nutzen. Aber das, was wir hier machen, geht natürlich auch ohne unser Tool. Also das kann ich direkt so noch mal dazu sagen. Deswegen gucken wir uns an, wie groß sind unsere Kontroll und Variationsgruppen? Auch während des Verlaufs werden noch einzelne URLs oder Seiten ausgeschlossen, die innerhalb dieses Testzeitraums auffällig werden. Also wenn wir zum Beispiel irgendwie kurz vor Valentinstag anfangen zu testen und plötzlich kommt da irgendwie so ein ungewöhnliches Muster rein, dann wird das ausgeschlossen. Und wir schauen uns natürlich auch an, wie viel Prozent hat Google davon denn überhaupt verarbeitet? Denn das ist das entscheidende daran, dass wir wirklich sehen können, hat Google diese Inhalte erfasst und berücksichtigt oder nicht? Nur dann kriegt man wirklich saubere Aussagen dazu. Und dadurch, dass wir jederzeit, also tagesaktuell, in diese Daten reingucken können, ist das Ganze so, dass wir hier auch immer sehen können, müssen wir den Test vielleicht noch ein bisschen länger laufen lassen, um an der Stelle eine statistische Validität hinbekommen hinzubekommen. Entschuldigung, genau. Und die anderen Punkte sind an der Stelle Cloaking super wichtig. Also ich muss verhindern bei Suchmaschinen, dass sie was anderes sehen als Benutzer.Und die Gefahr besteht, wenn man normale A-B Testing Tools verwendet, die nicht auf SEO ausgerichtet sind, also die wirklich basierend auf der Webseite selber etwas anders darstellen. Wenn es ein einzelner Button Text ist oder so, mag das nicht so wichtig sein. Wenn ich aber bei A-B Testing, ich habe natürlich nur kleinere Beispiele jetzt hier gezeigt, aber wir können Sachen hinzufügen, wir können Sachen entfernen, an eine andere Position schieben, Sachen teilweise ausblenden, CSS hinzufügen. All solche Sachen kann man ja machen. Und wenn wir an der Stelle wirklich etwas Größeres ändern, wie zum Beispiel einen Text komplett von der Webseite entfernen, dann zeigen wir natürlich dem Nutzer an der Suchmaschine eventuell beim normalen A-B Test was anderes. Und hier, dadurch, dass wir das wirklich sauber Suchmaschinen und Benutzern das Gleiche zeigen, haben wir halt den Vorteil, dass das Cloaking halt nicht als Gefahr besteht. Und Cloaking ist halt etwas, was gegen die Richtlinien von Google verstößt. Also dafür würde man halt auch wirklich Probleme kriegen können mit Google. Dann natürlich wurden die Seiten wirklich in gleichwertige Kohorten aufgeteilt. Da geht es halt nicht einfach zu sagen, wir nehmen die, die sehen so ähnlich aus und sagt dann irgendwie Herrengummistiefel und auf der anderen Seite irgendwie Hundeleinen machen wir irgendwie in eine Gruppe oder in zwei Gruppen, weil die haben die gleiche Anzahl von Klicks oder so. Also auch wenn sie die gleiche Zahl an Klicks haben, man muss sich das vor allem über längere Zeiten anschauen und nicht irgendwie auf Scheinkorrelationen reinfallen, sonst verbindet man in diesen Kohorten Dinge miteinander, die überhaupt nicht miteinander zusammenpassen. Und als nächstes dann kurze Reaktionszeit, falls irgendwie eine Fehlentwicklung entsteht. Wir testen häufig solche Sachen deswegen erst in so einer kleinen Gruppe als Case im Prinzip, um zu sehen, was passiert, dass man z.B. erstmal nur auf 50 Seiten das ganze Test testet, wenn es erstmal grundsätzlich funktioniert. Kurz danach dann auf eine größere Anzahl von Seiten. Also größere Anzahl von Seiten kann im Enterprise Bereich auch irgendwie sowas wie zehn bis zwanzigtausend Seiten umfassen. Also nur damit man so Kohortengrößen auch mal erkennt. Und da geht es natürlich darum, wenn ich auf Sprint Basis arbeite und in manchen Unternehmen ist es so, dass ich nur alle vier Wochen eine Änderung vornehmen kann. Ich hätte jetzt kein A-B Test gemacht, ändere was am Template und sage, google reagiert darauf sehr negativ und die IT sagt mir, in vier Wochen bauen wir das wieder auf aus, dann ist das irgendwie wenig lustig. Also ich hatte mal den Fall, dass wir in einem Unternehmen, wo ich tätig war, einen kleinen Fehler eingebaut haben und wir haben pro Minute etwa 1000 Seiten aus dem Index verloren. Ja, da ist das Ganze so, dass du glücklich bist, wenn du Entwickler hast, die das immer innerhalb von wenigen Minuten wieder gelöst kriegen. Bis die alle wieder im Index waren, hat es mehr als ein halbes Jahr gedauert. Ja, wenn ich so eine Änderung habe und die ist vier Wochen irgendwie online, das ist alles andere als lustig. Deswegen müsst ihr immer bei A B Testing Tools auch gucken, wenn ihr Effekte seht, wie schnell könnt ihr darauf reagieren, dass ihr solche Negativentwicklungen eben wirklich dann nochmal abbremsen könnt. Und das letzte ist natürlich bleibt die statistische Relevanz trotz externer Effekte erhalten. Externe Effekte haben wir z.B. hier ein sehr schönes Beispiel Onlineshop, wo plötzlich eine Marke, also eine Brand insolvent war und die Leute plötzlich wie blöde diese Marke gesucht haben, um die noch schnell im Shop zu kaufen, solange sie noch verfügbar ist. Wenn ich sowas statistisch nicht rausrechne, kriege ich halt ein katastrophales Ergebnis. Ich kann z.B. sagen, ja plötzlich irgendwie diese Rubrik ist ja super, die muss ich irgendwie auf Basis meines A B Tests verändern. Und in Wirklichkeit hat es nichts damit zu tun, sondern es war eine einzige dominante oder eine, also entweder eine dominante URL oder eine dominante Gruppe dabei, wie alle Produkte einer Marke, die das ganze verzerrt haben. Und da kann man das ganze dann halt sauber rausrechnen. Normalerweise, wenn man ein brauchbares Tool entweder hat oder wenn man es selber macht, muss man es halt händisch machen, damit man am Ende eben wirklich trotzdem diese sauberen Daten kriegt. Meine vier Top Learnings, die ich davon mitnehme, ist einmal, A B Tests machen konkrete Aussagen zur Veränderung im SEO wirklich erstmal möglich. Das haben wir sonst an vielen Stellen nur mit sehr, sehr vielen Krücken. Das andere ist, A B Tests im SEO helfen bei der Priorisierung von Entwicklertickets, weil ich halt ganz klar sagen kann, was sowas bringen wird. Und ich kann natürlich mein Risiko minimieren. Dann auf der anderen Seite kann man ganz klar sagen, du kannst nicht so viele oder nein, du kannst nicht zu viele SEO Tests machen an der Stelle, sondern wirklich so viel testen wie möglich. Und man sollte aber immer vorher Erwartungen bzw. Ziele an meine Veränderung knüpfen, selbst wenn es nur dazu dient, dass ich sozusagen daraus lerne für weitere Tests, die ich mache. Und als letztes ganz klar, mit A B Testing im SEO lassen sich halt auch Business Cases rechnen, wo ich z.B. sagen kann auf einer Webseite, z.B. von Publisher, ich baue hier ein Werbemittel ein und dieses Werbemittel ist so, dass es mir den und den Erfolg bringen wird. Also z.B. ad impressions oder ähnliche Sachen. Oder ich kann eben auch wirklich Veränderungen vornehmen auf der Webseite, die bisher im Business Case von dem Gesamten nicht mitgerechnet wurden und dadurch SEO plötzlich ganz klar gegenrechnen. Dann bin ich bereit für Fragen. Die URL für die Folien kommt gleich auch noch. Genau. Perfekt. Danke, Nils. Sehr gerne. Ja, ich sehe schon, es gibt die ersten Fragen. Nicht wundern, ich werde die Fragen für die Audience zu Hause nochmal laut wiederholen. Ja, bitte, da vorne.Mehrere Fragen. Genau. Gibt es eine Ressource, einen Blog oder so etwas, wo die verschiedenen Tests, die ihr durchführt, dokumentiert sind oder beziehungsweise einsehbar sind? Und ähm wie groß ist die Community, die das so anwendet in der Form? Genau. Also ähm ja, wir haben bei äh auf Semrush, Moment, haben wir irgendwo da. Genau. Wir haben einmal im Twitter Kanal von Split Signal. Split Signal ist das Tool, mit wem wir das gemacht haben. Gehört zu Semrush. Ähm Da haben wir ganz, ganz viele, also hunderte von Beispielen gepostet. Da sieht man auch noch mal ähm, da haben wir das im Prinzip so ein bisschen Gamification. Es gab immer Abstimmungen. Folgendes wollen wir testen. Was glaubt ihr, was dabei herauskommt? Sehr interessant, auch diese Bewertung der SEOS zu sehen. Und dann haben wir am Ende immer aufgelöst, was dabei rausgekommen ist. Ähm Da könnt ihr es sehen. Aber es gibt auch auf semrush.com gibt es einen Blogbereich, wo diese ganzen Tests dokumentiert sind, wo wir auch Cases vorgestellt haben, wo wir auch die Hintergründe ein bisschen erklären. Da und falls ihr es nicht findet, schreibt mir einfach eine Email oder so das oder besser noch eine über über Facebook mich kontaktieren, dann kriegen wir es auf jeden Fall hin. Ähm Die Audience, wie groß ist die? Wir nutzen es in erster Linie für Enterprise Kunden, also für große Kunden. Ich darf nichts zu Interna in der Richtung sagen, aber insgesamt ist das Ganze so, dass wir wirklich zigtausend Tests seit mehreren Jahren damit fahren. Also das ist schon, das hat Hand und Fuß, sozusagen. (kichern) Und von daher wir haben auch sehr unterschiedliche Bereiche, ähm von All Obs Webseiten über ähm B2B, B2C, Sachen, die halt sehr, sehr nischig sind. Also es gibt kaum etwas eigentlich, was wir thematisch nicht abdecken und halt auch in sehr, sehr vielen unterschiedlichen Ländern. Okay. Perfekt. Danke. Die nächste Frage. Lohn sich das Testing bei einer Seite mit, oh Gott, jetzt hast du Zahlen genannt, zehntausend Visitors pro Monat und vierzig bis fünfzig Unterseiten? Genau. Und wie würdest du die Kohorten aufteilen? Also wir nutzen an der Stelle, das so ein Modell, wo wir einfach hingehen und gucken uns die letzten hundert Tage an. Dadurch ist das Ganze so, wenn man das statistisch verwendet als Basis, dass man ähm saisonale Effekte, Besonderheiten et cetera mit rauskriegt, beziehungsweise das für diese Kohortenbildung halt einfach mit nutzen kann, weil Begriffe, die halt eine ähnliche Saisonalität haben, können dann aufgesplittet werden. Ähm Also das bildet unser statistisches Modell ab. Das ist aber was, was ihr genauso auch selber machen könnt. Also diese Veränderungen werden bei uns per JavaScript eingebunden. Also ein kleines Schnipselchen braucht man nur. Es wird keine großen Entwicklerressourcen dafür vorher gebraucht. Ähm Und solche Sachen kann man über einen Google Tag Manager einbauen. Und wenn ihr sowas selber machen wollt, könnt ihr natürlich auch ohne unsere Lösung solche Sachen machen, indem ihr zum Beispiel solche Veränderungen über den Google Tag Manager da rein pusht und dann die Veränderung per JavaScript auf der Seite selber macht. Da müsst ihr nur halt irgendwie zum Beispiel beim Zählpixel sicherstellen, dass Google diese Seite auch wirklich gerendert hat. Das ist so die Herausforderung an der Stelle. Ähm Größenordnung, ja, würde glaube ich gerade so gehen. Größer wäre besser, um es mal so zu sagen. Also meist ist es so, dass so ab hundert Seiten, die man in so einen Test mit reintun kann, ähm wird es eigentlich so, dass es erst so richtig spannend wird, so von der Größenordnung. Und wir bevorzugen natürlich ähm Seiten, die eher so im hunderttausender Bereich sind, was ähm Seitenaufrufe oder Visits angeht, weil je größer die Datenlagen sind, die wir da haben, desto relevantere ähm Informationen können wir dazu bereitstellen. Wir haben aber auch Kunden, die eher so in der Größenordnung sind, unterwegs sind, was du gerade gefragt hattest. Ähm Da ist, selbst wenn die statistische Validität nicht hundertprozentig gegeben ist, haben wir trotzdem eine sehr hohe Trefferquote bei dem, was wir abschätzen können im Hintergrund. Gerne. Danke. So, wir sind ein bisschen am Ende der Zeit angelangt. Ich glaube, du bist bestimmt auch noch ein bisschen hier auf der Konferenz. Genau. Dann, wenn ihr noch Fragen habt im Nachgang an Nils, dann dürft ihr sie stellen. Und ansonsten noch mal herzlichen Dank. Ich bin noch auf der auf der. Auf der Aftershow-Party. After-Show-Party dabei. Perfekt. Genau. Sprecht mich gerne an. Und bevor wir zu der gleich kommen, gibt es hier noch einen besonderen Abschluss, einen Live-Podcast mit About You und Ladenzeile. Also bleibt gerne sitzen. Es geht ah um siebzehn Uhr fünfzehn weiter. Danke, Nils.