Zahlen, Daten, Fakten! Standen Sie schon vor der Frage, ob ein anderes Produktbild oder eine alternative Formulierung besser funktioniert? Mit Hilfe eines A/B Tests können zwei Varianten gegeneinander getestet werden. Gegenstand der Untersuchung können zum Beispiel Formulierungen, Bilder oder Navigationselemente für eine Website oder in einem Onlineshop sein. Das Ziel der Untersuchung ist, herauszufinden welche Version dem Shop- und Unternehmen mehr Gewinn bringt. Aus diesem Grund werden A/B Tests häufig durchgeführt, um die Abschlussquote für Käufe (Conversion-Rate) im Onlineshop zu optimieren. 

In diesem Blogbeitrag, finden Sie alles, was Sie zum Thema A/B Test für Ihren Onlineshop wissen müssen. 

• Was ist überhaupt ein A/B Test? 
• Wie funktioniert ein A/B Test? 
• In welcher Zeitspanne sollte ein solcher Test durchgeführt werden?
• Welchen Nutzen erziele ich durch einen A/B Test?
• Wie setze ich einen A/B Test auf?
• Wie analysiere ich die Ergebnisse?

Was ist überhaupt ein A/B Test? 

Ein A/B Test oder im Englischen auch Split Test genannt, ist eine Methode bei der zwei verschiedene Varianten gegenübergestellt und getestet werden. Den Mitgliedern der Testgruppe A wird eine Variante gezeigt, während die Mitglieder der Gruppe B die andere Variante sehen. Da der Test für beide Gruppen gleichzeitig durchgeführt wird, kann man davon auszugehen, dass die äußeren Faktoren vergleichbar sind. Wenn nur ein Merkmal, zum Beispiel die Farbe eines Buttons, unterschiedlich ist, lässt sich die Verhaltens- oder Leistungsänderung exakt darauf zurückführen. So stellen Sie fest, welche der beiden Varianten die Kunden in dem Onlineshop besser annehmen.

Mit Hilfe dieser Tests finden Sie auch heraus, mit welchen Produktbildern, Designs, Formulierungen oder Funktionen Sie Ihre Zielgruppe besser ansprechen. Diese Erkenntnisse helfen mehr Umsatz aus dem bestehenden Traffic zu generieren und legen den Grundstein für eine datengetriebene Marketing-Strategie. 

Wie funktioniert ein A/B Test? 

Bevor Sie einen A/B Test durchführen, ist das Problem und die mit dem Test zu beantwortende Frage (Hypothese) zu formulieren. Um ein Problem zu identifizieren, hilft eine Analyse des Verhaltens der Besucher auf Ihrer Webseite oder in Ihrem Shop. Informationen wie zum Beispiel, auf welchen Seiten die Nutzer schnell  abspringen oder wo sie lange verweilen, geben erste Anhaltspunkte. Für diese Informationen sind Programme wie Google Analytics oder Matomo (früher Piwik) sehr nützlich. Diese Tools liefern genaue Daten wie Absprungraten oder die Verweildauer.

Funktioniert ein orangener Button besser als ein weißer?

Um zu testen ob ein orangener Button besser funktioniert als ein weißer, werden die Besucher des Onlineshops in zwei Gruppen unterteilt – Gruppe A und Gruppe B. Die Zuordnung zur der jeweiligen Gruppe erfolgt zufällig. 50% der Besucher bekommen Version A und die anderen 50% bekommen Version B gezeigt. Die eine Hälfte der Besucher bekommt einen orangenen Button angezeigt, die andere Hälfte einen weißen. Nun lässt man beide Versionen einige Zeit laufen und sammelt Daten. Die Variante, mit der am Ende die meisten Kaufabschlüsse erzielt werden, gewinnt. Nehmen wir also an, dass 80% der User aus Gruppe A, die den orangenen Button ausgespielt bekommen, auch darauf klicken, während nur 50% der Nutzer in Gruppe B auf den weißen klicken. So hat der orangene Button bei diesem Test gewonnen. Bedeutet im Umkehrschluss für Sie, dass Sie zum einen den Angebots-Button farblich orange markieren sollten. Es könnte aber auch ein Hinweis sein, dass Sie mehrere Dinge wie z.B. Produkte in Ihrem Shop farblich hervorheben sollten. 

Welche Zeitspanne sollte für einen A/B-Test vorgesehen werden?

Grundsätzlich wird die Laufzeit eines Tests durch die Anzahl der Besucher auf der jeweiligen Seite und die erwartete Änderung, zum Beispiel der Kaufabschlussrate, bestimmt. Um die notwendige Dauer des Tests zu ermitteln, gibt es online diverse Laufzeitrechner. Die Gemeinsamkeit aller Rechner ist, dass eine Anzahl der im Testzeitraum erwarteten Besucher (in Summe oder pro Tag) eingegeben werden muss. Dabei sollte darauf geachtet werden, ob die Gesamtzahl der Nutzer oder nur die Anzahl der Nutzer auf der Testvariante eingegeben werden muss. Im letzteren Fall muss bei einem 50:50 Split der aktuelle Wert entsprechend korrigiert werden. Als Ausgangswert dienen meist die historischen Durchschnittswerte der Anzahl von Usern auf der zu testenden Seite. Zusätzlich wird immer eine Conversion-Rate, die den aktuellen Status beschreibt, erfragt. 

Der Unterschied zwischen den Rechnern liegt dann in der gewählten Perspektive. So beantwortet zum Beispiel abtasty die Frage, ab welcher Änderung der ursprünglichen Conversion-Rate der Unterschied statistisch nachgewiesen werden kann (Signifikanztest). Der Test von converlytics beantwortet hingegen die Frage, wie viele Tage notwendig sind, um eine erwartete Änderung der Kaufabschlussrate statistisch zu belegen. Die Zahl der notwendigen Besucher und damit der Zeitspanne hängt auch vom gewählten Signifikanz- oder auch Konfidenzniveau und der damit einhergehenden statistischen Irrtumswahrscheinlichkeit ab. Vergleicht man die notwendige Anzahl an Usern für eine 1 prozentige Irrtumswahrscheinlichkeit mit einer 5 prozentigen, erkauft man sich die höhere Sicherheit, in der Regel mit einer mindestens doppelt so langen Laufzeit. 

Ausgehend von der Mindestanzahl an Nutzern und der damit verbunden Untergrenze der Laufzeit, empfiehlt es sich meist, die Laufzeit etwas länger zu wählen. Allerdings können bei langen Testlaufzeiten zum Beispiel saisonale Schwankungen die Ergebnisse stark beeinflussen. Betrachten wir unser Beispiel des farbigen Buttons, so ist es vorstellbar, dass im Frühjahr/Sommer ein orangefarbener Button besser funktioniert als im Herbst. Mit hellen, farbenfrohen Farben assoziieren wir häufig Frühling/Sommer – daher sprechen uns Farben in diesem Zeitraum eher an als beispielsweise dunkelblau. Auch Schwankungen oder Widersprüche hinsichtlich der Performance im Vergleich zwischen den Arbeitstagen und den Wochenenden sind zu beobachten. In diesem Fall kann man entweder auf die insgesamt bessere Lösung setzen oder man passt die Darstellung entsprechend den Tagen an.

Welchen Nutzen erziele ich durch einen A/B Test?

Die Antwort ist ganz einfach: Eine höhere Kaufabschlussrate (Conversion-Rate)

Doch Sie profitieren nicht nur durch eine höhere Conversion-Rate. A/B Tests bringen auch andere, sinnvolle Erkenntnisse mit sich – die ständige Weiterentwicklung Ihres Shops. Anhand ausgewerteter Daten wissen Sie genau, wonach Ihre Kunden suchen und vor allem wie Sie suchen. Wenn Sie also von durchgeführten Tests erfahren haben, dass Ihre Kunden eher auf kurze und informative Texte klicken und so die Absprungrate geringer ist, dann sollten Sie die Textlänge Ihrer Website einmal überdenken und ggf. überarbeiten. 

Wie setze ich einen A/B Test auf?

Nachdem Sie zu Beginn analysiert haben, an welcher Stelle optimiert werden soll, gilt es in dieser Instanz das Problem konkret zu definieren. Auf Basis des beobachteten Problems formulieren Sie nun eine Hypothese. Die Hypothese beruht auf einer Überlegung zur Ursache und der sich ergebenden Änderung bei Wegfall oder Minderung des Problems. Craig Sullivan hat verschiedene Hypothesen Formeln entwickelt, die hier unterstützen können.  

Weil ich [Daten einfügen / Forschungsergebnisse] beobachtet habe -> erwarte ich, dass [getestete Veränderung] sich folgendermaßen auswirken wird: [Auswirkung, die Sie erwarten] -> Ich werde diesen anhand von [Datenkennzahlen] messen.

Füllen Sie die entsprechenden Lücken mit Ihrem Inhalt! Sie werden schnell merken, dass es gar nicht so schwer ist! 

Beziehen Sie verschiedene Teams mit ein, um mögliche Ursachen und Lösungen zu finden. So haben das Design- und Programmierungsteam meist völlig unterschiedliche Blickwinkel auf das gleiche Problem! Hier schlummern daher häufig gute Ideen und verschiedene Lösungsansätze.

Auswahl eines Test-Tools

Für die Durchführung eines A/B Tests ist ein entsprechendes Testing-Tool sehr hilfreich. Hier können Sie für den Anfang auf kostenfreie Lösungen wie Google Optimize zurückgreifen. Mit diesen Basisprogrammen können Sie schon die ein oder andere Erkenntnis gewinnen. Sollten Sie jedoch tiefer in die Materie eintauchen wollen, bietet Sie sich vermutlich ein umfangreiches und nicht mehr kostenfreies A/B Test-Tool an. 

Nachdem Sie sich für ein Tool entschieden haben, melden Sie sich dort an und folgen den Anweisungen. In der Regel werden Sie aufgefordert den Code-Schnipsel Ihrer Website dort zu hinterlegen als auch Ihre entsprechenden Ziele zu benennen. Alles weitere wie Auswertungen und Umsetzungsvorschläge liefert dann das Tool. 

Wie analysiere ich die Ergebnisse?

Betrachten Sie die Ergebnisse im Ganzen. Bei der Analyse geht es um so viel mehr, als die Frage, ob der Test einen Gewinner oder Verlierer hervorgebracht hat. Konzentrieren Sie sich auf die gesammelten Daten, um daraus Ihre Erkenntnisse zu ziehen. Die A/B Test Tools übernehmen in der Regel nicht die Analyse für Sie. Daher ist dies eine wichtige Fähigkeit, die im Laufe der Zeit entwickelt werden sollte.

Kleiner Tipp: Archivieren Sie alle Ihre Ergebnisse! Denn in einem halben Jahr werden Sie sich an die Details der Auswertung wohl nicht mehr erinnern. Aus diesem Grund ist das Archivieren Ihrer Testergebnisse wichtig. Ohne ein gut gepflegtes Archiv werden all die gewonnenen Ergebnisse verloren gehen.

Nutzen Sie fortschrittliche Technologie für einen A/B Test

Die Handelsplattform von Lightspeed bietet eine Reihe von Tools und Tipps, die Ihnen dabei helfen, einen A/B Test für Ihren Onlineshop durchzuführen. Sprechen Sie noch heute mit einem unserer Experten und überzeugen Sie sich selbst.