A/B‑Tests: Daten statt Bauchgefühl

Wozu werden A/B‑Tests eingesetzt?

A/B‑Tests (auch Split-Tests genannt) helfen Ihnen, die Reaktion von Menschen auf alter­na­tive Angebote zu testen. Hier sind einige Beispiele:

Politi­sche Parteien finden mit A/B‑Tests heraus …

• welches von drei Wahlpla­katen die höchste Sympa­thie für die Kandi­datin hervorruft.
• welcher Wahlslogan sich am besten einprägt.
• welcher Wahlslogan die höchsten Sympa­thie­werte hervorruft.
• welcher Punkt in einem Wahlpro­gramm ganz oben stehen sollte, um die höchste Zustim­mung für das Programm zu erreichen.

Unter­nehmen nutzen A/B‑Tests, um zu entscheiden, …

• welche Farben oder welche Bilder im Webshop die höchste Kaufrate erzeugen.
• welcher Anzei­gen­text die meisten Bestel­lungen generiert.
• an welchen Wochen­tagen ein Sonder­an­gebot ihnen den größten Nutzen bringen.
• bei welcher Beschal­lung ein Schuh­ge­schäft den höchsten Umsatz erzielt.

Wie Sie mit A/B‑Tests Entschei­dungs­fehler vermeiden

A/B‑Tests sind meist einfach durch­zu­führen. Das Beson­dere an ihnen ist, dass sonstige Einflüsse zuver­lässig elimi­niert werden.

Schauen wir uns das Beispiel der Hinter­grund­musik im Schuh­ge­schäft an. Der Schuh­händler könnte einfach eine Woche Volks­musik abspielen und die folgende Woche Popmusik. Die Musik, die er in der Woche mit dem höchsten Umsatz gespielt hat, spielt er in Zukunft nur noch.

Eine gute Entschei­dung? Nicht wirklich!

Neben der Beschal­lung gab es nämlich eine Menge weiterer Einflüsse, die zwischen den beiden Wochen variiert haben. Diese Einflüsse können sein:  Wetter, Schul­fe­rien, Monats­an­fang vs. Monats­ende, gute oder schlechte Nachrichten in der Zeitung, und so weiter.

Der Schuh­händler läuft also Gefahr, künftig eine Musikart abzuspielen, die seinen Umsatz mindert. Und zwar um einen spürbaren Betrag.

Genau diese Art von Entschei­dungs­feh­lern ist es, die sich mit A/B‑Tests einfach vermeiden lassen.

Wie führt man A/B‑Tests durch?

Das Wichtigste beim A/B‑Test ist das Rando­mi­sieren. Wenn Sie wissen wollen, ob die Wurst sich mit der Windmühle oder mit dem Bauernhof auf dem Etikett besser verkauft, stellen Sie abwech­selnd das eine oder das andere Produkt ins Regal. Wann genau welches Produkt angeboten wird, muss rando­mi­siert, also zufällig sein.

Sie würden beispiels­weise jeden Tag eines der Produkte anbieten. Welches Produkt an einem bestimmten Tag ins Regal kommt, können Sie auswür­feln. Zum Beispiel: ungerade Zahl = Windmühle; gerade Zahl = Bauernhof. Jeder neue Daten­punkt ist ein Experi­ment. Eine Kombi­na­tion aus Zeit und Produkt.

Sie notieren für jede Variante den Tages­ab­satz an den betref­fenden Tagen. Mit einem einfa­chen statis­ti­schen Verfahren stellen Sie fest, wann Sie genügend Stich­proben für eine eindeu­tige Aussage haben. Dann können Sie das Experi­ment beenden.

Es gibt kein anderes Werkzeug, mit dem Entschei­dungen so verläss­lich getroffen werden, wie mit rando­mi­sierten (Zufalls-) Experimenten.

Wann funktio­nieren A/B‑Tests (nicht)?

Ganz pauschal: Es muss möglich sein, eine Anzahl rando­mi­sierter Experi­mente durch­zu­führen. Experi­mente, bei denen Sie die A- und B‑Varianten auspro­bieren. A/B‑Tests machen dann Sinn, wenn nach den Experi­menten ein längerer Zeitraum folgt, in dem die überle­gene Variante einge­setzt wird. Schauen Sie sich doch noch einmal die Anwen­dungen im ersten Abschnitt an.

A/B‑Tests sind nicht möglich, wenn Sie die Entschei­dung vor ihrer Umset­zung nicht experi­men­tell simulieren können. Beispiel dafür: Sie müssen aus zwei Kandi­daten für eine Stelle einen auswählen. Sie haben Ihre Entschei­dung für ein neues Auto auf zwei Modelle einge­grenzt und müssen sich nun für eins entscheiden.

Bei der Perso­nal­aus­wahl ist es möglich, mit Strate­gien der Perso­nal­aus­wahl zu experi­men­tieren. Hier ein Vorschlag für Experimentierfreudige:

1. Beschreiben Sie zwei Strate­gien oder Vorge­hens­weisen der Perso­nal­aus­wahl. Die erste könnte zum Beispiel darin bestehen, Bewer­bungs­ge­spräche telefo­nisch durch­zu­führen. Bei der zweiten Strategie wird tradi­tio­nell face-to-face interviewt.
2. Formu­lieren Sie eine testbare Hypothese. Zum Beispiel: “Die Inhaber von Stellen, die durch Bewer­bungs­ge­spräche im Büro besetzt werden, werden nach einem Jahr von ihren Vorge­setzten besser bewertet also solche, die auf Grund­lage von Telefon­ge­sprä­chen ausge­wählt wurden.”
3. Bei den nächsten 20 bis 30 Bewer­bungen führen Sie rando­mi­sierte Experi­mente durch. Für jede zu beset­zende Stelle lassen Sie die Münze entscheiden, ob Sie Vor-Ort- oder telefo­ni­sche Inter­views durchführen.
4. 12 Monate später beginnen Sie, Bewer­tungen einzu­holen und Mittel­werte und Standard­ab­wei­chungen zu berechnen. Diffe­ren­ziert nach der jeweils angewandten Auswahlstrategie.
5. Prüfen Sie, ob die Unter­schiede zwischen den beiden Strate­gien statis­tisch signi­fi­kant sind. Im Internet gibt es diverse kosten­lose Signi­fi­kanz­rechner. Zur Inter­pre­ta­tion, beson­ders des p‑Wertes, hier ein Link: https://jacobfricke.de/statistisch-signifikant-ab-test/ .

Wie können Sie die Methode einführen?

So gehe ich bei unseren Solid­De­cis­ions-Kunden gerne vor:

1. Verschie­dene Bereiche und Themen des Unter­neh­mens auflisten. Ich mache das gerne mit einer Mindmap.
2. Mit den Stake­hol­dern (Bereichs­leiter, Projekt­ver­ant­wort­liche) sprechen und aktuelle Probleme, Ziele, Erfolgs­kri­te­rien in Erfah­rung bringen. Die Ergeb­nisse in die Mindmap einfügen.
3. Auf Grund­lage der Ergeb­nisse etwa zehn Ideen für provo­kante Hypothesen formu­lieren. Denn nichts ist wirkungs­voller, als mit dem A/B‑Test-Pilot­pro­jekt gleich eine heilige Kuh zu schlachten.
4. Gemeinsam mit den Stake­hol­dern drei bis vier Hypothesen für das Einfüh­rungs­pro­jekt auswählen und eventuell verbessern.
5. Einen (agilen) Umset­zungs­plan festlegen und machen.

Dieser Ansatz ist zugegeben etwas ungewöhn­lich. 99,9% der Anwender setzen A/B‑Tests für Optimie­rungs­ent­schei­dungen ein. Wie in den Beispielen im ersten Abschnitt.

In meinen typischen Projekten geht es dagegen um Disrup­tion, um das Hinter­fragen von Paradigmen, von festsit­zenden Annahmen darüber, wie die Welt funktio­niert und wie man Dinge tut.

Support

Wenn ich Ihnen im Rahmen eines kompakten Telefon­ge­sprächs oder einer Email weiter­helfen kann: Das mache ich gerne kostenlos. Schreiben Sie mir einfach eine NachrichtFür Trainings, Webinare, Workshops oder Tele-Coaching finden Sie über den Link mehr Informationen.