Wozu werden A/B‑Tests eingesetzt?

A/B‑Tests (auch Split-Tests genannt) helfen Ihnen, die Reak­tion von Menschen auf alter­na­tive Ange­bote zu testen. Hier sind einige Beispiele:

Poli­ti­sche Parteien finden mit A/B‑Tests heraus …

  • welches von drei Wahl­pla­ka­ten die höchste Sympa­thie für die Kandi­da­tin hervorruft.
  • welcher Wahl­slo­gan sich am besten einprägt.
  • welcher Wahl­slo­gan die höchs­ten Sympa­thie­werte hervorruft.
  • welcher Punkt in einem Wahl­pro­gramm ganz oben stehen sollte, um die höchste Zustim­mung für das Programm zu erreichen.

Unter­neh­men nutzen A/B‑Tests, um zu entscheiden, …

  • welche Farben oder welche Bilder im Webshop die höchste Kauf­rate erzeugen.
  • welcher Anzei­gen­text die meis­ten Bestel­lun­gen generiert.
  • an welchen Wochen­ta­gen ein Sonder­an­ge­bot ihnen den größ­ten Nutzen bringen.
  • bei welcher Beschal­lung ein Schuh­ge­schäft den höchs­ten Umsatz erzielt.

Wie Sie mit A/B‑Tests Entscheidungsfehler vermeiden

A/B‑Tests sind meist einfach durch­zu­füh­ren. Das Beson­dere an ihnen ist, dass sons­tige Einflüsse zuver­läs­sig elimi­niert werden.

Trainings und Workshops

Kluges Entscheiden

Verbes­sern Sie die Entschei­dungs­kom­pe­tenz Ihrer Orga­ni­sa­tion. Redu­zie­ren Sie Entschei­dungs­kon­flikte, Fehl­ent­schei­dun­gen, Über­ana­lyse und Meetings ohne Resultate.

Schauen wir uns das Beispiel der Hinter­grund­mu­sik im Schuh­ge­schäft an. Der Schuh­händ­ler könnte einfach eine Woche Volks­mu­sik abspie­len und die folgende Woche Popmu­sik. Die Musik, die er in der Woche mit dem höchs­ten Umsatz gespielt hat, spielt er in Zukunft nur noch.

Eine gute Entschei­dung? Nicht wirklich!

Neben der Beschal­lung gab es nämlich eine Menge weite­rer Einflüsse, die zwischen den beiden Wochen vari­iert haben. Diese Einflüsse können sein:  Wetter, Schul­fe­rien, Monats­an­fang vs. Monats­ende, gute oder schlechte Nach­rich­ten in der Zeitung, und so weiter.

Der Schuh­händ­ler läuft also Gefahr, künf­tig eine Musik­art abzu­spie­len, die seinen Umsatz mindert. Und zwar um einen spür­ba­ren Betrag.

Genau diese Art von Entschei­dungs­feh­lern ist es, die sich mit A/B‑Tests einfach vermei­den lassen.

Wie führt man A/B‑Tests durch?

Das Wich­tigste beim A/B‑Test ist das Rando­mi­sie­ren. Wenn Sie wissen wollen, ob die Wurst sich mit der Wind­mühle oder mit dem Bauern­hof auf dem Etikett besser verkauft, stel­len Sie abwech­selnd das eine oder das andere Produkt ins Regal. Wann genau welches Produkt ange­bo­ten wird, muss rando­mi­siert, also zufäl­lig sein.

Sie würden beispiels­weise jeden Tag eines der Produkte anbie­ten. Welches Produkt an einem bestimm­ten Tag ins Regal kommt, können Sie auswür­feln. Zum Beispiel: unge­rade Zahl = Wind­mühle; gerade Zahl = Bauern­hof. Jeder neue Daten­punkt ist ein Expe­ri­ment. Eine Kombi­na­tion aus Zeit und Produkt.

Sie notie­ren für jede Vari­ante den Tages­ab­satz an den betref­fen­den Tagen. Mit einem einfa­chen statis­ti­schen Verfah­ren stel­len Sie fest, wann Sie genü­gend Stich­pro­ben für eine eindeu­tige Aussage haben. Dann können Sie das Expe­ri­ment beenden.

Es gibt kein ande­res Werk­zeug, mit dem Entschei­dun­gen so verläss­lich getrof­fen werden, wie mit rando­mi­sier­ten (Zufalls-) Experimenten.

Wann funktionieren A/B‑Tests (nicht)?

Ganz pauschal: Es muss möglich sein, eine Anzahl rando­mi­sier­ter Expe­ri­mente durch­zu­füh­ren. Expe­ri­mente, bei denen Sie die A- und B‑Varianten auspro­bie­ren. A/B‑Tests machen dann Sinn, wenn nach den Expe­ri­men­ten ein länge­rer Zeit­raum folgt, in dem die über­le­gene Vari­ante einge­setzt wird. Schauen Sie sich doch noch einmal die Anwen­dun­gen im ersten Abschnitt an.

A/B‑Tests sind nicht möglich, wenn Sie die Entschei­dung vor ihrer Umset­zung nicht expe­ri­men­tell simu­lie­ren können. Beispiel dafür: Sie müssen aus zwei Kandi­da­ten für eine Stelle einen auswäh­len. Sie haben Ihre Entschei­dung für ein neues Auto auf zwei Modelle einge­grenzt und müssen sich nun für eins entscheiden.

Bei der Perso­nal­aus­wahl ist es möglich, mit Stra­te­gien der Perso­nal­aus­wahl zu expe­ri­men­tie­ren. Hier ein Vorschlag für Experimentierfreudige:

  1. Beschrei­ben Sie zwei Stra­te­gien oder Vorge­hens­wei­sen der Perso­nal­aus­wahl. Die erste könnte zum Beispiel darin bestehen, Bewer­bungs­ge­sprä­che tele­fo­nisch durch­zu­füh­ren. Bei der zwei­ten Stra­te­gie wird tradi­tio­nell face-to-face interviewt.
  2. Formu­lie­ren Sie eine test­bare Hypo­these. Zum Beispiel: “Die Inha­ber von Stel­len, die durch Bewer­bungs­ge­sprä­che im Büro besetzt werden, werden nach einem Jahr von ihren Vorge­setz­ten besser bewer­tet also solche, die auf Grund­lage von Tele­fon­ge­sprä­chen ausge­wählt wurden.”
  3. Bei den nächs­ten 20 bis 30 Bewer­bun­gen führen Sie rando­mi­sierte Expe­ri­mente durch. Für jede zu beset­zende Stelle lassen Sie die Münze entschei­den, ob Sie Vor-Ort- oder tele­fo­ni­sche Inter­views durchführen.
  4. 12 Monate später begin­nen Sie, Bewer­tun­gen einzu­ho­len und Mittel­werte und Stan­dard­ab­wei­chun­gen zu berech­nen. Diffe­ren­ziert nach der jeweils ange­wand­ten Auswahlstrategie.
  5. Prüfen Sie, ob die Unter­schiede zwischen den beiden Stra­te­gien statis­tisch signi­fi­kant sind. Im Inter­net gibt es diverse kosten­lose Signi­fi­kanz­rech­ner. Zur Inter­pre­ta­tion, beson­ders des p‑Wertes, hier ein Link: https://jacobfricke.de/statistisch-signifikant-ab-test/ .

Wie können Sie die Methode einführen?

So gehe ich bei unse­ren Solid­De­cisi­ons-Kunden gerne vor:

  1. Verschie­dene Berei­che und Themen des Unter­neh­mens auflis­ten. Ich mache das gerne mit einer Mindmap.
  2. Mit den Stake­hol­dern (Bereichs­lei­ter, Projekt­ver­ant­wort­li­che) spre­chen und aktu­elle Probleme, Ziele, Erfolgs­kri­te­rien in Erfah­rung brin­gen. Die Ergeb­nisse in die Mind­map einfügen.
  3. Auf Grund­lage der Ergeb­nisse etwa zehn Ideen für provo­kante Hypo­the­sen formu­lie­ren. Denn nichts ist wirkungs­vol­ler, als mit dem A/B‑­Test-Pilot­pro­jekt gleich eine heilige Kuh zu schlachten.
  4. Gemein­sam mit den Stake­hol­dern drei bis vier Hypo­the­sen für das Einfüh­rungs­pro­jekt auswäh­len und even­tu­ell verbessern.
  5. Einen (agilen) Umset­zungs­plan fest­le­gen und machen.

Dieser Ansatz ist zuge­ge­ben etwas unge­wöhn­lich. 99,9% der Anwen­der setzen A/B‑Tests für Opti­mie­rungs­ent­schei­dun­gen ein. Wie in den Beispie­len im ersten Abschnitt.

In meinen typi­schen Projek­ten geht es dage­gen um Disrup­tion, um das Hinter­fra­gen von Para­dig­men, von fest­sit­zen­den Annah­men darüber, wie die Welt funk­tio­niert und wie man Dinge tut.

Support

Wenn ich Ihnen im Rahmen eines kompak­ten Tele­fon­ge­sprächs oder einer Email weiter­hel­fen kann: Das mache ich gerne kosten­los. Schrei­ben Sie mir einfach eine Nach­richt­Für Trai­nings, Webi­nare, Work­shops oder Tele-Coaching finden Sie über den Link mehr Informationen.