Ist die neue Überschrift auf der Anmeldeseite besser als die alte? Bringt ein früheres Angebot mehr Käufe? Solche Fragen lassen sich mit Bauchgefühl schlecht beantworten und mit einem Vorher-nachher-Vergleich oft auch nicht. Ein A/B-Test im Webinar zeigt zwei Fassungen gleichzeitig unterschiedlichen Besuchern und vergleicht, welche besser abschneidet. Dieser Artikel erklärt, was sich zu testen lohnt, wie viele Besucher du brauchst und wie du ein Ergebnis liest, ohne dich von Zufall täuschen zu lassen.
Was ein A/B-Test leistet
Bei einem A/B-Test gibt es zwei Fassungen: A, die bisherige, und B, die geänderte. Jeder neue Besucher wird zufällig einer der beiden zugeteilt und bleibt dann bei ihr. Beide Fassungen laufen im selben Zeitraum. Am Ende vergleichst du eine vorher festgelegte Kennzahl.
Der Vorteil gegenüber einem Vorher-nachher-Vergleich liegt im gleichen Zeitraum. Ändert sich im Juli die Ferienlage, startet eine Anzeige oder versiegt eine Besucherquelle, trifft das beide Fassungen gleichermaßen. Ein Unterschied zwischen A und B geht dann mit hoher Wahrscheinlichkeit auf deine Änderung zurück und nicht auf den Kalender. Wie du Zahlen ohne Test sinnvoll vergleichst, beschreibt der Artikel Die Webinar-Auswertung richtig lesen.
Was sich im Webinar zu testen lohnt
Grundsätzlich kannst du alles testen, was Besucher sehen. Sinnvoll ist, was einen großen Hebel hat und genug Verkehr bekommt.
| Stufe | Beispiele für Tests | Kennzahl |
|---|---|---|
| Anmeldeseite | Überschrift und Versprechen, Bild, Zahl der Formularfelder, Reihenfolge der Abschnitte | Anmeldequote |
| E-Mails | Betreffzeile der Erinnerung, Zeitpunkt der letzten Erinnerung | Teilnahmequote |
| Webinar-Einstieg | Kürzere Begrüßung, früheres Nennen des Nutzens | Anteil der Gäste, die bis zum Angebot bleiben |
| Angebot | Zeitpunkt des Angebots, Aufbau der Angebotsfolien, Beschriftung des Kaufknopfs | Klicks auf das Angebot, Käufe |
Eine praktische Regel: Je weiter oben auf dem Weg ein Test ansetzt, desto mehr Besucher hat er und desto schneller gibt es ein Ergebnis. Die Anmeldeseite sehen viel mehr Menschen als das Angebot. Ideen für Seite und Betreff findest du in Eine Webinar-Landingpage, die überzeugt und Betreffzeilen für Webinar-E-Mails mit Beispielen.
Mit einer Vermutung beginnen
Ein guter Test beginnt nicht mit „Lass uns mal eine grüne Fassung probieren“, sondern mit einer begründeten Vermutung. Schreib sie in einem Satz auf:
Weil viele Besucher die Anmeldeseite ohne Scrollen wieder verlassen, ändern wir die Überschrift von einer allgemeinen Aussage zu einem konkreten Ergebnis. Wir erwarten eine höhere Anmeldequote und entscheiden nach mindestens vier Wochen.
Dieser Satz hat vier Teile: die Beobachtung, die Änderung, die erwartete Wirkung und die Kennzahl samt Dauer. Er zwingt dich, vorher festzulegen, woran du Erfolg misst. Damit vermeidest du, dass du nachträglich die Zahl suchst, die zufällig gut aussieht.
Eine Änderung zur Zeit
Unterscheiden sich A und B in fünf Punkten, weißt du am Ende nicht, welcher davon gewirkt hat. Vielleicht hat die neue Überschrift geholfen und das neue Bild geschadet, und beides hebt sich auf. Deshalb gilt: Ändere in B genau eine Sache.
Eine bewusste Ausnahme gibt es. Manchmal willst du zwei grundverschiedene Ansätze vergleichen, etwa eine kurze und eine ausführliche Anmeldeseite. Dann testest du zwei vollständige Konzepte gegeneinander. Das ist legitim, solange dir klar ist, dass du nur erfährst, welches Konzept besser abschneidet, und nicht, warum.
Wie viele Besucher ein Test braucht
Hier scheitern die meisten Tests. Zufall erzeugt immer Unterschiede, auch zwischen zwei identischen Fassungen. Wirf eine Münze zehnmal, und du bekommst selten genau fünfmal Kopf. Je weniger Besucher, desto größer diese Zufallsschwankungen. Ein echter Unterschied muss deutlich größer sein als das Rauschen, um sichtbar zu werden.
Wie viele Besucher du brauchst, hängt von zwei Dingen ab:
- Wie hoch die Ausgangsquote ist. Seltene Ereignisse wie Käufe brauchen viel mehr Besucher als häufige wie Anmeldungen.
- Wie groß der Unterschied ist, den du finden willst. Kleine Verbesserungen brauchen sehr viele Besucher. Halbierst du den gesuchten Unterschied, brauchst du etwa viermal so viele.
Zwei Beispielrechnungen mit üblichen Annahmen (95 Prozent Sicherheit, 80 Prozent Chance, einen echten Unterschied auch zu entdecken):
- Deine Anmeldeseite hat eine Anmeldequote von 30 Prozent, und du willst erkennen, ob B auf 36 Prozent kommt. Dafür brauchst du rund 960 Besucher je Fassung, zusammen also knapp 2.000.
- Von deinen Teilnehmenden kaufen 2 Prozent, und du willst erkennen, ob B auf 3 Prozent kommt. Dafür brauchst du rund 3.800 Teilnehmende je Fassung.
Die zweite Rechnung zeigt, warum Tests beim Angebot für kleinere Webinare oft unrealistisch sind. Wenn du in einem Monat 300 Teilnehmende hast, dauert ein solcher Test über zwei Jahre. Dann ist es klüger, weiter oben zu testen oder größere Änderungen zu wagen, deren Wirkung deutlicher ausfallen kann. Viele Testwerkzeuge enthalten einen Rechner für die nötige Stichprobengröße. Nutze ihn, bevor du startest.
Signifikanz verständlich erklärt
Testwerkzeuge zeigen oft eine Angabe wie „95 Prozent Signifikanz“ oder „statistisch gesichert“. Gemeint ist ungefähr Folgendes: Wenn es in Wahrheit keinen Unterschied zwischen A und B gäbe, würde ein so großer Unterschied wie der gemessene nur in etwa 5 von 100 solchen Tests durch Zufall entstehen. Das ist ein guter Grund, an eine echte Wirkung zu glauben, aber kein Beweis.
Zwei Missverständnisse sind verbreitet:
- „95 Prozent heißt, B ist zu 95 Prozent besser.“ Nicht ganz. Die Zahl sagt, wie unwahrscheinlich das Ergebnis wäre, wenn es keinen Unterschied gäbe. Manche Werkzeuge rechnen stattdessen eine Wahrscheinlichkeit aus, dass B besser ist. Das ist eine andere Rechnung, und es lohnt sich zu wissen, welche dein Werkzeug zeigt.
- „Nicht signifikant heißt, beide sind gleich gut.“ Es heißt nur, dass der Test keinen Unterschied belegen konnte. Bei zu wenigen Besuchern ist das fast immer das Ergebnis, auch wenn B in Wahrheit besser wäre.
Und dann gilt noch: Wer 20 Tests macht, bei denen es in Wahrheit keinen Unterschied gibt, bekommt im Schnitt trotzdem einmal ein „signifikantes“ Ergebnis, das reiner Zufall ist. Ein einzelner Treffer ist deshalb ein Hinweis, kein Naturgesetz. Bei wichtigen Entscheidungen lohnt es sich, einen auffälligen Gewinner noch einmal zu bestätigen.
Typische Fehler
- Zu früh aufhören. Wer täglich auf den Zwischenstand schaut und beim ersten „signifikant“ stoppt, erzeugt viele Fehlalarme. Lege Dauer oder Besucherzahl vorher fest und halte dich daran.
- Halbe Wochen. Montags verhalten sich Besucher oft anders als samstags. Lass Tests über ganze Wochen laufen.
- Zuteilung pro Besuch statt pro Person. Wer beim zweiten Besuch die andere Fassung sieht, verwässert das Ergebnis. Jeder Mensch sollte bei seiner Fassung bleiben, auch in E-Mails und im Webinar.
- Während des Tests nachbessern. Jede Änderung an A oder B während der Laufzeit macht die bisherigen Daten unbrauchbar.
- Nur die erste Kennzahl ansehen. Eine Überschrift, die mehr Anmeldungen bringt, kann Menschen anziehen, die nie erscheinen. Prüf, ob sich der Gewinn auf den späteren Stufen fortsetzt.
- Zu viele Fassungen. Drei oder vier Varianten gleichzeitig teilen die Besucher weiter auf und verlängern den Test entsprechend.
- Ergebnisse nicht festhalten. Notiere jede Vermutung, Laufzeit, Besucherzahl und das Ergebnis. Auch ein Test ohne Gewinner ist eine Erkenntnis.
Manchmal wirkt eine neue Fassung zunächst besser, einfach weil sie neu ist, etwa bei wiederkehrenden Besuchern oder einer bekannten E-Mail-Liste. Wenn möglich, schau nach einiger Zeit noch einmal auf die Zahlen.
Fair testen
Ein Test ändert nichts an den Regeln für ehrliche Werbung. Jede Fassung muss für sich wahr sein. Eine erfundene Frist oder ein angeblich letzter Platz wird nicht dadurch zulässig, dass ihn nur die Hälfte der Besucher sieht. Was rechtlich bei Countdowns und Knappheit gilt, steht in Countdown und Knappheit, was im Webinar erlaubt ist.
Vorsicht bei Preistests. Wer zur gleichen Zeit für dasselbe Angebot einen anderen Preis sieht als ein Bekannter, fühlt sich schnell ungerecht behandelt, und je nach Gestaltung stellen sich rechtliche Fragen. Teste lieber, wie du den Preis präsentierst, als den Preis selbst. Hinweise dazu gibt Wann und wie man im Webinar den Preis nennt.
Für die Zuteilung muss sich das System merken, welche Fassung jemand gesehen hat. Prüf, wie dein Werkzeug das löst und ob dafür eine Einwilligung nötig ist.
Häufige Fragen
Ab wie vielen Besuchern lohnt sich ein A/B-Test?
Das hängt von der Quote und vom gesuchten Unterschied ab. Als grobe Orientierung: Für deutliche Unterschiede bei häufigen Ereignissen wie Anmeldungen brauchst du meist einige hundert bis über tausend Besucher je Fassung. Rechne vorher mit einem Stichprobenrechner nach.
Wie lange sollte ein Test laufen?
Bis die vorher festgelegte Besucherzahl erreicht ist, mindestens aber ein bis zwei ganze Wochen. Brich ihn nicht ab, nur weil der Zwischenstand gut aussieht.
Kann ich mehrere Dinge gleichzeitig testen?
Auf verschiedenen Stufen ja, etwa die Anmeldeseite und unabhängig davon das Angebot, solange die Tests sich nicht gegenseitig beeinflussen. Auf derselben Seite ist ein Test zur Zeit übersichtlicher.
Was mache ich, wenn der Test keinen Gewinner zeigt?
Dann ist der Unterschied entweder klein oder es gibt keinen. Behalte die Fassung, die dir aus anderen Gründen besser gefällt, und teste als Nächstes eine größere Änderung.
Testen heißt Geduld haben
Ein A/B-Test ersetzt das Raten durch eine ehrliche Messung, aber nur, wenn du ihm Zeit gibst. Beginne mit einer klaren Vermutung, ändere eine Sache, lege Besucherzahl und Kennzahl vorher fest und nimm ein einzelnes Ergebnis nicht wichtiger, als es ist. So lernst du mit jedem Test etwas über deine Besucher, auch wenn B einmal nicht gewinnt.
