Statistische Signifikanz berechnen: Test für Anzeigen-Varianten erklärt

Was ist die statistische Signifikanz eines Tests?

Ein Unterschied zwischen zwei Anzeigen ist statistisch signifikant, wenn er mit hoher Sicherheit nicht nur durch Zufall entstanden ist. Üblich ist eine Grenze von 5 Prozent Irrtumsrisiko. Der Z-Test für zwei Anteile zeigt, ob das so ist.

Stand: Oktober 2026. Der Rechenweg gilt für Quoten wie Terminquoten oder Klickraten, nicht für Mittelwerte wie den Umsatz pro Kunde.

Der Rechenweg in vier Schritten

1. Zahlen sammeln: Anzahl der Kontakte und Ereignisse je Variante. Ein Ereignis ist etwa ein Termin.
2. Quoten bilden: Ereignisse geteilt durch Kontakte, für jede Variante einzeln.
3. Gemeinsamen Anteil und Standardfehler berechnen: Der gemeinsame Anteil ist die Summe der Ereignisse geteilt durch die Summe der Kontakte. Der Standardfehler ergibt sich aus der Wurzel aus diesem Anteil mal (1 minus Anteil) mal (1 durch Kontakte A plus 1 durch Kontakte B).
4. z-Wert bilden: Differenz der Quoten geteilt durch den Standardfehler. Ein Betrag über 1,96 gilt bei zweiseitiger Prüfung und 5 Prozent Irrtumsrisiko als signifikant.

Ein Rechenbeispiel mit Zahlen

Variante A erreicht 2.000 Klicks und 40 Termine, also eine Quote von 2,0 Prozent. Variante B erreicht ebenfalls 2.000 Klicks und 64 Termine, also 3,2 Prozent.

Der Unterschied ist bei 5 Prozent Irrtumsrisiko signifikant. Quelle: Rechnung mit den Beispielwerten dieser Seite, nach dem Z-Test für zwei Anteile.

Gegenbeispiel: Gleicher Abstand, andere Sicherheit

Nehmen Sie 1.000 Klicks je Variante, 20 Termine bei A und 26 bei B. Der Abstand ist mit 0,6 Prozentpunkten ähnlich. Der z-Wert liegt aber bei 0,9, das Irrtumsrisiko bei rund 37 Prozent. Der Unterschied ist nicht belegt. Das Ergebnis lautet dann: Der Test bleibt offen, und die Laufzeit muss verlängert werden.

Praxisbeispiel: Zwei Anzeigen für einen Gebäudereiniger

In einem Projekt für einen Anbieter von Gebäudereinigung liefen zwei Google-Anzeigen mit unterschiedlicher Überschrift. Nach drei Wochen hatte Variante A 2.350 Klicks und 38 Terminanfragen, Variante B 2.410 Klicks und 57 Terminanfragen. Der z-Wert lag bei 1,85, das Irrtumsrisiko bei rund 6,5 Prozent. Das liegt über der Grenze von 5 Prozent, also war das Ergebnis noch nicht belegt.

Der Test lief zwei Wochen weiter. Nach fünf Wochen standen 4.700 Klicks bei A mit 60 Terminanfragen (1,3 Prozent) und 4.820 Klicks bei B mit 106 Terminanfragen (2,2 Prozent) gegenüber. Der z-Wert lag jetzt bei 3,44, das Irrtumsrisiko unter 0,1 Prozent. Erst dann fiel die Entscheidung für Variante B. Annahme: Die Anfragen führten im Telefon zu Terminen mit ähnlicher Qualität.

Wann der Test nicht trägt

Der Test setzt unabhängige Kontakte und eine feste Laufzeit voraus. Wenn Sie Anzeigen mitten im Test ändern, mischen sich die Varianten. Auch Saisoneffekte verfälschen den Vergleich: Ein Test über die Weihnachtswochen sagt wenig über das Frühjahr. Und ein signifikanter Unterschied bei 9 Terminen ist meist keine Grundlage für eine Entscheidung.

Checkliste vor dem Test

• Hypothese und Erfolgsgröße vor dem Start festlegen
• Mindestzahl an Ereignissen je Variante berechnen
• Laufzeit festlegen und während des Tests nicht nachschauen
• Nur eine Änderung je Test vornehmen
• Neben der Signifikanz den Effekt in Prozentpunkten prüfen

Nächster Schritt

Den Umgang mit Kennzahlen aus Anzeigen zeigt die Seite zur Performance-Marketing-Leistung. Für Google Ads finden Sie unter Google Ads Agentur den Ablauf. Die Kosten je Klick und je Termin rechnen Sie im Wirtschaftlichkeits-Rechner mit Ihren Zahlen.

Häufig gestellte Fragen

Was bedeutet statistische Signifikanz?

Ein Ergebnis gilt als statistisch signifikant, wenn ein Unterschied zwischen zwei Varianten mit hoher Wahrscheinlichkeit nicht nur dem Zufall geschuldet ist. Üblich ist eine Grenze von 5 Prozent Irrtumsrisiko.

Wie berechne ich die statistische Signifikanz für zwei Anzeigen?

Mit einem Z-Test für zwei Anteile: Sie vergleichen die Quoten, berechnen einen gemeinsamen Anteil und einen Standardfehler, und daraus den z-Wert. Ein z-Wert über 1,96 entspricht einem Irrtumsrisiko von etwa 5 Prozent bei zweiseitiger Prüfung.

Welche Größe braucht ein Test mindestens?

Es gibt keine feste Zahl. Als Faustregel dieser Seite gilt: Bei weniger als etwa 30 Ereignissen je Variante, etwa Terminen oder Käufen, ist der Test unzuverlässig. Rechnen Sie den Stichprobenumfang vor dem Start.

Ist ein signifikantes Ergebnis auch relevant?

Nicht unbedingt. Ein kleiner Unterschied kann signifikant sein und trotzdem zu wenig Geld bringen. Prüfen Sie zusätzlich den Effekt, also die Differenz in Prozentpunkten, und die Kosten je Termin.

Kann ich den Test während der Laufzeit immer wieder prüfen?

Vermeiden Sie das. Wer nach jedem Tag nachschaut und bei der ersten signifikanten Zahl stoppt, erhöht das Irrtumsrisiko deutlich. Legen Sie die Laufzeit vorher fest.

Welche Werkzeuge rechnen den Test?

Tabellenkalkulationen und Statistiksoftware rechnen den Z-Test in wenigen Schritten. Die Formel auf dieser Seite reicht, um die Rechnung nachzuvollziehen und zu prüfen.

Wie hängt der Test mit Terminen zusammen?

Der Test prüft die Quote, etwa Termine je hundert Klicks. Die Anzahl der Termine ist die Größe, aus der die Sicherheit folgt. Mehr Termine bedeuten sicherere Aussagen.

Hilft KRAUSS bei der Auswertung von Anzeigen?

KRAUSS schaltet Google Ads und LinkedIn Ads und wertet die Ergebnisse gemeinsam mit dem Kunden aus. Die Telefonebene prüft dabei, welche Anfragen zu Terminen führen.