A/B-Tests im App Store: So werden Store-Experimente belastbar

Der erste Ausschlag im Diagramm ist meistens zu laut

Eine neue Screenshot-Variante liegt nach drei Tagen deutlich vorn. Das Team verschickt bereits Glückwünsche, obwohl nur wenige hundert Personen am Test teilgenommen haben. Eine Woche später ist der Vorsprung verschwunden. Niemand hat etwas falsch berechnet; die ersten Daten waren einfach unruhig.

Solche Situationen machen Store-Experimente schwieriger, als die zwei Buchstaben A und B vermuten lassen. Die kreative Arbeit ist sichtbar, die methodische Arbeit kaum. Gerade deshalb muss vor dem Start feststehen, welche Veränderung überhaupt eine Umsetzung rechtfertigt und wann das Ergebnis noch zu unsicher ist.

Ein App Store A/B-Test beantwortet nicht, welche Gestaltung im Meeting am meisten Zustimmung bekommt. Er prüft, ob eine klar definierte Darstellung bei einer klar definierten Gruppe häufiger zur Installation führt. Ohne diese Begrenzung wird aus dem Experiment ein nachträgliches Argument für den persönlichen Favoriten.

Ein Store-Test endet an der Installation

Die Produktseite liegt vor dem eigentlichen Nutzungserlebnis. Ein Test kann zeigen, ob Icon, Screenshots oder Preview die Conversion der Store-Besucher verändern. Er zeigt nicht automatisch, ob die gewonnenen Nutzer ihr Konto einrichten, einen Termin buchen oder nach sieben Tagen noch aktiv sind.

Für diese Fragen braucht es Mobile-App-Analytics und gegebenenfalls A/B-Tests innerhalb der App. Beide Ebenen gehören zusammen, dürfen aber nicht verwechselt werden. Eine spektakuläre Store-Botschaft kann mehr Installationen bringen und gleichzeitig falsche Erwartungen wecken.

Auch ein Vorher-nachher-Vergleich ist kein gleichwertiger Ersatz. Wenn im Juni neue Screenshots erscheinen, unterscheiden sich die folgenden Wochen nicht nur durch das Motiv. Kampagnen, Rankings, Saison, Konkurrenz und App-Version können ebenfalls anders sein. Bei einer gleichzeitigen zufälligen Aufteilung wirken diese Einflüsse wesentlich ähnlicher auf Kontrolle und Varianten.

Eine gute Hypothese benennt ihren möglichen Irrtum

„Moderner auftreten“ ist ein Gestaltungswunsch. „Den Nutzen früher zeigen“ ist eine Richtung. Eine prüfbare Hypothese geht weiter:

> Bei deutschsprachigen Erstbesuchern erhöht ein erster Screenshot mit dem erreichten Ergebnis statt mit der Kalenderoberfläche die Erstinstallation, weil der Nutzen vor der Bedienung verständlich wird; die abgeschlossene Einrichtung darf dabei nicht sinken.

Damit stehen Zielgruppe, Änderung, erwarteter Mechanismus, Hauptkennzahl und Schutzkennzahl fest. Icon, übrige Screenshot-Reihenfolge und Kampagne bleiben unverändert. Der Test kann die Annahme widerlegen und liefert dadurch tatsächlich Wissen.

Die Frage sollte aus einer Beobachtung entstehen. Werden viele Suchimpressionen, aber wenige Produktseitenaufrufe gemessen, lohnt sich ein Blick auf Icon und sichtbare Botschaft. Kommen Menschen auf die Seite und installieren nicht, sind erster Screenshot oder Preview plausibler. Die ASO-Keyword-Recherche hilft zu verstehen, mit welcher Erwartung Besucher aus der Suche eintreffen.

Testen Sie die größte Unsicherheit, nicht das Lieblingsmotiv

Jede Variante kostet Designarbeit, Review-Zeit und Traffic. Die erste Frage sollte deshalb dort ansetzen, wo eine Entscheidung hohen Wert hat. Ein kaum sichtbarer Farbwechsel ist zwar leicht herzustellen, aber selten handlungsrelevant. Ein kompletter Austausch von Icon, Text und Screenshot-Serie kann die Conversion bewegen, erklärt den Grund jedoch nicht.

Bei einem Screenshot-Test können Gestaltungsraster und spätere Reihenfolge gleich bleiben, während die erste Aussage wechselt: Ergebnis statt Funktion, Alltagssituation statt isolierter Oberfläche oder Sicherheit statt Geschwindigkeit. Der Leitfaden zu App-Store-Screenshots unterstützt die Ausarbeitung. Im Experiment selbst sollte nur eine dieser Annahmen zur Debatte stehen.

Für Icons gilt dasselbe. Drei ähnliche Blautöne sind keine drei Produktideen. Der Icon-Leitfaden zeigt, wie konzeptionell unterschiedliche, aber ehrliche Varianten entstehen. Der Test prüft anschließend, ob diese Differenz in realem Store-Traffic eine Rolle spielt.

Product Page Optimization bei Apple

Apple ermöglicht mit Product Page Optimization bis zu drei Treatments neben der ursprünglichen Produktseite. Getestet werden können alternative App-Icons, Screenshots und App-Previews. Traffic-Anteil und unterstützte Lokalisierungen lassen sich auswählen; die Zuweisung erfolgt zufällig. Laut aktueller App-Store-Connect-Hilfe muss die App den Status Ready for Distribution haben.

Ein Icon-Treatment ist nur möglich, wenn das alternative Icon bereits in der aktuellen App-Binary enthalten ist. Neue Screenshots oder Previews können einen separaten Review benötigen. Auch ein Versionswechsel während des Tests kann das Ergebnis beeinflussen. Der Testplan gehört daher in den Release-Kalender und nicht in ein isoliertes Marketing-Dokument.

Apple zeigt geschätzte Conversion, relative Verbesserung, Intervalle und Confidence. Treatments können ab 90 Prozent Confidence als besser oder schlechter gekennzeichnet werden. Bei sehr wenig Traffic oder einem kleinen Unterschied erscheint möglicherweise „Likely to be Inconclusive“. Das ist eine sachliche Aussage: Unter den gegebenen Bedingungen wird der Test die Varianten voraussichtlich nicht zuverlässig trennen.

Store Listing Experiments bei Google Play

Google Play unterstützt Experimente für Standard- und benutzerdefinierte Store-Einträge. Die Konfiguration umfasst unter anderem Experimentanteil, kleinsten nachweisbaren Effekt und Konfidenzniveau. Google empfiehlt in seiner aktuellen Anleitung, jeweils nur ein Asset zu verändern, damit die Ursache eines Unterschieds nachvollziehbar bleibt.

Mehrere lokalisierte Experimente sind möglich. Diese Kapazität ist allerdings kein redaktioneller Kalender. Wenn viele schwache Varianten gleichzeitig laufen, verteilt sich Aufmerksamkeit auf Fragen, deren Antwort kaum etwas verändert. Eine priorisierte Warteschlange aus Hypothese, erwarteter Wirkung, verfügbarem Traffic und Produktionsaufwand ist hilfreicher.

Für beide Plattformen sollte das interne Protokoll gleich aussehen: Entscheidung, Kontrolle, Treatment, Zielgruppe, Lokalisierung, Traffic-Quellen, Zeitraum, Hauptkennzahl, Schutzkennzahl, Störereignisse und Interpretation. So bleibt das Wissen erhalten, auch wenn Konsolen ihre Begriffe ändern.

Lokalisierung ist eine Zielgruppe, kein Exportformat

Ein Gewinner aus dem englischen Store muss in Deutschland nicht gewinnen. Wörter sind unterschiedlich lang, die Kategorie verwendet andere Begriffe und Vertrauenssignale wirken nicht überall gleich. Außerdem kann ein Markt hauptsächlich Marken-Suchen erhalten, während ein anderer von kalten Anzeigenbesuchern geprägt ist.

Übertragen Sie deshalb die Begründung, nicht die fertige Grafik. Wenn die frühe Darstellung des Ergebnisses in einem Markt erfolgreich war, lässt sich dieselbe Annahme mit natürlicher deutscher Sprache und einem passenden Beispiel erneut prüfen. Die Checkliste zur Store-Lokalisierung sollte vorher abgeschlossen sein. Abgeschnittene Texte, falsche Währungen oder fremde Gerätesprache machen aus dem Test eine Fehlersuche.

Auch das Zusammenlegen verschiedener Länder ist riskant. Ein globaler Mittelwert kann verbergen, dass ein Treatment in einem Markt deutlich hilft und in einem anderen schadet. Starten Sie mit einer wirtschaftlich wichtigen Lokalisierung, für die ausreichend relevanter Traffic vorhanden ist.

Varianten müssen deutlich und kontrolliert sein

Der Unterschied soll die Wahrnehmung verändern, nicht nur im Pixelvergleich auffallen. Gleichzeitig dürfen die Bedingungen nicht so stark auseinanderlaufen, dass die Ursache verschwindet. Bei einem ersten Screenshot kann die Aussage wechseln, während Typografie, Farbwelt, Gerät und restliche Sequenz stabil bleiben.

*Eine Variante verändert ein relevantes Signal; der Rest bleibt so vergleichbar wie möglich.*

Prüfen Sie vor dem Start alle Treatments in realistischen Suchergebnissen, auf kleinen Geräten, in hellen und dunklen Darstellungen sowie in jeder beteiligten Sprache. Jede gezeigte Funktion muss in der veröffentlichten App existieren. Ein irreführendes Motiv kann kurzfristig gewinnen und danach Aktivierung, Bewertungen und Vertrauen belasten.

Die Entscheidungsregel entsteht vor dem Test

Notieren Sie die bisherige Conversion-Spanne und den kleinsten Effekt, der die Umsetzung tatsächlich rechtfertigen würde. Ergänzen Sie das gewünschte Konfidenzniveau, einen Zeitraum mit typischen Wochen- und Wochenendtagen sowie Ereignisse, die einen Neustart verlangen. Dazu zählen große Kampagnen, Featuring, Ausfälle oder Releases, die das gezeigte Versprechen verändern.

Der kleinste lohnende Effekt verhindert zwei Fehler. Zum einen wird ein winziger statistischer Unterschied nicht automatisch zum wichtigen Geschäftsergebnis. Zum anderen testet das Team nicht monatelang eine Variation, deren Nutzen selbst im besten Fall kaum Produktions- und Lokalisierungsaufwand deckt.

Eine Schutzkennzahl verbindet Store und Produkt. Das kann abgeschlossene Registrierung, erste Buchung, erste Lektion oder Aktivierung am Folgetag sein. Die Zuordnung zu einzelnen Treatments ist nicht immer vollständig möglich. Trotzdem sollte der Rollout mit der Produktanalyse abgeglichen werden.

Prozentpunkte, relativer Lift und Unsicherheit gehören zusammen

Steigt die Conversion von 20 auf 22 Prozent, beträgt die absolute Differenz zwei Prozentpunkte. Relativ zum Ausgangswert sind es zehn Prozent Verbesserung. Beide Zahlen stimmen. Ohne Ausgangswert wirkt der relative Wert jedoch größer, als viele Leser vermuten.

Entscheidend ist zusätzlich die Bandbreite möglicher Effekte. Reicht das Intervall von einem kleinen Verlust bis zu einem deutlichen Gewinn, ist die Richtung noch nicht geklärt. Die höchste Linie im Diagramm darf dann nicht als bewiesener Sieger behandelt werden.

Ein unentschiedenes Ergebnis kann bedeuten, dass die Varianten ähnlich gut sind, der Unterschied zu klein ist oder der Traffic nicht reicht. Daraus lässt sich eine sinnvolle nächste Entscheidung ableiten: Kontrolle behalten, eine deutlichere Hypothese prüfen oder den Test in einer stärkeren Lokalisierung wiederholen. Einen Gewinner nach Geschmack zu bestimmen vernichtet genau die Unsicherheit, die das Experiment sichtbar gemacht hat.

Wenig Traffic verlangt eine andere Reihenfolge

Kleine Apps sollten zuerst schlechte Konzepte aussortieren. Zeigen Sie realistische Such- und Produktseitenansichten Menschen aus der Zielgruppe, lassen Sie Erwartungen und Erinnerungen beschreiben und entfernen Sie missverständliche Varianten. Das ist kein Conversion-Beweis, spart aber knappen Live-Traffic.

Im Store sollte anschließend nur ein deutliches Treatment gegen die Kontrolle laufen, möglichst in der wichtigsten Lokalisierung. Kleine kosmetische Änderungen sind bei geringem Volumen kaum zu unterscheiden. Wenn das Ergebnis trotzdem unklar bleibt, ist „nicht entschieden“ die korrekte Antwort.

Ein sauber dokumentierter Vorher-nachher-Vergleich kann als schwächerer Hinweis dienen. Nutzen Sie vergleichbare Kalenderzeiträume, halten Sie Kampagnen und Releases stabil und notieren Sie externe Veränderungen. Nennen Sie das Ergebnis richtungsweisend, nicht kausal.

So verbindet Appfyl Store und Produkt

Bei Appfyl beginnt ein Store-Experiment mit der tatsächlichen ersten Wertschöpfung der App. Wer kommt auf die Seite, welche Aufgabe möchte die Person lösen und was erlebt sie unmittelbar nach der Installation? Erst dann entstehen kontrollierte Kreativvarianten.

Design verantwortet den sichtbaren Unterschied, Produkt und Analytics definieren Mechanismus und Schutzkennzahl, Release-Verantwortliche prüfen Binary, Review und Lokalisierungen. Diese Verbindung zwischen Akquisition und Nutzung gehört zur Arbeit des Appfyl-Teams für mobile Anwendungen und verhindert, dass ein starkes Store-Versprechen an einer widersprüchlichen ersten Sitzung scheitert.

Sehen Sie, wie Appfyl Funktionsumfang in veröffentlichte Produkte übersetzt. Appfyl Cases ansehen.

Häufige Fragen