Pruebas A/B en App Store y Google Play: cómo obtener resultados fiables

Una ventaja temprana todavía no es una victoria

El martes se estrena una nueva primera captura. El jueves la consola muestra una mejora del 18% y el equipo da por hecho que ya tiene respuesta. El problema es que, con poco tráfico, unas cuantas visitas con mucha intención pueden mover el porcentaje de forma espectacular. Si el experimento continúa, esa ventaja puede reducirse, desaparecer o cambiar de lado.

La dificultad de una prueba A/B no consiste en crear dos diseños. Consiste en evitar que las ganas de acertar decidan antes que los datos. Por eso la regla más útil se escribe al principio: qué diferencia merece la pena, cuánto riesgo se acepta y qué tendría que ocurrir para mantener la versión original.

Una buena prueba de la ficha responde a una pregunta concreta. Por ejemplo, si explicar el resultado en la primera captura ayuda más que enseñar directamente la interfaz. No responde a “qué diseño gusta más al equipo” ni convierte cada pequeño movimiento en una conclusión.

La ficha y el producto no son el mismo experimento

App Store y Google Play observan lo que sucede antes de instalar. Permiten saber si una presentación genera más descargas o primeras aperturas entre las personas que han visto la ficha. No indican por sí solos si esas personas terminan el registro, reservan una cita o vuelven una semana después.

Para esas preguntas hace falta analítica dentro de la aplicación y, cuando existe suficiente volumen, experimentación en el producto. Esta separación evita una trampa frecuente: una promesa muy agresiva puede elevar las instalaciones y empeorar la activación porque atrae a personas que esperaban otra cosa.

Tampoco conviene llamar prueba A/B a un cambio de mayo comparado con los datos de abril. Entre ambos meses varían campañas, posiciones, festivos, competidores y versiones de la app. El reparto simultáneo de tráfico entre control y alternativas permite que todas las versiones atraviesen unas condiciones mucho más parecidas.

La hipótesis debe poder quedar desmentida

Una frase como “queremos una ficha más emocional” no basta. Es imposible saber cuándo se ha conseguido y qué elemento ha provocado el resultado. Una hipótesis útil podría ser esta:

> Entre quienes consultan la ficha en español, abrir la secuencia con el tiempo que ahorra el servicio, en lugar de mostrar el catálogo, aumentará la conversión a primera descarga sin reducir el registro completado.

La frase fija un público, un cambio, una causa esperada, una métrica principal y una protección. También obliga a conservar iguales el icono, las demás capturas y la campaña. Si la alternativa funciona, habrá un aprendizaje que se puede usar en la siguiente decisión.

Las ideas deberían salir de una dificultad observada: búsquedas que no llegan a abrir la ficha, visitas que no instalan, un idioma que rinde peor o usuarios que abandonan al descubrir que la app no hace lo prometido. La investigación de palabras clave ASO ayuda a entender qué buscaba la persona antes de encontrarse con el diseño.

Conviene probar el punto débil, no el recurso más vistoso

Cuando hay muchas impresiones de búsqueda y pocas visitas a la ficha, el icono y el mensaje visible en resultados son candidatos razonables. Si la ficha recibe visitas pero apenas convierte, suele tener más sentido revisar la primera captura, el vídeo o la claridad de la propuesta. Cuando la diferencia se concentra en un país, quizá no exista un problema visual global, sino una mala adaptación local.

La primera prueba puede comparar beneficio frente a función, una situación cotidiana frente a una interfaz aislada o una secuencia breve frente a otra que tarda demasiado en llegar a lo importante. Las buenas prácticas para capturas sirven para construir las alternativas; el experimento debe validar una decisión, no toda la guía a la vez.

Cambiar el icono, cinco capturas y el texto al mismo tiempo puede producir una diferencia, pero no explica cuál de esos cambios la generó. En cambio, comparar dos tonos casi iguales deja una pregunta clara y una respuesta inútil. La variante necesita distancia suficiente para influir en la percepción, sin perder el control sobre la causa.

Cómo se plantea en Apple

Product Page Optimization permite comparar la página original con hasta tres tratamientos que pueden modificar icono, capturas y vídeos de previsualización. Apple reparte al azar el porcentaje de tráfico elegido y permite seleccionar localizaciones compatibles. Según el resumen actual de App Store Connect, la aplicación debe encontrarse en estado Ready for Distribution.

El calendario técnico importa. Un icono alternativo tiene que estar incluido en la versión publicada de la app. Otros recursos pueden requerir revisión. Si se lanza una nueva versión mientras la prueba está activa, también puede cambiar la base sobre la que se estaba comparando. Marketing, diseño y responsable de publicación deben compartir la misma fecha y la misma definición del tratamiento.

En Analytics, Apple muestra conversión estimada, mejora frente al control, intervalos y nivel de confianza. Cuando existe suficiente evidencia, un tratamiento puede aparecer como mejor o peor con al menos un 90% de confianza. También puede quedar como probablemente no concluyente. Esa última etiqueta no es un fallo de la consola: indica que la diferencia y el tráfico no alcanzan para separar las opciones con claridad.

Qué cambia en Google Play

Store Listing Experiments funciona con fichas predeterminadas y personalizadas. La configuración incluye público del experimento, efecto mínimo detectable y nivel de confianza. Google recomienda probar un solo recurso cada vez para que la causa de la diferencia resulte interpretable.

Google Play ofrece más flexibilidad para experimentos localizados, pero no hace falta ocupar todas las posibilidades. Es mejor mantener una cola priorizada y terminar una pregunta importante que repartir el tráfico entre variaciones de poco valor. La consola también detiene los experimentos que alcanzan su límite de duración; dejar una prueba olvidada no crea más evidencia útil.

Aunque Apple y Google nombren de forma distinta sus estados, el registro interno puede ser idéntico: hipótesis, control, alternativas, idioma, fuentes de tráfico, fecha, cambio realizado, resultado principal, señal de calidad y decisión final.

Un idioma nuevo exige una prueba nueva

Una captura ganadora en inglés no es un archivo maestro que solo necesita traducción. En español cambia la longitud de los mensajes, las palabras habituales de la categoría y la prueba que genera confianza. También puede cambiar el origen del tráfico: una localización recibe búsquedas de marca y otra, campañas pagadas mucho más frías.

Lo que merece trasladarse es la razón. Si funcionó mostrar el resultado antes que el mecanismo, se puede formular una hipótesis equivalente para el mercado español y escribirla de forma natural. El ejemplo, la moneda o la situación visual pueden ser distintos. Antes de probar, conviene cerrar la lista de localización de la ficha; una frase cortada o una captura del país equivocado solo introduce ruido.

No mezcles varios mercados para alcanzar antes un volumen atractivo. La media puede ocultar que una variante ayuda en España y perjudica en México, o que funciona con búsquedas de marca pero no con usuarios que llegan desde una campaña genérica.

Diseña una diferencia que pueda explicarse

Una variante sirve cuando cambia una señal reconocible. Si se prueba la primera captura, pueden mantenerse estilo y secuencia mientras cambia el enfoque: “organiza tus turnos” frente a “evita huecos en la agenda”. Si se prueba el icono de la app, deberían compararse conceptos reconocibles, no tres degradados del mismo símbolo.

*El tratamiento cambia una señal importante; las demás condiciones siguen siendo comparables.*

Muestra las alternativas dentro de un resultado de búsqueda realista y en todos los tamaños necesarios. Revisa modo claro y oscuro, idiomas y dispositivos. Además, comprueba cada afirmación en la app publicada. Un incremento basado en algo que el producto no entrega solo aplaza el abandono.

Decide qué resultado importa antes de mirar la consola

Anota la conversión de referencia, la mejora mínima que justificaría producir y localizar el cambio, el nivel de confianza, un periodo que incluya días laborables y fin de semana y los acontecimientos que invalidarían la comparación. El “efecto mínimo detectable” de Google Play ayuda a expresar esa decisión. En Apple conviene aplicar el mismo razonamiento aunque la configuración se presente de otra manera.

La métrica de calidad puede ser registro completado, primera reserva, primera lección o activación al día siguiente. No siempre será posible atribuirla a cada tratamiento con la misma precisión que la instalación, pero debe vigilarse durante el despliegue. Una ficha que promete sencillez y abre con seis permisos no ha ganado de verdad.

Si empieza una gran campaña, la app aparece destacada, se produce una caída del servicio o una nueva versión modifica el recorrido inicial, déjalo documentado. En algunos casos habrá que pausar o repetir. Continuar por inercia solo genera una cifra con una historia imposible de reconstruir.

Una mejora relativa necesita su cifra absoluta

Pasar de una conversión del 20% al 22% supone dos puntos porcentuales y, a la vez, una mejora relativa del 10%. Presentar solo el 10% hace que el cambio parezca mayor. Las dos cifras, junto con el intervalo de incertidumbre, ofrecen una lectura más honesta.

Un tratamiento cuyo intervalo todavía incluye una caída y una mejora no es un ganador. Y si la prueba termina sin conclusión, la respuesta no es escoger la línea que acabó un poco más arriba. Puede que la diferencia creativa sea demasiado pequeña, que falte tráfico o que ambas opciones funcionen de forma parecida.

También hay que evitar una clasificación ficticia entre tres tratamientos. La comparación principal se realiza contra el control. Cuantas más alternativas se prueban, más oportunidades existen de que una parezca afortunada por azar. Dos ideas sólidas suelen enseñar más que rellenar todos los espacios disponibles.

Qué hacer cuando apenas hay tráfico

Primero elimina conceptos débiles sin consumir visitas. Enseña maquetas realistas a personas del público objetivo, pregunta qué esperan encontrar y comprueba qué recuerdan. No es una predicción de conversión, pero sí descubre mensajes confusos.

Después, concentra el experimento en un idioma prioritario y compara una alternativa claramente diferente con el control. Una gran diferencia de enfoque se detecta antes que un ajuste cosmético. Si aun así la plataforma no reúne evidencia, acepta el resultado no concluyente.

Como último recurso, se pueden comparar dos periodos equivalentes con campañas y versiones lo más estables posible. Ese análisis sirve como orientación, no como prueba causal. Registrar sus límites es más profesional que presentar dos meses distintos como un experimento perfecto.

Cómo lo integra Appfyl en el lanzamiento

En Appfyl, una prueba de la ficha empieza por la promesa real del producto. Se define quién llega, qué espera y cuál es la primera acción útil. Diseño prepara tratamientos controlados; producto y analítica acuerdan el mecanismo y la señal de calidad; publicación confirma recursos, versión e idiomas.

Después se comprueba la continuidad. Si la captura promete reservar en segundos, la primera sesión no debería convertirse en un formulario interminable. Esta relación entre adquisición y experiencia forma parte del trabajo del equipo de desarrollo móvil de Appfyl, no de un retoque aislado al final.

¿Quieres ver cómo Appfyl convierte el alcance en productos lanzados? Ver casos de Appfyl.

Preguntas frecuentes