Cómo diseñar el experimento de un canal con rigor: hipótesis de crecimiento, la métrica de éxito fijada antes de lanzar, y un criterio simple para priorizar entre experimentos candidatos

Qué vas a aprender hoy

En la lección 11 redujiste 19 canales posibles a dos o tres candidatos dentro del “círculo interior” del marco Bullseye. Hoy vas a aprender a diseñar la prueba de cada uno con el rigor suficiente para que el resultado te diga algo real: cómo escribir una hipótesis de crecimiento que se pueda confirmar o refutar, por qué la métrica de éxito se fija antes de lanzar la prueba y no después de ver los números, y un criterio simple para decidir qué candidato probar primero cuando tienes varios y recursos limitados.

Conceptos base

Hipótesis de crecimiento: una afirmación comprobable con tres partes obligatorias: qué acción concreta vas a hacer, qué resultado esperas y por qué (el mecanismo), y qué medición exacta te dirá si ocurrió o no. “Creo que el canal X va a funcionar” no es una hipótesis, es una intención. “Si publico tres anuncios en LinkedIn dirigidos a directores de operaciones de empresas de 50-200 empleados, conseguiré leads cualificados a menos de 40€ cada uno, porque esa audiencia tiene presupuesto de decisión y dolor activo con el problema que resuelvo, y lo sabré si en dos semanas y 500€ de inversión el coste por lead cualificado es igual o inferior a esa cifra” sí lo es: se puede confirmar o refutar con un número.

OEC (Overall Evaluation Criterion, criterio de evaluación global): el término que usan los investigadores de Microsoft que llevan dos décadas dirigiendo el programa de experimentación online de la empresa (Bing, Office, Windows) para referirse a la métrica —o combinación de métricas— que decides de antemano que va a determinar si un experimento tuvo éxito [1][2]. No es cualquier número que suba durante la prueba: es el número que todos los implicados acordaron, antes de lanzar, que sería la vara de medir.

HiPPO (Highest Paid Person’s Opinion, la opinión de la persona que más cobra): término acuñado por el mismo equipo de Microsoft para nombrar un sesgo muy concreto: cuando una decisión se toma porque la persona con más autoridad en la sala “tiene una corazonada”, no porque los datos la respalden [2]. Fijar la métrica de éxito antes de lanzar el experimento es, entre otras cosas, una defensa contra este sesgo: si el resultado no gusta, ya no se puede cambiar el criterio de éxito a posteriori para que el HiPPO tenga razón.

Error de tipo I (falso positivo) por comparación múltiple: el riesgo estadístico de que, si mides muchas métricas distintas después de ver los resultados y eliges la que mejor quedó, encuentres “éxito” por pura casualidad en alguna de ellas, aunque el canal no funcione en realidad. Cuantas más métricas pruebas después del hecho, más probable es que alguna parezca positiva solo por ruido aleatorio.

Métrica guardarraíl (guardrail metric): una métrica secundaria que no es tu objetivo principal, pero que vigilas para asegurarte de que mejorar el OEC no está destrozando otra cosa importante. Si tu OEC es “coste por lead cualificado” en un canal de anuncios, una métrica guardarraíl podría ser “tasa de cancelación a los 30 días” de los clientes que llegan por ese canal: un coste por lead bajísimo que trae clientes que cancelan enseguida no es una victoria.

Desarrollo

Por qué el círculo interior no basta sin esto

El marco Bullseye de la lección 11 te da candidatos: dos o tres canales de los diecinueve que, según tu propio criterio, merecen una prueba barata. Pero “probar un canal” sin más estructura suele degenerar en una de dos cosas: o lo pruebas sin saber de antemano qué resultado contaría como éxito, y acabas racionalizando cualquier número que salga (“bueno, no llegamos al objetivo pero el engagement estuvo bien”), o lo pruebas durante tan poco tiempo y con tan poco presupuesto que el resultado es puro ruido estadístico y no te dice nada fiable sobre el canal real.

El equipo de experimentación de Microsoft —que ha ejecutado y analizado decenas de miles de experimentos controlados en productos como Bing y Office— documentó esto con un dato que conviene tener en la cabeza antes de ilusionarte con cualquier prueba: en Bing y en Google, solo entre el 10% y el 20% de los experimentos producen un resultado positivo. En el conjunto de Microsoft, aproximadamente un tercio de los experimentos resultan positivos, un tercio no muestran efecto y un tercio son negativos [1]. Dicho de otra forma: la mayoría de las ideas que a alguien le parecen buenas, puestas a prueba con rigor, no mejoran nada. Esto no es una razón para no probar —es la razón por la que probar importa más que debatir— pero sí explica por qué, si no fijas de antemano qué cuenta como éxito, es tentador mover la portería después de ver el balón.

Anatomía de una hipótesis de crecimiento bien formulada

Una hipótesis útil tiene siempre estas cuatro piezas, en este orden:

1. Acción: qué vas a hacer exactamente, con el nivel de detalle suficiente para que otra persona pudiera repetirlo sin preguntarte nada más.
2. Resultado esperado, con número: no “mejorará las conversiones”, sino una cifra o un rango.
3. Mecanismo: por qué crees que pasará eso. Si no puedes rellenar esta parte, probablemente no entiendes bien a tu propio canal o a tu propio cliente, y vale la pena pararse ahí antes de gastar presupuesto.
4. Condición de medición: qué métrica exacta, con qué umbral, en qué plazo y con qué inversión mínima, decide si la hipótesis se confirma o se descarta.

Ejemplo completo para un canal de anuncios en buscadores (SEM), continuando con el ejemplo del círculo interior de la lección 11:

“Si lanzo una campaña de búsqueda en Google Ads con 300€ de presupuesto dirigida a las tres palabras clave de mayor intención de compra que identifiqué, espero un coste por cliente potencial cualificado de entre 15€ y 25€, porque esas palabras clave reflejan una búsqueda activa de solución (no de información general) y mi página de aterrizaje ya está validada en otro canal. Lo sabré en siete días: si el coste por lead cualificado es inferior a 25€ con al menos 10 leads, considero el canal validado para una segunda ronda con más presupuesto; si supera 40€, lo descarto por ahora; entre 25€ y 40€, lo dejo en revisión y no tomo decisión de inversión todavía.”

Fíjate en que esta hipótesis fija tres umbrales (validar, descartar, revisar), no solo uno. Eso evita el error más común: tratar cualquier resultado ambiguo como si fuera un éxito porque “al menos generó algo”. Si tu criterio permite empates sin decisión, inclúyelos de antemano, no los inventes después.

Por qué la métrica se fija antes de lanzar, no después

Esto no es una formalidad burocrática. El propio estudio original que introdujo el término OEC lo plantea en términos directos: la evaluación de un experimento funciona mejor cuando las partes implicadas “han acordado cómo se va a evaluar el experimento antes de que el experimento se ejecute” [2]. La razón estadística es concreta: decidir el criterio de éxito con antelación es lo que en estadística se llama una comparación planificada; elegirlo después de ver los números, mirando entre varias métricas posibles cuál “salió mejor”, aumenta el riesgo de declarar como significativo un resultado que en realidad es ruido aleatorio —lo que se conoce como error de tipo I por comparación múltiple [2].

En la práctica, en el contexto de un canal de adquisición para tu propio proyecto, esto se traduce en una disciplina muy simple: escribe la hipótesis completa, con sus umbrales numéricos, en un documento, antes de poner un euro en el canal. No la ajustes mientras la prueba está en marcha. Si a mitad de la prueba el canal te sorprende en una métrica que no habías anotado, apúntala como aprendizaje adicional, pero no la conviertas en el nuevo criterio de éxito de esa misma prueba: eso es exactamente el patrón que el error de tipo I por comparación múltiple describe.

Esta disciplina también te protege de ti mismo como HiPPO de tu propio proyecto. Es fácil, cuando el canal era “tu corazonada”, encontrar una lectura favorable en cualquier número que suba un poco. Fijar el umbral antes de empezar es la forma más simple de quitarte ese poder de interpretación a posteriori.

Dos ejemplos reales, con cifras, de por qué esto importa incluso cuando el efecto parece obvio a simple vista: en 2013, un cambio de colores en los títulos, enlaces y pies de los resultados de búsqueda de Bing se probó primero a pequeña escala y después con 32 millones de usuarios antes de implementarse por completo; el resultado proyectado fue más de 10 millones de dólares anuales de ingresos adicionales [3]. En 2012, un cambio de titular de anuncio que el propio equipo había clasificado como de baja prioridad —y que llevaba meses esperando en el backlog sin que nadie le diera importancia— subió los ingresos un 12%, más de 100 millones de dólares anuales en Estados Unidos, sin dañar las métricas de experiencia de usuario que vigilaban como guardarraíl [2][3]. Ninguno de los dos resultados se habría podido anticipar por intuición; ambos se verificaron porque alguien había fijado de antemano qué contaría como éxito y qué se vigilaría para no autoengañarse con un resultado parcial.

Un criterio simple para priorizar entre candidatos

Cuando tienes dos o tres canales en tu círculo interior y no puedes probarlos todos el mismo mes, necesitas un criterio para decidir el orden. El mismo equipo de investigación de Microsoft advierte de algo incómodo pero útil: “es difícil valorar el potencial de una idea” de antemano [2] —el ejemplo del cambio de titular que llevaba meses infravalorado en el backlog es precisamente una ilustración de esto—, así que no conviene invertir demasiado tiempo intentando predecir con precisión cuál de tus candidatos va a funcionar mejor. En vez de eso, el criterio que proponen es operativo, no predictivo: prioriza por coste y velocidad de obtener una señal fiable, no por cuál “parece” más prometedor.

Aplicado a tu círculo interior de canales, esto se traduce en un criterio de dos ejes, sin necesidad de una fórmula compleja:

• Coste de obtener una señal fiable: tiempo de montaje (¿puedes lanzarlo esta semana o necesitas construir algo primero?) y presupuesto mínimo para alcanzar el umbral de tu hipótesis (el ejemplo de SEM de arriba necesitaba al menos 10 leads para decidir; calcula cuánto presupuesto hace falta para llegar a ese número con el coste por lead que esperas).
• Cobertura de las tres preguntas de la lección 11: recuerda que una señal útil debe responder a cuánto cuesta un cliente por ese canal, cuántos puede darte de forma sostenida, y si son el tipo de cliente correcto. Un canal cuya prueba barata solo puede responder a una de las tres preguntas te deja con más incertidumbre después de probarlo que uno que puede responder a las tres con el mismo presupuesto.

El canal que prueba primero es, de los candidatos, el que combina menor coste de señal fiable con mayor cobertura de esas tres preguntas. Si dos candidatos empatan en coste, elige el que responde a más preguntas; si empatan en cobertura, elige el más barato de montar. Esto no te dice cuál va a funcionar —eso solo lo sabe el experimento—, pero sí te dice en qué orden conviene gastar el primer euro y la primera semana cuando el tiempo es limitado.

Ejemplo numérico: supón que tu círculo interior tras la lección 11 tiene tres candidatos: SEM (300€, una semana, responde a coste por cliente y volumen, pero poco al tipo de cliente), contenido en un blog de nicho ya existente que lee tu público (gratis en dinero pero seis semanas de trabajo, dato lento sobre las tres preguntas) y una campaña de email a una lista propia pequeña que ya tienes (0€, tres días, responde a las tres preguntas pero con poco volumen). Con el criterio anterior, probarías primero el email por su coste casi nulo y rapidez, en paralelo arrancarías el SEM por su buen equilibrio entre coste y cobertura, y dejarías el blog de nicho para una fase posterior, porque su coste real —seis semanas de tu tiempo— es alto comparado con lo rápido que te da señal.

Aplicación práctica

Coge los dos o tres canales que dejaste en tu círculo interior en el ejercicio de la lección 11. Para cada uno, escribe la hipótesis completa con las cuatro piezas (acción, resultado esperado con número, mecanismo, condición de medición con al menos dos umbrales: validar y descartar). Después, para cada candidato, estima en una libreta o hoja de cálculo dos cifras: coste mínimo en dinero y tiempo para alcanzar el umbral de tu hipótesis, y cuántas de las tres preguntas de la lección 11 puede responder esa prueba concreta. Ordena los candidatos de menor a mayor coste de señal fiable, y entre los que empaten, por cobertura de preguntas. El primero de la lista es el que pruebas esta semana.

Errores comunes

Decidir el umbral de éxito mientras la prueba ya está en marcha, ajustándolo según cómo van saliendo los números: esto es el error de tipo I por comparación múltiple en la práctica, y te deja sin forma de distinguir una señal real de un espejismo.

Medir solo el OEC e ignorar las métricas guardarraíl: un coste por lead bajísimo que viene acompañado de una cancelación altísima no es una victoria, es un problema distinto con un disfraz de éxito.

Descartar un candidato por intuición antes de probarlo porque “parece” menos prometedor que otro: el propio equipo que define estos conceptos insiste en que valorar el potencial de una idea sin datos es notoriamente poco fiable; el criterio de priorización de esta lección se basa en coste y cobertura de señal, no en cuál canal “suena mejor”.

Fuentes

1. Kohavi, R. y Thomke, S., “The Surprising Power of Online Experiments: Getting the Most Out of A/B and Other Controlled Tests”, Harvard Business Review, vol. 95, núm. 5, septiembre-octubre de 2017, pp. 74-82. PDF del artículo: https://web-docs.stern.nyu.edu/executive/The%20Surprising%20Power%20of%20Online%20Experiments.pdf
2. Kohavi, R., Henne, R. M. y Sommerfield, D., “Practical Guide to Controlled Experiments on the Web: Listen to Your Customers not to the HiPPO”, actas de la conferencia ACM SIGKDD (KDD’07), San José, California, 12-15 de agosto de 2007. PDF: https://cdn.elezea.com/pdf/GuideControlledExperiments.pdf
3. Mismo artículo que la fuente 1 (Kohavi y Thomke, Harvard Business Review, 2017), ejemplos del cambio de titular de anuncio (2012) y del cambio de colores en resultados de búsqueda (2013) en Bing.
4. Weinberg, G. y Mares, J., Traction: How Any Startup Can Achieve Explosive Customer Growth, Portfolio/Penguin, 2015 (marco Bullseye y las tres preguntas de la señal útil, ya citado en la lección 11).

Para la próxima lección

Cómo interpretar el resultado de un experimento cuando no es claro: qué es la significancia estadística en términos simples, qué tamaño de muestra necesitas antes de poder confiar en un número, y por qué un resultado que parece “neutro” a veces no lo es.