Las Vanity Metrics tienen sus ventajas
No puedo entender del todo la demonización de las llamadas "Vanity Metrics".
Eric Ries acuñó el término "Vanity Metrics" en su libro The Lean Startup. La mayoría de las startups se evalúan en base a estas Vanity Metrics. Son cosas como el número de visitas a la página, usuarios registrados o activaciones de cuentas de usuario.
Lo opuesto a las "Vanity Metrics" son las "Actionable Metrics". Ries las define como indicadores en los que existe una relación clara entre causa y efecto. Cuando está claro por qué cambian los indicadores, se trata de Actionable Metrics. Todo lo demás son Vanity Metrics.
El desafío de las Vanity Metrics
Hasta aquí estoy de acuerdo con todo, pues en general soy un gran fan de la interacción. Ya he escrito varias veces que no es necesario esforzarse en obtener indicadores (incluyendo estimaciones) si de todos modos no van a tener ninguna influencia en nuestras acciones.
Estoy de acuerdo con las definiciones de "Actionable Metrics" y "Vanity Metrics". Sin embargo, me molesta que muchas cosas sean descartadas como simples Vanity Metrics.
Cuando busqué "Vanity Metrics" en Google, lo primero que encontré fue un artículo sobre TechCrunch. Allí se utilizan Vanity Metrics como, por ejemplo, un millón de descargas o diez millones de usuarios registrados.
¿Son realmente esos números Vanity Metrics?
Los indicadores rezagados y adelantados pueden ayudar a descubrirlo.
Un indicador rezagado solo puede medirse después de haber realizado algo. Entonces se puede determinar si se alcanzó el objetivo.
Un indicador rezagado para una mejor calidad podría ser la cantidad de defectos que aparecen dentro de los primeros 30 días después del release. Con eso se podría ver si se alcanzó el objetivo. Sin embargo, eso solo se sabe después de 30 días.
Un indicador adelantado, en cambio, muestra con anticipación si se va por buen camino.
Una cierta cantidad de Nightly Tests exitosos sería un indicador adelantado para la mejora de la calidad. Sin embargo, este factor también podría entenderse como una Vanity Metric, ya que puede manipularse fácilmente. El equipo puede simplemente ejecutar los mismos tests o tests muy similares y así inflar intencionalmente el número de tests aprobados. Por lo tanto, no existe una relación clara entre causa y efecto. Más tests aprobados no garantizan automáticamente una mejor calidad en este caso.
¿Es realmente una Vanity Metric la cantidad de tests aprobados?
No, es relevante. Para ilustrarlo, consideremos los siguientes valores como ejemplo:
- Nivel de colesterol
- Presión arterial
- Pulso en reposo
- Peso
Un médico puede conocer algo sobre tu estado de salud a partir de estos valores. Con un nivel de colesterol de 160, un infarto no es particularmente probable. Con un valor de 300, la visita al médico fue probablemente una buena idea.
Estos son indicadores adelantados. No son garantía de nada: incluso con un colesterol de 160 podrías teóricamente sufrir un infarto en cualquier momento. La única prueba real sería un indicador rezagado, por ejemplo, cuántos infartos se tuvieron en un año. Este es, por supuesto, un indicador mucho más confiable. Pero solo está disponible al final del año.
¿Deberíamos entonces no prestar atención a las Vanity Metrics? Sí deberíamos. Las Vanity Metrics también pueden proporcionar información importante. Frecuentemente son indicadores adelantados. Si vender membresías es el objetivo de un sitio web, el número de membresías vendidas es la Actionable Metric decisiva para ese negocio.
Sin embargo, el número de Unique New Visitors es una especie de Vanity Metric y puede ser un excelente indicador adelantado. Más New Visitors deberían llevar a más membresías. Del mismo modo, más tests aprobados deberían resultar en una mejor calidad. No es una garantía, pero sí un buen indicador.
Conclusión sobre las Vanity Metrics
Las Vanity Metrics no son inútiles en absoluto. Solo hay que tener cuidado de no dejarse engañar por ellas. El problema es que las Vanity Metrics son manipulables. Se pueden ejecutar tests que siempre dan buenos resultados. Y aunque, por ejemplo, nunca se generen membresías de pago comprando tráfico, las métricas de tráfico pueden embellecerse de esta manera.
Sin embargo, mientras no se haga algo así, las Vanity Metrics pueden ser buenos indicadores adelantados. Solo recuerda que no miden hechos. Solo indican si vas por buen camino.
Este texto proviene del blog de Mike Cohn y fue traducido al español.
Formular User Stories
=> Aquí está mi estructura favorita para User Stories.
Definition of Done
=> ¿Por qué una Definition of Done es por un lado muy simple, pero por otro tan compleja?
