Les Vanity Metrics ont leurs avantages

Je ne comprends pas tout à fait la diabolisation des « Vanity Metrics ».

Eric Ries a inventé le terme « Vanity Metrics » dans son livre The Lean Startup. La plupart des start-ups sont évaluées sur la base de ces Vanity Metrics. Il s'agit par exemple du nombre de pages vues, d'utilisateurs inscrits ou d'activations de comptes utilisateurs.

Le contraire des « Vanity Metrics » sont les « Actionable Metrics ». Ries les définit comme des indicateurs pour lesquels il existe une relation claire de cause à effet. Ainsi, lorsqu'on sait clairement pourquoi les indicateurs évoluent, il s'agit d'Actionable Metrics. Tout le reste relève des Vanity Metrics.

Le défi des Vanity Metrics

Jusqu'ici, je suis encore d'accord avec tout cela, car fondamentalement, je suis un grand fan de l'interaction. J'ai déjà écrit plusieurs fois qu'on n'a pas besoin de se donner la peine de collecter des indicateurs (y compris des estimations) s'ils n'auront de toute façon aucun impact sur nos actions.

Je suis donc d'accord avec les définitions de "Actionable Metrics" et "Vanity Metrics". Ce qui me dérange cependant, c'est que beaucoup de choses sont rejetées comme étant de pures Vanity Metrics.

Quand j'ai cherché "Vanity Metrics" sur Google, je suis d'abord tombé sur un article concernant TechCrunch. On y utilise des Vanity Metrics comme par exemple un million de téléchargements ou dix millions d'utilisateurs enregistrés.

Ces chiffres sont-ils vraiment des Vanity Metrics ?

Les indicateurs retardés et avancés peuvent t'aider à le découvrir.

Un indicateur retardé ne peut être mesuré qu'après avoir fait quelque chose. C'est alors qu'on peut déterminer si l'objectif a été atteint.

Un indicateur retardé pour une meilleure qualité pourrait être le nombre de défauts, c'est-à-dire d'erreurs, qui surviennent dans les 30 premiers jours après la release. Cela permettrait de voir si l'objectif a été atteint. Cependant, on ne le sait qu'après 30 jours.

Un indicateur avancé te montre en revanche à l'avance si tu es sur la bonne voie.

Un certain nombre de Nightly Tests réussis (Explication ?) serait un indicateur avancé pour l'amélioration de la qualité. Ce facteur pourrait toutefois aussi être considéré comme une Vanity Metric, car il peut facilement être manipulé. L'équipe peut simplement effectuer les mêmes tests ou des tests très similaires et ainsi gonfler intentionnellement le nombre de tests réussis. Il n'y a donc pas de lien clair entre cause et effet. Dans ce cas, davantage de tests réussis ne garantissent pas automatiquement une meilleure qualité.

Le nombre de tests réussis est-il vraiment une Vanity Metric ?

Non, elle est pertinente. Pour illustrer cela, considérons les valeurs suivantes comme exemple :
- Taux de cholestérol
- Tension artérielle
- Pouls au repos
- Poids

Un médecin peut en apprendre beaucoup sur ton état de santé grâce à ces valeurs. Avec un taux de cholestérol de 160, une crise cardiaque est peu probable. Avec un taux de 300, la visite chez le médecin était probablement une très bonne idée.

Ce sont des indicateurs avancés. Ils ne garantissent rien : même avec un taux de cholestérol de 160, on pourrait théoriquement avoir une crise cardiaque à tout moment. La seule vraie preuve serait un indicateur retardé – par exemple, combien de crises cardiaques on a réellement eues en un an. C'est évidemment un indicateur beaucoup plus fiable. Mais il n'est disponible qu'à la fin de l'année.

Devrions-nous donc ignorer complètement les Vanity Metrics ? Non. – Les Vanity Metrics peuvent aussi fournir des informations importantes. Souvent, ce sont des indicateurs avancés. Si l'objectif d'un site web est de vendre des abonnements, le nombre d'abonnements vendus est l'Actionable Metric décisive pour cette entreprise.

Le nombre de Unique New Visitors est cependant un type de Vanity Metrics et peut être un excellent indicateur avancé. Plus de New Visitors devraient mener à plus d'abonnements. De même, plus de tests réussis devraient entraîner une meilleure qualité. Ce n'est pas une garantie, mais c'est un bon indicateur.

Conclusion sur les Vanity Metrics

Les Vanity Metrics ne sont donc pas du tout inutiles. Il ne faut simplement pas se laisser tromper par elles. Le problème, c'est que les Vanity Metrics sont manipulables. On peut effectuer des tests qui se passent toujours bien. Et même si, par exemple, l'achat de trafic ne génère jamais d'abonnements payants, les métriques de trafic peuvent être embellies de cette manière.

Tant qu'on ne fait pas ce genre de chose, les Vanity Metrics peuvent être de bons indicateurs précoces. Garde simplement toujours à l'esprit qu'on ne mesure pas des faits avec elles. On apprend seulement si on est sur la bonne voie.

Ce texte provient du blog de Mike Cohn et a été traduit par nos soins en allemand.

Formuler des User Stories

=> Voici ma structure préférée pour les User Stories!

Definition of Done

=> Pourquoi une Definition of Done est-elle d'un côté très simple, mais de l'autre si complexe ?