Anche le Vanity Metrics hanno i loro vantaggi
Non riesco a condividere del tutto la demonizzazione delle cosiddette "Vanity Metrics".
Eric Ries ha coniato il termine "Vanity Metrics" nel suo libro The Lean Startup. La maggior parte delle startup viene valutata in base a queste Vanity Metrics. Si tratta, ad esempio, di cose come il numero di visualizzazioni di pagina, di utenti registrati o di attivazioni di account utente.
L'opposto delle "Vanity Metrics" sono le "Actionable Metrics". Ries le definisce come metriche in cui esiste una chiara relazione causa-effetto. Quando è chiaro perché le metriche cambiano, si tratta di Actionable Metrics. Tutto il resto sono Vanity Metrics.
La sfida delle Vanity Metrics
Fino a qui sono d'accordo con tutto, perché fondamentalmente sono un grande fan dell'interazione. Ho scritto più volte che non è necessario raccogliere faticosamente metriche (tra cui anche le stime) se comunque non avranno alcun impatto sulle nostre azioni.
Sono quindi d'accordo con le definizioni di "Actionable Metrics" e "Vanity Metrics". Quello che mi disturba, però, è che molte cose vengono liquidate come pure Vanity Metrics.
Quando ho cercato su Google "Vanity Metrics", il primo risultato è stato un articolo su TechCrunch. Lì vengono usate Vanity Metrics come, ad esempio, un milione di download o dieci milioni di utenti registrati.
Questi numeri sono davvero Vanity Metrics?
Gli indicatori anticipatori e ritardatari possono aiutarti a scoprirlo.
Un indicatore ritardatario può essere misurato solo dopo che qualcosa è stato fatto. Solo allora si può stabilire se l'obiettivo è stato raggiunto.
Un indicatore ritardatario per una migliore qualità potrebbe essere il numero di difetti, cioè di errori, che si verificano entro i primi 30 giorni dopo il rilascio. Da questo si potrebbe capire se l'obiettivo è stato raggiunto. Tuttavia, lo si scopre solo dopo 30 giorni.
Un indicatore anticipatorio, invece, mostra già in anticipo se si è sulla strada giusta.
Un certo numero di Nightly Test andati a buon fine sarebbe un indicatore anticipatorio per il miglioramento della qualità. Questo fattore potrebbe però anche essere inteso come Vanity Metric, perché può essere facilmente manipolato. Il team può semplicemente eseguire gli stessi test o test molto simili e così aumentare intenzionalmente il numero di test superati. Non c'è quindi una relazione chiara tra causa ed effetto. Più test superati non garantiscono automaticamente una qualità migliore in questo caso.
Il numero di test superati è davvero una Vanity Metric?
No, è rilevante. Per chiarire questo punto, consideriamo i seguenti valori come esempio:
- Livello di colesterolo
- Pressione sanguigna
- Frequenza cardiaca a riposo
- Peso
Un medico può ricavare informazioni sul tuo stato di salute da questi valori. Con un livello di colesterolo di 160, un infarto è piuttosto improbabile. Con un valore di 300, la visita dal medico è stata probabilmente una buona idea.
Questi sono indicatori anticipatori. Non garantiscono nulla: anche con un livello di colesterolo di 160 si potrebbe teoricamente avere un infarto in qualsiasi momento. L'unica vera prova sarebbe un indicatore ritardatario, ad esempio quanti infarti si sono effettivamente avuti in un anno. Questo è ovviamente un indicatore molto più affidabile. Ma è disponibile solo alla fine dell'anno.
Dovremmo quindi ignorare del tutto le Vanity Metrics? No. Anche le Vanity Metrics possono fornire informazioni importanti. Spesso sono indicatori anticipatori. Se vendere abbonamenti è l'obiettivo di un sito web, il numero di abbonamenti venduti è l'Actionable Metric decisiva per questa attività.
Il numero di Unique New Visitor è però un tipo di Vanity Metric e può essere un ottimo indicatore anticipatorio. Più nuovi visitatori dovrebbero portare a più abbonamenti. Allo stesso modo, più test superati dovrebbero portare a una qualità migliore. Non è una garanzia, ma un buon indicatore.
Conclusione sulle Vanity Metrics
Le Vanity Metrics non sono quindi affatto inutili. Bisogna solo non farsi ingannare da esse. Il problema è che le Vanity Metrics sono manipolabili. Si possono eseguire test che vanno sempre bene. E anche se, ad esempio, acquistando traffico non si generano mai abbonamenti a pagamento, le metriche di traffico possono essere gonfiate in questo modo.
Purché non si faccia qualcosa del genere, le Vanity Metrics possono essere buoni indicatori anticipatori. Ricorda sempre che con esse non si misurano fatti. Si scopre solo se si è sulla strada giusta.
Questo testo proviene dal blog di Mike Cohn ed è stato tradotto in italiano.
Formulare User Story
=> Ecco la mia struttura preferita per le User Story!
Definition of Done
=> Perché una Definition of Done è da un lato molto semplice, ma dall'altro così complessa?
