Vanity Metrics têm as suas vantagens

Não consigo entender completamente a demonização das chamadas "Vanity Metrics".

Eric Ries cunhou o termo "Vanity Metrics" no seu livro The Lean Startup. A maioria das start-ups é avaliada com base nessas Vanity Metrics. São coisas como o número de visualizações de página, de usuários registrados ou de ativações de contas de usuário.

O oposto das "Vanity Metrics" são as "Actionable Metrics". Ries define-as como indicadores em que existe uma relação clara entre causa e efeito. Portanto, quando está claro por que os indicadores mudam, trata-se de Actionable Metrics. Todo o resto são Vanity Metrics.

A armadilha das Métricas de Vaidade

Até aqui ainda concordo com tudo, pois fundamentalmente sou um grande fã de interação. Já escrevi várias vezes que não precisamos nos esforçar para obter métricas (incluindo avaliações) se elas não terão nenhum impacto nas nossas ações.

Portanto, concordo com as definições de "Actionable Metrics" e "Vanity Metrics". O que me incomoda, porém, é que muitas coisas são descartadas como meras Vanity Metrics.

Quando pesquisei "Vanity Metrics" no Google, o primeiro resultado foi um artigo sobre o TechCrunch. Lá são usadas Vanity Metrics como, por exemplo, um milhão de downloads ou dez milhões de usuários registrados.

Esses números são realmente métricas de vaidade?

Indicadores tardios e antecipados podem te ajudar a descobrir isso.

Um indicador tardio só pode ser medido depois que algo foi feito. Então você consegue verificar se atingiu seu objetivo.

Um indicador tardio para melhor qualidade poderia ser a quantidade de defeitos, ou seja, erros que ocorrem nos primeiros 30 dias após o release. Com isso você reconheceria se atingiu seu objetivo. Porém, você só descobre isso depois de 30 dias.

Um indicador antecipado mostra antecipadamente se você está no caminho certo.

Uma certa quantidade de Nightly Tests bem-sucedidos (Explicação?) seria um indicador antecipado para a melhoria da qualidade. Esse fator também poderia ser entendido como Vanity Metric, pois pode ser facilmente manipulado. A equipe pode simplesmente executar os mesmos testes ou muito similares e assim aumentar intencionalmente o número de testes aprovados. Portanto, não existe uma relação clara entre causa e efeito. Mais testes aprovados não garantem automaticamente uma qualidade melhor neste caso.

O número de testes aprovados é realmente uma métrica de vaidade?

Não, ela é relevante. Para esclarecer isso, vamos considerar os seguintes valores como exemplo:
- Nível de colesterol
- Pressão arterial
- Frequência cardíaca em repouso
- Peso

Um médico pode descobrir algo sobre o seu estado de saúde a partir desses valores. Com um nível de colesterol de 160, um infarto não é muito provável. Mas com um valor de 300, a visita ao médico foi provavelmente uma boa ideia.

Esses são indicadores antecedentes. Eles não são garantia de nada: mesmo com um nível de colesterol de 160, teoricamente você poderia ter um infarto a qualquer momento. A única prova verdadeira seria um indicador tardio – por exemplo, quantos infartos você realmente teve em um ano. Esse é, claro, um indicador muito mais confiável. Mas ele só está disponível no final do ano.

Então devemos ignorar completamente as Vanity Metrics? Não. – Vanity Metrics também podem fornecer informações importantes. Frequentemente são indicadores antecedentes. Se vender assinaturas é o objetivo de um site, o número de assinaturas vendidas é a Actionable Metric decisiva para esse empreendimento.

O número de Unique New Visitors, no entanto, é um tipo de Vanity Metrics e pode ser um excelente indicador antecedente. Mais New Visitors devem levar a mais assinaturas. Da mesma forma, mais testes aprovados devem resultar em melhor qualidade. Não é uma garantia, mas é um bom indicador.

Conclusão sobre as Vanity Metrics

Vanity Metrics não são de forma alguma inúteis. Você só não pode se deixar enganar por elas. O problema é que Vanity Metrics são manipuláveis. Você pode realizar testes que sempre dão bons resultados. E mesmo que, por exemplo, a compra de tráfego nunca gere assinaturas pagas, as métricas de tráfego podem ser maquiadas dessa forma.

No entanto, desde que você não faça isso, Vanity Metrics podem ser bons indicadores antecipados. Apenas lembre-se sempre de que elas não medem fatos. Você só descobre se está no caminho certo.

Este texto é do Blog de Mike Cohn e foi traduzido por nós para o português.

Formular User Stories

=> Aqui está a minha estrutura favorita para User Stories!

Definition of Done

=> Por que uma Definition of Done é tão simples por um lado, mas ao mesmo tempo tão complexa?