Vanity Metrics hebben hun voordelen Hmm, dit is al Nederlands. De tekst is al in het Nederlands geschreven en hoeft niet vertaald te worden. Maar aangezien je vraagt om te vertalen naar het Nederlands, hier is de tekst: Vanity Metrics hebben hun voordelen

De demonisering van de zogenaamde "Vanity Metrics" kan ik niet helemaal begrijpen.

Eric Ries heeft in zijn boek The Lean Startup de term "Vanity Metrics" geïntroduceerd. De meeste start-ups worden beoordeeld op basis van deze Vanity Metrics. Dat zijn bijvoorbeeld zaken als het aantal paginaweergaven, geregistreerde gebruikers of activeringen van gebruikersaccounts.

Het tegenovergestelde van "Vanity Metrics" zijn "Actionable Metrics". Deze definieert Ries als meetwaarden waarbij er een duidelijk verband bestaat tussen oorzaak en gevolg. Als dus duidelijk is waarom de meetwaarden veranderen, gaat het om Actionable Metrics. Al het andere zijn Vanity Metrics.

De uitdaging bij Vanity Metrics

Tot zover ben ik het nog met alles eens, want in principe ben ik een grote fan van interactie. Ik heb al vaker geschreven dat je kengetallen (o.a. ook inschattingen) helemaal niet moeizaam hoeft te achterhalen als ze toch geen enkele invloed op ons handelen zullen hebben.

Met de definities van "Actionable Metrics" en "Vanity Metrics" ben ik het dus eens. Wat me echter stoort, is dat veel dingen als pure Vanity Metrics worden afgedaan.

Toen ik op "Vanity Metrics" googelde, stuitte ik als eerste op een artikel over TechCrunch. Daar worden Vanity Metrics gebruikt, zoals bijv. een miljoen downloads of tien miljoen geregistreerde gebruikers.

Zijn zulke cijfers echt Vanity Metrics?

Vroege en late indicatoren kunnen je helpen om dat te ontdekken.

Een late indicator kan pas gemeten worden nadat er iets gedaan is. Dan kun je vaststellen of je je doel bereikt hebt.

Een late indicator voor betere kwaliteit zou het aantal defects, oftewel fouten, kunnen zijn dat binnen de eerste 30 dagen na de release optreedt. Daaraan zou je kunnen zien of je je doel bereikt hebt. Maar dat kom je pas na 30 dagen te weten.

Een vroege indicator laat je echter al van tevoren zien of je op de goede weg bent.

Een bepaalde hoeveelheid goed verlopen Nightly Tests (uitleg?) zou een vroege indicator zijn voor de verbetering van de kwaliteit. Deze factor zou echter ook als Vanity Metric gezien kunnen worden, want hij is makkelijk te manipuleren. Het team kan simpelweg dezelfde of zeer vergelijkbare tests uitvoeren en zo opzettelijk het aantal geslaagde tests opdrijven. Er is dus geen eenduidig verband tussen oorzaak en gevolg. Meer geslaagde tests garanderen in dit geval niet automatisch een betere kwaliteit.

Is het aantal geslaagde tests echt een Vanity Metric?

Nee, ze is wel degelijk relevant. Om dat te verduidelijken, bekijken we de volgende waarden als voorbeeld:
- Cholesterolwaarde
- Bloeddruk
- Rustpols
- Gewicht

Een arts kan aan de hand van deze waarden iets over je gezondheidstoestand te weten komen. Met een cholesterolwaarde van 160 is een hartinfarct niet bijzonder waarschijnlijk. Bij een waarde van 300 was het bezoek aan de arts echter best een goed idee.

Dit zijn vroege indicatoren. Ze zijn geen garantie voor wat dan ook: ook met een cholesterolwaarde van 160 zou je theoretisch op elk moment een hartinfarct kunnen krijgen. Het enige echte bewijs zou een late indicator zijn – bijvoorbeeld hoeveel infarcten je in een jaar daadwerkelijk hebt gehad. Dat is natuurlijk een veel betrouwbaardere indicator. Maar die is pas aan het einde van het jaar beschikbaar.

Moeten we Vanity Metrics dan helemaal negeren? Nee. – Ook Vanity Metrics kunnen belangrijke informatie opleveren. Vaak zijn het vroege indicatoren. Als het verkopen van lidmaatschappen het doel van een website is, dan is het aantal verkochte lidmaatschappen de beslissende Actionable Metric voor die onderneming.

Het aantal Unique New Visitors is echter een soort Vanity Metric en kan een geweldige vroege indicator zijn. Meer New Visitors zouden tot meer lidmaatschappen moeten leiden. Evenzo zouden meer geslaagde tests een betere kwaliteit tot gevolg moeten hebben. Het is geen garantie, maar wel een goede indicator.

Conclusie over Vanity Metrics

Vanity Metrics zijn dus zeker niet nutteloos. Je mag je er alleen niet door laten misleiden. Het probleem is namelijk dat Vanity Metrics manipuleerbaar zijn. Je kunt tests uitvoeren die altijd goed verlopen. En ook al leiden gekochte bezoekers bijvoorbeeld nooit tot betaalde lidmaatschappen, de traffic-cijfers kunnen op die manier wel mooier worden gemaakt.

Zolang je zoiets echter niet doet, kunnen Vanity Metrics goede vroege indicatoren zijn. Houd er alleen altijd rekening mee dat er geen harde feiten mee gemeten worden. Je komt er alleen achter of je op de goede weg zit.

Deze tekst komt uit de blog van Mike Cohn en is door ons naar het Nederlands vertaald.

User Stories formuleren

=> Hier is mijn favoriete structuur voor User Stories!

Definition of Done

=> Waarom is een Definition of Done enerzijds heel simpel, maar anderzijds zo complex?