Vanity Metrics mają swoje zalety
Nie do końca rozumiem demonizowania tzw. „Vanity Metrics".
Eric Ries w swojej książce The Lean Startup ukuł pojęcie „Vanity Metrics". Większość startupów jest ocenianych właśnie na podstawie tych wskaźników. Są to np. liczba odsłon strony, zarejestrowanych użytkowników czy aktywacji kont użytkowników.
Przeciwieństwem „Vanity Metrics" są „Actionable Metrics". Ries definiuje je jako wskaźniki, w których istnieje wyraźny związek przyczynowo-skutkowy. Jeśli więc wiadomo, dlaczego wskaźniki się zmieniają, mamy do czynienia z Actionable Metrics. Wszystko inne to Vanity Metrics.
Wyzwanie z Vanity Metrics
Do tej pory zgadzam się ze wszystkim, bo jestem wielkim zwolennikiem interakcji. Pisałem już wcześniej, że wskaźniki (w tym oceny) nie muszą być z trudem zbierane, jeśli i tak nie będą miały żadnego wpływu na nasze działania.
Zgadzam się więc z definicjami „Actionable Metrics" i „Vanity Metrics". Przeszkadza mi jednak to, że wiele rzeczy jest pochopnie odrzucanych jako czyste Vanity Metrics.
Kiedy wyszukałem „Vanity Metrics" w Google, najpierw trafiłem na artykuł w TechCrunch. Użyto tam przykładów Vanity Metrics, takich jak milion pobrań czy dziesięć milionów zarejestrowanych użytkowników.
Czy takie liczby naprawdę są Vanity Metrics?
Wskaźniki opóźnione i wyprzedzające mogą pomóc to ustalić.
Wskaźnik opóźniony można zmierzyć dopiero po wykonaniu pewnych działań. Pozwala wtedy stwierdzić, czy osiągnięto cel.
Wskaźnikiem opóźnionym dla wyższej jakości mogłaby być liczba defektów (błędów) pojawiających się w ciągu pierwszych 30 dni po wydaniu. Pozwalałoby to stwierdzić, czy cel został osiągnięty. Jednak informację tę uzyskujemy dopiero po 30 dniach.
Wskaźnik wyprzedzający pokazuje natomiast wcześniej, czy jesteśmy na właściwej drodze.
Pewna liczba pomyślnie przebiegłych testów nocnych byłaby wskaźnikiem wyprzedzającym dla poprawy jakości. Czynnik ten mógłby jednak być rozumiany jako Vanity Metric, ponieważ łatwo go manipulować. Zespół może po prostu przeprowadzać te same lub bardzo podobne testy, celowo zwiększając liczbę zaliczonych testów. Nie ma więc jednoznacznego związku przyczynowo-skutkowego. Większa liczba zaliczonych testów nie gwarantuje w tym przypadku automatycznie wyższej jakości.
Czy liczba zaliczonych testów naprawdę jest Vanity Metric?
Nie, jest istotna. Aby to zilustrować, rozważmy następujące wartości jako przykład:
- poziom cholesterolu
- ciśnienie krwi
- puls spoczynkowy
- waga
Lekarz może na podstawie tych wartości dowiedzieć się czegoś o Twoim stanie zdrowia. Przy poziomie cholesterolu 160 zawał serca jest mało prawdopodobny. Przy wartości 300 wizyta u lekarza była prawdopodobnie bardzo dobrym pomysłem.
To są wskaźniki wyprzedzające. Nie stanowią gwarancji czegokolwiek: nawet przy poziomie cholesterolu 160 można teoretycznie w każdej chwili dostać zawału. Jedynym pewnym dowodem byłby wskaźnik opóźniony – np. ile zawałów faktycznie wystąpiło w ciągu roku. Jest to oczywiście znacznie bardziej wiarygodny wskaźnik. Ale jest on dostępny dopiero na koniec roku.
Czy powinniśmy zatem w ogóle ignorować Vanity Metrics? Nie. – Vanity Metrics też mogą dostarczać ważnych informacji. Często są wskaźnikami wyprzedzającymi. Jeśli sprzedaż członkostw jest celem strony internetowej, liczba sprzedanych członkostw jest kluczową Actionable Metric dla tego przedsięwzięcia.
Liczba unikalnych nowych odwiedzających jest jednak rodzajem Vanity Metric i może być świetnym wskaźnikiem wyprzedzającym. Więcej nowych odwiedzających powinno prowadzić do większej liczby członkostw. Podobnie większa liczba zaliczonych testów powinna skutkować wyższą jakością. To nie jest gwarancja, ale dobry wskaźnik.
Podsumowanie dotyczące Vanity Metrics
Vanity Metrics nie są zatem bezużyteczne. Nie wolno jednak dać się przez nie zwieść. Problem polega bowiem na tym, że Vanity Metrics można manipulować. Można przeprowadzać testy, które zawsze przebiegają pomyślnie. I choć np. przez kupowanie ruchu nigdy nie powstaną płatne członkostwa, wskaźniki ruchu można w ten sposób upiększać.
Dopóki jednak tego się nie robi, Vanity Metrics mogą być dobrymi wskaźnikami wyprzedzającymi. Pamiętaj tylko zawsze, że nie mierzy się nimi faktów. Dowiadujesz się jedynie, czy jesteś na właściwej drodze.
Tekst pochodzi z bloga Mike'a Cohna i został przetłumaczony przez nas na język polski.
Formułowanie User Stories
=> Oto moja ulubiona struktura dla User Stories!
Definition of Done
=> Dlaczego Definition of Done jest z jednej strony bardzo prosta, a z drugiej tak złożona?
