Trzej “banditos” analityki produktowej
Wraz z rozwojem branży internetowej, dostępem do coraz to bardziej przystępnych (tj. nie wymagających całego zespołu developerskiego) form prowadzenia biznesu online coraz szerzej zaczęły być wykorzystywane narzędzia analityczne. Jeszcze 10 lat temu było bardzo niewiele narzędzi tego typu, nie były one aż tak popularne i dostępne, nie mówiąc o tym żeby były wykorzystywane w pracy codziennej ludzi pracujących na stanowisku innym niż analityk. Dziś natomiast nawet zakładając bloga na którego wrzucamy zdjęcia ze swoich rowerowych wycieczek standardem wydaje się podpięcie co najmniej jednego narzędzia które powie jak często mamy gości, ile czasu spędzają i co robią na naszej stronie. Bogactwo tych możliwości jest niewątpliwie dobrodziejstwem, ale również jak często w życiu bywa – może też być przekleństwem jeśli niewłaściwie z niego skorzystamy.
Zanim przejdziemy do meritum tego artykułu chciałbym również na wstępie mocno zaznaczyć, że ten artykuł stanowi jedynie moje subiektywne przemyślenia na temat pracy z analityką i nie twierdzę że to jest jedyne słuszne podejście. Nie ukrywam też że sam co najmniej kilkukrotnie sam “zapomniałem się” i dałem się złapać w pułapki myślenia opisane poniżej. Ale mam nadzieję że przynajmniej zachęci do przemyślenia i pomoże dojść do nowych, ciekawych wniosków. A więc do dzieła!
Bandyta pierwszy – średnia.
Mam wrażenie że średnia jest bardzo często wykorzystywana w celu znalezienia „złotego środka”, albo „centrum prawdy” w analityce. Podam jeden przykład, które zilustrują o co mi chodzi. Przykładowo w analityce webowej jednym popularnych wskaźników jest średni czas spędzony na danej stronie, albo średni czas całej wizyty. Załóżmy dla uproszczenia że ten czas to 10 minut. Nie wiem jak dla Was, ale dla mnie odruchowym wnioskiem jest zatem że długość większości wizyt oscyluje wokół 10 minut. Czy aby napewno? Wcale nie! Otóż taki sam wyniki (10 minut) da przykładowo:
- 50% wizyt o długości 1 minuta, 50% wizyt o długości 19 minut – i ani jeden użytkownik nie spędził równo 10 minut
- 100% wizyt o długości 10 minut.
W moim postrzeganiu dwie powyższe sytuacje są biegunowo odległe od siebie, a mimo to średnia jest taka sama. Czy już dostrzegasz problem?
Dlatego samo mierzenie wartości średnich moim zdaniem powinno jak najczęściej być wspierane dodatkowym rozbiciem danych np. na przedziały wartości (np. 1–2 minuty, 2–5, 5–10, itd.), albo jeśli szukamy informacji o tym jaka wartość trafia się najczęściej użyć mody (wartość występująca najczęściej). W ten sposób wartości skrajne, ale rzadsze nie będą nam zaburzały wyniku.
Średnia może oczywiście być przydatna sama w sobie i np. pokazać ogólny trend wzrostowy lub spadkowy w czasie, ale w takich przypadkach warto być pewnym i świadomym na jakie dane patrzymy i co może nam umykać.
Bandyta drugi – konwersja.
Konwersje są narzędziem analitycznym używanym do monitorowania postępu użytkowników w ramach określonej sekwencji kroków bez względu na czy mówimy o sklepie internetowym, produkcie online czy stronie zapisach do newslettera. W internecie można odnaleźć wiele publikacji opisujących średnie/docelowe wartości konwersji w różnych przypadkach oraz wielokrotnie widziałem przypadki gdzie właśnie konwersja jest głównym wskaźnikiem postępu. Dlaczego więc taka pożyteczna i powszechnie używana metryka jest nazwana przeze mnie bandytą? Dlatego że równie łatwo co w przypadku średniej można dojść do zgoła błędnych wniosków jeśli nie zastanowimy się dobrze jak taką konwersję obliczamy. Wydaje mi się że bardzo popularnym podejściem jest liczenie konwersji na bazie nieposegmentowanych danych. Ponownie z pomocą przychodzi tu przykład. Przyjmijmy że mamy do czynienia z produktem SaaS-owym i badamy klasyczny lejek konwersji, tzn.
- wejście na stronę
- rejestracja konta testowego
- skorzystanie z narzędzia
- kupno abonamentu
Pierwszą konwersją jaką tutaj możemy obliczyć jest konwersja z gościa na stronie głównej na użytkownika zarejestrowanego. Przyjmijmy że wg. analityki mamy 1000 unikalnych użytkowników miesięcznie na stronie, z czego tylko 10 dokonało rejestracji. Prosta kalkulacja podpowiada że konwersja wynosi 1% – nie trzeba chyba specjalistycznych benchmarków żeby stwierdzić że jednak to trochę mało. W obliczu takiej informacji rozsądnym wydaje się rozpoczęcie badań nad poprawą procesu rejestracji. Jaka więc pułapka czai się w takim rozumowaniu? Moim zdaniem mamy tu do czynienia z niewypowiedzianym, ale bardzo ważnym założeniem – że chcemy aby 100% unikalnych użytkowników skorzystało z rejestracji. Czysto hipotetycznie – niech 50% gości w skali miesiąca będzie użytkownikami którzy nie są związani z tematyką naszego narzędzia i znaleźli się na stronie w skutek złej konfiguracji płatnych reklam (lub z dowolnego innego powodu nie będą zainteresowani skorzystaniem z produktu). Realna konwersja która nas interesuje wynosi więc 10 rejestracji na 500 unikalnych użytkowników – czyli 2%. Oczywiście konkretne liczby w warunkach życiowych osiągają inne wartości ale zasada pozostaje ta sama – nie biorąc pod uwagę czynników uniemożliwiających użytkownikowi wykonanie pewnego kroku możemy dojść do błędnego wniosku że nasze narzędzie nie działa dobrze dla naszej grupy docelowej podczas gdy działa, tylko ruch spoza tej grupy powoduje szum w danych.
Bandyta trzeci – odsetek.
Ostatnim z niebezpiecznych wskaźników o których chciałbym napisać tutaj są wszelakie wskaźniki procentowe. Nie będzie to chyba już dla Ciebie zaskoczeniem, jeśli stwierdzę że ogólnie procenty są OK (hehe 😉 ). Ale jeśli chcemy opierać swoje decyzje produktowe czy biznesowe jedynie stosunki wielkości to możemy przeoczyć kluczowe wręcz fakty, które zmienią naszą percepcję. Ponieważ artykuł jest już w tym momencie dość długi podam dwa bardzo szybkie przykłady. Przyjmijmy ponownie że pracujemy z produktem SaaS-owym i używamy metryk procentowych do monitorowania czy wszystko działa dobrze.
Pierwszy scenariusz niech będzie taki, że wspomniana już wcześniej konwersja kont testowych na płatne wynosi 10%. Obliczenie bardzo proste – miesięczna ilość kont testowych podzielona przez ilość sprzedaży wyrażona w procentach. Wyobraźmy sobie teraz sytuację że któregoś dnia otwierając raport analityczny dostrzegasz skok konwersji na 20%. Mogło by się wydawać, że nastąpiła cudowna wręcz poprawa. Z tym że niekoniecznie. Taka zmiana może wynikać zarówno ze wzrostu ilości sprzedanych kont, ale również ze spadku ilości założonych kont testowych. Podobna sytuacja może mieć miejsce gdy konwersja spadnie z 10% na 5%. Potencjalnie sytuacja mocno awaryjna, ale równie dobrze może to być znaczny wzrost ilości kont testowych i nieznaczny tylko wzrost ilości sprzedanych kont. Sytuacja już trochę mniej martwiąca.
Dlatego też wydaje mi się rozsądnym podejściem aby zawsze takie metryki zestawiać z innymi, które uzupełnią krajobraz liczbowy o niezbędny kontekst i szczegóły które są niezbędne do podjęcia właściwych decyzji. Tym bardziej że wartości składowe wskaźników procentowych prawie nigdy nie utrzymują się na jednym poziomie, tylko zmieniają się z dnia na dzień.
Podsumowując powyższe akapity wydaje mi się że jest tylko jedna rada na to aby nie dać się oszukać magii liczb – to na każdą metrykę patrzyć mądrze i z szerokiej perspektywy. Zastanowić się dobrze czy i w jakich sytuacjach możemy sami siebie oszukać, albo nie dostrzec istotnego fragmentu układanki. Takie świadome i przemyślane podejście do pomiarów może moim skromnym zdaniem zaoszczędzić sporo nerwów i błędnych decyzji.
Publikacji na tematy analityki jest bardzo dużo i zapewne z każdej jednej jesteś w stanie wyciągnąć coś wartościowe dla siebie. Ze swojej strony jedynie chciałbym polecić książkę która mi pomogła zmienić myślenie o analityce i podpowiedziała kilka ciekawych koncepcji – jest to „Metoda Lean Analytics. Zbuduj sukces startupu w oparciu o analizę danych”. Moim ulubionym wnioskiem jest to, że dobra metryka powinna wpływać na nasze decyzje. Jeżeli jakaś miara potencjalnie nie powoduje zmiany w działaniu – szkoda sobie tym zaprzątać głowę.
Tak więc życzę Tobie aby wszystkie Twoje metryki były wartościowe (nie próżne) i wpływały jedynie w pozytywny sposób na Twoje decyzje i działania 🙂
