Trzej “banditos”​ analityki produktowej

Wraz z roz­wo­jem branży inter­ne­to­wej, dostę­pem do coraz to bar­dziej przy­stęp­nych (tj. nie wyma­ga­ją­cych całego zespołu deve­lo­per­skiego) form pro­wa­dze­nia biznesu online coraz sze­rzej zaczęły być wyko­rzy­sty­wane narzę­dzia ana­li­tyczne. Jesz­cze 10 lat temu było bar­dzo nie­wiele narzę­dzi tego typu, nie były one aż tak popu­larne i dostępne, nie mówiąc o tym żeby były wyko­rzy­sty­wane w pracy codzien­nej ludzi pra­cu­ją­cych na sta­nowisku innym niż ana­li­tyk. Dziś nato­miast nawet zakła­da­jąc bloga na któ­rego wrzu­camy zdję­cia ze swo­ich rowe­ro­wych wycie­czek stan­dar­dem wydaje się pod­pię­cie co najm­niej jed­nego narzę­dzia które powie jak czę­sto mamy gości, ile czasu spę­dzają i co robią na naszej stro­nie. Bogact­wo tych moż­li­wo­ści jest nie­wąt­pli­wie dobro­dziej­stwem, ale rów­nież jak czę­sto w życiu bywa – może też być prze­kleń­stwem jeśli nie­wła­ści­wie z niego sko­rzy­stamy.

Zanim przej­dziemy do meri­tum tego arty­kułu chciał­bym rów­nież na wstę­pie mocno zazna­czyć, że ten arty­kuł sta­nowi jedy­nie moje subiek­tywne prze­my­śle­nia na temat pracy z ana­li­tyką i nie twier­dzę że to jest jedyne słuszne podej­ście. Nie ukrywam też że sam co najmniej kilkukrotnie sam “zapomniałem się” i dałem się złapać w pułapki myślenia opisane poniżej. Ale mam nadzieję że przy­naj­mniej zachęci do prze­my­śle­nia i pomoże dojść do nowych, cie­kawych wnio­sków. A więc do dzieła!

Ban­dyta pierw­szy – śred­nia.

Mam wra­że­nie że śred­nia jest bar­dzo czę­sto wyko­rzy­sty­wana w celu zna­le­zie­nia „zło­tego środka”, albo „cen­trum prawdy” w ana­li­tyce. Podam jeden przy­kład, które zilu­strują o co mi cho­dzi. Przy­kładowo w ana­li­tyce webo­wej jed­nym popu­lar­nych wskaź­ni­ków jest średni czas spę­dzony na danej stro­nie, albo średni czas całej wizyty. Załóżmy dla uprosz­cze­nia że ten czas to 10 minut. Nie wiem jak dla Was, ale dla mnie odru­cho­wym wnio­skiem jest zatem że dłu­gość więk­szo­ści wizyt oscy­luje wokół 10 minut. Czy aby napewno? Wcale nie! Otóż taki sam wyniki (10 minut) da przy­kładowo:

  • 50% wizyt o dłu­go­ści 1 minuta, 50% wizyt o dłu­go­ści 19 minut – i ani jeden użyt­kow­nik nie spę­dził równo 10 minut
  • 100% wizyt o dłu­go­ści 10 minut.

W moim postrze­ga­niu dwie powyż­sze sytu­acje są bie­gu­nowo odle­głe od sie­bie, a mimo to śred­nia jest taka sama. Czy już dostrze­gasz pro­blem?

Dla­tego samo mie­rze­nie war­to­ści śred­nich moim zda­niem powinno jak naj­czę­ściej być wspierane dodat­ko­wym roz­bi­ciem danych np. na prze­działy war­to­ści (np. 1–2 minuty, 2–5, 5–10, itd.), albo jeśli szu­kamy infor­ma­cji o tym jaka war­tość tra­fia się naj­czę­ściej użyć mody (war­tość wystę­pu­jąca naj­czę­ściej). W ten spo­sób war­to­ści skrajne, ale rzad­sze nie będą nam zabu­rzały wyniku.

Śred­nia może oczy­wi­ście być przy­datna sama w sobie i np. poka­zać ogólny trend wzro­stowy lub spad­kowy w cza­sie, ale w takich przy­pad­kach warto być pew­nym i świa­do­mym na jakie dane patrzymy i co może nam umy­kać.

Ban­dyta drugi – kon­wer­sja.

Kon­wer­sje są narzę­dziem ana­li­tycznym uży­wa­nym do moni­to­ro­wa­nia postępu użyt­kow­ni­ków w ramach okre­ślo­nej sekwen­cji kro­ków bez względu na czy mówimy o skle­pie inter­ne­to­wym, pro­duk­cie online czy stro­nie zapi­sach do new­slet­tera. W inter­ne­cie można odna­leźć wiele publi­ka­cji opi­su­ją­cych śred­nie­/do­ce­lowe war­to­ści kon­wer­sji w róż­nych przy­pad­kach oraz wie­lo­krot­nie widzia­łem przy­padki gdzie wła­śnie kon­wer­sja jest głów­nym wskaź­nikiem postępu. Dla­czego więc taka poży­teczna i powszech­nie uży­wana metryka jest nazwana przeze mnie ban­dytą? Dla­tego że rów­nie łatwo co w przy­padku śred­niej można dojść do zgoła błęd­nych wnio­sków jeśli nie zasta­no­wimy się dobrze jak taką kon­wer­sję obli­czamy. Wydaje mi się że bar­dzo popu­lar­nym podej­ściem jest licze­nie kon­wer­sji na bazie nie­po­seg­men­to­wa­nych danych. Ponow­nie z pomocą przy­cho­dzi tu przy­kład. Przyj­mijmy że mamy do czy­nie­nia z pro­duk­tem SaaS-owym i badamy kla­syczny lejek kon­wer­sji, tzn.

  • wej­ście na stronę
  • reje­stra­cja konta testo­wego
  • skorzysta­nie z narzę­dzia
  • kupno abo­na­mentu

Pierw­szą kon­wer­sją jaką tutaj możemy obli­czyć jest kon­wer­sja z gościa na stro­nie głów­nej na użyt­kow­nika zare­je­stro­wa­nego. Przyj­mijmy że wg. ana­li­tyki mamy 1000 uni­kal­nych użyt­kow­ni­ków mie­sięcz­nie na stro­nie, z czego tylko 10 doko­nało reje­stra­cji. Pro­sta kal­ku­la­cja pod­po­wiada że kon­wer­sja wynosi 1% – nie trzeba chyba spe­cja­li­stycz­nych bench­mar­ków żeby stwier­dzić że jed­nak to tro­chę mało. W obli­czu takiej infor­ma­cji roz­sąd­nym wydaje się roz­po­czę­cie badań nad poprawą pro­cesu reje­stra­cji. Jaka więc pułapka czai się w takim rozu­mo­wa­niu? Moim zda­niem mamy tu do czy­nie­nia z nie­wy­po­wie­dzia­nym, ale bar­dzo waż­nym zało­że­niem – że chcemy aby 100% uni­kal­nych użyt­kow­ni­ków sko­rzy­stało z reje­stra­cji. Czy­sto hipo­te­tycz­nie – niech 50% gości w skali mie­siąca będzie użyt­kow­ni­kami któ­rzy nie są zwią­zani z tema­tyką naszego narzę­dzia i zna­leźli się na stro­nie w sku­tek złej kon­fi­gu­ra­cji płat­nych reklam (lub z dowol­nego innego powodu nie będą zain­te­re­so­wani skorzysta­niem z pro­duktu). Realna kon­wer­sja która nas interesuje wynosi więc 10 reje­stra­cji na 500 uni­kal­nych użyt­kow­ni­ków – czyli 2%. Oczy­wi­ście kon­kretne liczby w warun­kach życio­wych osią­gają inne war­to­ści ale zasada pozo­staje ta sama – nie bio­rąc pod uwagę czyn­ni­ków unie­moż­li­wia­ją­cych użyt­kow­ni­kowi wyko­na­nie pew­nego kroku możemy dojść do błęd­nego wnio­sku że nasze narzę­dzie nie działa dobrze dla naszej grupy doce­lo­wej pod­czas gdy działa, tylko ruch spoza tej grupy powo­duje szum w danych.

Ban­dyta trzeci – odse­tek.

Ostat­nim z nie­bez­piecz­nych wskaź­ni­ków o których chciałbym napisać tutaj są wsze­la­kie wskaź­niki pro­cen­towe. Nie będzie to chyba już dla Cie­bie zasko­cze­niem, jeśli stwier­dzę że ogól­nie pro­centy są OK (hehe 😉 ). Ale jeśli chcemy opie­rać swoje decy­zje pro­duk­towe czy bizne­sowe jedy­nie sto­sunki wiel­ko­ści to możemy prze­oczyć klu­czowe wręcz fakty, które zmie­nią naszą per­cep­cję. Ponie­waż arty­kuł jest już w tym momen­cie dość długi podam dwa bar­dzo szyb­kie przy­kłady. Przyj­mijmy ponow­nie że pra­cu­jemy z pro­duk­tem SaaS-owym i uży­wamy metryk pro­cen­to­wych do moni­to­ro­wa­nia czy wszystko działa dobrze.

Pierw­szy sce­na­riusz niech będzie taki, że wspo­mniana już wcze­śniej kon­wer­sja kont testo­wych na płatne wynosi 10%. Obli­cze­nie bar­dzo pro­ste – mie­sięczna ilość kont testo­wych podzie­lona przez ilość sprze­daży wyra­żona w pro­cen­tach. Wyobraźmy sobie teraz sytu­ację że któ­re­goś dnia otwie­ra­jąc raport ana­li­tyczny dostrze­gasz skok kon­wer­sji na 20%. Mogło by się wyda­wać, że nastą­piła cudowna wręcz poprawa. Z tym że nie­ko­niecz­nie. Taka zmiana może wyni­kać zarówno ze wzro­stu ilo­ści sprze­da­nych kont, ale rów­nież ze spadku ilo­ści zało­żo­nych kont testo­wych. Podobna sytu­acja może mieć miej­sce gdy kon­wer­sja spad­nie z 10% na 5%. Poten­cjal­nie sytu­acja mocno awa­ryjna, ale rów­nie dobrze może to być znaczny wzrost ilo­ści kont testo­wych i nie­znaczny tylko wzrost ilo­ści sprze­da­nych kont. Sytu­acja już tro­chę mniej mar­twiąca.

Dla­tego też wydaje mi się roz­sąd­nym podej­ściem aby zawsze takie metryki zesta­wiać z innymi, które uzu­peł­nią kra­jo­braz licz­bowy o nie­zbędny kon­tekst i szcze­góły które są nie­zbędne do pod­ję­cia wła­ści­wych decy­zji. Tym bar­dziej że war­to­ści skła­dowe wskaźników procentowych pra­wie ni­gdy nie utrzy­mują się na jed­nym pozio­mie, tylko zmie­niają się z dnia na dzień.

Pod­su­mo­wu­jąc powyż­sze akapity wydaje mi się że jest tylko jedna rada na to aby nie dać się oszu­kać magii liczb – to na każdą metrykę patrzyć mądrze i z sze­ro­kiej per­spek­tywy. Zasta­no­wić się dobrze czy i w jakich sytu­acjach możemy sami sie­bie oszu­kać, albo nie dostrzec istot­nego frag­mentu ukła­danki. Takie świa­dome i prze­my­ślane podej­ście do pomia­rów może moim skrom­nym zda­niem zaosz­czę­dzić sporo ner­wów i błęd­nych decy­zji.

Publi­ka­cji na tematy ana­li­tyki jest bar­dzo dużo i zapewne z każ­dej jed­nej jesteś w sta­nie wycią­gnąć coś war­to­ściowe dla sie­bie. Ze swo­jej strony jedy­nie chciał­bym pole­cić książkę która mi pomo­gła zmie­nić myśle­nie o ana­li­tyce i pod­po­wie­działa kilka cie­ka­wych koncepcji – jest to „Metoda Lean Ana­ly­tics. Zbu­duj suk­ces star­tupu w opar­ciu o ana­lizę danych”. Moim ulu­bio­nym wnio­skiem jest to, że dobra metryka powinna wpły­wać na nasze decy­zje. Jeżeli jakaś miara poten­cjal­nie nie powo­duje zmiany w dzia­ła­niu – szkoda sobie tym zaprzą­tać głowę.

Tak więc życzę Tobie aby wszyst­kie Twoje metryki były war­to­ściowe (nie próżne) i wpły­wały jedy­nie w pozy­tywny spo­sób na Twoje decy­zje i dzia­ła­nia 🙂

Link do oryginalnego posta na LinkedIn