Skoro nic nie wiadomo, to jak się dowiedzieć? 10 sposobów na zbadanie wpływu zmian na produkt. (cz.1)

W jed­nym z moich poprzed­nich arty­ku­łów (“Nieoczekiwany sprzymierzeniec produktowca“) zasta­na­wia­łem się nad nie­wie­dzą przy pracy z pro­duk­tem i war­to­ścią jaką możemy czer­pać z oswo­je­nia takiego podej­ścia. Nie­stety istot­nym wyma­ga­niem jakie sta­wia przed pro­duktowcami akcep­ta­cja tego stanu rze­czy jest uzbro­je­nie się w różne metody, które pozwolą się cze­goś jed­nak dowie­dzieć. Dla­tego też zaczą­łem się zasta­na­wiać jakie metody znaj­dują się w moim zasięgu i ku mojemu zasko­cze­niu chwilę naprawdę musia­łem pomy­śleć żeby je jakoś upo­rząd­ko­wać.

Dla­tego też więc w ramach usys­tematyzowania róż­nych skraw­ków wie­dzy dla samego sie­bie spi­sa­łem poniż­sze zesta­wie­nie. Mam nadzieję że pomoże ono i Tobie w upo­rząd­ko­wa­niu „przy­bor­nika badaw­czego”. Oczy­wi­ście na temat każ­dej z tych metod powstały całe książki, a ich krótki opis sta­nowi jedy­nie mój skromny komen­tarz, więc bar­dziej liczę że dzie­ląc się tą listą ewen­tu­al­nie pod­sunę cie­kawy kie­ru­nek do zba­da­nia niż gotowe roz­wią­za­nie.

Dla lep­szego zro­zu­mie­nia tego zesta­wie­nia przyj­mijmy pro­szę, że pyta­nie na które poszu­ku­jemy odpo­wie­dzi brzmi „Czy wprowadzenie zmiany X jest dobre dla użytkowników/produktu/biznesu?”. Oczy­wi­ście zdaję sobie sprawę, że każda z tych metod jest nieco inna i w nie­któ­rych przy­pad­kach może nie być bar­dzo pomocna. Z kolei jedne pomogą w oce­nie pomy­słu jesz­cze przed jego wdro­że­niem, a nie­które dopiero można wyko­rzy­stać po wydaniu cze­goś w produkcie. Osąd jakiego narzę­dzia użyć do jakiego przy­padku pozo­sta­wiam Tobie 😃

1. Ana­li­tyka webowa. Jest to chyba naj­bar­dziej dostępne roz­wią­za­nie do pomia­rów uży­wal­no­ści danej funk­cji w pro­duk­cie czy na stro­nie. W momen­cie gdy wpro­wa­dzamy zmianę do pro­duktu możemy okre­ślić jakie zacho­wa­nia nas inte­re­sują i zaczy­namy badać np. ilość klik­nięć w nowy raport, ilość powra­ca­ją­cych użyt­kow­ni­ków do danej zakładki, czy też ilu nowych użyt­kow­ni­ków w cza­sie odkrywa ją. Cie­ka­wym też pomy­słem jest mie­rze­nie tzw. mikro-kon­wer­sji, czyli w hipo­te­tycz­nym przy­padku gene­ro­wa­nia raportu badamy pewien lejek zacho­wań: wej­ście na stronę kon­fi­gu­ro­wa­nia raportu, przej­ście do wyge­ne­ro­wa­nia raportu, pobra­nie wyge­ne­ro­wa­nego raportu.

• Wady: Ana­li­tyki nie uży­jemy do wery­fi­ka­cji pomy­słu na wcze­snym eta­pie (przed wdro­że­niem), musimy wpro­wa­dzić real­nie zmianę do pro­duktu i pocze­kać na zebra­nie odpo­wied­niej por­cji danych. Pro­sta ana­liza zacho­wań w panelu nie powie nam wprost czy i jak w ogól­nym roz­ra­chunku ta zmian wpływa na cały pro­dukt, biznes.
• Zalety: W pro­sty spo­sób możemy spraw­dzić uży­tecz­ność inter­fejsu użyt­kow­nika, duża ilość użyt­kow­ni­ków nie wpływa na moż­li­wo­ści ana­lizy, moż­li­wość porów­na­nia z danymi histo­rycz­nymi.

2. Ato­mowy feed­back od użytkowników Bar­dzo cie­ka­wym spo­so­bem na pozy­ski­wa­nie wie­dzy od użyt­kow­ni­ków naszego pro­duktu czy strony jest umoż­li­wie­nie im oceny każ­dego ele­mentu inter­fejsu jaki ofe­ru­jemy. Przy­kła­dowo w momen­cie doda­wa­nia nowego typu raportu, obok nagłówka umiesz­czamy dwie ikonki 👍 i 👎 a klik­nię­cie w jedną z nich powo­duje zebra­nie oceny. W w momen­cie wyj­ścia z nowej pod­strony w pro­duk­cie można wyświe­tlić popup z pyta­niem czy infor­ma­cje zna­le­zione były uży­teczne. Oczy­wi­ście nie można prze­sa­dzać z gęsto­ścią takich „poty­ka­czy”, ale roz­sąd­nie umiesz­cza­jąc w pro­duk­cie takie ele­menty umoż­li­wia­jące użyt­kow­ni­kowi prze­ka­za­nie zado­wo­le­nia z tego co jest mu pre­zen­to­wane pozwala napewno mie­rzyć satys­fak­cję z pro­duktu w cza­sie.

• Wady: Część odpo­wie­dzi może być udzie­lona pod wpły­wem chwi­lo­wych emo­cji (np. wol­niej­sze dzia­ła­nie inter­netu u użyt­kow­nika spo­wal­nia gene­ro­wa­nie raportu, przez co dosta­jemy łapkę w dół), lub łapka w górę jest dana „na odczep” – ciężko po cza­sie stwie­rdzić czy na ocenę miała wpływ sama funk­cjo­nal­ność czy inny czyn­nik. Brak moż­li­wo­ści pogłę­bie­nia wywiadu, „dosyć płytka” infor­ma­cja zwrotna.
• Zalety: Bar­dzo punk­towo prze­ka­zana infor­ma­cja (poten­cjal­nie na temat każ­dego ele­mentu pro­duktu/strony), moż­li­wość zebra­nia dużej ilo­ści gło­sów, moż­li­wość zebra­nia danych roz­ło­żo­nych w cza­sie i wnio­sko­wa­nia czy nastę­puje poprawa.

3. Ankiety z pyta­niami zamknię­tymi wysyłane do użytkowników. W przy­padku gdy pra­cu­jemy z plat­formą, która cha­rak­te­ry­zuje się w miarę cią­głym uży­ciem przez użyt­kow­ni­ków możemy się poku­sić o skorzysta­nie z ankiet z zamknię­tymi pyta­niami. Dla­czego zwra­cam uwagę na cią­głe uży­cie? Uwa­żam, że bez tego czyn­nika trud­niej jest uzy­skać mia­ro­dajne odpo­wie­dzi. Przy­kła­dem tutaj niech będzie sys­tem do orga­ni­za­cji ślu­bów. Ciężko mi sobie wyobra­zić żeby wiele osób regu­lar­nie powra­cało do takiego sys­temu i było istot­nie zaan­ga­żo­wa­nych w poprawę dzia­ła­nia na przy­szłość. Nato­miast w przy­padku pro­duktów sprze­da­wa­nych w modelu sub­skryp­cyj­nym na pewno można już cie­kawą wie­dzę pozy­skać.

• Wady: Pułapką takiego podej­ścia są takie, że w ten spo­sób nie dowiemy się rze­czy o które wprost nie zapy­tamy lub nie umie­ścimy takiej odpo­wie­dzi.
• Zalety: Moż­li­wość auto­ma­ty­za­cji całego pro­cesu, oraz jego asyn­ch­ro­nicz­ność. Dzięki temu możemy odpy­ty­wać w spo­sób cią­gły tysiące użyt­kow­ni­ków. Z kolei aspekt zamknię­tych pytań pozwala nam bar­dzo łatwo skwan­ty­fi­ko­wać i prze­ana­li­zo­wać odpo­wie­dzi bez względu na skalę.

4. Feed­back jako­ściowy wysy­łany z ini­cja­tywy użyt­kow­ni­ków. Za pomocą kom­po­nentu chatu na stro­nie lub wewnątrz pro­duktu lub for­mu­la­rza kon­tak­to­wego możemy otwo­rzyć się na prze­ka­za­nie dowol­nej infor­ma­cji od użyt­kow­ni­ków. Umiesz­cza­jąc w wygod­nym dla użyt­kow­nika miej­scu zachętę do prze­sła­nia infor­ma­cji zwrot­nej zwięk­szamy szansę, że chętni zosta­wią kilka słów komen­ta­rza lub prze­każą wła­sne pomy­sły/potrzeby wzglę­dem naszego pro­duktu.

• Wady: Przy­ję­cie i prze­two­rze­nie więk­szej ilo­ści infor­ma­cji może wyma­gać dużych nakła­dów pracy, nie zawsze dosta­jemy infor­ma­cje zbieżne ze stra­te­gią pro­duktu.
• Zalety: Możemy pozy­skać pomy­sły na które sami byśmy nie wpa­dli. Na ogół są to bar­dzo war­to­ściowe infor­ma­cje, bo pocho­dzą od samych użyt­kow­ni­ków. Może doty­czyć zarówno ist­nie­ją­cych funk­cji, jak i zapo­trze­bo­wa­nia na nowe.

5. Nagra­nia sesji. W przy­padku gdy szu­kamy bar­dzo jako­ścio­wej infor­ma­cji o tym, jak użyt­kow­nicy odnaj­dują się w naszym pro­duk­cie możemy odwo­łać się do prze­gla­da­nia nagra­nych sesji użyt­kow­ni­ków. W ramach takich sesji możemy zaob­ser­wo­wać jak inter­fejs jest „ska­no­wany” za pomocą kur­sora i prze­wi­ja­nia ekranu, jaka jest kolej­ność kli­ka­nia w pola for­mu­la­rza. W ten spo­sób możemy wykryć bar­dzo sub­telne błędy, które powo­dują final­nie prze­rwa­nie pro­cesu przez który chcemy prze­pro­wa­dzić użyt­kow­nika.

• Wady: Duży nakład pracy potrzebny w przy­padku dużej ilo­ści sesji, ciężko prze­wi­dzieć czy aku­rat dana sesja będzie zawie­rała coś cie­ka­wego, nie można spraw­dzić roz­wią­za­nia na eta­pie pomy­słu.
• Zalety: Moż­li­wość wychwy­ce­nia niu­an­sów nie­do­stęp­nych w innych meto­dach.

6. Publiczna road­mapa pro­duktu. Rozwią­za­niem, które w moim odczu­ciu na­dal jest dosyć rzadko sto­so­wane do pozy­ski­wa­nia wie­dzy od klien­tów, a ma spory poten­cjał jest publi­ko­wa­nie road­mapy pro­duktu. W ten spo­sób z jed­nej strony możemy podzie­lić się z użyt­kow­ni­kami pla­nami na przy­szłość, ale także możemy dać realny wpływ na kie­ru­nek roz­woju klien­tom poprzez funk­cje komen­to­wa­nia i gło­so­wa­nia na poszcze­gólne ele­menty. Dzięki takiemu kana­łowi komu­ni­ka­cji możemy wprost dowie­dzieć się, który z kilku pomy­słów które aktu­al­nie roz­wa­żamy jest bar­dziej pożą­dany przez naszych odbior­ców.

• Wady: Żeby uzy­skać zna­czące wnio­ski musimy naj­pierw zbu­do­wać odpo­wied­nie zaan­ga­żo­wa­nie wokół tej road­mapy i pozy­skać odpo­wied­nią ilość gło­sów. Brak reali­za­cji kolej­nych punk­tów z tej road­mapy może być róż­nie inter­pre­to­wany przez klien­tów i sta­no­wić źró­dło nega­tyw­nego feed­backu.
• Zalety: Moż­li­wość wery­fi­ka­cji wielu pomy­słów na raz, uzy­sku­jemy nie­malże gotową listę prio­ry­te­tów do wdro­że­nia w pro­duk­cie, pod każ­dym ele­men­tem możemy zna­leźć poten­cjal­nie dużo uży­tecz­nych infor­ma­cji na temat ocze­ki­wań klien­tów wzglę­dem danej funk­cji.

7. Spraw­dza­nie „odpadu” pod­czas drogi do celu (drop-off). Pew­nym dopeł­nie­niem stan­dar­do­wej ana­li­tyki dowol­nego lejka może być rów­nież ana­liza zja­wiska wypad­nię­cia z tego pro­cesu. Przy­kła­dowo wpro­wa­dze­nie nowego ele­mentu wizu­al­nego na cen­niku może spo­wo­do­wać odcią­gnię­cie uwagi użyt­kow­nika od pod­sta­wo­wej akcji, na wyko­na­niu któ­rej nam zależy. Ana­li­zu­jąc regu­lar­nie te wypadki możemy w pewien spo­sób namie­rzyć wpływ zbyt agre­syw­nych z per­spek­tywy całego pro­duktu wdro­żeń, lub po pro­stu zna­leźć spo­soby na uszczel­nie­nie samego lejka.

• Wady: Pozy­sku­jemy wie­dzę na temat nega­tyw­nych zja­wisk, ale nie wiemy co będzie pozy­tywne, nie spraw­dzimy pomy­słu przed wdro­że­niem go w życie.
• Zalety: Możemy zna­leźć nie­spo­dzie­wane kore­la­cje mię­dzy nowo wpro­wa­dzoną zmiana, a resztą pro­duktu,

8. Testy A/B. Chyba naj­bar­dziej naukowa w tym zesta­wie­niu metoda oceny wpływu danej funk­cji na biznes i pro­dukt (w postaci posta­wio­nej tezy). Dzie­limy wybraną pulę użyt­kow­ni­ków na dwie grupy i według wyli­czo­nych para­me­trów cze­kamy na osią­gnię­cie sta­ty­stycz­nej istot­no­ści testu. Wtedy jeste­śmy w sta­nie stwier­dzić z bar­dzo dużą pew­no­ścią, że wpro­wa­dzona zmiana ma taki sku­tek jakiego ocze­ki­wa­li­śmy.

• Wady: Prze­pro­wa­dze­nie w pełni popraw­nego testu A/B wymaga pew­nej skali dzia­ła­nia apli­ka­cji, czasu oraz real­nego przy­go­to­wa­nia zmiany w pro­duk­cie. Przy niż­szej skali ruchu może być potrzebny dłuż­szy okres czasu aby zebrać sto­sowną próbkę.
• Zalety: Jest to metoda poparta sta­ty­stycz­nymi obli­cze­niami i pozwala uzy­ski­wać wnio­ski o wpły­wie funk­cji na całość biznes bar­dzo mocno oparte o mate­ma­tykę.

9. Testy z użyt­kow­ni­kami. W prze­ci­wień­stwie do więk­szo­ści powyż­szych metod, prze­pro­wa­dza­jąc testy z użyt­kow­ni­kami jeste­śmy w sta­nie prze­pro­wa­dzić wali­da­cję naszego pomy­słu na roz­wią­za­nie danego pro­blemu bez koniecz­no­ści napisa­nia choćby jed­nej linijki kodu. Wystar­czy kilka kon­cep­cji wizu­al­nych oraz dostęp do odpo­wied­niej plat­formy, która pozwala zde­rzyć naszą pro­po­zy­cję z pewną grupą użyt­kow­ni­ków. Następ­nie możemy zadać kilka pytań otwar­tych lub zamknię­tych i pozy­skać wie­dzę na temat per­cep­cji użyt­kow­ni­ków.

• Wady: Konieczne jest uważne zada­wa­nie pytań w ankie­tach, aby pod­świa­do­mie nie suge­ro­wać użyt­kow­ni­kom „popraw­nej” odpo­wie­dzi, która z kolei mogła by wpły­wać na nasze wnio­ski. Rów­nież nie zawsze mam pełną kon­trolę nad grupą foku­sową i możemy zde­rzać pomy­sły z przed­sta­wi­cie­lami grupy nie do końca znaj­du­ją­cej się w naszym kręgu zain­te­re­so­wa­nia. Rów­nież możemy mieć pro­blemy aby „taśmowo” testo­wać wiele pomy­słów każ­dego tygo­dnia jeśli nie mamy zapew­nio­nej odpo­wied­niej grupy testo­wej.
• Zalety: Moż­li­wość wery­fi­ka­cji pomy­słów bez koniecz­no­ści pisa­nia kodu, bar­dzo wcze­sna infor­ma­cja zwrotna, odpo­wied­nio zbu­do­wana ankieta może być źró­dłem bar­dzo war­to­ścio­wej infor­ma­cji.

10. Wywiady z klien­tami. Osta­tnim na tej liście spo­so­bem pozy­ski­wa­nia wszel­kiej wie­dzy na temat wpływu zmian w pro­duk­cie na użyt­kow­ni­ków jest „stara dobra” bez­po­śred­nia roz­mowa. Jeżeli jeste­śmy w sta­nie zna­leźć pośród naszych użyt­kow­ni­ków takich, któ­rzy będą chętni poświę­cić nam oka­zjo­nal­nie godzinę swo­jego czasu i opo­wie­dzieć o swo­ich odczu­ciach zwią­za­nych z pro­duk­tem, jakie pro­blemy za jego pomocą roz­wią­zują – możemy wkro­czyć na drogę regu­larnego pozy­ski­wa­nia bar­dzo war­to­ścio­wych infor­ma­cji. Taki dopływ wie­dzy ściąga nam z głowy koniecz­ność domy­śla­nia się czy zga­dy­wa­nia jaki następny krok w pro­duk­cie przy­nie­sie naj­więk­szą war­tość naszym użyt­kow­ni­kom.

• Wady: Nie zawsze infor­ma­cje jakie pozy­sku­jemy są uży­teczne w kon­tek­ście naj­bliż­szych pla­nów, niska ska­lo­wal­ność takiego pro­cesu, pozy­ska­nie i ana­liza wymaga dużego nakładu pracy, kło­po­tliwe może być regu­larne uma­wia­nie spo­tkań z tymi samymi użyt­kow­ni­kami lub znajdowanie nowych chętnych do rozmowy.
• Zalety: Zysku­jemy bar­dzo war­to­ściową wie­dzę bez­po­śred­nio od użyt­kow­ni­ków pro­duktu, mamy moż­li­wość pogłę­bie­nia inte­re­su­ją­cych nas wąt­ków, regu­lar­nie prze­pro­wa­dzane wywiady pozwa­lają lepiej czuć na bie­żąco główne pro­blemy jakie możemy roz­wią­zać dla nich, przy odpo­wied­nim popro­wa­dze­niu spo­tka­nia infor­ma­cje które pozy­sku­jemy są nie­ska­żone myśle­niem przez pry­zmat naszego pro­duktu, co cza­sami może być bar­dzo orzeź­wia­ją­cym doświad­cze­niem.

W tym miej­scu chciał­bym zapar­ko­wać tą listę, a wła­ści­wie mam nadzieję że jej pierw­szą część. W trak­cie pisa­nia tego arty­kułu zaczęły mi przy­cho­dzić do głowy kolejne i kolejne pomy­sły warte wpi­sa­nia. Nie­stety jed­nak jeśli wszyst­kie miały by zna­leźć się w tym arty­kule, to pew­nie opu­bli­ko­wał­bym go za kolejne 6 mie­sięcy a jego czy­ta­nie nie nale­żało by do naj­przy­jem­niej­szych. Dla­tego też obie­cuję popra­co­wać „w mię­dzy­cza­sie” nad kolejną por­cją metod badaw­czych.

Dodat­kowo też samo przy­go­to­wa­nie tego arty­kułu uświa­do­miło mi że prze­wa­żają w nim metody zdo­by­wa­nia wie­dzy sku­teczne dopiero po przy­go­to­wa­niu zmiany. W związku z tym w kolej­nej czę­ści posta­ram się przy­go­to­wać wię­cej metod wali­da­cji na eta­pie pomy­słu.

Na zakoń­cze­nie tra­dy­cyj­nie dodam jesz­cze że jeśli przy­cho­dzą Ci do głowy inne spo­soby „dowia­dy­wa­nia się” jak zmiany wpływają na produkt czy użytkowników to gorąco zachę­cam do podzie­le­nia się w komen­ta­rzu. W końcu czym bogat­sze moż­li­wo­ści tym więk­sza szansa żeby zna­leźć coś dopa­so­wa­nego do sytu­acji! 😃

Piona!

Link do oryginalnego posta na LinkedIn