Case study Eyetracking Facebooka

  • 1,365 views
Uploaded on

Case study z badania Eyeracking Facebooka, opublikowanego przez K2 Internet w marcu 2011. Więcej na http://www.ifixux.pl/blog/case-study-eyetracking-facebook/ ‎

Case study z badania Eyeracking Facebooka, opublikowanego przez K2 Internet w marcu 2011. Więcej na http://www.ifixux.pl/blog/case-study-eyetracking-facebook/ ‎

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,365
On Slideshare
0
From Embeds
0
Number of Embeds
4

Actions

Shares
Downloads
16
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Case study badaniaEyetracking Facebooka Paulina Makuch http://www.flickr.com/photos/34489786@N08/6731246141/
  • 2. O Badaniu W marcu 2011, K2 Internet opublikowało raport z przeprowadzonego przeze mnie badania eyetrackingowego Facebooka. Raport został wyróżniony w międzynarodowym konkursie IAB Europe Research Awards 2011. O raporcie było głośno, ale odbiór okazał się różny – jedni interesowali się wynikami i gratulowali inicjatywy, inni krytykowali, zarzucając błędy w metodyce. Jest to jedna z przyczyn, dla których napisałam tego case’a. Szersze podsumowanie raportu znajdziecie na moim blogu. Case study powstało, aby  Wyjaśnić, dlaczego badanie zostało przeprowadzone w taki sposób a nie inny sposób i jak wyciągnęłam z niego takie wnioski  pokazać warsztat badacza UX – podzielić się moimi decyzjami metodycznymi i zachęcić innych badaczy do dyskusji Case study nie powstało na zlecenie K2. Zrobiłam to wyłącznie hobbystycznie. 2
  • 3. Co chcieliśmy zbadać Strona główna – tablica Przede wszystkim chcieliśmy przeprowadzić badania na prawdziwych tablicach użytkowników i zobaczyć jak przeglądają znajdujące się tam treści. Nie interesowało nas testowanie na tablicach spreparowanych na potrzeby badania, ponieważ istotne było realne zainteresowanie pojawiającymi się wpisami. Za główne cele postawiliśmy sobie znalezienie odpowiedzi na pytania:  W jaki sposób użytkownicy na co dzień przeglądają swoją tablicę?  Jakiego rodzaju posty są chętniej i dokładniej konsumowane? znajomych vs marek czysto tekstowe vs atrakcyjniejsze wizualnie  Czy marki mają realną szansę na dotarcie do swoich odbiorców przez Facebooka? Fan pages Przy okazji postanowiliśmy pokazać respondentom kilka fan pages. Staraliśmy się wybrać profile o różnej tematyce, aby sprawdzić:  Jakie treści przyciągają uwagę użytkowników poza postami? 3
  • 4. Czego nie badaliśmy Przy okazji chciałabym zaznaczyć, że naszym celem nie było pełne zbadanie odbioru marki na Fecebooku. Nie mierzyliśmy wielu czynników z tym związanych, np:  Poziomu zaangażowania użytkowników w prezentowane treści – czy video bądź link jest dla nich ciekawy  Ukrywania czy usuwania marek ze znajomych  Odwiedzalności fan page’a Naszym celem nie było również zbadanie zauważalności reklam. Gdyby tak było, procedura badania wyglądałaby inaczej. Stawialibyśmy wtedy na swobodę chodzenia po „całym Facebooku”, a następnie analizowali na ile reklamy są zauważane na różnych stronach, w czasie wykonywania różnych czynności – przeglądania zdjęć, wydarzeń, grup, profili znajomych, fan pages itd. W naszym badaniu wnioskowaliśmy jedynie o zauważalności reklam w czasie przeglądania swojej tablicy. 4
  • 5. Jakie usłyszeliśmy zastrzeżenia? Prawdy oczywiste „Fajnie, że zrobili badanie, ale niczego nowego nie wnosi”. Bolesne to słowa, bo przekreślają cały wysiłek, jaki włożyłam w badanie… Ale na szczęście mogę się z tym nie zgodzić. Czy wcześniej wiedzieliśmy, czy użytkownicy naprawdę czytają na tablicy posty polubionych marek? Czy wiedzieliśmy, czy patrzą na wpisy mówiące co polubili ich znajomi? Czy wiedzieliśmy, czy zwracają uwagę na zakładki na fan page’u? Nie, nie wiedzieliśmy. Może domyślaliśmy się. Ale dzięki temu badaniu mamy dane to potwierdzające. Dekalog oderwany od wyników badania Na końcu raportu zamieściliśmy Dekalog: Skuteczny fan page na Facebooku. Usłyszeliśmy potem, że znajdujące się w nim zalecenia nie znajdują poparcia w wynikach badania. I tak, zgadzam się, że zrobiliśmy duży skrót myślowy. Tworząc ostateczny kształt dekalogu, skupiliśmy się na tym, aby go nie przegadać i nie dawaliśmy do każdego przykazania rozległych uzasadnień. Ale każde przykazanie jest poparte danymi uzyskanymi w badaniu. Zabrakło tego w raporcie, ale opisałam to później w artykule dla Marketingu w Praktyce. Zupełnie inną kwestią jest aktualność wyników badania. Nie chciałabym się nad tym rozwodzić, ale uważam, że główny wniosek dotyczący zainteresowaniem postami marek, nadal jest aktualny. 5
  • 6. Dlaczego zaprojektowaliśmy badanie tak a nie inaczejDECYZJE METODOLOGICZNE 6http://www.flickr.com/photos/kevinpaulmorris/5308665535/in/photostream
  • 7. Ciąg dalszy zastrzeżeń Źle dobrani respondenci Jednymi z najczęstszych sceptycznych głosów były te podważające wartość badania „przeprowadzonego na tak małej próbie, nie będącej odzwierciedleniem populacji polskich użytkowników Facebooka”. Bo w Polsce więcej użytkowników to kobiety, bo heavy userzy to mniejszość i tak dalej. Metoda budząca wątpliwości Wątpliwości budził również przebieg badania i wyświetlanie respondentom statycznych screenów, a nie działającej, klikalnej strony internetowej. Usłyszałam też zdanie podważające zasadność normalizacji danych. Za chwilę postaram się odpowiedzieć na dwa pierwsze „zarzuty”. O normalizacji będzie trochę dalej. 7
  • 8. Ograniczenia badań laboratoryjnych Projektując badanie laboratoryjne należy skupić się na zmiennych, umożliwiających zdobycie odpowiedzi na pytania badawcze i odpuścić kontrolowanie tych zmiennych, które mają mały wpływ na nasze hipotezy. Wiadomo, że dzieje się to kosztem innych aspektów badania (m.in. realizmu), ale takie są prawa badań laboratoryjnych. Nie ma badań idealnych – odwzorowujących rzeczywiste warunki w połączeniu z dokładnym pomiarem zmiennych zależnych. Niestety, trzeba iść na ustępstwa. Każdy eksperyment laboratoryjny jest uproszczeniem sytuacji z realnego świata - z pewnych rzeczy po prostu trzeba zrezygnować, aby mieć kontrolę konieczną do przeprowadzenia pomiaru tego co nas interesuje. Maciek Lipiec z dyskusji na Goldenline UX Director K2 8
  • 9. Dlaczego nieklikalna strona? Tak jak zostało to napisane we wstępie do raportu – zrobiliśmy tak w celu ujednolicenia warunków badania między respondentami. Jeśli każdy mógłby dowolnie konsumować treści publikowane na tablicy (zewnętrzne linki, video itp.), pojawiłoby się wiele zmiennych zakłócających:  Kliknięcie w link na tablicy, powodowało otwarcie strony docelowej w tym samym oknie (obecnie otwiera się w nowym), a po kliknięciu Wstecz, tablica nie ładowała się w odpowiednim miejscu, tylko ponownie na samej górze. Tak więc kontynuowanie przeglądania tablicy, wymagało przewinięcia strony do odpowiedniego miejsca. A wtedy pojawiałyby się nowe fiksacje, zakłócające oryginalne wyniki.  Czas trwania video i poziom zainteresowania nim znacząco wpływałby na ilość fiksacji na danym poście, wywierając duży efekt na końcowe wyniki. Poza tym nie wszystkie filmy odpalały się w obrębie Facebooka, niektóre przenosiły na zewnętrzne serwisy. Dodatkowo budowa Facebooka (dynamiczne elementy na stronie, ciągły refresh) oraz ograniczenia oprogramowania wykorzystywanego do analizy fiksacji, uniemożliwiały analizę takich danych. 9
  • 10. Dlaczego heavy userzy? Heavy users to w naszym rozumieniu użytkownicy najbardziej aktywni, mający sporo znajomych, obserwujący marki. Uznaliśmy, że taki profil jest najbardziej wartościowy dla marketerów. Po drugie chcieliśmy mieć respondentów regularnie korzystających z Facebooka i będących fanami marek, a nie ludzi, którzy „tylko mają tam konto”. Reprezentatywność i odwzorowywanie realnej grupy odbiorców, nie ma, naszym zdaniem, dużego znaczenia przy pomiarze percepcji, a szczególnie w środowisku kreowanym przez odbiorcę (strona główna Facebooka zawiera przecież głównie takie treści, które użytkownik polubił i chce oglądać). Czy to będzie kobieta, mężczyzna, newbie czy zaawansowany użytkownik, manager czy kasjer – każdy z nich patrzy na wpisy swoich znajomych czy profili, które go interesują. Wykonywany zawód nie zmienia sposobu ich percepcji. 10
  • 11. Dlaczego tylko 30 osób? Nie badaliśmy potrzeb, motywacji, nawyków, ale To badania percepcji (reakcji fizjologicznej) reakcje fizjologiczne na bodźce a nie opinii, preferencji, czy zachowań w wizualne. W takiej sytuacji długim okresie czasu. W związku z tym badanie setek osób jest kwestia reprezentatywności grupy bezcelowe. respondentów ma małe znaczenie. Maciek Lipiec z dyskusji na Goldenline UX Director K2 Po drugie, padre światowej użyteczności i eyetrackingu, Jakob Nielsen, przeprowadził The conclusion from the curve is that we badania, w których sprawdzał need to have eyetracking data from 30 minimalną ilość respondentów users if we want to be able to draw sound potrzebnych do uzyskania conclusions from the resulting heatmap. trafnych wyników w eyetrackingu. To właśnie 30 Jakob Nielsen z Eyetracking Methodology osób. useit.com 11
  • 12. Dlaczego tylu mężczyzn? Po części odpowiedziałam na to pytanie przy heavy userach (dwie strony wcześniej). Po prostu płeć nie była naszym kryterium rekrutacji. Dodatkowo pojawiły się dyskusje, w których przywoływano badania eyetrackingowe wykazujące różnice między płciami. Tak, rzeczywiście różnice istnieją, ale pragnę zaznaczyć, że dzieje się tak w przypadku złożonych bodźców obrazkowych (np. kobiety więcej patrzą na krocze, a mężczyźni na twarz bejsbolisty). Po drugie, jakiekolwiek porównania między płciami miałyby sens, gdyby wszyscy patrzyli na ten sam bodziec wzrokowy. W naszym badaniu, każdy patrzył na inaczej wyglądającą stronę główną. Nie było naszym celem robienie porównań wewnątrzgrupowych. Gdybyśmy chcieli, to ilość respondentów mnożymy razy 2 conajmniej, co odpowiednio zwiększa koszt i czas trwania badania i analiz. Nie pytałem o to czy są obserwowalne różnice między kobietami i mężczyznami, ale czy gdybyśmy mieli 15 kobiet i 15 mężczyzn w badaniu, to wynik wyglądałyby diametrialnie inaczej? Maciek Lipiec z dyskusji na Goldenline UX Director K2 12
  • 13. Tobii, htmle i kwestionariuszePRZYGOTOWANIA DO BADANIA 13http://www.flickr.com/photos/h_is_for_home/3388655598/
  • 14. Testy Facebooka na Tobii Pierwsze co zrobiłam, to przetestowałam, jak zapisują się dane na eyetrackerze, podczas przeglądania Facebooka. Niestety okazało się, że przez dynamiczność tej strony, ciągłe doładowywanie się elementów, java scripty i całą resztę, Tobii zapisuje wyniki na kilkunastu podstronach, zamiast na jednej, co uniemożliwiało zupełnie jakąkolwiek analizę. Postanowiliśmy więc badać na statycznych screenach. Po głębszym zastanowieniu, doszliśmy do wniosku, że takie rozwiązanie jest o wiele lepsze (argumenty wymieniłam już przed chwilą na stronie 9). 14
  • 15. Screeny w htmlu Tobii Studio (oprogramowanie do przeprowadzania i analizy badań eyetrackingowych) ma niestety problem z wyświetlaniem bodźców w formie plików graficznych – skaluje je tak, aby zmieściły się na ekranie bez przewijania. Można więc sobie wyobrazić, jak wyglądałaby strona Facebooka z kilkudziesięcioma postami… Dlatego wrzucamy zawsze pliki png lub jpg w htmla, aby wyświetlały się w przeglądarce. Jak to robię: 1. Tworzę nowy plik w notatniku, pod odpowiednią nazwą (tutaj: P01.txt) 2. Piszę najprostszy kod html: <html> <body> <center><img src=P01.png></center> </body> </html> 3. W żółtym zaznaczeniu, wpisuję oczywiście odpowiednią nazwę pliku do wyświetlenia (png o tej nazwie musi znajdować się w tym samym folderze) 4. Zapisuję, zamykam plik i zmieniam mu rozszerzenie na P01.html 15
  • 16. Przygotowywanie plików Jeżeli założyliśmy, że wszystko będziemy badać na statycznych png, musiałam zawczasu przygotować sobie odpowiednią ilość potrzebnych plików. I tak, przed przeglądaniem Facebooka, respondenci mieli dla rozgrzewki oglądać stronę Gazety. Przygotowałam więc odpowiedni screen png i plik html. To samo zrobiłam dla 4 badanych fan pages. To czego jeszcze potrzebowałam, to 30 takich par „png + html”, gdzie png jest screenem z tablicy każdego respondenta. Aby w trakcie badania nie powtarzać całej procedury tworzenia txt, wpisywania nazwy pliku png i zamiany rozszerzenia z txt na html, przygotowałam sobie wcześniej cały folder z plikami. 16
  • 17. Przygotowywanie plików Stworzyłam 30 plików png (w rzeczywistości był to ten sam plik, zapisany 30 razy pod inną nazwą) kolejno od P01.png do P30.png Do pary zrobiłam 30 plików html, pod odpowiednimi nazwami od P01.html do P30.html. W każdym pliku html wpisałam w kodzie odpowiednią nazwę pliku png (to zaznaczone wcześniej na żółto). Dzięki temu, jedyne co musiałam zrobić w trakcie badania, to nadpisać zrobiony właśnie screen pod odpowiednią nazwą (np. P08.png), a html był już gotowy. 17
  • 18. Projekt badania w Tobii Kolejnym krokiem w przygotowaniach było Przed wyświetleniem każdej strony, miały ustawienie w Tobii sposobu wyświetlania pojawiać się instrukcje. Ustawiłam, aby na bodźców. Screeny stron miały wyświetlać się w ekranie instrukcji widoczny był kursor, a ekran przeglądarce, więc wybrałam opcję Web znikał po kliknięciu. Elements. Ale że html jest lokalny, to jako URL należało wpisać ścieżkę systemową do pliku. Wyłączyłam też ograniczenie czasowe dla wyświetlania strony. 18
  • 19. Samoobsługa i brak losowości Projektując przebieg badania, założyłam pełną samoobsługę (no, poza kalibracją) – respondent sam będzie decydował, czy skończył już przeglądanie strony i sam przełączy się do następnej. W Tobii, można to zrobić za pomocą klawisza F10, więc przykleiłam na nim czerwoną karteczkę i poinformowałam o tym w instrukcji. I pora przyznać się do wpadki. Układając kolejność wyświetlania stron założyłam, że przed każdym fan page powinna pojawić się instrukcja „Za chwilę zobaczysz profil Lady Gaga na Facebooku…”. Bo tak przecież jest realnie – zanim wejdziesz na jakiś profil, znasz jego nazwę, bo sam w nią kliknąłeś. Taki przeplataniec instrukcji i stron spowodował, że nie można było wprowadzić losowej kolejności wyświetlania fan pages, bo strony pomieszałyby się z instrukcjami (głupi ten Tobii jest jak but!). Więc wszyscy respondenci przeglądali profile w takiej samej kolejności. Wierzę jednak, że nie miało to dużego wpływu na wyniki końcowe. 19
  • 20. Co dokładnie robili respondenciPRZEBIEG BADANIA 20http://www.flickr.com/photos/morville/3220961846/
  • 21. Screen strony głównej Facebooka Pre- Instrukcja do Przeglądanie stron Post- kwestionariusz badania na eyetrackerze kwestionariusz Respondenci proszeni byli o „nieprzeglądanie Facebooka przez kilka godzin przed badaniem, aby uzbierało się kilka ekranów nieprzeczytanych postów”. Po przyjściu na badanie, respondent logował się do swojego Facebooka i od razu odwracał głowę, skupiając się na wypełnieniu pre-kwestionariusza. W tym czasie przewijałam stronę do dwóch doładowań i robiłam screena, którego zapisywałam pod odpowiednią nazwą (np. P30.png). Jednocześnie w Tobii musiałam zmienić ścieżkę wyświetlanego bodźca na P30.html. 21
  • 22. Pre-kwestionariusz Badani wypełniali podstawową metryczkę  Wiek  Płeć  Wykształcenie oraz opisywali jak korzystają z Internetu  Od kiedy korzysta z Internetu  Ile godzin dziennie  Co zazwyczaj w nim robi 22
  • 23. Instrukcja Przed rozpoczęciem przeglądania stron na eyetrackerze, tłumaczyłam na czym będzie polagało badanie: Najpierw będziesz przeglądać swoją stronę główną Facebooka i prośba, abyś robił to tak, jak zazwyczaj. Jeśli coś zazwyczaj pomijasz, a coś innego czytasz dokładnie – teraz rób tak samo. Następnie wyświetli się kilka fan page’y. Zapoznaj się z nimi, jeśli Cię zainteresują. Jeśli nie, to przełącz się do następnego zadania, wciskając czerwony klawisz. Niestety na oglądanych stronach nie da się otwierać linków, są nieklikalne, ale prośba, abyś klikał we wszystko tak, jak byś normalnie klikał. Strony można swobodnie przewijać w dół. Możesz je przeglądać tyle czasu ile chcesz. Gdy skończysz, wciśnij czerwony klawisz. W trakcie przeglądania stron nie komentuj – będzie na to czas po badaniu. Instrukcje będą Ci się wyświetlały na ekranie. W razie wątpliwości – pytaj. Zaczniemy teraz od rozgrzewki – wtedy wszystko Ci się wyjaśni. 23
  • 24. Przeglądanie stron na eyetrackerze Przed każdym bodźcem na ekranie wyświetlała się instrukcja. Po zapoznaniu się z nią, respondent klikał, co z kolei powodowało wyświetlenie bodźca (strony). Badany przeglądał stronę tak długo jak chciał i wciskał czerwone F10, aby przełączyć się od kolejnego zadania. Respondenci oglądali kolejno: 1. Stronę główną gazeta.pl – rozgrzewka dla zapoznania się z procedurą badania 2. Stronę główną swojego profilu na Facebooku 3. 4 fan pages – Lagy Gaga, Centrum Nauki Kopernik, IKEA,Musi być głośno, kiedy jest impreza (Sprite) 24
  • 25. Treści zadań Instrukcje były dość rozbudowane, w sumie powtarzały część tego, co mówiłam wcześniej. 25
  • 26. Post-kwestionariusz Po zakończeniu przeglądania stron, respondenci wypełniali ankietę z pytaniami dotyczącymi Facebooka:  Od kiedy ma profil na Facebooku  Jak często na niego wchodzi  Ile czasu spędza na serwisie  Gdzie z niego korzysta  Z jakich powodów  Czy jest coś, co mu przeszkadza w Facebooku  Czy ukrywa coś na swojej tablicy  Czy jest fanem marek lub sławnych osób 26
  • 27. Post-kwestionariusz Na końcu post-kwestionariusza pojawiały się pytania z USE – znormalizowanego narzędzia do pomiaru satysfakcji. Dla ułatwienia, na krańcach skali Likerta, zamieściłam uśmiechniętą (zdecydowanie się zgadzam) i smutną (zdecydowanie się nie zgadzam) emotikonę. To był pierwszy raz, kiedy użyłam tego kwestionariusza w badaniu z użytkownikami. W trakcie wypełniania część zwracała uwagę, że pytania się powtarzają (w rzeczywistości się nie powtarzały, tylko mówiły o tym samym innymi słowami – przypadłość „rzetelnych” testów). Spore rozbawienie wzbudzały pytania „Czuję, że muszę go mieć” i „Jest wspaniały”. 27
  • 28. Dużo excela, procentów i wykresówANALIZA WYNIKÓW 28http://www.flickr.com/photos/an-and/4265094194/
  • 29. Podstawy analizy eyetrackingu Wbrew pozorom, analiza eyetrackingu nie polega tylko na oglądaniu map cieplnych i ścieżek fiksacji. W podejściu ilościowym, główną wartością są dane statystyczne. Analizę przeprowadza się w oparciu o tzw. obszary zainteresowania, dla których zliczane są dane ilościowe. Jednak warto podkreślić, że w badaniach użyteczności z wykorzystaniem eyetrackingu, analiza statystyczna nie jest najważniejsza. Poza obserwacją zachowania i pomiarem miejsca patrzenia, chcemy wnioskować o motywacjach, celach i satysfakcji użytkowników. Aby to było możliwe, bierze się pod uwagę: • dane jakościowe – zachowanie badanych oraz ich spontaniczne wypowiedzi i deklaracje • dane statystyczne dla określonych obszarów zainteresowania • ekspercką analizę ścieżek patrzenia („ekspercką”, bo przeglądając nagrania z fiksacjami, nie przeprowadzamy żadnej „twardej analizy”, ale poszukujemy pewnych schematów i wnioskujemy o motywacjach) Z drugiej strony muszę podkreślić, że nasze badanie, nie było badaniem użyteczności. Nasze badanie było pomiarem percepcji. Nie próbowaliśmy badać potrzeb i oczekiwań użytkowników. Przy celu badania, którym było określenie sposobu czytania treści na stronie, najważniejsze były dane ilościowe i analiza statystyczna. 29
  • 30. Przygotowania do analizy statystycznejOBSZARY ZAINTERESOWANIA 30
  • 31. AOI na fan page Pierwszym krokiem do analizy statystycznej, jest stworzenie AOI (Area of Interest), czyli obszarów zainteresowania, dla których będą zliczane fiksacje. Polega to na zaznaczaniu określonych obszarów strony (analogicznie jak na schemacie obok), za pomocą specjalnego oprogramowania. Określenie obszarów zainteresowania dla fan pages było dość łatwe – wszystkie te strony były zbudowane według tego samego schematu i posiadały takie same obszary. Wytypowałam takie obszary, jak widać po prawej. Błędem, który niestety zbyt późno zauważyłam, było niezrobienie obszaru dla dodatkowych boksów, które marki mogły wstawiać w lewej kolumnie, zazwyczaj jako bannery graficzne. (Niedługo po badaniu, Facebook zniósł możliwość tworzenia takich boksów). 31
  • 32. AOI na stronie głównej Dla strony głównej sytuacja wyglądała inaczej. Liczyliśmy się z tym, że każdy respondent patrzył na inną (swoją) stronę główną, ale nie spodziewaliśmy się aż takich różnic. Okazało się, że prawa kolumna serwisu wyglądała inaczej u każdego respondenta (po prawej 4 przykłady). I nie chodziło tylko o wielkość obszarów, ale o ich różnorodność – niektórzy mieli Wydarzenia a inni ich nie mieli, niektórzy mieli Sponsorowane, a inni nie. Podobnie było z Zaproszeniami, Zaczepkami, Wyświetlanymi, Osobami, które możesz znać itp. Określenie jednego schematu i wytypowanie sensownych obszarów, było sporym wyzwaniem. 32
  • 33. AOI na stronie głównej Ostatecznie zdecydowałam się na zaznaczanie tylko tych obszarów, które potencjalnie mogą być przydatnym narzędziem dla marketerów  Sponsorowane (reklamy)  Wydarzenia (wydarzenia mogą być obrandowane)  Zaproszenia (a wśród nich sugerowane strony) Niezbyt interesowało mnie, czy ktoś patrzy na Osoby, które możesz znać. Z tego powodu też, nie analizowałam fiksacji na tym obszarze, ani na Czacie, Wyszukiwarce czy Menu głównym – takie dane nie miały znaczenia dla moich pytań badawczych (czy marki mają szansę zainteresować i dotrzeć do użytkowników Facebooka?) 33
  • 34. Podział postów na AOI Kolejnym krokiem był podział na obszary (AOI) postów, pojawiających się na tablicach badanych. Podział według źródła postów Przede wszystkim musieliśmy oddzielić posty znajomych od postów marek. To było dość proste, po zdefiniowaniu marki jako „fan page nastawiony głównie na promocję konkretnego brandu”. I tak trafiły tu m.in. marki fmcg, banki, seriale telewizyjne i znane osobistości. Ale zostało jeszcze wiele innych postów – np. newsy z TVN24 czy wpisy dotyczące Forfitera. Długo dyskutowaliśmy (Socialistka – dzięki za wsparcie!) i pojawiały się nawet takie pomysły jak „post ideologiczny”, pochodzący np. ze strony Wiosno napierdalaj!. Na szczęście zachowaliśmy zdrowy rozsądek i dokonaliśmy prostego podziału na posty:  tematyczne obrandowane – posty skupiają się wokół konkretnego tematu, dla którego użytkownik śledzi stronę, ale nie promują marki wprost (TVN24, Seromaniacy, Kocham ogród)  tematyczne nieobrandowane – wpisy skupiają się na danym temacie, bez obecności jakiejkolwiek marki. Fan pages prowadzone „dla idei” (Forfiter, Batman, Paczaizm) Podział po rodzaju postów Podzieliłam również posty według typu – czysty tekst, link, video, zdjęcie (mogące być połączone z tekstem), aktywności (kto co polubił) oraz aplikacje (np. wynik quizu czy wylosowany cytat) 34
  • 35. Zaznaczanie AOI w Tobii Sporym wyzwaniem było również zaznaczanie obszarów w oprogramowaniu Tobii. Niestety Tobii, w ramach jednego bodźca (pojedynczej strony), nie pozwala na stworzenie kilku AOI o tej samej nazwie (np. „znajomi”), aby automatycznie tworzyć dla nich wspólne statystyki. Nie mogłam więc narzędziem Rectangle zaznaczać każdego wpisu osobno. Musiałam dla wszystkich postów danego typu (np. wpisów znajomych), stworzyć jeden obszar. Zrobiłam to dzięki narzędziu Polygon, którym można zaznaczać obszary o dowolnym kształcie. Mówiąc obrazowo – pojedynczy AOI był cienkim paskiem z prawej strony tablicy, wychylającym się w lewo tylko w celu zaznaczenia posta danego rodzaju. Ilustracja po prawej: fragment tej samej tablicy z zaznaczonymi trzema AOI (znajomi, marki, temat-nobrand). Taka metoda oznaczała, że musiałam każdą tablicę przewinąć do samego dołu kilkanaście razy, za każdym razem zaznaczając tylko wpisy jednego typu. Żeby się w tym nie pogubić, miałam cały czas otwarty notatnik z listą wszystkich AOI. 35
  • 36. Po wielu godzinach żmudnego zaznaczania obszarów w Tobiim,powstały 34 takie tablice (30 respondentów oraz 4 fan pages).Tutaj tylko fragmenty, w rzeczywistości tablice były o wiele dłuższe. 36
  • 37. Ilość postów na tablicach Pierwsze co sprawdziłam, po zaznaczeniu wszystkich AOI, to stosunek różnego rodzaju postów na tablicach badanych. Jednak nie chciałam tego robić zliczając ilość postów. Postanowiłam przeanalizować powierzchnię jaką zajmują na tablicy. To bardziej precyzyjna statystyka, na podstawie której mogłam potem normalizować dane dotyczące fiksacji (więcej o normalizacji za chwilę). Takie informacje o AOI znajdują się w Tobii (lewy screen). Wystarczyło wklepać do excela (prawy screen) odpowiednie wartości, a potem wziąć poprawkę na to, że procenty prezentują „powierzchnię na stronie” a nie na tablicy. Sumę postów wszystkich typów (ok. 40% powierzchni strony), należało „przerobić” na 100% tablicy. W tym celu każdą pojedynczą wartość należy podzielić przez sumę. 37
  • 38. Ilość postów na tablicach Uzyskane wyniki (dwa wykresy po prawej) nie były zaskoczeniem – raczej spodziewaliśmy się tak miażdżącej przewagi postów znajomych. Duża ilość publikowanych linków była tego naturalnym następstwem – znajomi najczęściej dzielą się linkami. Dla fan pages zrobiłam taką samą analizę rodzaju postów. Jednak dane z 4 stron uznałam za mało reprezentatywne, aby publikować je w raporcie. A wyglądały jak poniżej. 38
  • 39. No to przechodzimy do statystykiROZPOCZYNAM ANALIZĘ 39
  • 40. Analiza statystyczna w excelu Niestety zakładka Statistics w Tobiim jest daleka od doskonałości. Pozwala jedynie na sprawdzenie różnych średnich (np. czasu fiksacji) dla wybranego AOI (np. sponsorowane), na pojedynczym bodźcu (np. stronie głównej respondenta P26). Oznacza to możliwość przeglądania statystyk tylko dla każdego respondenta osobno. A ja potrzebowałam danych zbiorczych (z wszystkich respondentów) i możliwości dalszej ich obróbki. Z pomocą przyszedł mi Tomek Rutkowski, który stworzył ETCrunch – superhiper excela do analizy danych z Tobii. Zainteresowanych szczegółami, zapraszam do Tomka. Ja pokrótce mogę tylko powiedzieć, że: 1. Wypluwaliśmy z Tobii totalnie surowe dane dla każdej strony (na zakładce Statistics, przyciski Export… i AOI Statistics Export…) – w ten sposób otrzymaliśmy 68 plików txt z tysiącami wierszy różnych danych 2. ETCrunch zaciągał je do swojego pliku excel i mielił na różne sposoby – liczył średnie, robił różne zestawienia, zaznaczał dewiantów, a nawet rysował wykresy! 40
  • 41. Jak wyglądał excel EtCrunch Zawierał osobne zakładki ze statystykami dla każdej strony. Była też zakładka Porównania AOI, gdzie znalazło się zestawienie wszystkich respondentów i ich dokładnych statystyk dla każdego AOI A zmienne dla AOI były następujące:  Czas do pierwszej fiksacji na obszarze  Czas fiksacji na obszarze  Czas pierwszej fiksacji na obszarze  Ilość fiksacji na obszarze  Czas obserwacji na obszarze  Ilość obserwacji na obszarze  Procent użytkowników fiksujących na obszarze  Czas od fiksacji na obszarze do kliknięcia  Czas do pierwszego kliknięcia w obszar  Ilość kliknięć w obszar Ile celek miał arkusz do analizy strony głównej? 10 (zmiennych) x 16 (AOI) x 30 (respondentów) = 4 800 41
  • 42. Data mining pełną parą To była naprawdę duża ilość danych, którą trzeba było sensownie przetworzyć. Oczywiście nie wszystkie statystyki miały sens, nie dla wszystkich AOI. Z czasem, zagłębiając się w cyferki i poszukując odpowiedzi na pytania badawcze, okazało się, że w EtCrunch nie ma wszystkich potrzebnych mi danych. Wtedy albo Tomek dorabiał kolejne narzędzia do zliczania czegoś, albo robiłam to „na piechotę”, spisując z Tobii. I tak dla przykładu:  Tomek dorabiał zliczanie czasu spędzonego przez respondentów na stronach, bo Tobii nie daje takich danych w formie tabeli czy średnich. Jako ciekawostka – aby sprawdzić czas przeglądania profilu CNK, potrzebny był excel z 16 639 wierszami danych (fragment na screenie poniżej)  Ja, chcąc wykonać dokładną analizę jakościową kliknięć, musiałam przeglądać wszystkie heat mapy i spisywać to w kolejnym excelu (szczegóły za jakiś czas) Szukałam wielu danych, normalizowałam je, liczyłam mnóstwo średnich, rysowałam najróżniejsze wykresy… to był największy data mining, jaki w życiu zrobiłam! 42
  • 43. NORMALIZACJA DANYCH 43
  • 44. Skąd wzięła się taka potrzeba? Więc zaczęłam liczyć średnie dla różnych zmiennych, np. średni czas fiksacji. Chcąc dowiedzieć się, na czyje posty respondenci patrzyli najdłużej, dostałam takie wyniki – 70% na wpisach znajomych, 14% na wpisach marek. Nie trudno było się domyslić dlaczego tak jest. Sprawdzałam przecież przed chwilą rozkład postów na tablicach respondentów i dowiedziałam się, że postów pisanych przez znajomych jest 70%, a postów matek 17%. Jak więc wyciągać z tego sensowne wnioski, a nie oparte na przypadkowości badanego środowiska (tworzonego przez respondenta i przez to za każdym razem innego)? Musiałam sprowadzić wszystkie wyniki do wspólnego mianownika, znormalizować. A to polegało na uwzględnieniu różnic w wielkości AOI u każdego respondenta. 44
  • 45. Dlaczego normalizowałam dane? Mówiąc bardziej obrazowo: u każdego respondenta, strona główna wyglądała inaczej, więc i każdy AOI wyglądał inaczej – u jednego badanego posty znajomych mogły zajmować 3/4 tablicy, a u innego 1/3. Naturalne jest wtedy, że u pierwszego badanego, ilość fiksacji na postach znajomych będzie mniej więcej 3 razy większa, niż u drugiego badanego. Ta różnica jednak nie świadczy o większym zainteresowaniu, ale o innym dostępie do informacji. A moim celem nie było zbadanie różnic w dostępie do postów, ale w sposobie ich konsumowania. Normalizacja była konieczna, aby:  uśredniać dane dla wielu respondentów  porównywać wyniki dla obszarów zainteresowania o różnej wielkości  dowiedzieć się, jaka jest prawdziwa „siła przyciągania” wpisu znajomego vs wpisu marki 45
  • 46. Sposób normalizacji Jak już wcześniej wspominałam, Tobii liczy procent powierzchni zajmowanej przez każde AOI (dla przypomnienia screen po prawej). Do normalizacji wykorzystałam właśnie te dane. A dokładniej tą część, która mówiła o obszarach poza tablicą. Bo do normalizacji postów, wykorzystałam przeliczone już wcześniej procenty (sumujące się do 100% dla samej tablicy, patrz strona 37). Dane znormalizowane uwzględniały stosunek uzyskanej wartości zmiennej do wielkości obszaru, dla którego zmienna była liczona. Najpierw normalizowałam wyniki pojedynczych osób (wizualizacja po prawej). Dopiero te dane lądowały w zbiorczych tabelach dla wszystkich respondentów, gdzie można było nareszcie (!) zacząć liczyć jakieś średnie. 46
  • 47. • mmmmm Miałam dwa excele z tymi samymi danymi. W jednym analizowałam dane znormalizowane (na górze), w drugim surowe (na dole). 47
  • 48. • mmmmm Ananlizowałam te same dane na różny sposób, aby upewnić się, która z dróg jest sensowna. Przykładowo, te trzy wykresy prezentują to samo – średni czas fiksacji na obszarach strony głównej. 48
  • 49. Analizowałam dużo zmiennych, ale nie wszystkiewnosiły coś nowego. I tak np. zrezygnowałam zilości fiksacji i czasu obserwacji . Czas fiksacji(pokazany na poprzedniej stronie) w zupełnościwystarczał. 49
  • 50. Za to kliknięcia respondentówwydały się być ciekawązmienną. Świadczyły o realnymzainteresowaniu kontentem.Tutaj przyglądałam się ilościkliknięć na wybranych AOI 50
  • 51. Jakościowa analiza kliknięć Jednak informacje wynikające ze statystyk dla AOI – czyli w czyje posty i jakiego typu klikali badani – nie były dla mnie zaspokajające. Chciałam dowiedzieć się w co dokładnie klikali – w link, lubię, pole do wpisywania komentarza, w zdjęcie (celem powiększenia) itp. Oczywiście jedyny sposób, w jaki mogłam to sprawdzić, to przejrzeć wszystkie mapy cieplne (na których Tobii zaznacza kliknięcia) i spisać obserwacje do kolejnego excela. Dane były ciekawe (kolorowa tabela poniżej), ale zbyt szczątkowe, aby wykorzystać je w raporcie. Drugim powodem dla wykonania takiej analizy była chęć sprawdzenia jaki typ posta, spośród wpisów tylko marek, jest najatrakcyjniejszy (efekt na wykresach). 51
  • 52. Gdzieś po drodze… … zrobiłam jeszcze bardziej szczegółową analizę kliknięć na fan pages. I dostałam takie dość ciekawe wyniki. Ale znowu uznałam, że to zbyt mało reprezentawywne do publikacji. (Powinna być przeprowadzona analiza większej ilości fan pages, aby można było takie dane „poważnie” brać pod uwagę) 52
  • 53. Kończąc już z analizą zmiennych Dużo było tych danych i zapewne można by znaleźć w nich jeszcze inne ciekawe rzeczy. Ale w pewnym momencie trzeba zachować zdrowy rozsądek i powiedzieć sobie „dość” :) Wniosków wyciągniętych z tych wszystkich danych, nie ma sensu jeszcze raz teraz powtarzać – zostały opisane w raporcie. Chętnych zapraszam do lektury. Będąc już blisko końca, chciałam tylko jeszcze pokazać dwie rzeczy, które zrobiłam na potrzeby raportu:  Przejrzałam wszystkie nagrania ze ścieżkami fiksacji wzroku respondentów i zauważyłam pewne schematy w kolejności przeglądania elementów na stronie głównej. Postanowiłam więc dokładniej je sprawdzić  Zrobiłam też mapę cieplną prezentującą uśrednione fiksacje wszystkich respondentów na stronie głównej 53
  • 54. Jak określiłam sposób przeglądania? Najpopularniejszy sposób przeglądania strony głównej Facebooka, ustaliłam na podstawie:  Wspomnianej już na poprzedniej stronie, eksperckiej analizy ścieżek wzroku respondentów, widocznych na video z badania  Średniego czasu do pierwszej fiksacji na AOI ze strony głównej  Jakościowej analizy kliknięć – Tomek zdobył kolejność kliknięć każdego respondenta w AOI. Zliczyłam jaki obszar klikali jako pierwszy, jaki w drugiej kolejności itd. (screen po prawej)  Analizy mapy cieplnej strony głównej po pierwszych 5, 10 i 15 sekundach patrzenia Wszystkie te drogi wskazywały na jeden najpopularniejszy schemat przeglądania strony (szczegóły w raporcie). 54
  • 55. Jak zrobiłam wspólną heat mapę Jak już wcześniej wspomniałam, Tobii pozwala tylko na osobną analizę dla każdej badanej podstrony. Nie można było więc tak po prostu uzyskać wspólnej mapy cieplnej dla fiksacji wszystkich respondentów na swoich stronach głównych. Trzeba było poszukać drogi na około. Jedyną opcją są tzw. Web Groups, gdzie można „przesuwać” dane z jednego bodźca na drugi. Przykładowo, fiksacje respondenta P25 na stronie Lady Gaga, mogę przesunąć na profil CNK. Mogłam więc fiksacje wszystkich badanych przesunąć do jednej grupy i uzyskać uśrednione dane. Oznaczało to jednak totalne pomieszanie wszystkiego. Postanowiłam więc zrobić to na kopii – zrobiłam archiwum danych i zaimportowałam je do nowego projektu pod inną nazwą. Tam mogłam już ze spokojną głową mieszać danymi do woli. 55
  • 56. Jak zrobiłam wspólną heat mapę Za pomocą Web Groups uśredniłam fiksacje wszystkich respondentów. Kolejnym krokiem było przygotowanie „strony”, na której zostaną one wyświetlone. Jak zapewne pamiętacie, każda strona główna miała inną prawą kolumnę (z innymi obszarami o różnej wielkości), przez co niemożliwe było poprawne zaprezentowanie fiksacji. Posłużyłam się więc makietą strony, która miała podkreślać pewną umowność obszarów z zaprezentowanymi danymi. Pozostało tylko wyeksportować png z samymi fiksacjami i nałożyć je na przygotowaną makietę. A po co tak się siliłam? Chciałam zobaczyć jak czerwono będzie na Powiadomieniach, lewym menu i prawej kolumnie. To była też jedyna możliwość sprawdzenia, jak będą się rozkładały fiksacje w miarę przewijania strony w dół. 56
  • 57. ANALIZA KWESTIONARIUSZY 57
  • 58. Post Dane z post-kwestionariusza przerzuciłam oczywiście do excela :) Te, które mogłam – uśredniłam. Odpowiedzi z pytań zamkniętych zliczyłam, a następnie policzyłam ich udział procentowy. Było tez kilka pytań otwartych. Niestety okazało się, że odpowiedzi były tak różnorodne, że nie dało się stworzyć sensownego klucza. Dlatego nie znalazły się ostatecznie w raporcie. Ale było kilka ciekawych odpowiedzi: Dlaczego korzystasz z Facebooka? Chcę publikować fajne rzeczy (3) Używam jako komunikator i pocztę (3) Co Ci w nim przeszkadza? Uzależnia (3) Zjada czas (1) Wall nie pokazuje tego, co mnie interesuje (1) 58
  • 59. USE Pytania w kwestionariuszu pochodzą z 4 skal: Usefulness, Satisfaction, Ease of use i Ease of learning. Uśredniłam wyniki dla każdego pytania, a następnie uśredniłam wyniki dla każdej skali. W książce Meausuring the User Experience wyczytałam, że wyniki z tego kwestionariusza najlepiej pokazywać na wykresach procentowych. Więc wyliczyłam procenty, dzieląc każdą średnią przez 7 (maximum, ilość stopni na skali odpowiedzi) i zmieniając format liczb w komórkach na „procentowe”. Na koniec ładny wykres radarowy i wygląda identycznie jak sugerują autorzy książki :) 59
  • 60. I nareszcieZBLIŻAM SIĘ DO KOŃCA 60http://www.flickr.com/photos/photography-andreas/6491386965/in/set-72157625593125283
  • 61. Podsumowując Siedzenie w excelach zajęło mi kilka tygodni (niestety po drodze trzeba było też robić inne projekty). W trudniejszych momentach wspierał mnie Tomek – nie tylko narzędziowo, ale przede wszystkim merytorycznie. Dużo dyskutowaliśmy o tym, jak obrabiać dane, uśredniać i przeliczać, aby nimi nieświadomie nie zamanipulować. Wydaje mi się, że nam się udało. Potem już tylko napisałam raport prezentujący wyniki badania. K2 Motion przygotowało film zachęcający, do zapoznania się z raportem. Na Flickr wrzuciłam kilka map cieplnych. Na YouTube kilka filmików (niestety nie mogłam opublikować nagrań z przeglądania strony głównej, bo stanowiły zapis kawałka prywatności naszych respondentów). Napisałam artykuł dla Marketingu w Praktyce. Kilka miesięcy później zgłosiłam badanie w konkursie IAB Europe Research Awards 2011 i dostaliśmy wyróżnienie, stając koło podium z Google, Yahoo!, Microsoft, CNN, Orange. A teraz napisałam tego case’a. Nie było łatwo odnaleźć się w gąszczu danych i kilkunastu excelach. Ale mam nadzieję, że udało mi się przybliżyć cały proces i choć trochę Was tym zainteresować. 61
  • 62. Paulina MakuchDZIĘKUJEZA UWAGĘwww.IfixUX.plwww.facebook.com/IfixUX 62@IfixUX