SlideShare a Scribd company logo
1 of 57
DATA DRIVEN DESIGN
avagy hogy fér össze a kreativitás a tényekkel
CSERTÁN ÁKOS, OPEN ACADEMY, BUDAPEST 2015
Malicious or criminal
attack
System glitch
Human
factor
35% 36%
29%
Source: Ponemon
“The designer must be the
gestaltingenieur or creative
engineer.
... Their work is largely rational, meaning that aesthetic
decisions are justified by an understanding of the product’s
purpose.”
- Dieter Rams
innovatív hasznos esztétikus érthető visszafogott
őszinte időtálló átgondolt környezetbarát apró
“If we have data, let’s look at data. If all we have are
opinions, let’s go with mine.”
- Jim Barksdale
Az adat sosem téved
Az adat nem tud tervezni
“All data in aggregate is crap.”
- Avinash Kaushik
kvantitatív adat kvalitatív adat
mi? miért?
ember termék
ember termékmodell
Mihez képest? – Key Performance Indicator
+ Mi értékes az üzletnek?
+ Milyen felhasználói viselkedések érdekesek?
+ Mennyi a sok, mennyi a kevés?
Rossz KPI
+ „A vásárlók rendszeresen
visszatérnek az oldalra”
+ „A vásárlók befejezik a
vásárlásokat”
Jó KPI
+ „Azoknak a felhasználóknak, akik
egyszer már vásároltak, 80%-a egy
hónapon belül újra vásárol”
+ „A megkezdett vásárlások 70%-át a
felhasználók befejezik”
Teljesült? – Metrikák
+ Hogyan lehet mérni a KPI-t?
+ Hogy állunk?
Egyszerű metrikák
+ Hányan vannak?
+ Milyen a demográfiájuk?
+ Mikor jönnek?
Viselkedéses metrikák
+ Milyen lépéseken keresztül jutnak
el a célhoz?
+ Miért hagyják félbe a folyamatot?
Analitika
Mire jó?
+ Demográfiai elemzés
+ ROI- és kampány elemzés
+ Flow elemzés
+ Hipotézistesztelés
Jó kérdések
+ A felhasználók azonnal elhagyják
az oldalt?
+ Megtalálják a Regisztráció
gombot?
+ Megtalálják a felhasználók a
mélyebb tartalmakat?
+ Használható a kereső?
Így csináld rosszul
+ „Csak be kell kötni az Analytics-t”
Így csináld jól
+ Célok meghatározása (előre)
+ Konkrét kérdések (előre)
+ Metrikák meghatározása (előre)
+ Egyedi jelentések
Remote testing
Mire jó?
+ Kis minta
+ Design tesztelés
+ Modell tesztelés
Jó kérdések
+ Értik a felhasználók, hogy mire
való az alkalmazás?
+ Tudják, hogy milyen funkciók
vannak, és azokat hogy kell
használni?
+ A usernek is az fontos, ami
nekünk?
Így csináld rosszul
+ Éles oldal
+ Teljes felhasználóbázis
+ „Megnézzük mit mutat, a Booking.com is csinálja”
Így csináld jól
+ Kis minta, teszt oldalon
+ Hipotézisek meghatározása
+ Statisztikai feldolgozás (ha csak
Excel van, az is jó)
Usability labor
Mire jó?
+ Prototípus tesztelés
+ Koncepció tesztelés
+ Mélyebb kérdések
Jó kérdések
+ Hogyan használja a felhasználó az
alkalmazást?
+ Mennyi segítség kell a
felhasználónak, elakad-e valahol,
hogy oldja meg?
+ Mit talál érdekesnek, unalmasnak,
aggasztónak?
Így csináld rosszul
+ „… a kosár menüpontban kattints a regisztrációra,
aztán add meg a felhasználóneved és a jelszavad…”
Így csináld jól
+ „Képzeld el, hogy a heti
bevásárlásodat intézed!”
Interjú
Mire jó?
+ Okok a számokhoz
+ Empátia
+ Mélyebb kérdések
Jó kérdések
+ Miért viselkedik egy bizonyos
módon a felhasználó?
+ Mik a felhasználó személyes
motivációi?
Így csináld rosszul
+ Jegyzetelj papírra
+ Mondd meg, mi a jó válasz
+ Tegyél fel eldöntendő kérdéseket
+ Kérdezz egyszerre többet
Így csináld jól
+ Kérdezd meg, hogy „Miért”, amíg kínos nem lesz,
aztán még egyszer
+ Bírd a csendet
+ Történeteket gyűjts
A/B teszt
Mire jó?
+ Kis változtatások tesztelése
+ Ha nem fontos az ok
+ Nagy minta
Jó kérdések
+ Melyik kép tetszik jobban a
felhasználóknak?
+ Piros vagy zöld legyen a gomb?
Így csináld rosszul
+ Változtass egyszerre több dolgot
+ Ne használj kontrollcsoportot
+ Következtess okokra és általánosíts
Így csináld jól
+ Csak egy dolgot változtass
+ Az okokat más kutatással keresd
+ Randomizálj
“Yes, it’s true that a team at Google couldn’t decide
between two blues, so they’re testing 41 shades
between each blue to see which one performs better.”
- Douglas Bowman
?
!
akos.csertan@balabit.com
@csertanakos
.

More Related Content

Similar to DATA DRIVEN DESIGN - avagy hogy fér össze a kreativitás a tényekkel

A jó designer - Gocza Zoltan
A jó designer - Gocza ZoltanA jó designer - Gocza Zoltan
A jó designer - Gocza ZoltanZoltan Gocza
 
A weblap tervezés alap lépései - kisvállalkozói képzés
A weblap tervezés alap lépései - kisvállalkozói képzésA weblap tervezés alap lépései - kisvállalkozói képzés
A weblap tervezés alap lépései - kisvállalkozói képzésSoftinvent
 
Webáruházak hasznos mesterséges intelligencia (AI) moduljai
Webáruházak hasznos mesterséges intelligencia (AI) moduljai Webáruházak hasznos mesterséges intelligencia (AI) moduljai
Webáruházak hasznos mesterséges intelligencia (AI) moduljai Krisztián Száraz
 
APP!2011 konferencia // Hogyan legyen egy appunk amiről érdemes beszélni...
APP!2011 konferencia // Hogyan legyen egy appunk amiről érdemes beszélni... APP!2011 konferencia // Hogyan legyen egy appunk amiről érdemes beszélni...
APP!2011 konferencia // Hogyan legyen egy appunk amiről érdemes beszélni... Gábor Szántó
 
Használhatóság és üzleti vonatkozásai - diploma védés
Használhatóság és üzleti vonatkozásai - diploma védésHasználhatóság és üzleti vonatkozásai - diploma védés
Használhatóság és üzleti vonatkozásai - diploma védésszabinho
 
Elveszett userek nyomában - Evolution 2017
Elveszett userek nyomában - Evolution 2017Elveszett userek nyomában - Evolution 2017
Elveszett userek nyomában - Evolution 2017Norbert Boros
 
Webes alkalmazások - MOME előadás
Webes alkalmazások - MOME előadásWebes alkalmazások - MOME előadás
Webes alkalmazások - MOME előadásZoltan Gocza
 
7 uj kisvallalkozasoknak bevalt uzleti modell
7 uj kisvallalkozasoknak bevalt uzleti modell7 uj kisvallalkozasoknak bevalt uzleti modell
7 uj kisvallalkozasoknak bevalt uzleti modellSoftinvent
 
7 uj uzleti modell kisvallalkozasoknak
7 uj uzleti modell kisvallalkozasoknak7 uj uzleti modell kisvallalkozasoknak
7 uj uzleti modell kisvallalkozasoknakSoftinvent
 
Webshop Growth Hacking tippek - HVG Growth Hacking Konferencia
Webshop Growth Hacking tippek - HVG Growth Hacking KonferenciaWebshop Growth Hacking tippek - HVG Growth Hacking Konferencia
Webshop Growth Hacking tippek - HVG Growth Hacking KonferenciaPéter Tóth-Czere
 
Corvinus előadás - Felhasználói élmény és vásárlás a weben
Corvinus előadás - Felhasználói élmény és vásárlás a webenCorvinus előadás - Felhasználói élmény és vásárlás a weben
Corvinus előadás - Felhasználói élmény és vásárlás a webenIsobar Budapest
 
Felhasználói élmény és vásárlás a weben - Corvinus előadás
Felhasználói élmény és vásárlás a weben - Corvinus előadásFelhasználói élmény és vásárlás a weben - Corvinus előadás
Felhasználói élmény és vásárlás a weben - Corvinus előadásZoltan Gocza
 
Mit csinál egy online marketinges?
Mit csinál egy online marketinges? Mit csinál egy online marketinges?
Mit csinál egy online marketinges? Beachegg
 
Munkát vagy munkahelyet vesz el a BI és az MI a cégeknél?
Munkát vagy munkahelyet vesz el a BI és az MI a cégeknél? Munkát vagy munkahelyet vesz el a BI és az MI a cégeknél?
Munkát vagy munkahelyet vesz el a BI és az MI a cégeknél? Robert Pinter
 
Mihez kezdjek a honlapommal?
Mihez kezdjek a honlapommal?Mihez kezdjek a honlapommal?
Mihez kezdjek a honlapommal?Imre Vitenyi
 
Jobs To Be Done a tervezésben
Jobs To Be Done a tervezésbenJobs To Be Done a tervezésben
Jobs To Be Done a tervezésbenDániel Góré
 

Similar to DATA DRIVEN DESIGN - avagy hogy fér össze a kreativitás a tényekkel (20)

A jó designer...
A jó designer...A jó designer...
A jó designer...
 
A jó designer - Gocza Zoltan
A jó designer - Gocza ZoltanA jó designer - Gocza Zoltan
A jó designer - Gocza Zoltan
 
A weblap tervezés alap lépései - kisvállalkozói képzés
A weblap tervezés alap lépései - kisvállalkozói képzésA weblap tervezés alap lépései - kisvállalkozói képzés
A weblap tervezés alap lépései - kisvállalkozói képzés
 
Webáruházak hasznos mesterséges intelligencia (AI) moduljai
Webáruházak hasznos mesterséges intelligencia (AI) moduljai Webáruházak hasznos mesterséges intelligencia (AI) moduljai
Webáruházak hasznos mesterséges intelligencia (AI) moduljai
 
APP!2011 konferencia // Hogyan legyen egy appunk amiről érdemes beszélni...
APP!2011 konferencia // Hogyan legyen egy appunk amiről érdemes beszélni... APP!2011 konferencia // Hogyan legyen egy appunk amiről érdemes beszélni...
APP!2011 konferencia // Hogyan legyen egy appunk amiről érdemes beszélni...
 
Tartalommarketing meetup - A Nagy Demisztifikáló Előadás 20150619
Tartalommarketing meetup - A Nagy Demisztifikáló Előadás 20150619Tartalommarketing meetup - A Nagy Demisztifikáló Előadás 20150619
Tartalommarketing meetup - A Nagy Demisztifikáló Előadás 20150619
 
Használhatóság és üzleti vonatkozásai - diploma védés
Használhatóság és üzleti vonatkozásai - diploma védésHasználhatóság és üzleti vonatkozásai - diploma védés
Használhatóság és üzleti vonatkozásai - diploma védés
 
Elveszett userek nyomában - Evolution 2017
Elveszett userek nyomában - Evolution 2017Elveszett userek nyomában - Evolution 2017
Elveszett userek nyomában - Evolution 2017
 
Webes alkalmazások - MOME előadás
Webes alkalmazások - MOME előadásWebes alkalmazások - MOME előadás
Webes alkalmazások - MOME előadás
 
A UX kutatás haszna
A UX kutatás hasznaA UX kutatás haszna
A UX kutatás haszna
 
7 uj kisvallalkozasoknak bevalt uzleti modell
7 uj kisvallalkozasoknak bevalt uzleti modell7 uj kisvallalkozasoknak bevalt uzleti modell
7 uj kisvallalkozasoknak bevalt uzleti modell
 
7 uj uzleti modell kisvallalkozasoknak
7 uj uzleti modell kisvallalkozasoknak7 uj uzleti modell kisvallalkozasoknak
7 uj uzleti modell kisvallalkozasoknak
 
Webshop Growth Hacking tippek - HVG Growth Hacking Konferencia
Webshop Growth Hacking tippek - HVG Growth Hacking KonferenciaWebshop Growth Hacking tippek - HVG Growth Hacking Konferencia
Webshop Growth Hacking tippek - HVG Growth Hacking Konferencia
 
Corvinus előadás - Felhasználói élmény és vásárlás a weben
Corvinus előadás - Felhasználói élmény és vásárlás a webenCorvinus előadás - Felhasználói élmény és vásárlás a weben
Corvinus előadás - Felhasználói élmény és vásárlás a weben
 
Felhasználói élmény és vásárlás a weben - Corvinus előadás
Felhasználói élmény és vásárlás a weben - Corvinus előadásFelhasználói élmény és vásárlás a weben - Corvinus előadás
Felhasználói élmény és vásárlás a weben - Corvinus előadás
 
Mit csinál egy online marketinges?
Mit csinál egy online marketinges? Mit csinál egy online marketinges?
Mit csinál egy online marketinges?
 
Munkát vagy munkahelyet vesz el a BI és az MI a cégeknél?
Munkát vagy munkahelyet vesz el a BI és az MI a cégeknél? Munkát vagy munkahelyet vesz el a BI és az MI a cégeknél?
Munkát vagy munkahelyet vesz el a BI és az MI a cégeknél?
 
Pro csoport prezentacio
Pro csoport prezentacioPro csoport prezentacio
Pro csoport prezentacio
 
Mihez kezdjek a honlapommal?
Mihez kezdjek a honlapommal?Mihez kezdjek a honlapommal?
Mihez kezdjek a honlapommal?
 
Jobs To Be Done a tervezésben
Jobs To Be Done a tervezésbenJobs To Be Done a tervezésben
Jobs To Be Done a tervezésben
 

More from BalaBit

SCaLE 2016 - syslog-ng: From Raw Data to Big Data
SCaLE 2016 - syslog-ng: From Raw Data to Big DataSCaLE 2016 - syslog-ng: From Raw Data to Big Data
SCaLE 2016 - syslog-ng: From Raw Data to Big DataBalaBit
 
NIAS 2015 - The value add of open source for innovation
NIAS 2015 - The value add of open source for innovationNIAS 2015 - The value add of open source for innovation
NIAS 2015 - The value add of open source for innovationBalaBit
 
Les Assises 2015 - Why people are the most important aspect of IT security?
Les Assises 2015 - Why people are the most important aspect of IT security?Les Assises 2015 - Why people are the most important aspect of IT security?
Les Assises 2015 - Why people are the most important aspect of IT security?BalaBit
 
2015. Libre Software Meeting - syslog-ng: from log collection to processing a...
2015. Libre Software Meeting - syslog-ng: from log collection to processing a...2015. Libre Software Meeting - syslog-ng: from log collection to processing a...
2015. Libre Software Meeting - syslog-ng: from log collection to processing a...BalaBit
 
LOADays 2015 - syslog-ng - from log collection to processing and infomation e...
LOADays 2015 - syslog-ng - from log collection to processing and infomation e...LOADays 2015 - syslog-ng - from log collection to processing and infomation e...
LOADays 2015 - syslog-ng - from log collection to processing and infomation e...BalaBit
 
syslog-ng: from log collection to processing and information extraction
syslog-ng: from log collection to processing and information extractionsyslog-ng: from log collection to processing and information extraction
syslog-ng: from log collection to processing and information extractionBalaBit
 
eCSI - The Agile IT security
eCSI - The Agile IT securityeCSI - The Agile IT security
eCSI - The Agile IT securityBalaBit
 
Top 10 reasons to monitor privileged users
Top 10 reasons to monitor privileged usersTop 10 reasons to monitor privileged users
Top 10 reasons to monitor privileged usersBalaBit
 
Hogyan maradj egészséges irodai munka mellett?
Hogyan maradj egészséges irodai munka mellett?Hogyan maradj egészséges irodai munka mellett?
Hogyan maradj egészséges irodai munka mellett?BalaBit
 
Regulatory compliance and system logging
Regulatory compliance and system loggingRegulatory compliance and system logging
Regulatory compliance and system loggingBalaBit
 
Kontrolle und revisionssichere Auditierung privilegierter IT-Zugriffe
Kontrolle und revisionssichere Auditierung privilegierter IT-ZugriffeKontrolle und revisionssichere Auditierung privilegierter IT-Zugriffe
Kontrolle und revisionssichere Auditierung privilegierter IT-ZugriffeBalaBit
 
Techreggeli - Logmenedzsment
Techreggeli - LogmenedzsmentTechreggeli - Logmenedzsment
Techreggeli - LogmenedzsmentBalaBit
 
State of the art logging
State of the art loggingState of the art logging
State of the art loggingBalaBit
 
Why proper logging is important
Why proper logging is importantWhy proper logging is important
Why proper logging is importantBalaBit
 
Balabit Company Overview
Balabit Company OverviewBalabit Company Overview
Balabit Company OverviewBalaBit
 
BalaBit IT Security cégismertető prezentációja
BalaBit IT Security cégismertető prezentációjaBalaBit IT Security cégismertető prezentációja
BalaBit IT Security cégismertető prezentációjaBalaBit
 
The Future of Electro Car
The Future of Electro CarThe Future of Electro Car
The Future of Electro CarBalaBit
 
Compliance needs transparency
Compliance needs transparencyCompliance needs transparency
Compliance needs transparencyBalaBit
 

More from BalaBit (18)

SCaLE 2016 - syslog-ng: From Raw Data to Big Data
SCaLE 2016 - syslog-ng: From Raw Data to Big DataSCaLE 2016 - syslog-ng: From Raw Data to Big Data
SCaLE 2016 - syslog-ng: From Raw Data to Big Data
 
NIAS 2015 - The value add of open source for innovation
NIAS 2015 - The value add of open source for innovationNIAS 2015 - The value add of open source for innovation
NIAS 2015 - The value add of open source for innovation
 
Les Assises 2015 - Why people are the most important aspect of IT security?
Les Assises 2015 - Why people are the most important aspect of IT security?Les Assises 2015 - Why people are the most important aspect of IT security?
Les Assises 2015 - Why people are the most important aspect of IT security?
 
2015. Libre Software Meeting - syslog-ng: from log collection to processing a...
2015. Libre Software Meeting - syslog-ng: from log collection to processing a...2015. Libre Software Meeting - syslog-ng: from log collection to processing a...
2015. Libre Software Meeting - syslog-ng: from log collection to processing a...
 
LOADays 2015 - syslog-ng - from log collection to processing and infomation e...
LOADays 2015 - syslog-ng - from log collection to processing and infomation e...LOADays 2015 - syslog-ng - from log collection to processing and infomation e...
LOADays 2015 - syslog-ng - from log collection to processing and infomation e...
 
syslog-ng: from log collection to processing and information extraction
syslog-ng: from log collection to processing and information extractionsyslog-ng: from log collection to processing and information extraction
syslog-ng: from log collection to processing and information extraction
 
eCSI - The Agile IT security
eCSI - The Agile IT securityeCSI - The Agile IT security
eCSI - The Agile IT security
 
Top 10 reasons to monitor privileged users
Top 10 reasons to monitor privileged usersTop 10 reasons to monitor privileged users
Top 10 reasons to monitor privileged users
 
Hogyan maradj egészséges irodai munka mellett?
Hogyan maradj egészséges irodai munka mellett?Hogyan maradj egészséges irodai munka mellett?
Hogyan maradj egészséges irodai munka mellett?
 
Regulatory compliance and system logging
Regulatory compliance and system loggingRegulatory compliance and system logging
Regulatory compliance and system logging
 
Kontrolle und revisionssichere Auditierung privilegierter IT-Zugriffe
Kontrolle und revisionssichere Auditierung privilegierter IT-ZugriffeKontrolle und revisionssichere Auditierung privilegierter IT-Zugriffe
Kontrolle und revisionssichere Auditierung privilegierter IT-Zugriffe
 
Techreggeli - Logmenedzsment
Techreggeli - LogmenedzsmentTechreggeli - Logmenedzsment
Techreggeli - Logmenedzsment
 
State of the art logging
State of the art loggingState of the art logging
State of the art logging
 
Why proper logging is important
Why proper logging is importantWhy proper logging is important
Why proper logging is important
 
Balabit Company Overview
Balabit Company OverviewBalabit Company Overview
Balabit Company Overview
 
BalaBit IT Security cégismertető prezentációja
BalaBit IT Security cégismertető prezentációjaBalaBit IT Security cégismertető prezentációja
BalaBit IT Security cégismertető prezentációja
 
The Future of Electro Car
The Future of Electro CarThe Future of Electro Car
The Future of Electro Car
 
Compliance needs transparency
Compliance needs transparencyCompliance needs transparency
Compliance needs transparency
 

DATA DRIVEN DESIGN - avagy hogy fér össze a kreativitás a tényekkel

  • 1. DATA DRIVEN DESIGN avagy hogy fér össze a kreativitás a tényekkel CSERTÁN ÁKOS, OPEN ACADEMY, BUDAPEST 2015
  • 2.
  • 3.
  • 4.
  • 5. Malicious or criminal attack System glitch Human factor 35% 36% 29% Source: Ponemon
  • 6.
  • 7.
  • 8.
  • 9.
  • 10. “The designer must be the gestaltingenieur or creative engineer. ... Their work is largely rational, meaning that aesthetic decisions are justified by an understanding of the product’s purpose.” - Dieter Rams
  • 11.
  • 12. innovatív hasznos esztétikus érthető visszafogott őszinte időtálló átgondolt környezetbarát apró
  • 13.
  • 14.
  • 15. “If we have data, let’s look at data. If all we have are opinions, let’s go with mine.” - Jim Barksdale
  • 16. Az adat sosem téved
  • 17. Az adat nem tud tervezni
  • 18.
  • 19. “All data in aggregate is crap.” - Avinash Kaushik
  • 20. kvantitatív adat kvalitatív adat mi? miért?
  • 21.
  • 22.
  • 25.
  • 26. Mihez képest? – Key Performance Indicator + Mi értékes az üzletnek? + Milyen felhasználói viselkedések érdekesek? + Mennyi a sok, mennyi a kevés?
  • 27. Rossz KPI + „A vásárlók rendszeresen visszatérnek az oldalra” + „A vásárlók befejezik a vásárlásokat” Jó KPI + „Azoknak a felhasználóknak, akik egyszer már vásároltak, 80%-a egy hónapon belül újra vásárol” + „A megkezdett vásárlások 70%-át a felhasználók befejezik”
  • 28. Teljesült? – Metrikák + Hogyan lehet mérni a KPI-t? + Hogy állunk?
  • 29. Egyszerű metrikák + Hányan vannak? + Milyen a demográfiájuk? + Mikor jönnek? Viselkedéses metrikák + Milyen lépéseken keresztül jutnak el a célhoz? + Miért hagyják félbe a folyamatot?
  • 31. Mire jó? + Demográfiai elemzés + ROI- és kampány elemzés + Flow elemzés + Hipotézistesztelés Jó kérdések + A felhasználók azonnal elhagyják az oldalt? + Megtalálják a Regisztráció gombot? + Megtalálják a felhasználók a mélyebb tartalmakat? + Használható a kereső?
  • 32. Így csináld rosszul + „Csak be kell kötni az Analytics-t”
  • 33. Így csináld jól + Célok meghatározása (előre) + Konkrét kérdések (előre) + Metrikák meghatározása (előre) + Egyedi jelentések
  • 35.
  • 36. Mire jó? + Kis minta + Design tesztelés + Modell tesztelés Jó kérdések + Értik a felhasználók, hogy mire való az alkalmazás? + Tudják, hogy milyen funkciók vannak, és azokat hogy kell használni? + A usernek is az fontos, ami nekünk?
  • 37. Így csináld rosszul + Éles oldal + Teljes felhasználóbázis + „Megnézzük mit mutat, a Booking.com is csinálja”
  • 38. Így csináld jól + Kis minta, teszt oldalon + Hipotézisek meghatározása + Statisztikai feldolgozás (ha csak Excel van, az is jó)
  • 40. Mire jó? + Prototípus tesztelés + Koncepció tesztelés + Mélyebb kérdések Jó kérdések + Hogyan használja a felhasználó az alkalmazást? + Mennyi segítség kell a felhasználónak, elakad-e valahol, hogy oldja meg? + Mit talál érdekesnek, unalmasnak, aggasztónak?
  • 41. Így csináld rosszul + „… a kosár menüpontban kattints a regisztrációra, aztán add meg a felhasználóneved és a jelszavad…”
  • 42. Így csináld jól + „Képzeld el, hogy a heti bevásárlásodat intézed!”
  • 43.
  • 45. Mire jó? + Okok a számokhoz + Empátia + Mélyebb kérdések Jó kérdések + Miért viselkedik egy bizonyos módon a felhasználó? + Mik a felhasználó személyes motivációi?
  • 46. Így csináld rosszul + Jegyzetelj papírra + Mondd meg, mi a jó válasz + Tegyél fel eldöntendő kérdéseket + Kérdezz egyszerre többet
  • 47. Így csináld jól + Kérdezd meg, hogy „Miért”, amíg kínos nem lesz, aztán még egyszer + Bírd a csendet + Történeteket gyűjts
  • 49. Mire jó? + Kis változtatások tesztelése + Ha nem fontos az ok + Nagy minta Jó kérdések + Melyik kép tetszik jobban a felhasználóknak? + Piros vagy zöld legyen a gomb?
  • 50. Így csináld rosszul + Változtass egyszerre több dolgot + Ne használj kontrollcsoportot + Következtess okokra és általánosíts
  • 51. Így csináld jól + Csak egy dolgot változtass + Az okokat más kutatással keresd + Randomizálj
  • 52. “Yes, it’s true that a team at Google couldn’t decide between two blues, so they’re testing 41 shades between each blue to see which one performs better.” - Douglas Bowman
  • 53.
  • 54. ?
  • 56.
  • 57. .