Lean	
  Analy)cs	
  
	
  
	
  
	
  	
  @LucaBastos	
  
ThoughtWorks	
  
TDC2013	
  -­‐	
  Florianópolis	
  Trilha	
  
Empreendedorismo	
  
25/05/2013	
  
Luca Bastos, 
conhecido apenas na família e pelo gerente do
banco como Luiz Arnaldo de Gusmão Bastos.


	
  
Luca Bastos, 
conhecido apenas na família e pelo gerente do
banco como Luiz Arnaldo de Gusmão Bastos.

Empreendedor por 17 anos e dev do tempo da
Carochinha.


	
  
Luca Bastos, 
conhecido apenas na família e pelo gerente do
banco como Luiz Arnaldo de Gusmão Bastos.

Empreendedor por 17 anos e dev do tempo da
Carochinha.

Eterno aprendiz. Fazer com paixão, aprender e
compartilhar sempre. 


	
  
Luca Bastos, 
conhecido apenas na família e pelo gerente do
banco como Luiz Arnaldo de Gusmão Bastos.

Empreendedor por 17 anos e dev do tempo da
Carochinha.

Eterno aprendiz. Fazer com paixão, aprender e
compartilhar sempre. 

Minha receita de vida que sigo aplicando na
ThoughtWorks Brasil.	
  
hBp://join.thoughtworks.com	
  
Let’s	
  talk	
  about	
  analy)cs	
  
Business	
  Analy:cs	
  
	
  
-­‐	
  Where	
  money	
  comes	
  from	
  
	
  
-­‐	
  How	
  much	
  things	
  cost	
  
	
  
-­‐	
  How	
  many	
  customers	
  you	
  have	
  
	
  
-­‐	
  The	
  effec)veness	
  of	
  your	
  customer	
  
acquisi)on	
  strategies,	
  etc.	
  
Business	
  Analy:cs	
  
	
  
-­‐	
  Where	
  money	
  comes	
  from	
  
	
  
-­‐	
  How	
  much	
  things	
  cost	
  
	
  
-­‐	
  How	
  many	
  customers	
  you	
  have	
  
	
  
-­‐	
  The	
  effec)veness	
  of	
  your	
  customer	
  
acquisi)on	
  strategies,	
  etc.	
  
• 	
  The	
  whole	
  world	
  is	
  inves)ng	
  in	
  
analy)cs	
  now	
  
• 	
  The	
  whole	
  world	
  is	
  inves)ng	
  in	
  
analy)cs	
  now	
  
	
  
• 	
  TW	
  is	
  taking	
  a	
  unique	
  approach	
  
with	
  data	
  scien)sts	
  doing	
  exci)ng	
  
work	
  using	
  Agile	
  Analy:cs.	
  
Disclaimer:	
  
	
  
"There	
  are	
  three	
  kinds	
  of	
  lies:	
  
Disclaimer:	
  
	
  
"There	
  are	
  three	
  kinds	
  of	
  lies:	
  
lies,	
  damned	
  lies	
  and	
  sta)s)cs.”	
  
	
  
Mark	
  Twain	
  
Let’s	
  start	
  
The	
  easiest	
  thing	
  to	
  do	
  is	
  to	
  
integrate	
  in	
  Google	
  Analy:cs	
  
with	
  a	
  snippet	
  of	
  javascript	
  code	
  
See	
  Establish	
  a	
  Standard	
  Measure	
  of	
  Progress	
  
Instantly,	
  you	
  have	
  hundreds	
  of	
  
numbers	
  to	
  ponder	
  over.	
  	
  
Instantly,	
  you	
  have	
  hundreds	
  of	
  
numbers	
  to	
  ponder	
  over.	
  	
  
	
  
You	
  log	
  in	
  mul:ple	
  :mes	
  a	
  day	
  
scanning	
  your	
  page	
  views,	
  traffic	
  
sources,	
  visitor	
  demographics,	
  
etc.	
  
But	
  these	
  numbers	
  don't	
  tell	
  you	
  
how	
  to	
  make	
  your	
  product	
  
beHer.	
  
You	
  start	
  drowning	
  in	
  a	
  sea	
  of	
  
informa:on	
  but	
  find	
  yourself	
  no	
  
closer	
  to	
  knowing	
  if	
  your	
  product	
  
is	
  geIng	
  beHer	
  or	
  worse	
  
Disclaimer	
  2:	
  
	
  
Most	
  of	
  the	
  content	
  that	
  follows	
  
are	
  direct	
  from	
  the	
  great	
  book	
  
Lean	
  Analy)cs	
  by	
  Allistair	
  Croll	
  
and	
  Ben	
  Yoskovitz,	
  the	
  best	
  
reference	
  I’ve	
  read.	
  
Lean	
  Analy:cs	
  
	
  
Is	
  about	
  measuring	
  progress	
  
through	
  the	
  Lean	
  Startup	
  process	
  
of	
  Build	
  -­‐>	
  Measure	
  -­‐>	
  Learn	
  
Lean	
  Analy:cs	
  
	
  
Is	
  about	
  tracking	
  the	
  metrics	
  that	
  
are	
  cri:cal	
  to	
  your	
  business	
  
Lean	
  Analy:cs	
  
	
  
Is	
  about	
  tracking	
  the	
  metrics	
  that	
  
are	
  cri:cal	
  to	
  your	
  business	
  at	
  
each	
  stage	
  of	
  growth	
  
What	
  Makes	
  a	
  good	
  Metric?	
  	
  
A	
  good	
  metric	
  is	
  compara:ve	
  
A	
  good	
  metric	
  is	
  understandable	
  
A	
  good	
  metric	
  is	
  a	
  ra:o	
  or	
  a	
  rate	
  
A	
  good	
  metric	
  changes	
  the	
  
way	
  you	
  behave	
  
8	
  vanity	
  metrics	
  to	
  watch	
  out	
  for	
  
	
  
Number	
  of	
  hits	
  
Number	
  of	
  hits	
  
Number	
  of	
  page	
  views	
  
Number	
  of	
  hits	
  
Number	
  of	
  page	
  views	
  
Number	
  of	
  visits	
  
	
  
Number	
  of	
  hits	
  
Number	
  of	
  page	
  views	
  
Number	
  of	
  visits	
  
Number	
  of	
  unique	
  visitors	
  
	
  
Number	
  of	
  hits	
  
Number	
  of	
  page	
  views	
  
Number	
  of	
  visits	
  
Number	
  of	
  unique	
  visitors	
  
Number	
  of	
  followers/friends/likes	
  
	
  
	
  
Number	
  of	
  hits	
  
Number	
  of	
  page	
  views	
  
Number	
  of	
  visits	
  
Number	
  of	
  unique	
  visitors	
  
Number	
  of	
  followers/friends/likes	
  
Time	
  on	
  site/number	
  of	
  pages	
  
	
  
Number	
  of	
  hits	
  
Number	
  of	
  page	
  views	
  
Number	
  of	
  visits	
  
Number	
  of	
  unique	
  visitors	
  
Number	
  of	
  followers/friends/likes	
  
Time	
  on	
  site/number	
  of	
  pages	
  
Emails	
  collected	
  
Number	
  of	
  hits	
  
Number	
  of	
  page	
  views	
  
Number	
  of	
  visits	
  
Number	
  of	
  unique	
  visitors	
  
Number	
  of	
  followers/friends/likes	
  
Time	
  on	
  site/number	
  of	
  pages	
  
Emails	
  collected	
  
Number	
  of	
  downloads	
  
	
  
Tes)ng	
  
	
  
Usually	
  involves	
  comparing	
  
two	
  things	
  against	
  one	
  another	
  
Tes)ng	
  
	
  
Usually	
  involves	
  comparing	
  
two	
  things	
  against	
  one	
  another	
  
through	
  segmenta)on,	
  cohort	
  
analysis,	
  or	
  A/B	
  tes)ng	
  
Segmenta)on	
  
	
  
Segmenta)on	
  
	
  
Is	
  simply	
  a	
  group	
  that	
  shares	
  
some	
  common	
  characteris:c	
  
Cohort	
  analysis	
  
	
  
Cohort	
  analysis	
  
	
  
Is	
  a	
  group	
  that	
  shares	
  some	
  
common	
  characteris)c	
  …	
  
Cohort	
  analysis	
  
	
  
Is	
  a	
  group	
  that	
  shares	
  some	
  
common	
  characteris)c	
  during	
  
a	
  par)cular	
  :me	
  span	
  
A/B	
  and	
  mul)variate	
  tes)ng	
  
	
  
A/B	
  and	
  mul)variate	
  tes)ng	
  
	
  
Two	
  versions	
  (A	
  and	
  B)	
  are	
  
compared,	
  which	
  are	
  iden)cal	
  
except	
  for	
  one	
  varia:on	
  that	
  
might	
  impact	
  a	
  user's	
  behavior	
  
Four	
  ways	
  of	
  slicing	
  users	
  into	
  sub-­‐
groups	
  and	
  analyzing	
  or	
  tes)ng	
  them	
  
AARRR	
  Analy)cs	
  Frameworks	
  
	
  by	
  Dave	
  McLure’s	
  
	
  
Dave	
  McLure’s	
  Pirate	
  Metrics	
  
Dave	
  McLure’s	
  Pirate	
  Metrics	
  
Dave	
  McLure’s	
  Pirate	
  Metrics	
  
Dave	
  McLure’s	
  Pirate	
  Metrics	
  
Dave	
  McLure’s	
  Pirate	
  Metrics	
  
Other	
  analy)cs	
  frameworks	
  
	
  
Eric	
  Ries’s	
  Engines	
  of	
  growth	
  
	
  
Ash	
  Maurya’s	
  Lean	
  Canvas	
  
	
  
Sean	
  Ellis’s	
  Startup	
  growth	
  Pyramid	
  
	
  
Stages	
  &	
  gates	
  (book	
  Lean	
  Analy)cs)	
  
The	
  most	
  important	
  concept	
  
One	
  Metric	
  That	
  MaBers	
  
	
  
Finding	
  the	
  right	
  thing	
  to	
  track	
  
at	
  the	
  right	
  :me	
  
One	
  Metric	
  That	
  MaBers	
  
	
  
Finding	
  the	
  right	
  thing	
  to	
  track	
  
at	
  the	
  right	
  )me,	
  based	
  on	
  the	
  
type	
  of	
  business	
  you	
  are	
  in	
  
One	
  Metric	
  That	
  MaBers	
  
	
  
Finding	
  the	
  right	
  thing	
  to	
  track	
  
at	
  the	
  right	
  )me,	
  based	
  on	
  the	
  
type	
  of	
  business	
  you	
  are	
  in	
  and	
  
the	
  stage	
  you	
  are	
  at.	
  
Four	
  reasons	
  why	
  you	
  should	
  use	
  
the	
  One	
  Metric	
  That	
  MaHers	
  
It	
  answers	
  the	
  most	
  important	
  
ques:on	
  you	
  have	
  
It	
  forces	
  you	
  to	
  draw	
  a	
  line	
  in	
  
the	
  sand	
  and	
  have	
  clear	
  goals	
  
It	
  focuses	
  the	
  en:re	
  company	
  
It	
  inspires	
  a	
  culture	
  of	
  
experimenta:on	
  
References	
  
Q	
  &	
  A	
  

Lean Analytics - TDC2013

  • 1.
    Lean  Analy)cs          @LucaBastos   ThoughtWorks  
  • 2.
    TDC2013  -­‐  Florianópolis  Trilha   Empreendedorismo   25/05/2013  
  • 3.
    Luca Bastos, conhecidoapenas na família e pelo gerente do banco como Luiz Arnaldo de Gusmão Bastos.  
  • 4.
    Luca Bastos, conhecidoapenas na família e pelo gerente do banco como Luiz Arnaldo de Gusmão Bastos. Empreendedor por 17 anos e dev do tempo da Carochinha.  
  • 5.
    Luca Bastos, conhecidoapenas na família e pelo gerente do banco como Luiz Arnaldo de Gusmão Bastos. Empreendedor por 17 anos e dev do tempo da Carochinha. Eterno aprendiz. Fazer com paixão, aprender e compartilhar sempre.  
  • 6.
    Luca Bastos, conhecidoapenas na família e pelo gerente do banco como Luiz Arnaldo de Gusmão Bastos. Empreendedor por 17 anos e dev do tempo da Carochinha. Eterno aprendiz. Fazer com paixão, aprender e compartilhar sempre. Minha receita de vida que sigo aplicando na ThoughtWorks Brasil.  
  • 8.
  • 9.
  • 10.
    Business  Analy:cs     -­‐  Where  money  comes  from     -­‐  How  much  things  cost     -­‐  How  many  customers  you  have     -­‐  The  effec)veness  of  your  customer   acquisi)on  strategies,  etc.  
  • 11.
    Business  Analy:cs     -­‐  Where  money  comes  from     -­‐  How  much  things  cost     -­‐  How  many  customers  you  have     -­‐  The  effec)veness  of  your  customer   acquisi)on  strategies,  etc.  
  • 12.
    •   The  whole  world  is  inves)ng  in   analy)cs  now  
  • 13.
    •   The  whole  world  is  inves)ng  in   analy)cs  now     •   TW  is  taking  a  unique  approach   with  data  scien)sts  doing  exci)ng   work  using  Agile  Analy:cs.  
  • 17.
    Disclaimer:     "There  are  three  kinds  of  lies:  
  • 18.
    Disclaimer:     "There  are  three  kinds  of  lies:   lies,  damned  lies  and  sta)s)cs.”     Mark  Twain  
  • 19.
  • 20.
    The  easiest  thing  to  do  is  to   integrate  in  Google  Analy:cs   with  a  snippet  of  javascript  code   See  Establish  a  Standard  Measure  of  Progress  
  • 21.
    Instantly,  you  have  hundreds  of   numbers  to  ponder  over.    
  • 22.
    Instantly,  you  have  hundreds  of   numbers  to  ponder  over.       You  log  in  mul:ple  :mes  a  day   scanning  your  page  views,  traffic   sources,  visitor  demographics,   etc.  
  • 23.
    But  these  numbers  don't  tell  you   how  to  make  your  product   beHer.  
  • 24.
    You  start  drowning  in  a  sea  of   informa:on  but  find  yourself  no   closer  to  knowing  if  your  product   is  geIng  beHer  or  worse  
  • 26.
    Disclaimer  2:     Most  of  the  content  that  follows   are  direct  from  the  great  book   Lean  Analy)cs  by  Allistair  Croll   and  Ben  Yoskovitz,  the  best   reference  I’ve  read.  
  • 27.
    Lean  Analy:cs     Is  about  measuring  progress   through  the  Lean  Startup  process   of  Build  -­‐>  Measure  -­‐>  Learn  
  • 29.
    Lean  Analy:cs     Is  about  tracking  the  metrics  that   are  cri:cal  to  your  business  
  • 30.
    Lean  Analy:cs     Is  about  tracking  the  metrics  that   are  cri:cal  to  your  business  at   each  stage  of  growth  
  • 31.
    What  Makes  a  good  Metric?    
  • 32.
    A  good  metric  is  compara:ve  
  • 33.
    A  good  metric  is  understandable  
  • 34.
    A  good  metric  is  a  ra:o  or  a  rate  
  • 35.
    A  good  metric  changes  the   way  you  behave  
  • 36.
    8  vanity  metrics  to  watch  out  for    
  • 37.
  • 38.
    Number  of  hits   Number  of  page  views  
  • 39.
    Number  of  hits   Number  of  page  views   Number  of  visits    
  • 40.
    Number  of  hits   Number  of  page  views   Number  of  visits   Number  of  unique  visitors    
  • 41.
    Number  of  hits   Number  of  page  views   Number  of  visits   Number  of  unique  visitors   Number  of  followers/friends/likes      
  • 42.
    Number  of  hits   Number  of  page  views   Number  of  visits   Number  of  unique  visitors   Number  of  followers/friends/likes   Time  on  site/number  of  pages    
  • 43.
    Number  of  hits   Number  of  page  views   Number  of  visits   Number  of  unique  visitors   Number  of  followers/friends/likes   Time  on  site/number  of  pages   Emails  collected  
  • 44.
    Number  of  hits   Number  of  page  views   Number  of  visits   Number  of  unique  visitors   Number  of  followers/friends/likes   Time  on  site/number  of  pages   Emails  collected   Number  of  downloads    
  • 45.
    Tes)ng     Usually  involves  comparing   two  things  against  one  another  
  • 46.
    Tes)ng     Usually  involves  comparing   two  things  against  one  another   through  segmenta)on,  cohort   analysis,  or  A/B  tes)ng  
  • 47.
  • 48.
    Segmenta)on     Is  simply  a  group  that  shares   some  common  characteris:c  
  • 49.
  • 50.
    Cohort  analysis     Is  a  group  that  shares  some   common  characteris)c  …  
  • 51.
    Cohort  analysis     Is  a  group  that  shares  some   common  characteris)c  during   a  par)cular  :me  span  
  • 52.
  • 53.
    A/B  and  mul)variate  tes)ng     Two  versions  (A  and  B)  are   compared,  which  are  iden)cal   except  for  one  varia:on  that   might  impact  a  user's  behavior  
  • 54.
    Four  ways  of  slicing  users  into  sub-­‐ groups  and  analyzing  or  tes)ng  them  
  • 55.
    AARRR  Analy)cs  Frameworks    by  Dave  McLure’s    
  • 56.
  • 57.
  • 58.
  • 59.
  • 60.
  • 66.
    Other  analy)cs  frameworks     Eric  Ries’s  Engines  of  growth     Ash  Maurya’s  Lean  Canvas     Sean  Ellis’s  Startup  growth  Pyramid     Stages  &  gates  (book  Lean  Analy)cs)  
  • 67.
  • 68.
    One  Metric  That  MaBers     Finding  the  right  thing  to  track   at  the  right  :me  
  • 69.
    One  Metric  That  MaBers     Finding  the  right  thing  to  track   at  the  right  )me,  based  on  the   type  of  business  you  are  in  
  • 70.
    One  Metric  That  MaBers     Finding  the  right  thing  to  track   at  the  right  )me,  based  on  the   type  of  business  you  are  in  and   the  stage  you  are  at.  
  • 71.
    Four  reasons  why  you  should  use   the  One  Metric  That  MaHers  
  • 72.
    It  answers  the  most  important   ques:on  you  have  
  • 73.
    It  forces  you  to  draw  a  line  in   the  sand  and  have  clear  goals  
  • 74.
    It  focuses  the  en:re  company  
  • 75.
    It  inspires  a  culture  of   experimenta:on  
  • 76.
  • 77.