1. Lean Analytics
Utiliser les données pour
créer un meilleur startup
plus rapidement.
Web à Québec
Mars 2014
@acroll

2. Bonjour/hi!

3. 0 5 10 15
1
4
0
1
0
1
14
4
1
13
7
0
0
2Petite entreprise en démarrage sans financement
Small, unfunded startup
Compagnie en premier développement ("early-stage") avec capital d'amorçage
Early-stage company with seed funding
Compagnie en croissance, avec financement, sans revenus
rowing, funded, pre-revenue company
Entreprise en démarrage avec revenus et clients
Compagnie privée, mais pas en démarrage
Compagnie publique
Public company
Éducation (peu importe le niveau)
Education (school, university)
Gouvernement et agences (Ministères et organismes)
Organisation à but non lucratif ou non gouvernementale
Nonprofit or NGO
Journaliste/média d'information/blogueur
Reporter, news media, blogger
Analyste ou chercheur
Analyst or researcher
Investisseur, capital de risque ou financement providentiel (Angel funding)
Investor, VC, or angel
Étudiant
Student
Autre
Other

5. Ne vendez pas ce que vous faites.
Faites ce que vous pouvez vendre.
Kevin Costner est un entrepreneur minable.

6. Au cœur du
Lean est l’itération.

7. On raconte tous
de beaux mensonges.

8. La plupart des startup ne savent pas ce
qu'ils vont être quand ils grandissent.
Hotmail
was a
database
company
Flickr
was going to
be an MMO
Twitter
was a
podcasting
company
Autodesk
made
desktop
automation
Paypal
first built for
Palmpilots
Freshbooks
was invoicing
for a web
design firm
Wikipedia
was to be
written by
experts only
Mitel
was a
lawnmower
company

9. Son propre idée est
toujours la meilleure—oui?
On adore créer
des choses
C'est là que
tout s'écroule.
Pas de données, pas
d’apprentissage.

10. L’analytique à la rescousse!

11. Analytics is the measurement of
movement towards your business
goals.
L’analytique, c’est la mesure du
mouvement vers vos objectifs.

12. In a startup, the purpose of analytics is to
iterate to product/market fit before the
money runs out.
Dans un startup, le but de l’analyse est
d'itérer au produit / marché
soutenable pendant qu’il vous
reste de l’argent.

13. J’ai deux enfants.
Au moins une d’eux est une fille.

14. Quelle est la chance
que l’autre soit un garçon?

15. GG GF
FG FF

16. 2 de 3 (66%) sont des garçons.
FG FF GF

17. Quelques leçons fondamentales.

18. Un bon indicateur est...
Comprenable
If you’re busy
explaining the
data, you won’t
be busy acting
on it.
Comparable
Comparison is
context.
Un taux ou une
fréquence
The only way to
measure
change and roll
up the tension
between two
metrics (MPH)
Change votre
comportement
If it won’t
change your
behavior it is a
bad metric.

19. La règle
la plus
simple.
mauvaise
métrique.
Si elle ne change pas votre
comportement, c’est une
h"p://www.flickr.com/photos/circasassy/7858155676/

20. Qualitatif
Unstructured, anecdotal,
revealing, hard to
aggregate, often too
positive & reassuring.
Chaud et imprécis.
Quantitatif
Numbers and stats.
Hard facts, less insight,
easier to analyze; often
sour and disappointing.
Froid et dur.

21. Explorateur
Speculative. Tries to find
unexpected or
interesting insights.
Source of unfair
advantages.
Capitvant.
Déclarante
Predictable. Keeps you
abreast of the normal,
day-to-day operations.
Can be managed by
exception.
Nécessaire.

22. MaiAvrilMarFev
Trancher les données
Jan
0
5,000
Usagersactifs
Cohorte:
Comparison of
similar groups
along a timeline.
(this is the April cohort)
Test A/B
Changing one thing
(i.e. color) and
measuring the
result (i.e. revenue.)
Analyse
multivariée
Changing several
things at once to
see which correlates
with a result.
☀
☁
☀
☁
Segment:
Cross-sectional
comparison of all
people divided by
some attribute (age,
gender, etc.)
☀
☁

23. Lequel de ces deux sociétés
a plus de succes?

24. Janvier Février Mars Avril Mai
Rev/usager $5.00 $4.50 $4.33 $4.25 $4.50Cette entreprise
agrandit-il?
Cohort 1 2 3 4 5
Janvier
Février
Mars
Avril
Mai
$5 $3 $2 $1 $0.5
$6 $4 $2 $1
$7 $6 $5
$8 $7
$9
Et celcui-çi?

25. Cohorte 1 2 3 4 5
Janvier
Février
Mars
Avril
Mai
Moyens
$5 $3 $2 $1 $0.5
$6 $4 $2 $1
$7 $6 $5
$8 $7
$9
$7 $5 $3 $1 $0.5
Les mêmes
données vus par
cohorte

26. De retard
Historical. Shows you
how you’re doing;
reports the news.
Example: sales.
Explique le passé.
D’en tête
Forward-looking.
Number today that
predicts tomorrow;
reports the news.
Example: pipeline.
Predit la futur.

27. A Facebook user reaching 7 friends within 10 days of signing up
(Chamath Palihapitiya)
If someone comes back to Zynga a day after signing up for a game,
they’ll probably become an engaged, paying user (Nabeel Hyatt)
A Dropbox user who puts at least one file in one folder on one device
(ChenLi Wang)
Twitter user following a certain number of people, and a certain
percentage of those people following the user back (Josh Elman)
A LinkedIn user getting to X connections in Y days (Elliot Schmukler)
Quelques examples
(From the 2012 Growth Hacking conference. http://growthhackersconference.com/)

28. Donc, il faut
parler de corrélation.

29. 1
10
100
1000
10000
Ice cream consumption Drownings
Jan Feb Mar Apr May Jun Jul Aug Sept Oct Nov Dec

30. Corrélée
Two variables that are
related (but may be
dependent on
something else.)
La crème glacée
et la noyade.
Causée
An independent variable
that directly impacts a
dependent one.
L’été
et la noyade.

31. Un métrique d’en tête, causale,
est une surpuissance.
h"p://www.flickr.com/photos/bloke_with_camera/401812833/sizes/o/in/photostream/

32. Hacker la croissance, démystifier
Trouvez la
correlation
Verifiez la
causalité
Optimiser
l’élement causal
Choisissez
la métrique à
changer

33. Est-ce qu’une action sociale (Like, RT,
upvote) predis un don?
http://blog.justgiving.com/nine-reasons-why-social-and-mobile-are-the-future-of-fundraising/

34. L’usage mobile le predit-il?
http://blog.justgiving.com/nine-reasons-why-social-and-mobile-are-the-future-of-fundraising/

35. Pourquoi le spam Nigérian
est si mal écrit?

36. Aunshul Rege of Rutgers University, USA in 2009
Experienced scammers expect a “strike rate” of 1 or 2 replies per 1,000 messages
emailed; they expect to land 2 or 3 “Mugu” (fools) each week.
One scammer boasted “When you get a reply it’s 70% sure you’ll get the money”
“By sending an email that repels all but the most gullible,” says [Microsoft Researcher
Corman] Herley, “the scammer gets the most promising marks to self-select, and tilts
the true to false positive ratio in his favor.”
1000 courriels
1-2 réponses
1 imbécile et son argent, bientôt séparés
Mal-écrit (0.1% conversion)
Usagers crédules (70% conversion)
1000 courriels
100 réponses
1 imbécile et son argent, bientôt séparés
Bien écrit (10% conversion)
Usagers incrédules (.07% conversion)
Ce serait terriblement
inefficace puisque ça
prendrait des humains.

37. Le mot “Nigeria” est la meilleure façon
d'identifier des usagers crédules et
prometteuses.

38. Les spammeurs nigérians
comprennent vraiment leur marché.
Ils se méfient des metriques de vanité.

39. Le système Lean Analytics.

40. Les trois moteurs de croissance
d’Eric Ries
Viralité
Que les gens
invittent leurs amis.
Combien ils
disent, à quelle
vitesse ils leur
disent.
Prix
Que les visiteurs
dépensent de
l’argent.
Les clients valent
plus qu’ils
coûtent.
Fidélisation
Que les gens
reviennent.
Approche
Obtenir des
clients plus vite
que vous les
perdez.
Math

41. Les mesures de pirates de Dave
Acquisition
How do your users become aware of you?
SEO, SEM, widgets, email, PR, campaigns, blogs ...
Activation
Do drive-by visitors subscribe, use, etc?
Features, design, tone, compensation, affirmation ...
Rétention
Does a one-time user become engaged?
Notifications, alerts, reminders, emails, updates...
Revenu
Do you make money from user activity?
Transactions, clicks, subscriptions, DLC, analytics...
Renvoi
Do users promote your product?
Email, widgets, campaigns, likes, RTs, affiliates...

42. Étape
EMPATHIE
J'ai trouvé un besoin réel et non-comblé d’un
marché atteignable.
FIDÉLITÉ
J'ai compris comment résoudre le problème d'une
manière qu’ils continueront d’utiliser et de payer.
VIRALITÉ
Je peut les convaincre de promouvoir mon produit ou
service a leurs amis.
REVENU
La croissance de revenu me permet d’agrandir
organiquement et artificiellement.
ÉCHELLE
J'ai trouvé un modèle d’entreprise durable avec
de bonnes marges dans un écosystème sain.
Barrière à franchir
Lescinqétapes

43. Six modèles de business
E-commerce SaaS Medias
Logiciel
mobile
Contenu
généré par
usagers
Marché
biface
Votre entreprise

44. Customer Acquisition Cost
paid direct search wom
inherent
virality
VISITOR
Freemium/trial offer
Enrollment
User
Disengaged User
Cancel
Freemium
churn
Engaged User
Free user
disengagement
Reactivate
Cancel
Trial abandonment
rate
Invite Others
Paying Customer
Reactivation
rate
Paid
conversion
FORMER USERS
User Lifetime Value
Reactivate
FORMER CUSTOMERS
Customer Lifetime Value
Viral coefficient
Viral rate
Resolution
Support data
Account Cancelled Billing Info Exp.
Paid Churn Rate
Tiering
Capacity Limit
Upselling
rate Upselling
Disengaged DissatisfiedTrial Over

45. Modèle + Étape = La métrique dominante
Métrique
dominante
Votre modèle
E-Com SaaS Mobile Biface Media CGU
Empathie
Fidélité
Viralité
Revenu
Échelle
Votreétape

46. Vraiment? Juste une?

47. Oui, une.

48. Dans un startup,
c’est difficile de focuser.

49. Avoir une seule métrique
aborde ce problème.

50. www.theeastsiderla.com

51. Les métriques,
c’est des “squeeze toys.”
http://www.flickr.com/photos/connortarter/4791605202/

52. Empathy
Stickiness
Virality
Revenue
Scale
E-
commerce
SaaS Media
Mobile
app
User-gen
content
2-sided
market
Interviews; qualitative results; quantitative scoring; surveys
Loyalty,
conversion
CAC, shares,
reactivation
Transaction,
CLV
Affiliates,
white-label
Engagement,
churn
Inherent
virality, CAC
Upselling,
CAC, CLV
API, magic #,
mktplace
Content,
spam
Invites,
sharing
Ads,
donations
Analytics,
user data
Inventory,
listings
SEM, sharing
Transactions,
commission
Other
verticals
(Money from transactions)
Downloads,
churn, virality
WoM, app
ratings, CAC
CLV,
ARPDAU
Spinoffs,
publishers
(Money from active users)
Traffic, visits,
returns
Content
virality, SEM
CPE, affiliate
%, eyeballs
Syndication,
licenses
(Money from ad clicks)

53. Mieux: bit.ly/BigLeanTable

54. Dessiner une ligne à franchir.

55. Une entreprise perd le quart de ses
clients chaque année.
Est-ce bon, ou mauvais?

56. Ne sachant pas le “normal”
vous fait faire des conneries.

57. Ligne de base:
5-7% croissance/semaine
“A good growth rate during YC
is 5-7% a week,” he says. “If
you can hit 10% a week you're
doing exceptionally well. If you
can only manage 1%, it's a sign
you haven't yet figured out
what you're doing.” At revenue
stage, measure growth in
revenue. Before that, measure
growth in active users.
Paul Graham, Y Combinator
• Are there enough people who really care
enough to sustain a 5% growth rate?
• Don’t strive for a 5% growth at the expense
of really understanding your customers
and building a meaningful solution
• Once you’re a pre-revenue startup at or
near product/market fit, you should have
5% growth of active users each week
• Once you’re generating revenues, they
should grow at 5% a week

58. Ligne de base:
10% visiteurs engagées/jour
Fred Wilson’s social ratios
30% d’usagers par mois l’utilisent
10% d’usagers par jour l’utilisent
1% d’usagers l’utilisent en même temps

59. Ligne de base:
2-5% désabonnement par mois
• The best SaaS get 1.5% - 3% a month. They have multiple Ph.D’s
on the job.
• Get below a 5% monthly churn rate before you know you’ve got a
business that’s ready to grow (Mark MacLeod) and around 2%
before you really step on the gas (David Skok)
• Last-ditch appeals and reactivation can have a big impact.
Facebook’s “don’t leave” reduces attrition by 7%.

60. Ligne de base:: Coût d’acquisition
< 1/3 le valeur de l’usager
• CLV is wrong. CAC Is probably wrong, too.
• Time kills all plans: It’ll take a long time to find
out whether your churn and revenue projections
are right
• Cashflow: You’re basically “loaning” the
customer money between acquisition and CLV.
• It keeps you honest: Limiting yourself to a
CAC of only a third of your CLV will forces you
to verify costs sooner.
Vie de 20 mois
$30/mois par
usager
L’usager vaut $600
$200 coût
d’acquisition
Dépense de 1/3

61. Ligne de base: 35% d’usagers mobiles
engagées par la 90e journée
Jour 1
100%
Jour 30
54%
Jour 60
43%
Jour 90
35%
October,2012studyof200,000appsbyFlurry
Smartphone Tablet
Usages par semaine 12.9 fois 9.5 fois
Durée d’usage 4.1 minutes 8.2 minutes
In recent years, third-month engagement has increased
from 25% to 35%, but frequency of use has dropped from
6.7 uses a week to 3.7 a week.

62. Ça varie
beaucoup.

63. Le cycle Lean Analytics

64. Changer la ligne
Pivoter ou
abandonner
Essayer de
nouveau
Grand
succes!
Avons-nous
franchis la ligne?
Regarder
les résultats
Faire des
changements en
production
Concevoir un
test
Creer une hypothèse
Avec des données:
trouver un point
commun
Sans données:
faire une
conjecture
Trouver une
amélioration
possible
Etablir la ligne
de base
Choisir une
métrique

65. Les hôtes Airbnb
obtiennent-ils plus de
locations si leur
proprietées présentent
des photos
professionnelles?

66. Hypothèse
La photographie professionnelle aide AirBnB
Produit minimum (MVP)
20 photographes se faisant passer pour les employés
Mesurer les résultats
Comparez les annonces photographiés professionellement aux autres
Decider d’agir
Lancer la photographie professionelle pour tous les hôtes

67. 5,000 proprietés/mois en
février 2012

68. Wô les moteurs!

69. Hypothèse
La photographie professionnelle aide AirBnB
Vraiment?

70. Changer la ligne
Pivoter ou
abandonner
Essayer de
nouveau
Grand
succes!
Avons-nous
franchis la ligne?
Regarder
les résultats
Faites des
changements en
production
Concevoir un
test
Creer une hypothèse
Avec des données:
trouver un point
commun
Sans données:
faire une
conjecture
Trouver une
amélioration
possible
Etablir la ligne
de base
Choisir une
métrique

71. “Hé, les maisons
qui se louent
bien ont de
belles photos”
C'est peut-être
l'appareil photo.
"Ordinateur:
Qu'est-ce que
toutes les maisons
très loués ont en
commun?"
L'appareil photo.
Avec des données:
trouver un point commun
Sans données: faire
une conjecture

72. Circle of Moms: Engagement insuffisant
• Too few people were
actually using the
product
• Less than 20% of any
circles had any activity
after their initial creation
• A few million monthly
uniques from 10M
registered users, but no
sustained traction
• They found moms were far more engaged
• Their messages to one another were on average 50% longer
• They were 115% more likely to attach a picture to a post they wrote
• They were 110% more likely to engage in a threaded (i.e. deep)
conversation
• Circle owners’ friends were 50% more likely to engage with the circle
• They were 75% more likely to click on Facebook notifications
• They were 180% more likely to click on Facebook news feed items
• They were 60% more likely to accept invitations to the app
• Pivoted to the new market, including a name change
• By late 2009, 4.5M users and strong engagement
• Sold to Sugar, inc. in early 2012

73. Landing page design A/B testing
Cohort analysis General analytics
URL shortening
Funnel analytics
Influencer Marketing
Publisher analytics
SaaS analytics
Gaming analytics
User interaction Customer satisfaction KPI dashboardsUser segmentation
User analytics Spying on users

74. C’est plus difficile
quand vous êtes grand.

75. Comme startup, votre objectif est de
découvrir un modèle d'affaires
durable et reproductible.
Quand vous êtes une grande
organisation, votre but est de la
perpétuer.

76. VOUS AVEZ TOUT À PERDRE

77. De plus, c'est pas populaire.

78. VOUS
ÊTES ICI

79. VOUS
ÊTES ICI
MAXIMUM
LOCALE
OPTIMISATION
DES MESURES
ACTUELS

80. VOUS
ÊTES ICI
MAXIMUM
GLOBALE
L'INNOVATION
AVEC DE
NOUVELLES RÈGLES

81. VOUS
ÊTES ICI
PERSONNE N'AIME
DESCENDRE

82. ALORS, COMMENT
GAGNER
FIXER
GOUVERNER
PROSPÉRER
INNOVER?
AMÉLIORER
PERTURBER
CROÎTRE
SURVIVRE

83. http://www.flickr.com/photos/puuikibeach/4789015423 http://www.flickr.com/photos/elcapitanbsc/3936927326
Coût des essais: fuyant Coût d’attention: propulsant

84. QUE FONT LES GRANDES
ORGANISATIONS POUR BIEN
INNOVER?

85. GET UNCOMFORTABLY CLOSE
RAPPROCHEZ-VOUS
INCONFORTABLEMENT

86. “DES ÉTUDES DES HOMMES MONTRENT
QUE 1 SUR 8 ONT UN PROBLÈME
D'INCONTINENCE; LES FEMMES, 1 SUR 3.
MAIS MES STATISTIQUES COTÉ SERVEUR
MONTRENT UN NOMBRE IMPORTANT
D'HOMMES* QUI ME DONNE À PENSER
QUE LE MARCHÉ MASCULIN EST
TOTALEMENT SOUS-SERVI”
*(OR IT COULD BE MEN LOOKING ON BEHALF OF WOMEN)

87. REFRAME THE PROBLEM
RECADRER LA PROBLÈME

88. POUR CHAQUE TRANCHE DE 100 $, METLIFE
RÉINVESTIT 66 $ DANS DE NOUVEAUX PROJETS.
FOR EVERY $100 THEY CUT, METLIFE
REINVESTS $66 IN NEW PROJECTS.

90. EVERYTHING IS A STUDY FIRST
TOUT COMMENCE COMME UNE ÉTUDE

91. ENCADRER LE PROJET
COMME UN EXERCICE
D'APPRENTISSAGE;
LA CRÉATION DE
PRODUITS
EST PRESQU’UN
ACCIDENT.
http://www.flickr.com/photos/creative_tools/8544475139

92. USE DATA TO MAKE PEOPLE WANT DATA
UTILISER LES DONNÉES POUR QUE LES
GENS EN VEULENT

93. DÉMARRER
VOS PROPRES
PROJETS.

94. BUILD EXPERIMENTS
INTO EVERYTHING
http://www.flickr.com/photos/mpeterke/3546334679/
TOUT EST UN ESSAI

95. DE
NOMBREUX
MOYENS DE
RECUEILLIR
DES
DONNÉES

96. GET ON THE SHELF

97. PLAN THE BABY STEPS
CIBLEZ LES PREMIERS PAS

98. Netflix

99. Tesla
http://www.hdwallpapersinn.com/wp-content/uploads/2012/12/600-tesla.jpg

100. La limite de 140
caractères de Twitter
n'est pas arbitraire.
Il est limité par SMS (160
caractères) et le nom
d'utilisateur (20
caractères.)
http://i.i.cbsi.com/cnwk.1d/i/tim/2011/11/18/
sms_screen_twitter_activity_stream_270x405.png

101. UNDERSTAND CONSTRAINTS
COMPRENEZ LES CONTRAINTES

103. EMBRACE THE HARSH LIGHT OF DATA
EMBRASSEZ L’ÉCLAIRAGE
PUISSANT DES DONNÉES

104. Arbitron, données, et pourquoi la
musique de radio est tellement moche.

105. 0
15
30
2007 2012
Nombres de fois qu’une chanson en “répétition
fréquente” est joué chaque jour
Chaque 4h
Chaque 55m

106. USE PROXY DATA (JUST BE CAREFUL)
UTILISEZ LES DONNÉES DES ALENTOURS
(MAIS SOYEZ PRUDENTS)

107. D’après les données,
Oakland Hills est un foyer de criminalité.
http://www.flickr.com/photos/oaklandlocal/6060462047

109. BE SUBVERSIVE
SOYEZ SUBVERSIF

110. http://www.flickr.com/photos/bootbearwdc/1243690099/

111. Conclusions.

112. “A subjective degree of belief should
rationally change to account for evidence.”
(AKA Bayes’ Theorem.)
“Une croyance subjective doit être modifiée
rationnellement pour tenir compte des
nouvelles preuves.”

113. Pic by Twodolla on Flickr. http://www.flickr.com/photos/twodolla/3168857844

114. ARCHIMEDES
SE BAIGNAIT
AUPARAVANT

115. Autrefois, le leader persuadait les
autres d’agir quand les données
manquaient.
Once, a leader convinced others to
act in the absence of information.

116. Aujourd’hui, le leader c’est celui
qui sait quelles questions poser.
Today, the leader is the person who
knows what questions to ask.

117. Alistair Croll
acroll@gmail.com
@acroll
Ben Yoskovitz
byosko@gmail.com
@byosko