Apresentação feita no Intercon 2011 sobre planejamento e implementação de testes A/B e Multivariáveis - @anadalin e @caiotozzini

1. !"#$%&#$'()%)*+!"%+%$,#$'()
!"#!"#$%&'$"$()*!+,%-+.,"+#$
#-./012)$0-03/1) 50/2),266/1/)
4010-03/1) 470/28266/1/)
) )
/010230$40$#"56$'+$0$7-5$8$9:7;011<$ /010230$40$%30249C023>$0$(E319B=F$8$7=4=F31=$
=419=2>?2=4=@92A9:B;011<?B>C?D1$ B=9>AB=4=F31=?B>C?D1$

2. 59",9:#)'%),%;,%;)

3. G>1$HI0$30F3=1J$
'01)#./<3=>)
+F1=@0@02F0$L1>S0FF>1$4=$Q)T"$
)29U01F93<6$B;0S0$40$IC$P1IL>$40$
L0FHI9F=$B;=C=4>$V0-=W>2=@93<X$2>$
(+!$(049=$*=D?$
;KLM&&02?N9O9L049=?>1P&N9O9&Q=2R%190@<$
'01)#./<3=)0?@?A)#.<)B<)/1)7218.23)2C)2D.)2B1)-<7/?/21?E))
;KLM&&NNN?304?B>C&3=@OF&4=2R=190@<R=FOFR=10RN0R92RB>231>@R>SR>I1R>N2R40B9F9>2F?;3C@$

4. G>1$HI0$30F3=1J$
'20FG2)-<)2.HG2?>)

5. G>1$HI0$30F3=1J$
'20FG2)-<)2.HG2?>)

6. G>1$HI0$30F3=1J$
#??/108D.0)-<).<I/?80>)

7. 5DZ0WU>M$%L102401$
V+$;=U0$2>3$S=9@04?$+YU0$ZIF3$S>I24$[6$N=<F$
3;=3$N>2Y3$N>1O?X$
!;>C=F$%?$"49F>2$

8. 5DZ0WU>M$%L102401$

9. (0@;>19=$92B10C023=@$
V)521I<.?G2)
b6]$
`6^]$
`6]$
[6^]$
]$7>2U01Fi>$
[6]$
6^]$
6]$
(gF$[$$ (gF$`$ (gF$b$ (gF$c$ (gF$^$ (gF$_$ (gF$d$ (gF$a$ (gF$h$ (gF$[$ (gF$[[$ (gF$[`$
*17.<J<182) #7DJD30-2)
+K?)L) ]$ ]$
+K?)M) ^]$ ^]$
+K?)N) ^]$ []$
ea]$f$$
+K?)O) ^]$ [_]$
+K?)P) ^]$ ``]$
+K?)Q) ^]$ `a]$
+K?)R) ^]$ bc]$
+K?)S) ^]$ c[]$
+K?)T) ^]$ ca]$
+K?)U) ^]$ ^^]$
+K?)ML) ^]$ _b]$
+K?)MM) ^]$ d[]$
+K?)MN) ^]$ TLV)

10. G>302B9=@M$
c]$$ ^]$$
e`^]$f$$
G>1$HI0$2i>$92U0FW1$30CL>$29FF>J$$

11. G>2302B9=@M$
+W8./70>) X0./0FG2)
:%5%*,#YYYY)
!=j=$40$-0Z09ki>M$ Z[)NLPLLLLALL)]2.)JK?)
:$bb]$
!=j=$40$7>2U01Fi>M$ e$^]$

12. 7>C>$B>C0k=1J$
! #9CL@0F$ GlP92=$%$ ,F$ GlP92=$'$
$
$
$
! %@3>$9CL=B3>$

13. 7>L9=1$2i>$10F>@U0M$

14. 7>L9=1$2i>$10F>@U0M$
,024=F$20B0FFl19=F$L=1=$B=4=$10U90NM$[?b$
-0U90NF$20B0FFl19>F$L=1=$92mI02B9=1$=F$U024=FM$`$
,024=F$20B0FFl19=F$L=1=$=L>9=1$=F$U024=FM$`_?$
,9F93=230F$20B0FFl19>F$L=1=$=L>9=1$=$U024=$B>C$IC=$
B>2U01Fi>$40$`]M$$$[?b?$
n>230M$o=104$#L>>@$

15. !9L>F$40$!0F30FM$
%&'&p$ (I@WU=19lU09F$
$ $
• !1lS0P>$D=9j>$ • %C>F31=$/1=240$
• !=j=$40$B>2U01Fi>$ • ,=19lU09F$HI0$
'=9j=$ L>40C$301$
92301=ki>$02310$0@=F$
• 7>2B093>F$CI93>$
49S010230F$ • G=1=$10q2=1$
0@0C023>F$

16. ^(#;)!:_,*5#;)

17. G>1$>240$0I$B>C0k>J$
5240 J $
1$HI 0J$
G>
;KLM&&NNN?m9BO1?B>C&L;>3>F&C=1B>D0@@IBB9&b^bc^[_c^a&$

18. 5240J$
GlP92=F$VU=@9>F=Fr$

19. 5240J$
G192B9L=9F$l10=F$40$L014=F$40$B>2U01Fs0F$0&>I$3=j=$40$10Z09ki>$

20. 5240J$
G1tj9C>$u$LlP92=$40$B>2U01Fi>$
v>C0$
7=30P>19=$
G1>4I3>$
7=1192;>$40$
7>CL1=$
7>2U01Fi>$$

21. G>1$HI0J$
yI=9F$=F$4xU94=F$C=9F$S10HI0230FJ$
• w0D$%2=@<WBF$
• %30249C023>$=>$B@90230$
• "C=9@F$40$4xU94=F$
• 'IFB=$923012=$
• n004D=BO$40$B@90230F$
• yI0FW>2l19>F$>2F930$
• nI2B9>2l19>F$40$>I31=F$l10=F$
$
$

22. 7>2B093>FM$
,=19lU09FM$ E$IC$=319DI3>$J<1?D.`I<3)aD<)b]/70J<18<)I0./0)02310$9249Uz4I>F?$
,=19=ks0FM$ !2??/d/3/-0-<?$HI0$IC=$U=19lU0@$L>40$=L10F023=1?$
v9Lt30F0FM$ S>1CI@=ki>$L1>U9Ft19=6$B>C$92302ks0F$40$F01$
L>F3019>1C0230$40C>2F31=4=$>I$U019qB=4=6$B>2FW3I924>$
IC=$?D]2?/FG2)0-J/??cI<3)

23. 7>2B093>FM$
e/]f8<?<) X0./`I</?) X0./0FG2)
• '>3i>$L0HI02>${B>231>@0|$
'>3i>$C=9>1$B>2U0130$
'>3i>$ • '>3i>$(E49>$
C0@;>1$HI0$C02>1?$
• '>3i>$/1=240$
• '>3i>$,0140$0$/1=240$
'>3i>$U0140$0$P1=240$ • '>3i>$,0140$0$G0HI02>$
B>2U0130$C0@;>1$HI0$ '>3i>$ • '>3i>$,01C0@;>$0$
U01C0@;>$0$L0HI02>$ G0HI02>$
• '>3i>$,01C0@;>$0$/1=240$
!0j3>$S>B=24>$D020}B9>F$ • 7=4=F310:F0~$$SlB9@$0$
B>2U0130$C0@;>1$HI0$30j3>$ 1lL94>~$
!0j3>$
S>B=4>$2=$S=B9@94=40$2>$ • 7=4=F310:F0$0$302;=$
L1>B0FF>$40$92FB19ki>$ =B0FF>$=>$C0@;>1ÄÄ$

24. !>C=4=$40$Q0B9Fi>M$

25. !>C=4=$40$Q0B9Fi>M$

26. !>C=4=$40$Q0B9Fi>M$

27. !>C=4=$40$Q0B9Fi>M$

28. !>C=4=$40$Q0B9Fi>M$

29. 5$yI0$L>40$F01$30F3=4>J$

30. 7=@@$3>$%BW>2$

31. -0U90NF$0$%U=@9=ks0FM$

32. pxC01>F$0$"F3=ÅFWB=FM$

33. #0PC023=ki>$40$)FIl19>FM$

34. 7>2q=2k=$0$71049D9@94=40$

35. n>1CI@l19>F$40$7=4=F31>M$
%L02=F$[$L=FF>$ ,l19>F$L=FF>F$
C=9F$BI13>F$
5)$

36. (>F310$>$B=C92;>M$

37. 5240$>$IFIl19>$0F3lM$

38. "F31I3I1=$4=$LlP92=M$
• !=C=2;>$0$@>B=@9Ç=ki>$40$S>1CI@l19>F$0$B=@@$3>$=BW>2$
$
$
• !=C=2;>$0$B>230x4>$4>$;0=401$
• !=C=2;>$0$B>230x4>$4>$S>>301$
• G>F9ki>$0$3=C=2;>$40$FzCD>@>F$40$F0PI1=2k=$0$B>2q=D9@94=40$
$
• G>F9ki>$4>F$0@0C023>F$4=$LlP92=$
$
$

39. *+!"%+%$,#gh(>))
,%;,%)#i^)

40. +29B9=24>$IC$30F30$

41. 7;0BO$*9F3$

42. +402WqB=24>$>$!0F30$

43. 7>2qPI1=24>$!0F30$%&'$

44. %2=3>C9=$4>F$7t49P>F$
;7./]8)-<)5218.23<$
"FB>@;0$HI=@$U01Fi>$>$IFIl19>$91l$U01$
;7./]8)-<)#72J]01j0J<182$
/1=U=$HI=24>$>$IFIl19>$U9I$=$LlP92=$
;7./]8)-<)521I<.?G2$
(040$=F$B>2U01Fs0F$L=1=$>F$30F30F$

45. 5240$92F3=@=1$=F$!=PFJ$
!"#$%&'()$#$%&*' !"#$%&'+,'-,./,$ 01%2,).31'
$ $ $
É;3C@Ñ$ É;3C@Ñ$ É;3C@Ñ$
$É;0=4Ñ$ $É;0=4Ñ$ $É;0=4Ñ$
$ $Ä$ $Ä$
$Ä$ $É&;0=4Ñ$ $É&;0=4Ñ$
$É&;0=4Ñ$ $ $
$ $ÉD>4<Ñ$ $ÉD>4<Ñ$
$ÉD>4<Ñ$ $Ä$ $Ä$
$Ä$ $ $
$$ $É&D>4<Ñ$ $É&D>4<Ñ$
$É&D>4<Ñ$ É&;3C@Ñ$ É&;3C@Ñ$
É&;3C@Ñ$
45)$6/'+,' 45)$6/'+,'
45)$6/'+,'01%/)1*,'
75186&%9&8,%/1' 01%2,).31'

46. *+!"%+%$,#gh(>))
,%;,%)+9",*X#:*#'()

47. p>U=$0jL019g2B9=$CI@WU=19=4=$

48. +402WqB=1$LlP92=F$40$0jL019g2B9=$

49. (=1B=1$GlP92=F$

50. (=1B=1$GlP92=F$

51. %2=3>C9=$4>F$7t49P>F$
;7./]8)-<)#72J]01j0J<182$
/1=U=$HI=24>$>$IFIl19>$U9I$=$LlP92=$
;7./]8)]0.0)J0.70.);<??k<?)
+2S>1C=$=>$/w5$HI0$=10=F$30F3=1)
;7./]8)-<)521I<.?G2$
(040$=F$B>2U01Fs0F$L=1=$>F$30F30F$

52. 5240$92F3=@=1$=F$!=PFJ$
!"#$%&'+,'-,./,' 01%2,).31'
$ $
É;3C@Ñ$ É;3C@Ñ$
$É;0=4Ñ$ $É;0=4Ñ$
$ $Ä$
$Ä$ $É&;0=4Ñ$
$É&;0=4Ñ$ $
$ $ÉD>4<Ñ$
$ÉD>4<Ñ$ $Ä$
$Ä$ $
$$ $É&D>4<Ñ$
$:;-<='>7'7?@7'7'4@?'-@4-7>7A' É&;3C@Ñ$
$$
$É&D>4<Ñ$
É&;3C@Ñ$
45)$6/'6&)&'<&)5&)' 45)$6/'+,'
45)$6/'+,'01%/)1*,'
4,..B,.' 01%2,).31'

53. +CL@0C023=ki>$4>$7t49P>$
!
"#$%!)1+C/1',8'!)181D31"&#$%!
"#'%@*,/)E%$51."&#'%!
!
"()*!+,-./012130-4524678*9%!
!
"#:%-F'=0>'GH'0(<'0(IF@?4(?'>JKJ-7="&#:%!

54. +CL@0C023=ki>$4>$7t49P>$
!
"+,-(82%;2)<3+4,=15>9L/C*1?@"&+,-(82%!
"#$%!)1+C/1',8'!)181D31"&#$%! #0FFi>M$b8D32)
"&51+,-(82%!
!
"#'%@*,/)E%$51."&#'%!
!
"+,-(82%;2)<3+4,=15>9M1/1?@"&+,-(82%!
"()*!+,-./012130-4524678*9%!
"&51+,-(82%! #0FFi>M$C282)
!
"#:%-F'=0>'GH'0(<'0(IF@?4(?'>JKJ-7="&#:%!

55. 719=1$U=19=ks0F$

56. 719=1$U=19=ks0F$

57. -0U9F=1$0$*=2k=1~$

58. ,=@0$=$L02=$B>2S0191~$
)
• *J]3<J<180FG2)<J)7218<l-2)-/1mJ/72)
;KLM&&P>>?P@&a[#G$$
)))
• n0F0)8<?8<?)72J)73D?8<.?)<?]<7co72?)
;KLM&&NNN?D3DIBO03F?B>C$$
• ,<?8<)"01-/1H)!0H<?)?<J)1<7<??/80.)-0),*)
;KLM&&NNN?9>292301=BWU0?B>C&@9U0D=@@:C=1O0W2P:F>ÖN=10&$
)

59. :%"#,p:*(;)

60. -0@=3t19>F$8$!0F30$%&'$
(0@;>19=$5DF01U=4=$
yI=2W4=40$40$U=19=ks0F$ 7;=2B0$40$,02B01$=$519P92=@$
p>C0$4=F$,=19=ks0F$ !=j=$40$7>2U01Fi>$
7>2U01Fs0F$
/1lqB>$40$+2301U=@>$40$7>2q=2k=$

61. -0@=3t19>F$8$!0F30$(I@WU=19lU0@$

62. -0@=3t19>F$8$!0F30$(I@WU=19lU0@$
/1=I$40$92mIg2B9=$40$B=4=$
0@0C023>$2=$B>2U01Fi>$

63. yI=24>$=B=D=J$
'/70q)%?bJ<)0)-D.0FG2)-2)8<?8<q)
;KLM&&P>>?P@&ÜShyw$$

64. 5#;%;)

65. 7=F0$[M$,01Fi>$%$

66. 7=F0$[M$,01Fi>$'$

67. 7=F0$[$
,0r0)-<)521I<.?G2>)NQAOV) ,0r0)-<)521I<.?G2>)PSATV)
#DJ<182)-<)TUVq)
n>230M$NNN?=D30F3F?B>C$

68. 7=F0$`M$,01Fi>$%$

69. 7=F0$`M$,01Fi>$'$

70. 7=F0$`$
,0r0)-<)521I<.?G2>)MLATV) ,0r0)-<)521I<.?G2>)TV)
N.&O$*$+&+,'%31'P'C8&'5$Q%5$&',R&/&S'
<C+&%+1'&'M1/1'91C2,'C8&'8,*91)&'+,'GTU'%&'-&R&'+,'01%2,).31'S'
n>230M$NNN?=D30F3F?B>C$

71. 7=F0$bM$,01Fi>$%$

72. 7=F0$bM$,01Fi>$'$

73. 7=F0$b$
-)15&'+&'M1/1'&C8,%/1C'VWXYU'1.'*,&+.'
n>230M$NNN?=D30F3F?B>C$

74. 7=F0$4=$,94=$-0=@$

75. 7=F0$4=$,94=$-0=@$

76. 7=F0$4=$,94=$-0=@$

77. (^:*s#'(q)
#-./012)$0-03/1) 50/2),266/1/)
/010230$40$#"56$'+$0$7-5$8$9:7;011<$ /010230$40$%30249C023>$0$(E319B=F$8$7=4=F31=$
=419=2>?2=4=@92A9:B;011<?B>C?D1$ B=9>AB=4=F31=?B>C?D1$
4010-03/1) 470/28266/1/)