Successfully reported this slideshow.

From site to networked engagement (Keynote)

0

Share

1 of 44
1 of 44

From site to networked engagement (Keynote)

0

Share

Download to read offline

Keynote presentation at the PATCH workshop at UMAP, held in Montreal, July 2012.

In the online world, user engagement refers to the quality of the user experience that emphasizes the positive aspects of the interaction with technology and, in particular, the phenomena associated with wanting to use that technology longer and frequently. This definition is motivated by the observation that successful technologies are not just used, but they are engaged with.

The standard approach to evaluate engagement with a service is by measuring engagement metrics of each service separately. However, little is known about the influence and effect of a network of services with respect to the quality of the user experience.

My research aims to address this problem by combining techniques from web analytics, complex network analytics, and existing works on user engagement.

This talk comprises three parts:
(1) I will give an introduction to user engagement, represent its characteristics as identified in the research and analytic literature and discuss the challenges associated with measuring user engagement.
(2) I will reveal similarities and differences in user engagement depending on the considered web services that allow for a better representation of how users engage.
(3) I will describe recent data-driven approaches looking at user engagement through the development of new measures that capture engagement across different web services.

This work was done in collaboration with Mounia Lalmas, and Elad Yom-Tov and Georges Dupret,

Keynote presentation at the PATCH workshop at UMAP, held in Montreal, July 2012.

In the online world, user engagement refers to the quality of the user experience that emphasizes the positive aspects of the interaction with technology and, in particular, the phenomena associated with wanting to use that technology longer and frequently. This definition is motivated by the observation that successful technologies are not just used, but they are engaged with.

The standard approach to evaluate engagement with a service is by measuring engagement metrics of each service separately. However, little is known about the influence and effect of a network of services with respect to the quality of the user experience.

My research aims to address this problem by combining techniques from web analytics, complex network analytics, and existing works on user engagement.

This talk comprises three parts:
(1) I will give an introduction to user engagement, represent its characteristics as identified in the research and analytic literature and discuss the challenges associated with measuring user engagement.
(2) I will reveal similarities and differences in user engagement depending on the considered web services that allow for a better representation of how users engage.
(3) I will describe recent data-driven approaches looking at user engagement through the development of new measures that capture engagement across different web services.

This work was done in collaboration with Mounia Lalmas, and Elad Yom-Tov and Georges Dupret,

More Related Content

Related Books

Free with a 14 day trial from Scribd

See all

From site to networked engagement (Keynote)

  1. 1. !"#$%$&'$()"##& !"#$%&&'(%)'*%"#+,-./# 0%1",'#2'&3'45#6,$')7%#8'9:';<'-945## =&'7#<%3;>%?5#@9%)A9#B1C)9-#
  2. 2. !"  #$%&'()'*)+,'+-.%.+/+-&0' !"  #$%&$'%() *"  +,-.%,/',0)12/34&5) ?'0@35)4,);A)BCDEFG) 6"  7%25.&%8%,35) 1"  2-.%.+/+-&'*-3+,'&$+'/(4,5)456+' !"  9':%&%,/%5);%3(%%,)5'3%5) *"  74<%=5)41)%,020%8%,3) 7"  8,5/')(&+'&5'-+&95,:'+-.%.+/+-&' !"  74>$2>4,) *"  94(,53&%28)%,020%8%,3)
  3. 3. !H*I6JKE!);A)8%202,82L%5) ;)+,'2-.%.+/+-&' M.NN(4&<O)4&)2)&.=%)) 34)='$%);AP)
  4. 4. *("+&,-&.-$/&$#0"0$)$#+1& •  Q5%&)%,020%8%,3)'5)2)<*%=(&>'5?'*)+,'+@6+,(+-4+'3@23)%8R@25'N%5)3@%))))))))))))))))))))))))) R45'>$%)25R%/35)41)',3%&2/>4,)S)',)R2&>/.=2&)3@%)12/3)41);%',0)/2R>$23%<)))))))))))))))))))) ;A)3@%)3%/@,4=40A")) •  A-B&$+B/5/+-&'+-.%.+/+-&T)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))) Q5%&5)532A)4,)2)(%;)5'3%)4$%&)2)=4,0)>8%) A,$4=$%8%,3) A,3%&2/>4,) •  C5-.B&+,/B+-.%.+/+-&T))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))) Q5%&5)/48%);2/L)1&%U.%,3=A)2,<)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))) 4$%&)2)=4,0I3%&8) A,>82/A) A,-.%,/%) >.9#D%1)#!E4#%D#="A'A939"-#FGH# FGH#8),'"#I'?9"5#J%))94-9)#6949')$./#0')K9*"AE4#L9+#M9N#09-),$/#="A'A939"-5#0')K9*"A#29'79)4.,C#O)%D944,%"'&45#P1A14-#QRRS# B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) V)
  5. 5. 2.33$--4.5&+$3(#6560,$-&"/$&#6+&7.-+&.-$89&+($:&"/$&$#0"0$8&;,+(<& .5%&)?++=(-.)T)@2RRAO)52<O) .5%&)/+-&%=')&%&+)T)/4,/%,3&23%<O) .5%&)(-&+,%4D5-)T)/='/LO)&%2<O) %Y/'3%<O);4&%<O)Z) /@2==%,0%<O)=453O)',3%&%53%<)Z) /488%,3O)&%/488%,<O);.AO)Z) [@%)%84>4,2=O)/40,'>$%)2,<4&);%@2$'4.&2=)/4,,%/>4,)) 3@23)%Y'535O)23)2,A)R4',3)',)>8%)2,<)4$%&)>8%O);%3(%%,)2)) .5%&)2,<)2)3%/@,4=40'/2=)&%54.&/%") TU#PV,9&75#@U#M':',5#0U#2'&3'4#'"7#8U#O,+%+')4K,U#>%+')74#'#4$,9"$9#%D#149)#9"A'A939"-#FO%4,*%"#O'C9)H5## WTB0#W%)K4.%C#%"#X49)#0%79&&,"A#D%)#W9(#PCC&,$'*%"45#QRGGU# B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) K)
  6. 6. M%2.>1.=)92A);A)BCDEFG) ;)+,'2-.%.+/+-&' ]@23)2&%)3@%)))))) ',-.%,/',0)12/34&5P)
  7. 7. ]4.=<)2).5%&)%,020%)('3@)3@'5)(%;)5'3%P) ((("/@%53%&34.&'53"/48# B2,%X%)?%@82,,) &5*,()&'(-?5,/%D5-' ^%3(4&L%<)Q5%&)_,020%8%,3)
  8. 8. ]4.=<)2).5%&)%,020%)('3@)3@'5)(%;)5'3%P) ((("/@'R3.,%"/48# B2,%X%)?%@82,,) /*)(4',+65)(&5,>' ^%3(4&L%<)Q5%&)_,020%8%,3)
  9. 9. ]4.=<)2).5%&)%,020%)('3@)3@'5)(%;)5'3%P) ((("4,%>,A@2,<"/48# B2,%X%)?%@82,,) 6(4&*,+'45==+4D5-' ^%3(4&L%<)Q5%&)_,020%8%,3)
  10. 10. ]4.=<)2).5%&)%,020%)('3@)3@%5%)(%;)5'3%5P) ((("12/%;44L"/48)# ((("53.<'$N"<%# B2,%X%)?%@82,,) )54(%='/+3(%' ^%3(4&L%<)Q5%&)_,020%8%,3)
  11. 11. `'3%)/@2&2/3%&'5>/5) !  `'3%)/@2&2/3%&'5>/5)4:%&)3@%);25'5)34) F(&+' ;)+,' E5-&+@&' ',/&%25%)%,020%8%,3) g 9%5'0,) g 9%840&2R@'/5) g [&%,<5) g C4,3%,3) g `4/'2=) g F(2&%,%55) g h.,/>4,2='3A) %,$'&4,8%,3) g ^4$%=3A) g M&2,<',0) a253)<'5/4$%&'%5T) "  +8R4&32,/%)41)5'3%)1%23.&%5)<%R%,<5) 4,)3@%)3AR%)41)5%&$'/%)b*c) G*%=(&>'%H,(I*&+)' "  +,-.%,/%)4,)U.2='3A)2X&';.3%5)/2,);%) F%53@%>/) Q5%&)%,020%8%,3) /4,3&2&A)b*c) `2>512/>4,) Q52;'='3A) "  [@%&%)2&%)&%=2>4,5@'R5);%3(%%,) Q5%1.=,%55) U.2='3A)2X&';.3%5)de2=4)_:%/3f)b!O*c) YGZ#LU#>)'$*"4KNU#W.'-#,4#(9'1*D1&#,4#14'(&9U#!"-9)'$*"A#+,-.#[%3C1-9)45#QRRRU# YQZ#U#I')-3'""#9-#'&U#>%+')74#'#-.9%)N#%D#149)#]17A39"-#%D#'94-.9*$4#'"7#149)#,"-9)D'$9#^1'&,-NU#>_[I!5#QRR`U# B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) !!)
  12. 12. =%i);A))b)%8;&)c)) ;)+,'2-.%.+/+-&' e4()34) 8%25.&%)'3P)
  13. 13. F+=?B,+65,&+3' +-.%.+/+-&' -.@7$3>?$& ))j.%5>4,,2'&%O) ',3%&$'%(O)&%R4&3O) R&4<./3)&%2/>4,)/2&<5) ;)+,')&*3>'J=%IK5-=(-+L' )6-+5:&=."5,+">?$& B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) !6)
  14. 14. F+=?B,+65,&+3' E5.-(DM+' +-.%.+/+-&' +-.%.+/+-&' -.@7$3>?$& 6@7$3>?$' [25LI;25%<)8%3@4<5) d%"0")>8%)5R%,3O)14==4() 4,)325Lf) ))j.%5>4,,2'&%O) ',3%&$'%(O)&%R4&3O) ^%.&4=40'/2=)d%"0")__kf) R&4<./3)&%2/>4,)/2&<5) a@A5'4=40'/2=)d%"0")%A%) 3&2/L',0O)12/'2=) %YR&%55'4,f) ;)+,')&*3>'J=%IK5-=(-+L' ;)+,')&*3>'J=%IK5-=(-+A& )6-+5:&=."5,+">?$& )6-+5:&=."#>+">?$9&& -3"5"@,5,+:&"#&,--.$1& B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) !V)
  15. 15. F+=?B,+65,&+3' E5.-(DM+' A-&+,%4D5-' +-.%.+/+-&' +-.%.+/+-&' +-.%.+/+-&' -.@7$3>?$& 6@7$3>?$' 6@7$3>?$' [25LI;25%<)8%3@4<5) d%"0")>8%)5R%,3O)14==4() 4,)325Lf) ]%;)2,2=A>/5)E) ))j.%5>4,,2'&%O) l<232)5/'%,/%m)d%"0") ',3%&$'%(O)&%R4&3O) ^%.&4=40'/2=)d%"0")__kf) R&4<./3)&%2/>4,)/2&<5) C[nO);4.,/%)&23%O) <(%==)>8%f) a@A5'4=40'/2=)d%"0")%A%) 3&2/L',0O)12/'2=) %YR&%55'4,f) ;)+,')&*3>'J=%IK5-=(-+L' ;)+,')&*3>'J=%IK5-=(-+A& N%&%')&*3>' )6-+5:&=."5,+">?$& )6-+5:&=."#>+">?$9&& =."#>+">?$9&5"/0$&-3"5$& -3"5"@,5,+:&"#&,--.$1& B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) !K)
  16. 16. F+=?B,+65,&+3' E5.-(DM+' A-&+,%4D5-' +-.%.+/+-&' +-.%.+/+-&' +-.%.+/+-&' -.@7$3>?$& 6@7$3>?$' 6@7$3>?$' [25LI;25%<)8%3@4<5) d%"0")>8%)5R%,3O)14==4() 4,)325Lf) ]%;)2,2=A>/5)E) ))j.%5>4,,2'&%O) l<232)5/'%,/%m)d%"0") ',3%&$'%(O)&%R4&3O) ^%.&4=40'/2=)d%"0")__kf) R&4<./3)&%2/>4,)/2&<5) C[nO);4.,/%)&23%O) <(%==)>8%f) a@A5'4=40'/2=)d%"0")%A%) 3&2/L',0O)12/'2=) %YR&%55'4,f) ;)+,')&*3>'J=%IK5-=(-+L' ;)+,')&*3>'J=%IK5-=(-+A& N%&%')&*3>' )6-+5:&=."5,+">?$& )6-+5:&=."#>+">?$9&& =."#>+">?$9&5"/0$&-3"5$& -3"5"@,5,+:&"#&,--.$1& B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) !J)
  17. 17. 92,;42&<)04%5)14&)2)(2=L""");A)0(22&)) ;)+,'2-.%.+/+-&' _$2=.2>4,);25%<)4,) ',3%&2/>4,)<232")
  18. 18. •  E=(4:BN+6&$'A-3+@T)a20%)$'%(5) •  O+4+-4>'A-3+@P)n23%)23)(@'/@).5%&5)&%3.&,)4$%&)>8%) •  N*,%D5-'A-3+@P)['8%)5R%,3) •  Q,%-3'A-3+@P)FRR2&%,3)2(2&%,%55)41)3@%).5%&)41)3@%);&2,<O)5'3%O)4&)R&4<./3)d5%2&/@) 3%&85f) •  8++3I%4:'A-3+@P)j.2='32>$%)',14&82>4,)',/=.<',0)R&4R%,5'3A)34)54='/'3)2<<'>4,2=) ',14&82>4,)4&)5.RR=A)<'&%/3)1%%<;2/L) •  A-&+,%4D5-'A-3+@P)Q5%&)',3%&2/>4,)('3@)5'3%)4&)R&4<./3)d/='/LO).R=42<O)3&2,52/>4,f) •  C5>%=&>'A-3+@P)?%$%=)41)=4,0I3%&8)',3%&2/>4,)3@%).5%&)@25)('3@)3@%)5'3%)4&)R&4<./3) d1&%U.%,/Af) •  F*I)4,(6D5-'A-3+@P)?%$%=)41)/4,3%,3)5.;5/&'R>4,5) " (C + R + D + L + B + F + I + S ) i i i i i i i i Visitor O9-9)4%"#'"7#['))'(,4U#09'41),"A#-.9#,339'41)'(&9/#?,4,-%)#9"A'A939"-5#W9(P"'&N*$4B93N4*a975#T9C-93(9)#QRR`## B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) !H)
  19. 19. 'R$+,+'%,+'45,,+=%D5-)'I+&9++-'+-.%.+/+-&'/+&,(4)0' B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) !o)
  20. 20. S56*=%,(&>' qQ5%&5) ^.8;%&)41)<'5>,/3).5%&5) qr'5'35) ^.8;%&)41)$'5'35) qC='/L5) ^.8;%&)41)/='/L5) T4DM(&>' C='/L9%R3@) F$%&20%),.8;%&)41)R20%)$'%(5)R%&)$'5'3") 9(%==['8%F) F$%&20%)>8%)R%&)$'5'3) C5>%=&>' F/>$%92A5) ^.8;%&)41)<2A5)2).5%&)$'5'3%<)3@%)5'3%) n%3.&,n23%) ^.8;%&)41)>8%5)2).5%&)$'5'3%<)3@%)5'3%) 9(%==['8%?) F$%&20%)>8%)2).5%&)5R%,<)4,)3@%)5'3%") B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) *p)
  21. 21. #Clicks GU  !"-9)'$*%"#7'-'5#Q0#149)45#1&N# 15 QRGG5#Sb#XT#4,-94# Popularity QU  O',);+,49#39-),$4#$%))9&'*%"4# 10 #Visits Count 14,"A#M9"7'&&#-'1#)'"K# $%))9&'*%"#FcH# 5 bU  c,"-)'#d#RUeG5#c,"-9)#d#RUQb# #Users 0 -1 -0.5 0 0.5 1 Value ActiveDays Loyalty ReturnRate DwellTimeL DwellTimeA U(.$'45,,+=%D5-)'9(&$(-'' ClickDepth Activity /+&,(4'.,5*6)V'' =+))'45,,+=%D5-)'I+&9++-"' ClickDepth DwellTimeA DwellTimeL ReturnRate ActiveDays #Users #Visits #Clicks Activity Loyalty Popularity B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) *!)
  22. 22. _$%&A3@',0)'5)5L23%2;=%"");A)FstuV) F(&+)'3(W+,' _,020%8%,3).,<%&)3@%) 8'/&45/4R%")
  23. 23. X%/+)' F+%,4$' Q5%&5)5R%,<)8./@) Q5%&5)/48%) >8%)R%&)$'5'3) 1&%U.%,3=A)2,<)<4) ,43)532A)=4,0) F54(%='/+3(%' F6+4(%=' Q5%&5)/48%) Q5%&5)/48%)',) 1&%U.%,3=A)2,<) 2$%&20%)4,=A)4,%) 532A)=4,0) >8%) F+,M(4+' Y+9)' Q5%&5)$'5'3)5'3%O)'1) Q5%&5)/48%) &%U.'&%<) R%&'4<'/2==A) !4#,-#C%44,(&9#-%#3%79&#-.949#$.')'$-9),4*$4f& B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) *6)
  24. 24. X+-+,%='Z['/53+=)' popularity loyalty [#Users] [ReturnRate] •  a4R.=2&'3AO)2/>$'3A)2,<)=4A2=3A)2&%)',<%R%,<%,3) 1&48)%2/@)43@%&) •  a4R.=2&'3A)2,<)=4A2=3A)2&%)',-.%,/%<);A)%Y3%&,2=) 2,<)',3%&,2=)12/34&5)) activity activity [ClickDepth] [DwellTimeA] "  %"0")1&%U.%,/A)41)R.;='5@',0),%()',14&82>4,O) %$%,35O)R%&54,2=)',3%&%535) •  F/>$'3A)<%R%,<5)4,)3@%)53&./3.&%)41)3@%)5'3%) popularity activity activity loyalty ,"-9)94-;4C9$,a$# [ClickDepth] [DwellTimeA] model mg6 -- C9),%7,$# model mg5 model mg4 -- -- ++ 397,'# model mg3 model mg2 -- ++ ++ -- model mg1 ++ 9;$%339)$95# average ++ high - - low $%"aA1)'*%"# B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) *V)
  25. 25. ]53+=)'5?'+-.%.+/+-&' •  ]%)/4.=<)<%3%/3)84<%=5)3@23)<%5/&';%)5'3%5)('3@)<':%&%,3)%,020%8%,3) /@2&2/3%&'5>/5) •  [@%5%)84<%=5)<%R%,<)2=54)4,).5%&5)2,<)>8%) •  Q5%&)%,020%8%,3)'5)/48R=%Y)2,<)532,<2&<)8%3&'/5)/2R3.&%)4,=A)2)R2&3)41)'3) Y+@&' •  +,3%&2/>4,);%3(%%,)84<%=5)2,<)5'3%5) •  ?2&0%)5/2=%)2,2=A5'5)34);.'=<)2)32Y4,48A)41)84<%=5)41).5%&)%,020%8%,3) •  Q5%&)<%840&2R@'/5O)>8%)41)3@%)<2AO)0%4I=4/2>4,O)%3/) B2,%X%)?%@82,,) 9%W,'>4,O)/@2&2/3%&'5>/5)2,<)8%25.&%8%,35) *K)
  26. 26. 92,;42&<);A)5 ,<Av) 8,5/')(&+'&5'-+&95,:' +-.%.+/+-&' ?44L',0);%A4,<)3@%)))))) 4(,),45%G)
  27. 27. •  ?2&0%)4,=',%)R&4$'<%&5)dF#?O)k440=%O)w2@44GO)%3/"f)4:%&),43)4,%)5%&$'/%O);.3)2) ,%3(4&L)41)5%&$'/%5) •  _2/@)5%&$'/%)'5).5.2==A)4R>8'N%<)',<'$'<.2==AO)('3@)548%)%:4&3)34)<'&%/3).5%&5) ;%3(%%,)3@%8) "  `.//%55)41)2)5%&$'/%)<%R%,<5)4,)'35%=1O);.3)2=54)4,)@4()'3)'5)&%2/@%<)1&48)43@%&) 5%&$'/%5) B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) *u)
  28. 28. •  ?2&0%)4,=',%)R&4$'<%&5)dF#?O)k440=%O)w2@44GO)%3/"f)4:%&),43)4,%)5%&$'/%O);.3)2) ,%3(4&L)41)5%&$'/%5) •  _2/@)5%&$'/%)'5).5.2==A)4R>8'N%<)',<'$'<.2==AO)('3@)548%)%:4&3)34)<'&%/3).5%&5) ;%3(%%,)3@%8) "  `.//%55)41)2)5%&$'/%)<%R%,<5)4,)'35%=1O);.3)2=54)4,)@4()'3)'5)&%2/@%<)1&48)43@%&) 5%&$'/%5) B$"-./,#0&.-$/&$#0"0$)$#+&& -(6.58&"336.#+&46/&.-$/&+/"C3&@$+;$$#&-,+$-<& B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) *H)
  29. 29. •  Q5%&5)5('3/@);%3(%%,)5'3%5)('3@',)4,%)4,=',%)5%55'4,)d%"0")%82'=',0O)&%2<',0) ,%(5O)5%2&/@O)54/'2=),%3(4&L',0f) "  F)5@4&3)$'5'3)<4%5),43)8%2,)=%55)%,020%8%,3) Y%M(.%D5-# M2/L) ?',L) #3@%&!) Q,59)+,'*)%.+'4$%-.+3' ?%55).520%)41)3@%);2/L);.X4,) ;.X4,) !ooK) 6K"ux) VK"ux) !H"Jx) !oou) 6!"ux) V6"Vx) *V"ox) *ppJ) !^"7_' V6"Kx) ^1"1_' _(9)7%)D#9-U#'&#YQbZ# GH  X4'A9#%D#-'(45#(%%K3')K45#-NC,"A#-.9#X62#7,)9$-&N5g# QH  .hC/ii1j3%?939"-U$%3i"'?,A'*%"i+.N;9j-9)"'&;&,"K4;4.%1&7;%C9";,";"9+;-'(4i# B2,%X%)?%@82,,) ^%3(4&L%<)Q5%&)_,020%8%,3) *o)
  30. 30. •  Q5%&5)5('3/@);%3(%%,)5'3%5)('3@',)4,%)4,=',%)5%55'4,)d%"0")%82'=',0O)&%2<',0) ,%(5O)5%2&/@O)54/'2=),%3(4&L',0f) "  F)5@4&3)$'5'3)<4%5),43)8%2,)=%55)%,020%8%,3) Y%M(.%D5-# Q,59)+,'*)%.+'4$%-.+3' 74&%)2,<)84&%).520%)41)32;5) M2/L) ?',L) #3@%&!) ;.X4,) !ooK) 6K"ux) VK"ux) !H"Jx) !oou) 6!"ux) V6"Vx) *V"ox) *ppJ) !^"7_' V6"Kx) ^1"1_' B1()%N#9-U#'&#YQkZ# _(9)7%)D#9-U#'&#YQbZ# ;`']5M+/+-&1P' 2@&+,-%='=(-:)'%W+4&'>5*,')(&+'%-3'*)+,)' ?',L5)3@23)32L%).5%&5)34)<':%&%,3)) (%;5'3%5)5@4.=<)4R%,)',),%()32;5") GH  X4'A9#%D#-'(45#(%%K3')K45#-NC,"A#-.9#X62#7,)9$-&N5g# QH  .hC/ii1j3%?939"-U$%3i"'?,A'*%"i+.N;9j-9)"'&;&,"K4;4.%1&7;%C9";,";"9+;-'(4i# B2,%X%)?%@82,,) ^%3(4&L%<)Q5%&)_,020%8%,3) 6p)
  31. 31. •  Q5%&5)5('3/@);%3(%%,)5'3%5)('3@',)4,%)4,=',%)5%55'4,)d%"0")%82'=',0O)&%2<',0) ,%(5O)5%2&/@O)54/'2=),%3(4&L',0f) "  F)5@4&3)$'5'3)<4%5),43)8%2,)=%55)%,020%8%,3) Y%M(.%D5-# M2/L) ?',L) #3@%&!) ;.X4,) !ooK) 6K"ux) VK"ux) !H"Jx) !oou) 6!"ux) V6"Vx) *V"ox) *ppJ) !^"7_' V6"Kx) ^1"1_' B$"-./,#0&.-$/&$#0"0$)$#+&& -(6.58&"336.#+&46/&6#5,#$&).5>D+"-E,#0<& B2,%X%)?%@82,,) ^%3(4&L%<)Q5%&)_,020%8%,3) 6!)
  32. 32. 92,;42&<y5)7%55A)e48%);A)7.==%,L%<@%'8) 8,5/')(&+'&5'-+&95,:' +-.%.+/+-&' 94(,53&%28))))) %,020%8%,3)
  33. 33. N59-)&,+%/'+-.%.+/+-&'?5,' )(&+'T' J_',+/%(-(-.')+))(5-'D/+L' `'3%)F) '3%5) 44G)5 )w2@ Q5%&)5%55'4,) B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) 66)
  34. 34. Hpx) •  r2&'%5)5'0,'W/2,3=A)2/&455)5'3%5) Jpx) •  _Y@';'35)<':%&%,3)<'53&';.>4,5) Vpx) 2//4&<',0)34)5'3%)3AR%) *px) px) •  +5),43)@'0@=A)/4&&%=23%<)('3@)43@%&) p"!*) p"!) %,020%8%,3)8%25.&%5)5./@)25)<(%==) p"pH) p"pJ) >8%) p"pV) p"p*) p) !x) !px) !ox) *Hx) 6ux) VJx) KJx) JKx) uVx) H6x) o*x) •  #R>8'N',0)<4(,53&%28)%,020%8%,3) ('==)@2$%)='X=%)%:%/3)4,).5%&) !Kp) %,020%8%,3)('3@',)3@23)5'3%) !pp) Kp) p) px) *px) Vpx) Jpx) Hpx) B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) 6V)
  35. 35. Web page style? Web page content? B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) 6K)
  36. 36. 2,+$&8"+"& F-$/&8"+"& •  `28R=%<)3@%)1&4,3)R20%)%$%&A)@4.&) •  w2@44G)344=;2&) •  [(4)3AR%5)41)2X&';.3%5)14&)%2/@)5'3%T) •  !o"V7)5%55'4,5O)z*JKOppp).5%&5) •  `3A='5>/5)d=2A4.3)2,<)53&./3.&%f) •  7%25.&',0)2$%&20%)<4(,53&%28) •  k%,%&2=)5./@)25)>8%)41)<2AO)<23%O) %,020%8%,3O)<(%==)>8%) (%%L<2A)4&),43) •  Q5%&)2,<)5'3%)<2325%35){4',%<O)5./@)3@23)14&)%2/@)5'3%)2,<)%2/@)<23%)2,<) >8%)/48;',2>4,)(%)@2$%T) •  2$%&20%)<4(,53&%28)%,020%8%,3) •  2$%&20%)<(%==)>8%) •  $%/34&)41)/4&&%5R4,<',0)53A=%)2X&';.3%5) •  Kp)R4R.=2&)d;A)R20%)$'%(5f)w2@44G)5'3%5) •  74,3@)41)72A)*p!!) B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) 6J)
  37. 37. G"0$&-+:5,->3-&"/$&"&0668&H/$8,3+6/&46/&86;#-+/$")&$#0"0$)$#+& •  94(,53&%28)%,020%8%,3)41)2),.8;%&)41)5'3%5)41),43)R2&>/.=2&)3AR%5)d84<%=5f)/4.=<),43);%)R&%<'/3%<) 1&48)3@%'&)53A='5>/5") ',#E-&"/$&,)H6/+"#+# •  ?',L)R=2/%8%,35)2,<),.8;%&)41)w2@44G)=',L5)/2,)',-.%,/%)<4(,53&%28) %,020%8%,3) •  ^43),%(O);.3)@%&%)5@4(,)34)@4=<)2=54)2/&455)5'3%5)) •  ?',L5)34),4,Iw2@44G)5'3%5)@2$%)2)R45'>$%)%:%/3)4,)<4(,53&%28)%,020%8%,3) •  a455';=A);%/2.5%)(@%,).5%&5)2&%)12/%<)('3@)2;.,<2,/%)41)4.35'<%)=',L5)3@%A)<%/'<%)34)14/.5)3@%'&) 2X%,>4,)4,)2)/%,3&2=)/4,3%,3)R&4$'<%&O)&23@%&)3@2,)$'5'>,0)8.=>3.<%)41)%Y3%&,2=)5'3%5) B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) 6u)
  38. 38. [@%)/4&&%=2>4,5);%3(%%,)3@%),.8;%&)41)$2&'4.5)=',L5)2,<)3@%)$2=.%5)41) <4(,53&%28)%,020%8%,3)2,<)<(%==)>8%) •  +B45//+,4+T) •  =',L5)@2$%)='X=%)%:%/3)4,) +B45//+,4+' -+9)' 95/+-B' <4(,53&%28)%,020%8%,3O);.3)@2$%) (-&+,+)&)' 4,)<(%==)>8%))) 94(,53&%28)%,020%8%,3) •  -+9)P' •  84&%),%(5)534&'%5)=%2<)34)84&%)>8%) `28%)5'3%) )p"p6) Ip"6!) Ip"*u) 5R%,3)4,),%(5)) #3@%&)wG)5'3%) Ip"po) )p"*p) )p"**) •  %Y3%&,2=)=',L5)<4),43)2:%/3) ^4,)wG)5'3%) Ip"!p) )p"pV) Ip"*K) <4(,53&%28)%,020%8%,3O);.3)2:%/3) 9(%==)>8%) <(%==)>8%) •  95/+-B(-&+,+)&)P'' `28%)5'3%) )p"K!) )p"uH) )p"H*) •  =',L5)34)43@%&)w2@44G)5'3%5)/2,)@%=R) #3@%&)wG)5'3%) Ip"J!) )p"6H) Ip"JH) ',/&%25%)%,020%8%,3O);.3)3@%A)82A) ^4,)wG)5'3%) Ip"K!) )p"pV) )p"Hp) <%/&%25%)<(%==)>8%) B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) 6H)
  39. 39. I6"5D-H$3,J3&?-<&@/6;-,#0& •  X5%=B)6+4(a4')+))(5-))2&%)3@45%)5%55'4,5)(@%&%).5%&5)@2$%)2)5R%/'W/)042=)',)8',<T)<4)%82'=O) &%2<),%(5O)/@%/L)hM) •  F$%&20%)<4(,53&%28)%,020%8%,3)',)042=I5R%/'W/)5%55'4,5)(25)p"!J)$5")p"*)14&)43@%&) 5%55'4,5") #$+-'*)+,)'35'-5&'$%M+')6+4(a4'.5%=)'(-'/(-3V'&$+>'/%>'I+'/5,+',+%3>''''''''''''''''''''' &5'%44+6&')*..+)D5-)'J+"."'/5,+'=(-:)L'?5,'%33(D5-%='I,59)(-."' GU  T944,%"4#+.9"#'-#&9'4-#lRm#%D#?,4,-97#4,-94#(9&%"A97#-%#-.9#a?9#3%4-#$%33%"#4,-94# FD%)#-.'-#149)H#+9)9#$&'44,a97#'4#A%'&;4C9$,a$# QU  @%'&;4C9$,a$#4944,%"4#'$$%1"-97#D%)#b`m#%D#4944,%"4U## bU  PCC)%j,3'-9&N#nQm#%D#149)4#.'7#4944,%"4#%D#(%-.#K,"74U# kU  P$$1)'$N#%D#C)97,$*"A#7%+"4-)9'3#9"A'A939"-#+'4#K<LM#D%)#A%'&;4C9$,a$# 4944,%"4#?4U#K<NO#D%)#%-.9)#4944,%"4U# B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) 6o)
  40. 40. •  Q5',0)4,%)8%3&'/)d<4(,53&%28)%,020%8%,3fO)(%)5@4(%<)3@23)3@%&%)'5)2) ,%3(4&L)%:%/3O)2,<)3@23)3@%),%3(4&L)%:%/3)/2,);%)',-.%,/%<") •  ]%)04)4,%)53%R)1.&3@%&)2,<)R&4R45%)2)8%3@4<4=40A)34)2//4.,3)14&)3@%) 3&2|/);%3(%%,)5'3%5)(@%,)8%25.&',0).5%&)%,020%8%,3)4,)2),%3(4&L)41) 5'3%5") 2-.%.+/+-&'-+&95,:)' •  7%3&'/5)1&48)/48R=%Y),%3(4&L5)2&%2)d,%3(4&LI=%$%=)2,<),4<%I=%$%=f) •  FRR='/2>4,)4,)u*H)w2@44G)5'3%5) B2,%X%)?%@82,,) h&48)5'3%)34),%3(4&L)%,020%8%,3) Vp)
  41. 41. B2,%X%)?%@82,, ) )'"9h9U29.3'""oA3jU79# ## # # # #+++U]'"9h9;&9.3'""U79# 74.,'2)?2=825 ) )3%1",'o'$3U%)A# n'/2&<4)M2%N2Iw23%5 ))(NoN'.%%;,"$U$%3# _=2<)w48I[4$ ) ) )9&'7N-oN'.%%U$%3# B2,%X%)?%@82,,) ^%3(4&L%<)Q5%&)_,020%8%,3) V!)
  42. 42. b!c)F")?")F<28'/")[@%)`82==)]4&=<)]%;")_C9?O)VV6SVK*O)!ooo") b*c)F"I?")M2&2;25'O)n")F=;%&3O)2,<)e")B%4,0")`/2=%I1&%%)/@2&2/3%&'5>/5)41)&2,<48),%3(4&L5T)[@%)34R4=40A)41)3@%)(4&=<I('<%)(%;")_=5%$'%&O)*ppp") b6c)[")M%2.$'520%")[@%)<A,28'/5)41)R%&54,2=)3%&&'34&'%5)4,)3@%)(%;")eAR%&3%Y3O)*ppo") bVc)?"I9")C23=%<0%O)2,<)B"I_")a'3L4(")C@2&2/3%&'N',0)M&4(5',0)`3&23%0'%5)',)3@%)]4&=<I]'<%)]%;")C48R.3%&)^%3(4&L5)2,<)+`9^)`A53%85O)!ooK") bKc)h")C@'%&'/@%}O)n")s.82&O)2,<)F")[48L',5")`34/@25>/)84<%=5)14&)32;;%<);&4(5',0")]]]O)*V!S*KpO)*p!p") bJc)F")C@8'%=O)s")s4(2=5L2O)2,<)B")F")e4!=A53")`/2=',0)41)@.82,);%@2$'4&)<.&',0)R4&32=);&4(5',0")a@A5")n%$")_O)HpTpJJ!**O)*ppo") buc)F")C4/L;.&,)2,<)M")7/L%,N'%")]@23)<4)(%;).5%&5)<4P)F,)%8R'&'/2=)2,2=A5'5)41)(%;).5%")B4.&,2=)41)e.82,IC48R.3%&)`3.<'%5O)*ppp") bHc)`")9'==)2,<)%3)2=")`%=1I5'8'=2&'3A)',)3@%)(%;")FC7)[&2,5")+,3%&,%3)[%/@,4="O)*pKS**6O)*pp*") boc)a")_&<4)~5O)F")n)%,A')#,)n2,<48)k&2R@5")+")a.;='/2>4,%5)723@%82>/2%")JT*opI*ouO)!oKo") b!pc)B")e.2,0O)n")]")]@'3%O)2,<)`")[")9.82'5")^4)/='/L5O),4)R&4;=%8T).5',0)/.&54&)84$%8%,35)34).,<%&532,<)2,<)'8R&4$%)5%2&/@")Ce+O)!**KS!*6VO)*p!!") b!!c)B")?%@82,,O)7")?2=825O)_")w48I[4$)2,<)k")9.R&%3")74<%=5)41)Q5%&)_,020%8%,3)Q7FaO)*p!*") b!*c)?")?'O)]")C@.O)B")?2,014&<O)2,<)Ä")]2,0)Q,;'25%<)#Å',%)_$2=.2>4,)41)C4,3%Y3.2=I;2,<'3I;25%<)^%(5)F&>/=%)n%/488%,<2>4,)F=04&'3@85)]`97O)*p!!") b!6c)7")n")7%'55O)h")7%,/N%&O)`")h4&3.,234O)F")h=288','O)2,<)F")r%5R'0,2,'")n2,L',0)(%;)5'3%5)('3@)&%2=).5%&)3&2|/")]`97O)*ppH") b!Vc)7")7%'55O)M")k4,/2=$%5O)B")n2825/4O)F")h=288','O)2,<)h")7%,/N%&")F0%,35O)M44L82&L5)2,<)C='/L5T)F)34R'/2=)84<%=)41)]%;),2$'02>4,")eAR%&3%Y3O)*p!p") b!Kc)7")_")B")^%(82,")[@%)53&./3.&%)2,<)1.,/>4,)41)/48R=%Y),%3(4&L5")`+F7)n%$'%(O)VKd*fT!JuS*KJO)*pp6") b!Jc)e")?")#ÇM&'%,)2,<)_")k")[485")]@23)'5).5%&)%,020%8%,3P)F)/4,/%R3.2=)1&28%(4&L)14&)<%W,',0).5%&)%,020%8%,3)('3@)3%/@,4=40A")BF`+`[O)*ppH") b!uc)_")[")a%3%&54,)2,<)B")C2&&2;'5")7%25.&',0)3@%)'88%25.&2;=%T)r'5'34&)%,020%8%,3")[%/@,'/2=)&%R4&3O)]%;)F,2=A>/5)9%8A5>W%<O)*ppH") b!Hc)]")n%$%==%")e'%&2&/@'/2=)C=.53%&)F,2=A5'5)2,<)3@%)+,3%&,2=)`3&./3.&%)41)[%535")!VTKuSuVO)!ouo") b!oc)7")r")`'8L',)2,<)r")a")n4A/@4(<@.&A")F)3@%4&A)41)(%;)3&2|/")_.&4R@A5")?%X"O)*ppH") b*pc)[")]")r2=%,3%O)s")C4&4,0%5O)C")?2L4,O)2,<)_")C453%,;2<%&)e4()C4&&%=23%<)F&%)^%3(4&L)C%,3&2='3A)7%25.&%5P)*Hd!fT!JS*JO)*ppH") b*!c)Ä")].O)s%w.O)2,<)Ä")]2,0")#,)3@%)0&4(3@)41)',3%&,%3)2RR='/2>4,)-4(5T)F)/48R=%Y),%3(4&L)R%&5R%/>$%")+^h#C#7")+___O)*p!!") b**c)9"IB")]2X5O)2,<)`"Ie")`3&4023N")C4==%/>$%)<A,28'/5)41)Ç582==I(4&=<Ç),%3(4&L5")^23.&%O)VVpSVV*O)!ooH") b*6c)a")9.;&4AO)2,<)n")M2=2L&'5@,2,")F)53.<A)41)32;;%<);&4(5',0)284,0)84N'==2)W&%14Y).5%&5")Ce+)y!pO)Ju6IJH*O)*p!p") b*Vc)e")#;%,<4&1O)e")]%',&%'/@O)_")e%&<%&O)2,<)7")72A%&")]%;)R20%)&%$'5'32>4,)&%$'5'3%<T)'8R='/2>4,5)41)2)=4,0I3%&8)/='/LI53&%28)53.<A)41);&4(5%&).520%")Ce+)y!pO)KouIJpJO)*ppu") B2,%X%)?%@82,,) ^%3(4&L%<)Q5%&)_,020%8%,3) V*)
  43. 43. FX2/@8%,35) B2,%X%)?%@82,,) ^%3(4&L%<)Q5%&)_,020%8%,3) V6)
  44. 44. P(/$$&H$/-H$3>?$-&64&$#0"0$)$#+& ](4,5B=+M+=' ]+)5B=+M+=' ]%4,5B=+M+=' J9+I')(&+'6%,&)L# J9+I')(&+L# J?*,&$+,'9+I')(&+)L# B2,%X%)?%@82,,) ^%3(4&L%<)Q5%&)_,020%8%,3) VV)

×