GDC 2014 Core Games, Real Numbers: Going Cross-Platform


Published on

Kongregate has been sharing great data on web games for years - now they're launching mobile games and are ready to start sharing iOS and Android numbers as well. Learn how monetization differs by platform, country, and device, what type of CPIs to expect for different kinds of games, and what's most important in making your free-to-play mobile game a success.

Published in: Business
1 Comment
No Downloads
Total views
On SlideShare
From Embeds
Number of Embeds
Embeds 0
No embeds

No notes for slide

GDC 2014 Core Games, Real Numbers: Going Cross-Platform

  1. 1. Hi  there,  thank  you  for  coming.  My  name  is  Emily  Greer,  and  I’m  the  co-­‐founder  &   CEO  of  Kongregate,  the  browser  games  plaDorm  and  now  a  mobile  games  publisher   as  well   1  
  2. 2. That’s  what  I’m  going  to  talk  about  today,  this  is  going  to  be  something  of  a  post-­‐ mortem  on  our  first  12  months  as  a  mobile  pubisher  with  the  good,  the  bad,  and  as   much  data  as  I  can  share.       2  
  3. 3. My  brother,  who  is  my  co-­‐founder,  had  previously  co-­‐founded  a  small  game  studio   and  had  a  bad  experience  with  a  major  publisher  that  failed  to  market  their  game,   then  refused  to  release  the  rights  to  do  the  sequel,  ulMmately  leading  to  the  studio   dissolving.  We  wanted  to  open  up  more  opMons  for  developers  so  they  DIDN’T  need   a  publisher  to  make  money  on  their  game.     There  were  a  ton  of  generic  browser  game  sites  out  there,  with  no  persistence   between  games  and  no  connecMon  beyond  leaderboards  between  players.       7  years  later  we’ve  got  more  than  80,000  games  on  our  plaDorm.  Most  of  our  web   revenue  comes  from  the  400  free-­‐to-­‐play  games,  primarily  MMOs  and  CCGs,  and  the   business  conMnues  to  grow  strongly  despite  dire  predicMons  of  the  death  of  web.  Our   web  traffic  grew  about  30%  in  2013,  and  our  revenue  grew  55%.  GeYng  into  mobile   is  an  expansion  of  our  current  business,  not  a  replacement.   3  
  4. 4. It’s  not  like  we  just  started  thinking  about  mobile  last  year.  We’ve  been  thinking   about  it  since  the  launch  of  the  iPhone.  But  the  app  store  was  such  a  closed   ecosystem  that  we  didn’t  see  what  sort  of  role  an  social  plaDorm/distributor  could   really  play  without  being  shut  down  by  Apple.  When  Android  came  out  we  thought   there  was  more  of  an  opportunity  since  it  was  a  more  open  system.  So  we  built  a   light  version  of  the  web  plaDorm  for  Android  called  Arcade.  But  it  turned  out  that   Android  isn’t  so  open  to  anything  it  perceives  as  an  alternate  app  store,  and  Arcade   got  yanked  the  first  day  we  launched.  A_er  some  discussion  we  reworked  some   features  and  were  allowed  back  up,  but  we  were  quite  limited  because  we  couldn’t  a)   sell  anything  or  b)  give  the  appearance  of  downloading  games.  UlMmately  those   limitaMons  fundamentally  blocked  any  real  revenue  opportuniMes  for  the  Kongregate   Arcade,  and  we  stopped  development  in  late  2011  when  Adobe  announce  they  were   killing  mobile  Flash.       But  you  learn  as  much  or  more  from  your  failures  as  your  successes  and  we  got  a  lot   out  of  the  experience  of  building  Arcade,  including  a  fair  amount  of  tech.  Some  other   things  we  learned  is  that  despite  the  promises  of  HTML  5  and  Flash  mobile  the   performance  of  browser  games  on  mobile  was  consistently  bad.  On  the  good  side  we   learned  that  we  were  able  to  drive  a  lot  of  traffic  from  Kongregate  &  Gamestop,  and   are  now  up  to  2  million  installs  despite  mediocre  game  experiences  and  zero  UA.   4  
  5. 5. A_er  we  stopped  development  on  Arcade  we  stepped  back  and  reconsidered  our   strategy.  In  mobile  Apple  &  Google  are  the  game  plaDorms,  but  the  problem  we’ve   always  striven  to  solve  with  our  plaDorm  –  developer  friendly  distribuMon  –  sMll   exists.       Demand  for  games  is  fundamentally  inelasMc,  and  the  race  to  the  bofom  on  pricing   in  the  early  days  of  the  app  store  has  put  developers  in  a  hole  it’s  hard  to  climb  out   of.  Prices  for  paid  games  would  probably  have  to  be  in  the  $9.99-­‐$19.99  range  you   see  in  the  PC  market  for  it  to  be  more  viable     We  know  because  we  got  most  of  it  wrong  when  we  launched  our  kreds  plaDorm   back  in  2008.  But  over  5  years  and  500+  games  doing  F2P  on  our  plaDorm  we’ve   learned  a  lot.  I  expect  a  lot  of  you  have  seen  previous  talks  we’ve  done.     So  who  helps  developers  with  distribuMon  &  moneMzaMon?  A  publisher,  of  course.     5  
  6. 6. We  announced  a  $10M  publishing  fund  last  February     Since  that’s  what  we  do  well  with  on  the  web   Not  every  game  is  going  to  succeed  but  we  want  every  developer  to  feel  we’ve   treated  them  well  work  with  us  again   To  put  our  skin  in  the  game  along  with  the  dev.  A  publisher  should  share  the  risk  for  it   to  be  a  true  partnership   Cross-­‐promoMon  from  Kongregate  web,  our  parent  company  Gamestop,  and   porDolio  games     6  
  7. 7. 6  of  the  live  games  are  new  Mtles,  but  2  (Lifle  Alchemist  &  Dragon  Storm  Gold)  were   live  games  we’ve  taken  over  in  the  last  couple  of  months.  It’s  about  half  core  Mtles,   including  3  CCGs  (Tyrant,  Bloodrealm,  and  Lifle  Alchemist)  and  half  casual  Mtles  like   Sheep  Happens,  Run,  and  Endless  Boss  Fight.     7  
  8. 8. Here’s  a  list  of  the  Mtles  we  have  out  and  what  plaDorms  they’re  available  on  –  our   goal  is  to  have  every  game  we  publish  available  on  Kong  web,  iOS,  and  Android  to   maximize  success,  and  several  of  our  iniMal  games  are  properMes  already  successful   on  Kong  web.     Tyrant  and  Sheep  Happens  have  been  out  for  at  least  six  months  on  all  plaDorms,  but   most  of  the  rest  of  the  live  games  are  only  on  one  plaDorm  or  have  launched  very   recently,  usually  both.  Because  of  that  my  talk  is  going  to  concentrate  most  heavily   on  Tyrant,  which  has  been  out  the  longest  and  has  the  best  quality  data.   8  
  9. 9. Since  I’m  going  to  spend  so  much  of  the  talk  talking  about  Tyrant  I  thought  I’d  give  it   a  larger  introducMon.  Tyrant  is  a  CCG  with  a  grify  sci-­‐fi  theme  built  originally  as  a   Facebook  game  by  Synapse  Games,  a  small  studio  in  Chicago.  They  brought  it  to   Kongregate  three  years  ago  and  it’s  been  one  of  our  most  popular  games  ever  since   with  excepMonal  retenMon  and  good  if  not  great  moneMzaMon.       When  Synapse  started  working  with  us  to  publish  the  mobile  version  moneMzaMon   was  one  of  the  things  we  focused  on  since  we  felt  that  there  was  a  big  opportunity  to   improve  the  depth  of  spend  possible,  mostly  by  adding  in  some  deeper  card   progression  and  fusion  systems,  but  also  by  increasing  the  card  prices.  Those  changes   were  quite  effecMve,  and  though  retenMon  decreased  somewhat  relaMve  to  the   original  version  the  overall  moneMzaMon  improved  significantly.         9  
  10. 10. It  hit  the  top  60  in  the  gross  ranks  and  has  conMnued  to  grow.   10  
  11. 11. I  menMoned  paid  UA  in  relaMon  to  scaling  so  let’s  start  with  what  everyone  is   worrying  about.  Here  are  the  CPIs  we  by  paid  by  ad  network  for  Tyrant  in  Decemer:   they  ranged  from  $2-­‐$8,  with  highly  targeted  campaigns  and  video  on  the  high  end.   These  are  prefy  inMmidaMng  #s,  but  with  a  high  LTV  game  like  Tyrant  you  can  sMll  do   it  profitably,  though  not  every  campaign  listed  here  is.  However  with  an  extended   revenue  curve  like  Tyrant  has  (only  ~17%  of  the  6  month  ARPU  comes  in  the  first   month)  it  takes  both  paMence  and  deep  pockets  to  wait  for  the  UA  to  pay  off.     11  
  12. 12. But  that’s  not  the  whole  story:  CPIs  wary  wildy  by  game.  We’ve  used  just  one   network  to  get  an  apples-­‐to-­‐apples  comparison  there  so  here  our  average  CPIs  since   September  for  most  of  our  games.  Games  in  hard-­‐core,  compeMMve  genres  like  CCGs   and  MMOs  have  much  higher  CPIs  than  more  casual  games,  but  if  the  theme  is   appealing  and/or  the  graphics  are  very  strong  the  price  comes  down  a  lot.   12  
  13. 13. Now  take  the  daily  #s  here  with  a  grain  of  salt  because  the  sample  size  on  a  lot  of   these  days  is  small  and  there  were  a  lot  of  moving  parts,  but  here  are  the  CPIs  on   Facebook  for  Lionheart  over  the  last  90  days,  all  but  the  last  few  of  which  were  in  test   markets.  As  you  can  see  CPIs  are  both  higher  in  test  markets  than  they  are  globally   and  that  in  each  market  they  start  lower  and  rise  over  Mme.  This  is  a  natural  result  of   saturaMng  a  market  and  a  source,  but  was  exaggerated  in  this  case  because  we   weren’t  tesMng  and  refreshing  creaMves  at  the  rate  that  we  would  for  a  game  in  wide   release.  To  fight  the  CPI  creep  you  need  to  be  tesMng  and  refreshing  creaMves  at  least   every  6  weeks.     13  
  14. 14. A  lot  of  the  reason  we  can  make  high  CPIs  is  that  we  credit  paid  campaigns  with  some   value  from  organic  users.  In  our  office  there  are  two  camps  on  what  mostly  drives   organics:  one  is  that  paid  installs  are  helping  to  drive  chart  posiMon,  and  chart   posiMon  then  drives  organic  installs,  the  other  that  players  are  telling  their  friends   about  the  game.  I  think  organics  are  a  complicated  phenomenon  with  elements  of   both,  but  long-­‐term  I  think  word  of  mouth  is  more  important,  especially  if  you’re  not   in  the  upper  parts  of  the  charts  that  get  extensive  exposure.     This  chart  shows  our  organic  and  paid  installs  for  Tyrant  on  IOS  since  launch,  along   with  our  retained  DAU,  ie  our  DAU  less  new  installs  to  just  show  returning  users.   Early  on  there’s  a  prefy  clear  relaMon  between  UA  and  organics,  parMcularly   noMceable  where  we  spiked  UA  around  8/28  and  again  in  October.  But  long  term  the   relaMonship  has  gofen  weaker  and  weaker,  to  the  point  now  where  organics  are   higher  than  installs  from  paid  UA,  and  follow  the  pafern  of  our  retained  DAU  much   more  closely.  I  think  that  while  people  are  most  likely  to  share  a  game  when  they   start  playing  it  but  there’s  sMll  some  chance  of  sharing  it  at  any  point  while  they   conMnue  playing  it,  so  the  value  of  paid  UA  to  installs  is  long-­‐term  and  cumulaMve   and  likely  cross-­‐plaDorm,  since  the  friend  of  the  iPhone  user  might  have  an  Android,   and  vice  versa.     Also  changes  in  your  game  can  help  drive  word  of  mouth.    Anyone  who’s  been     14  
  15. 15. It  was  prefy  clear  from  the  last  chart  that  while  UA  is  important,  the  app  store   feature  we  got  for  Tyrant  along  with  the  Gamestop  promoMon  were  just  as  important   in  building  our  DAU.  The  effect  is  much  more  dramaMc  on  Android  since  we  were  able   to  get  more  and  larger  features  there.       We’ve  been  able  to  secure  features  on  for  almost  all  of  the  games  we  have  live   globally  on  each  plaDorm  so  are  starMng  to  get  a  feel  for  how  many  installs  you  get   from  parMcular  types  of  features.  Apple  generally  features  games  primarily  at  launch,   prefers  indie-­‐feeling  and  more  casual  games,  and  keeps  their  categories/placements   fairly  consistent.  Google  is  more  open  to  non-­‐launch  features  and  refeatures  of   games  with  good  metrics,  which  is  nice,  but  the  feature  value  is  much  more  variable   because  their  arrangement  changes  more.     15  
  16. 16. And  will  have  similar  qualiMes  as  long  as  the  control  scheme  &  playability  are  similar.   Run  is  a  fast-­‐paced  endless  runner  with  instant  respawn  that’s  been  a  viral  traffic   juggernaut  on  Kongregate  web.  When  it  launched  on  Android  on  December  we   seeded  it  with  some  promoMon  on  Kongregate  and  it  went  viral,  hiYng  1.5M   downloads  without  any  further  markeMng  or  features.  There’s  no  easy  way  to  tell   how  much  was  exisMng  fans  picking  up  the  Mtle  or  new  viral  spread,  though  I  suspect   a  bit  of  both.  But  I  think  that  building  a  fan  base  on  web  and  then  using  that  to  help   launch  a  game  on  mobile  is  a  very  underrated  strategy.  Bloons  Tower  Defense  5  has   been  in  the  top  100  grossing  charts  for  more  than  a  year  with  no  markeMng  fueled  by   the  huge  audience  they  built  for  that  series  on  the  web  over  the  last  5  years.       16  
  17. 17. Bloodrealm  is  a  CCG  from  Making  Fun,  with  the  same  gameplay  and  features   between  the  web  version  and  mobile  though  with  a  lifle  bit  of  lag.  A_er  a  substanMal   beta  period  on  Kong  (which  allowed  them  to  make  substanMal  improvements  in   metrics)  the  game  was  pushed  broadly  on  both  Kongregate  &  iOS  in  November.   While  day  to  day  there’s  variaMon  the  average  ARPDAU  between  the  two  plaDorms  is   idenMcal  at  $0.19.         Now  there  are  two  caveats  to  this  data:  1)  developers  have  generally  reported   Kongregate  LTVs  as  2-­‐3x  that  of  other  plaDorms  such  as  Facebook,  so  comparison   between  the  FB  version  and  a  mobile  version  would  probably  reflect  a  similar   difference.  2)  ARPDAU  on  its  own  can  be  a  decepMve  stat  because  two  games  with   similar  ARPDAUs  but  different  retenMon  rates  will  have  very  different  LTVs.  In  this   case  however  I  can  confirm  that  the  LTV  by  cohort  is  also  virtually  idenMcal  between   the  two  plaDorms,  and  thus  retenMon  as  well.  And  finally  if  you’re  wondering  why  I’m   using  a  stat  I  don’t  care  for  like  ARPDAU  it’s  because  I  can  safely  talk  about  it  and   downloads  without  revealing  our  total  revenue,  which  as  part  of  a  public  company  I   have  to  be  careful  about,  while  sMll  managing  to  share  relevant  informaMon.   17  
  18. 18. In  fact  more  than  half  of  our  revenue  is  coming  from  Android  right  now  because  our   top  performing  game,  Tyrant,  has  done  so  well  there.   18  
  19. 19. Here’s  Tyrant’s  breakdown  of  revenue  by  device.  Overall  our  revenue  is  closer  to   50/50  because  other  games  have  done  befer  on  iOS.  One  factor  besides  the  heavy   Google  features  for  Tyrant  may  be  that  it’s  more  popular  on  phones  than  tablets  for   some  reason,  perhaps  related  to  genre.  Lionheart  TacMcs,  which  we  launched  two   weeks  ago  a_er  an  3  months  in  test  markets,  gets  50-­‐55%  of  it’s  revenue  from  iPad,   and  Tyrant  has  always  ranked  lower  on  the  iPad  grossing  charts  than  the  iPhone.   19  
  20. 20. So  let’s  dig  into  the  comparaMve  #s  by  plaDorm.  Here’s  a  chart  of  Tyrant’s  ARPDAU   since  global  launch  on  each  plaDorm.  On  average  Android  ARPDAU  runs  10-­‐15%   lower  than  iOS  except  in  the  mid-­‐November  to  early  January  periods  when  there  was   a  big  influx  of  new  traffic  on  Android  from  Google  features.       But  the  overall  #s  are  actually  masking  a  lot,  as  the  traffic  mix  is  quite  different   between  plaDorms.  The  majority  of  our  traffic  on  iOS  has  come  through  paid  user   acquisiMon  and  Gamestop  promoMon  in  North  America  &  Western  Europe  while  on   Android  our  traffic  is  more  geographically  mixed  since  the  majority  came  through   features.       20  
  21. 21. Here’s  a  breakdown  of  our  installs  and  revenue  by  country.  Installs  are  fairly  diverse   but  revenue  is  completely  dominated  by  English-­‐speaking  countries,  Western  Europe,   and  Scandinavia  though  Russia  is  also  fairly  strong.   21  
  22. 22. Here  is  the  ARPDAU  by  plaDorm  for  just  US  traffic  –  outside  the  heavy  feature  traffic   periods  Android  ARPDAU  is  very  close  and  o_en  befer  than  iOS.   22  
  23. 23. In  Germany  Android  ARPDAU  is  usually  befer  than  iOS,  parMcularly  in  the  last  few   months.   23  
  24. 24. Whereas  the  moneMzaMon  of  our  Russian  Android  traffic  is  quite  low  relaMve  to  both   Russian  iOS  ARPDAU  and  US  or  German  Android  traffic.   24  
  25. 25. What’s  going  on  becomes  clearer  when  you  dig  into  the  devices.  Most  of  the  German   devices  are  high-­‐end  Samsung  Galaxy  phones,  whereas  Russian  devices  are  mostly   fragmented,  lower-­‐end  devices.   25  
  26. 26. Devices  are  a  prefy  good  proxy  for  demographics:  people  with  new,  high-­‐end  devices   tend  to  be  more  wealthy  and  willing  to  spend  than  those  with  older  or  cheaper   devices  –  the  iPhone  5s  has2x  the  ARPDAU  of  the  4s.  Children  are  more  likely  to  be   using  iPods.  But  aside  from  the  demographics  of  the  users:  a  lot  of  the  older  devices   may  just  not  play  the  game  very  well.   26  
  27. 27. Everyone  talks  about  Android  fragmentaMon,  and  it  is  very  real.  But  it’s  been  7  years   since  the  iPhone  launched  and  4  since  the  iPad  and  as  you  can  tell  from  this  chart   there  are  a  lot  of  different  iOS  devices  out  there,  too,  with  different  screen  sizes,   resoluMons,  and  levels  of  processing  power,  and  since  nearly  every  model  sold  well   they’re  sMll  a  lot  of  the  older  devices  in  use.  It’s  easy  to  hit  performance  problem,   crashes  and  instability  from  too  many  high-­‐res  assets  or  3D  effects  on  lower-­‐end   devices.  This  chart  is  the  tutorial  funnel  for  Lionheart  TacMcs  early  in  its  test  market   period.  It’s  a  beauMful  3D  game  that  looks  fabulous  on  reMna  devices  but  as  you  can   see  from  the  chart  had  very  sharp  drop-­‐offs  on  older  iPhones  and  iPod  touches.     The  developer  (Emerald  City  Games)  was  able  to  opMmize  for  the  lower-­‐end  devices   by  using  different  menus  and  textures  there,  and  removing  lightmaps  and  other   visual  effects  during  bafles  but  managing  all  these  different  version  has  been  more   challenging  and  Mme-­‐consuming  than  they  expected.     27  
  28. 28. While  the  device  fragmentaMon  on  Android  is  worse  than  iOS  the  tools  they  give  you   to  manage  it  are  much,  much  befer.  Detailed  crash  &  freeze  reports  are  extremely   helpful  in  diagnosing  and  fixing  issues  and  if  there  are  devices  that  you  just  can’t   support  you  can  specifically  blacklist  them.  You  can  also  block  downloads  based  on   other  criteria,  such  as  screen  size,  which  is  very  helpful  in  blocking  the  proliferaMon  of   low-­‐end  devices  in  Southeast  Asia.  Being  able  to  push  beta  builds  through  the   developer  console  and  then  test  them  as  if  they  were  live  is  invaluable,  second  only   being  able  to  push  a  build  live  to  users  whenever  you  want  and  need  to.     28  
  29. 29. Unfortunately  the  google  transacMon  APIs  are  not  as  user  friendly.  A  good  example  is   that  item  prices  are  returned  with  a  currency  symbol  rather  than  a  currency  code,  so   it’s  impossible  to  disMnguish  something  charged  in  US  dollars,  Canadian  dollars,  or   Mexican  pesos,  which  all  use  the  same  sign.  We  work  around  this  by  puYng  the  price   in  the  item  name  and  parsing  it  from  there  but  it’s  a  bit  of  a  pain  to  manage.     What’s  more  than  a  pain  is  that  Google  is  very  slow  to  verify  purchases  and   overzealous  in  their  idenMficaMon  of  fraud,  especially  on  higher-­‐priced  items.  This   causes  customer  frustraMon  and  forces  you  to  ping  their  servers  to  check  all  the  users   transacMons  every  Mme  they  enter  the  game  to  make  sure  they’re  granted  what   they’ve  bought.   29  
  30. 30. The  receipt  verificaMon  I  menMoned  on  the  last  slide  is  really  important  and  this   graph  shows  why.    It’s  the  first  two  weeks  of  iOS  revenue  reported  by  Sheep   Happens,  a  wacky  endless  runner  we  launched  last  fall,  which  at  the  Mme  was  not   checking  Apple’s  servers  that  a  purchase  was  valid  before  granMng  the  currency  and   many  users  with  jailbroken  phones  took  advantage  of  the  omission.  It  turns  out  when   IAP  is  free  demand  is  very  high!  While  the  game  did  decently  actual  revenue  was  of   course  a  fracMon  of  the  numbers  shown  here.  I  promised  you  real  numbers:  these  are   simultanously  real  and  very  inaccurate.     Nearly  all  of  our  developers  had  some  degree  of  trouble  implemenMng  receipt   verificaMon,  either  in  the  actual  receipt  verificaMon  like  Sheep  Happens  or   incorporaMng  it  correctly  in  analyMcs  calls  and  it  wasted  a  bunch  of  Mme  for   everybody.  We’ve  baked  it  into  our  SDK  now  so  developers  don’t  have  to  deal  with  it   but  it  sMll  causes  legacy  problems  for  some  games,  like  Sheep  Happens,  because   players  aren’t  forced  to  update  so  old  client  versions  conMnue  to  send  bad  data.         30  
  31. 31. I  did  a  talk  at  GDC  Next  last  fall  about  data  problems  and  piDalls  and  used  this  image   to  talk  about  how  under  the  surface  data  is  o_en  a  steaming  pile  of  corrupted,   inaccurate  shit.  That’s  true  for  web  data  but  it’s  twice  as  true  for  mobile  for  a  several   major  reasons  that  are  interrelated:  connecMon  issues,  client  unreliablity  and  client   fragmentaMon.       On  the  web  there  are  just  a  few  major  clients,  aka  browsers,  that  provide  data  in  a   standardized  way,  events  nearly  always  occur  online  so  you  can  rely  on  your  own   server  for  Mmestamps,  and  your  biggest  headaches  come  from  idenMfying  people   uniquely.       On  mobile  you  need  to  rely  on  the  client  much  more,  both  because  important  events   occur  offline  and  because  the  client  itself  is  crucial  informaMon.  But  even  something   as  basic  as  the  Mmestamp  can  be  reported  very  differently  from  plaDorm  to  device  to   region.  We  recently  had  problems  with  the  data  from  Lionheart  TacMcs  because  a   bunch  of  clients  from  Southeast  Asia  were  reporMng  the  date  in  the  Buddhist  era   calendar,  where  it’s  2557  instead  of  2014  and  if  you  don’t  have  the  right  Mme  for   events  you’re  screwed.   31  
  32. 32. We’ve  built  our  own  SDK  for  developers  to  use  on  games  we’re  publishing  to  take   advantage  of  Kongregate  logins  and  badges  and  other  features,  and  have  now  rolled   analyMcs  into  it,  but  Swrve,  Leanplum,  Kontagent  and  many  other  commercial   services  will  do  a  much  befer  job  than  you’ll  do  on  your  own.         32  
  33. 33. It’s  tempMng  to  instrument  your  game  from  the  start  with  everything  you  think  you   might  want  to  know  but  you’re  not  likely  to  get  it  all  right,  it  will  be  overwhelming  to   QA,  and  expensive  to  store,  which  is  especially  frustraMng  if  you  know  it’s  garbage.   We’ve  moved  to  a  staged  approach  with  analyMcs  implementaMons  where  we  have   developers  implement  the  most  crucial  stuff:  player  idenMficaMon,  sessions,  and   transacMons  (crawl).  Once  that  is  QAed  move  on  to  basic  game-­‐specific  informaMon   like  tutorial  compleMon,  level  progress,  win  rates,  and  pvp  parMcipaMon  which  are  the   most  acMonable.  Finally  once  that’s  solid  it’s  Mme  to  run  with  the  really  detailed   informaMon  if  the  game  is  deep  enough  to  warrant  it.  Endless  runners,  ironically,   probably  only  need  crawl/walk  whereas  that  last  stage  of  data  is  very  important  in   most  mulMplayer  games.     33  
  34. 34. SomeMmes  the  hardest  thing  to  know  is  that  there  IS  a  problem,  but  if  you’re  cross-­‐ checking  across  mulMple  sources  they  are  easier  to  find.  We’re  constantly  cross-­‐ checking  our  internal  analyMcs  against  AppAnnie  and  Ad-­‐X,  which  we  use  for   markeMng  tracking,  and  will  soon  add  Swrve  which  will  add  another  data  point.       34  
  35. 35. This  is  something  that  came  up  for  us  in  part  because  of  the  gap  between  a   publisher’s  commitment  to  analyMcs  and  the  developer  –  some  of  our  developers  are   as  into  analyMcs  as  we  are,  but  some  have  been  implemenMng  the  schema  more  for   us  than  for  them.  The  result  is  skimpy  tesMng  on  their  side  and  in  our  hurry  we   haven’t  always  QAed  enough  either.  On  several  games  we  launched  into  test  market   with  fundamentally  bad  data  and  it  was  a  waste  of  both  Mme  and  markeMng  $s.   Everything  doesn’t  have  to  be  perfect  yet  but  you  need  at  least  the  basics  for   retenMon,  revenue,  and  player  progress  tracking.       35  
  36. 36. A  game  with  bad  data  is  a  black  box.  You  might  have  a  great  game,  and  it  doesn’t   mafer.  More  likely  you  have  a  game  that  could  be  befer  but  without  data  it’s  hard   to  know  even  what  direcMon  to  go.  Now  I’m  not  in  any  way  in  the  school  that  thinks   you  should  be  A/B  tesMng  every  bufon  color  –  for  games  to  have  soul  and  to   innovate  you  need  to  look  beyond  data.  But  data  is  crucial  in  diagnosing  what  is  and   isn’t  working,  generaMng  theories  of  why,  and  eventually  confirming  if  your  changes   had  the  effect  you  expected.       Sheep  Happens  was  a  black  box  –as  you  saw  earlier  the  data  from  the  game  was   quite  messy,  and  we  launched  with  them  only  parMally  fixed  and  a  hazy  view  of  the   metrics  and  issues  with  the  game.  We’ve  done  our  best  guessing  at  what  needed   improvement  but  with  so  much  corrupt  data  in  the  system  it’s  difficult  to  tell  if  it  has   had  much  effect.  Unfortunately  the  answer  is  probably  not.       36  
  37. 37. And  you  can  really  improve  your  game  over  Mme.  Here’s  Tyrant’s  ARPDAU  chart  again   which  you  can  see  increased  dramaMcally  over  Mme  even  with  conMnuing  influxes  of   new  traffic.  Since  they  launched  last  August  they’ve  pushed  nearly  20  builds,  nearly   all  with  various  fixes  for  UI  issues,  performance  across  devices,  and  bug  along  with   constant  tweaking  of  the  matchmaking  algorithm,  all  working  to  improve  the  base   player  experience.       Along  with  that  every  month  or  so  Synapse  has  done  a  release  of  a  major  new  system   to  increase  the  depth  of  the  game,  parMcularly  the  late  game.  Those  features  don’t   necessarily  drive  moneMzaMon  themselves,  but  they  increase  player  engagement  and   retenMon  without  which  there  can  be  no  moneMzaMon.     What  drives  the  revenue  spikes  you  see  is  the  regular  release  of  new  content,   parMcularly  of  limited  Mme  events  with  rewards,  which  are  Med  to  the  release  of  new   gacha  boxes  and  occasional  special  offers.   37  
  38. 38. Last  summer  when  we  first  started  launching  games  we  were  expecMng  to  spend  4,   maybe  6  weeks  in  test  markets  and  we  pushed  our  first  two  games,  Tyrant  and  Sheep   Happens  in  that  Mme  frame.  We  had  some  internal  deadlines  that  we  needed  to  hit  –   the  games  needed  to  be  out  on  both  iOS  &  Android  by  the  beginning  of  September  to   get  significant  promoMon  from  Gamestop  because  once  GTA  V  and  the  new  consoles   started  launching  there  wouldn’t  be  an  opportunity  again  unMl  a_er  Christmas.       For  Tyrant  this  was  the  right  call  –  while  the  game  was  missing  some  features  that  we   knew  were  going  to  be  important  long-­‐term,  like  guilds,  and  that  the  UI  and   matchmaking  needed  more  tweaking  the  game  was  in  fundamentally  good  shape   with  solid  data  and  metrics.  We  didn’t  get  the  fullest  possible  value  from  our  early   Apple  feature  but  that  was  more  than  made  up  for  by  the  value  we  got  from   Gamestop  promoMon.       But  Sheep  Happens  was  a  black  box  that  wasn’t  ready.  The  game  did  okay  anyway,   and  has  been  profitable  for  both  us  and  the  developer,  but  the  value  of  the  heavy   Apple  features  we  secured  for  it  at  launch  were  likely  much,  much  less  than  they   could  have  been.       Holding  a  game  longer  in  test  markets  definitely  has  some  costs,  and  the  pros  and   cons  need  to  be  weighed  carefully.  If  you’re  not  going  to  get  a  launch  feature  or     38  
  39. 39. Staying  longer  in  test  markets  fits  in  with  something  I  like  to  say,  which  is  that  things   are  a  marathon,  not  a  sprint.  It’s  definitely  true  that  free-­‐to-­‐play  games  are  a   marathon.  Good  games  can  grow  and  maintain  revenue  for  years,  as  long  as  the   systems  keep  the  players  engaged  and  the  developer  can  keep  adding  content  and   events.  Tyrant  started  solid,  but  a  lifle  slow,  and  at  launch  both  Synapse  and  us  were   a  lifle  disappointed  since  we  thought  the  game  was  capable  of  more.  Over  8  months   the  game  has  come  to  meet  and  exceed  our  expectaMons,  hiYng  top  50  grossing  in   the  US  iPhone  charts  just  last  week.  A  crucial  part  of  that  long-­‐term  growth  story  is   the  relentless  pace  at  which  Synapse  worked  pushing  content  and  changes,  making   mistakes,  learning  from  them,  fixing  them,  pushing  for  the  kind  of  LTVs  that  make   paid  UA  profitable,  even  for  a  niche  game  with  a  grify  theme.  You  can’t  sprint   forever,  and  since  January  Synapse  has  sefled  into  a  steadier,  more  sustainable   rhythm  but  the  type  of  drive  and  speed  they’ve  shown  is  something  we  now  look  for   in  every  team  we  sign,  because  the  rate  at  which  you  improve  a  game  mafers  as   much  to  its  ulMmate  success  as  the  iniMal  quality.   39  
  40. 40. 40