#Scalive 1 : Getting started RTB-DSP with Scala

1,728 views
1,536 views

Published on

#Scalive 1 http://connpass.com/event/6903/ 発表資料です。

#Scalive 1 : Getting started RTB-DSP with Scala

  1. 1. DSPを始めよう! ∼ Scala製RTB-DSP service “Sphere” のご紹介 ∼ Hidenori MATSUKI (@mazgi) Scalive # 1 July 15, 2014
  2. 2. 今日のアジェンダ • 自己紹介 • 会社紹介 • Scala製RTB-DSP service “Sphere”のご紹介 • "Sphere"を運用してみて • これからの”Sphere” • 最後に
  3. 3. Hidenori MATSUKI ( @mazgi ) Maverick inc. Manager of “Sphere” department. ! アドテクはじめて半年経ちました ! http://mazgi.com or Who is mazgi?
  4. 4. は じ め ま し た す か ら
  5. 5. What is Maverick inc.? • マーベリック株式会社 • 西新宿にあるアドテクの会社です • 2013年11月創業! • 2013年12月"Sphere”サービス開始! • エンジニア十数名
  6. 6. Our Product & Service 今日ご紹介する Scala製RTB-DSP service “Sphere” を開発・運営しています
  7. 7. Maverick inc.は ScalaMatsuriを おうえんしています!
  8. 8. • 当資料の内容は「サービスインあるある」な感 じかもしれません。 • 当資料には真のScalaistから見てツッコミ
 どころのある内容が含まれています、きっと。 • お手元の(Air)マサカリを投げる機会は最後に
 ございますので、どなたさまも(Air)マサカリ
 の素振りをしながらご清聴願います。 御注意
  9. 9. Scala製RTB-DSP service “Sphere”のご紹介
  10. 10. What’s RTB-DSP ? • RTB→Real Time Bidding • Web広告が表示される瞬間に広告枠のオークションを行われ 配信される広告が決まる仕組み • DSP→Demand Side Platform • 広告主に代わりSSPから広告枠を買い付けるプラットフォーム • SSP→Supply Side Platform • 広告媒体者に代わりDSPに広告枠を販売するプラットフォーム
  11. 11. 広告主 Audience It'swe! DSP SSP Media ※画像は http://jp.yamaha.com/products/network/downloads/tools/ より 広 告 出 稿 広 告 閲 覧 1. 広告リクエスト 2. bid request 3. 入札判断 4. bid response 5. 落札通知 6. 広告配信 afewsecs 100 ms or die!
  12. 12. Sphereの特徴 • Scala製! • RTB部分→Scala, Play Framework2 • 集計・機械学習部分→Scala • Web管理画面→Play Framework2 • 機械学習で賢く入札 • すべて物理サーバーで構成 • http://knowledge.sakura.ad.jp/case-study/1695/
  13. 13. “Sphere“"を運用してみて
  14. 14. “Sphere“"を運用してみて • 半年経ってようやく開発フロー固まってきた感じ • GitHub.com使用 • 一応PullRequest駆動 • なんとなくgit-flow • Redmine併用 • コミュニケーションはSkype使用
  15. 15. “Sphere“"を運用してみて • 半年経ったけどDeployフローまだまだ • Ansibleでdeploy • sbtとPlayのバージョン数種類併用
 →deploy時はsbtenv, playenvでビルド • ミドルウェア依存部分のテストがまだまだ • 本番安定性は確保できるようになった(
  16. 16. “Sphere“"を運用してみて • Scala, sbt, Play Frameworkのバージョン対応 • playenv • sbtenv • sbt-extras 各自この辺りのツールを使ってます
  17. 17. エピソード • ScalikeJDBCで爆速な話 • MySQL to MariaDBな話 • Hadoop(YARN)な話
  18. 18. ScalikeJDBCで爆速な話
  19. 19. ScalikeJDBCで爆速 ある日のSkype
  20. 20. ScalikeJDBCで爆速 \merged/
  21. 21. MySQL to MariaDBな話
  22. 22. MySQL to MariaDB Old DB New DB Middleware MySQL 5.1.69 MariaDB 5.5.32 DB Engine InnoDB XtraDB FileSystem Ext4 XFS Kernel Version 2.6.32-358.23.2.el6.x86_64 3.12.13-gentoo transactions/s! (4 threads) 653.25 822.39 r/w requests/s! (4 threads) 12411.72 15625.45
  23. 23. Hadoop(YARN)な話
  24. 24. Hadoop(YARN) なぜかHive Jobがメモリ使ってくれない・・・ !!! しばらく(*'ω' *)ィャンと(*'ω' *)マモリーが社内流行語に・・・ 教訓:設定ファイルはちゃんと確認しましょう
  25. 25. これからの"Sphere"
  26. 26. ポイント • もっとScalaを活かしたい • アーキテクチャ刷新します! • ログ収集と解析を強化します!
  27. 27. RealTimeBidding Aggregate&Learning Internet SSPs and Audiences Architecture
  28. 28. RealTimeBidding Aggregate&Learning Internet SSPs and Audiences Architecture
  29. 29. 最後に
  30. 30. マサカリの投げ方 • @mazgiにマサカリを投げる • 次回 #Scalive で壇上からマサカリを投げる • Maverick inc.に入社して思う存分マサカリを投げる !!
  31. 31. We’re hiring!

×