Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

アドテクノロジー業界について ByGMOアドマーケティング

48 views

Published on

同志社大学での講義時の資料です。

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

アドテクノロジー業界について ByGMOアドマーケティング

  1. 1. 同志社大学 ネットワークシステム構成論 アドテクノロジー業界について
  2. 2. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 2 本日のプログラム インターネット広告とは 技術観点からみたアドテクノロジー 前半 後半
  3. 3. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 3 インターネット広告とは 1インターネット広告のマーケットについて 2アドテクノロジーの歴史 3今後のアドテクノロジー
  4. 4. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 4 インターネット広告の マーケットについて
  5. 5. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 5 ちょっと質問 毎朝、起きたら最初に何をしますか?
  6. 6. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 6 質問:毎朝、起きたら最初に何をしますか? ①TVをつける ②新聞を読む ③PCを起動する ④スマートフォンを見る
  7. 7. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 7 質問:毎朝、起きたら最初に何をしますか? ①TVをつける ②新聞を読む ③PCを起動する ④スマートフォンを見る 10年前は無かった行動 ネットが我々の行動様式を急速に変えた
  8. 8. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 8 スマートフォン保有率と利用時間 4人に3人がスマート フォンを利用 20代はほぼ100%に普 及し1日に平均160分 (平日)利用している ※総務省 平成30年度版 情報通信白書より
  9. 9. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 9 スマートフォンを利用していると 多数の広告が表示される
  10. 10. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 10 マーケット(インターネット広告費) 2007年:8.6% → 2017年:23.6% 2007年:6,000億 → 2017年:1兆5,000億円 (+9000億円) 新聞 14% 雑誌 7% ラジオ 2% テレビ 29% 衛生メディア関連広告 1% 展示・映像 5% 電話帳 1% POP 3% フリーペーパーフ リーマガジン 5% DM 7% 折込 9% 交通 4% 屋外 6% インターネット広告 8.6% 2007年 7兆191億円 新聞 8% 雑誌 3% ラジオ 2% テレビ 28% 衛生メディア関連広告 2% 展示・映像 5% 電話帳 1% POP 3% フリーペー パーフリー マガジン… DM 6% 折込 7% 交通 3% 屋外 5% インターネット広告 23.6% 2017年 6兆3907億円 <参考> ・電通報 https://markezine.jp/article/detail/2749 ・MarkeZine https://dentsu-ho.com/articles/5843
  11. 11. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 11 国民一人あたり年間5万円の広告費 企業 メディア 生活者 6.3兆円 商品購入など 6.3兆円÷1.2億人≒5万円 1.2億人
  12. 12. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 12 広告がなくなるとどうなる? 民放TV局 広告売上 80%以上
  13. 13. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 13 広告がなくなるとどうなる? 広告売上 85% 検索結果を全て見るには 月額300円の登録が必要です [今すぐ登録] G社
  14. 14. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 14 広告がなくなるとどうなる? 広告売上 52% L社 今日の送信可能回数を超えました。 チケット購入は こちら
  15. 15. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 15 アドテクノロジーの歴史
  16. 16. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 16 1996年 インターネット広告の誕生 当時は広告ごと・メディアごとに手作業で掲載 インターネット広告の歴史 広告主 広告を出したい メディア(媒体) 広告を掲載して収益を得たい
  17. 17. 2008年 リーマンショック 多くの優秀な金融エンジニアが流出 ↓ アドテクノロジーの発展へ
  18. 18. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 18 金融テクノロジーとアドテクノロジー 金融テクノロジーの発展 これまで 立会で人が株式を売買 (人手でのマッチング) 投資したい人株式会社
  19. 19. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 19 金融テクノロジーとアドテクノロジー 金融テクノロジーの発展 現在 投資したい人株式会社 良い条件の株価の場合に一瞬で 取引を完了させるアルゴリズムを構築 →投資家が資金運用しやすくなり株価高騰
  20. 20. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 20 金融テクノロジーとアドテクノロジー アドテクノロジーの発展 これまで メディアごとに、 広告主の配信割合を あらかじめ決定 広告主メディア 30% 20% 50% 広告A 広告B 広告C
  21. 21. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 21 金融テクノロジーとアドテクノロジー アドテクノロジーの発展 現在 広告主メディア ユーザーに合わせて掲載する広告を 一瞬で決定するアルゴリズムを構築 →広告効果向上を実現 広告A 広告B 広告C
  22. 22. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 22 インターネット広告の歴史 DSP (Demand Side Platform)=広告掲載プラットフォーム 広告主はDSPに広告を入稿するだけでOK DSPがメディアの中から適切な掲載場所を選んで掲載してくれる メディア(媒体) 広告主 DSP 広告掲載を取りまとめ
  23. 23. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 23 インターネット広告の歴史 RTB (Real Time Bidding)=広告枠のオークション ユーザーがページを表示するたびにオークション開催 入札から落札までの時間はわずか0.1秒 オークション 開催 DSP 100円で掲載したい 掲載したくない 500円で掲載したい 広告A 広告B 広告C
  24. 24. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 24 配信ロジックの歴史 初期の配信ロジック コンテンツマッチ配信 メディアに掲載されているコンテンツを見て、 それに合う広告を掲載する 現在の配信ロジック ターゲティング配信 メディアを閲覧しているユーザーを見て、 興味を持ちそうな広告を掲載する
  25. 25. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 25 配信ロジックの歴史 ターゲティング配信 DSP ブラウザにCookieを付与することでユーザーを 判別し、興味を持ちそうな広告を配信する サイト訪問時に付与 広告表示時に活用
  26. 26. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 26 配信ロジックの歴史 何をしていても同じ広告ばかり表示されることがあるのは、 ターゲティングの対象になっているから
  27. 27. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 27 配信ロジックの歴史:まとめ 個別入稿 コンテンツマッチ配信 ターゲティング配信 1996年~ 2003年~ 2008年~
  28. 28. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 28 今後のアドテクノロジー
  29. 29. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 29 男性なので 入札しない ファッション記事よく見てる →20円で入札 昨日もサイトを見ていたので 興味がありそう →200円で入札 DSPはcookieを用いてユーザーを判別し、 入札価格を決めている 広告主
  30. 30. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 30 ITP (Intelligent Tracking Prevention) Apple・iOS11のwebブラウザ「Safari」に搭載されたサイトトラッキングの抑止機能 不快なターゲティングへの規制の動き
  31. 31. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 31 スマートフォンユーザーの約3割は Cookieを受け取らない 約 30% 主にiOS11以上の Safari利用ユーザー
  32. 32. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 32 cookieが無くても 広告ターゲティングが 成り立つ技術の模索…!
  33. 33. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 33 個別入稿 コンテンツマッチ配信 ターゲティング配信 コンテンツマッチ配信 2.0 個別入稿 コンテンツマッチ配信 ターゲティング配信
  34. 34. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 34 従来のコンテンツマッチ スターバックス コーヒー キーワードを抽出 コーヒー豆の広告 <引用> ・東洋経済ONLINE(2018年7月10日) https://toyokeizai.net/articles/-/228881
  35. 35. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 35 これからのコンテンツマッチ 全テキストを取得 ベクター化 に関心がある人だろう 環境問題 飲料チェーン ビジネスニュース 海外ニュース 転職サイトの広告 <引用> ・東洋経済ONLINE(2018年7月10日) https://toyokeizai.net/articles/-/228881
  36. 36. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 36 前半のまとめ スマートフォン利用時間の増加により、 インターネット広告業界は成長している 見ているページや行動履歴を元に、その人が 興味を持ちそうな広告を出す技術が発達している 一方、過度に行動を分析して追いかける広告は 嫌がられてきている コンテンツの裏側のニーズとマッチした 新しい時代の広告技術が重要になる
  37. 37. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 37 技術的観点から見た アドテクノロジー
  38. 38. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 38 1アドテクノロジーのアーキテクチャ 1.1 システム概要 1.2スケールアウト・アーキテクチャ 1.3 スケーラビリティと高可用性 2大規模機械学習 2.1 アドテクノロジー機械学習概要 2.1 Frequency分析 2.2 リアルタイムCTR予測 3レイテンシとの戦い 3.1データセンター間のレイテンシ問題 3.2 RealTimeBiddingのレイテンシ問題
  39. 39. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 39 1アドテクノロジーのアーキテクチャ 1.1 システム概要 1.2スケールアウト・アーキテクチャ 1.3 スケーラビリティと高可用性
  40. 40. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 40 システム概要
  41. 41. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 41 システム概要 画像等の広告素材の 入稿・設定 Webページ表 示 入稿された広告を 最適化して配信 配信した広告の 効果計測 計測した結果を集計 配信結果の確認
  42. 42. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 42 システム概要
  43. 43. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 43 システム概要:広告表示
  44. 44. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 44 システム概要:クリック
  45. 45. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 45 システム概要:コンバージョン(広告商品購入等)
  46. 46. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 46 スケールアウト・アーキテクチャ
  47. 47. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 47 小規模Webアプリケーション:ブログ DB ブログ アプリケーション ブログ投稿者 (管理者) ブログ閲覧 ユーザ 記事投稿記事閲覧 記事 データ 書込 記事 データ 読込
  48. 48. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 48 広告配信システム DB 広告 アプリケーション 広告主 代理店 Web閲覧 ユーザ 広告設定広告表示 広告 データ 書込 配信 データ 取得 配信 結果 書込 ユーザ 情報 読書
  49. 49. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 49 広告配信システム ほぼ全てのWebサイトに広告は広告が埋まっており 1ページに1つ以上の広告表示がされる 一人のユーザがWebページ表示するたびに 数倍〜数十倍ものリクエストが広告サーバに発生する
  50. 50. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 50 広告配信システム DB 広告 アプリケーション 広告主 代理店 Web閲覧 ユーザ 広告設定 x100~ 広告 データ 書込 配信 データ 取得 配信 結果 書込 ユーザ 情報 読書 広告表示
  51. 51. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 51 広告配信システム DB 広告配信 アプリケー ション 広告主 代理店 Web閲覧 ユーザ 広告 データ 書込 配信 データ 取得 配信 結果 書込 ユーザ 情報 読書 広告管理 アプリケー ション 広告設定広告表示
  52. 52. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 52 広告配信システム 広告配信 アプリケー ション 広告主 代理店 Web閲覧 ユーザ 広告表示 x1,000~ 広告 データ 書込 広告設定 配信 データ 取得 配信 結果 書込 ユーザ 情報 読書 DB 広告管理 アプリケー ション
  53. 53. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 53 広告配信システム DB 広告配信 アプリケー ション 広告主 代理店 Web閲覧 ユーザ 広告表示 広告 データ 書込 広告設定 File KVS x1,000~ 広告集計 アプリケー ション ユーザ 情報 読書 配信 結果 書込 配信 データ 取得 広告管理 アプリケー ション
  54. 54. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 54 KVSについて • KVSはKey−Value Storeの略称 • 基本的にデータ構造はキーと値のみで表現 • 単純なデータ構造かつ、検索はkey指定のため、 Read・Write性能とも高速なデータベース • 可用性とスケーラビリティに優れる事が多い key value キリン 首ながい ぞう 鼻ながい ウサギ 耳ながい
  55. 55. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 55 広告配信システム DB 広告配信 アプリケー ション 広告主 代理店 Web閲覧 ユーザ 広告表示 広告 データ 書込 広告設定 File KVS x10,000~ 広告集計 アプリケー ション ユーザ 情報 読書 配信 結果 書込 配信 データ 取得 広告管理 アプリケー ション
  56. 56. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 56 広告配信システム DB 広告配信 アプリケー ション 広告主 代理店 Web閲覧 ユーザ 広告表示 広告 データ 書込 広告設定 File KVS x10,000~ 広告集計 アプリケー ション ユーザ 情報 読書 配信 結果 書込 配信 データ 取得 cache 広告管理 アプリケー ション
  57. 57. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 57 広告配信システム DB 広告配信 アプリケー ション 広告主 代理店 Web閲覧 ユーザ 広告表示 広告 データ 書込 広告設定 File KVS x100,000~ 広告集計 アプリケー ション ユーザ 情報 読書 配信 結果 書込 配信 データ 取得 cache 広告管理 アプリケー ション
  58. 58. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 58 広告配信システム DB 広告配信 アプリケー ション 広告主 代理店 Web閲覧 ユーザ 広告表示 広告 データ 書込 広告設定 File KVS 広告集計 アプリケー ション ユーザ 情報 読書 配信 結果 書込 配信 データ 取得 cache 広告配信 アプリケー ション cache 広告管理 アプリケー ション x100,000~
  59. 59. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 59 広告配信システム DB 広告主 代理店 Web閲覧 ユーザ 広告表示 広告 データ 書込 広告設定 File KVS 広告集計 アプリケー ション ユーザ 情報 読書 配信 結果 書込 配信 データ 取得 File 広告管理 アプリケー ション x100,000~ 広告配信 アプリケー ション cache 広告配信 アプリケー ション cache
  60. 60. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 60 広告配信システム DB 広告主 代理店 Web閲覧 ユーザ 広告表示 広告 データ 書込 広告設定 File KVS ユーザ 情報 読書 配信 結果 書込 配信 データ 取得 分散処理システム 広告集計 アプリケーション File 広告管理 アプリケー ション x100,000~ 広告配信 アプリケー ション cache 広告配信 アプリケー ション cache
  61. 61. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 61 分散処理システムについて • テラバイト以上の大規模なデータを蓄積~集計/ 分析を行うためのシステム • HadoopやSparkなどが該当する • 最近は分散処理システムを構築せずに、 Google BigQueryやAWS Redshiftを使う場合もある
  62. 62. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 62 スケーラビリティと高可用性 KVS Hadoop 配信サーバ データベース 広告配信システムは24時間365日動き続け トラフィックの増減が発生しやすいシステム • スケーラビリティ サーバ追加でパフォーマンスが上昇する • 高可用性 単一サーバが落ちても影響しない
  63. 63. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 63 スケーラビリティーと高可用性 • Webアプリケーションの場合 • 静的コンテンツの場合 • DBの場合
  64. 64. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 64 Webアプリケーションの スケールアウト・冗長化について
  65. 65. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 65 広告配信 アプリケー ション cache 広告配信 アプリケー ション cache アプリケーションサーバについて DB 広告主 代理店 Web閲覧 ユーザ File KVS 分散処理システム (Hadoop/spark) 広告集計 アプリケーション File 広告管理 アプリケー ション
  66. 66. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 66 アプリケーションサーバのスケールアウト ロード バランサ 広告配信 アプリケー ション2 広告配信 アプリケー ション1 広告配信 アプリケー ション3
  67. 67. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 67 アプリケーションサーバの冗長化 ロード バランサ 広告配信 アプリケー ション2 広告配信 アプリケー ション1
  68. 68. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 68 アプリケーションサーバの冗長化 ロード バランサ1 広告配信 アプリケー ション2 広告配信 アプリケー ション1 ロード バランサ2 VRRP
  69. 69. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 69 CDNを利用した 静的コンテンツ配信について
  70. 70. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 70 静的コンテンツ配信について DB 広告主 代理店 Web閲覧 ユーザ File KVS 分散処理システム (Hadoop/Spark) 広告集計 アプリケーション File File 広告管理 アプリケー ション 広告配信 アプリケー ション cachecachecache
  71. 71. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 71 静的コンテンツ配信について
  72. 72. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 72 CDNとは • Content Delivery Networkの略称 • エッジサーバと呼ばれる、エンドユーザに一番近い サーバを選択して配信することで、効率的かつ高速な 配信を行う事ができる • CDNにてスケールアウトと冗長性が担保される • AWSのCloudFrontなどが有名
  73. 73. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 73 東京 京都 画像配信 アプリケーション (オリジン) CDNサーバ群 (エッジサーバ群) 画像がない場合は オリジンサーバに取得 一番近いエッジサーバにアクセス 画像があればそのまま返却 京都 東京
  74. 74. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 74 DBの スケールアウト・冗長化について
  75. 75. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 75 DBについて DB 広告主 代理店 Web閲覧 ユーザ File KVS 分散処理システム (Hadoop/Spark) 広告集計 アプリケーション File File 広告管理 アプリケー ション 広告配信 アプリケー ション cachecachecache
  76. 76. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 76 DBのスケールアウト • 単純にサーバを増やすようなスケールアウトを 行うためには、データ整合性などを考えた工夫 が必要 • スケールアウトするための方法 • 水平分割(Vertical partitioning) • 垂直分割(Horizontal partitioning)
  77. 77. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 77 DBのスケールアウト:垂直分割 • データをテーブル単位で区切って分割する方法 • 単純に一部のテーブルを別DBに移動させる • 同時に取得したいデータは同じDBに入れる必要 がある 広告主テーブル 広告テーブル 広告主テーブル 広告テーブル
  78. 78. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 78 DBのスケールアウト:水平分割 • データを行単位で区切って分割する方法 • Shardingとも呼ばれる • テーブルの各行を別DBに移動させる • 分割されたデータをJOINで取得することはでき ない 広告主テーブル 広告主テーブル 広告主テーブル 1 広告主A 2 広告主B 1 広告主A 2 広告主B
  79. 79. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 79 DBの冗長化 • マスタースレーブ構成 • マスターDB:読書処理を行えるDB • スレーブDB:マスターDBから同期される読込 専用DB • マスターDBが障害時にスレーブDBをマスター DBに昇格する • 昇格時は30秒~60秒のダウンタイムがある 広告主テーブル 広告テーブル 広告配信 アプリケー ション1 広告主テーブル 広告テーブル sync Read Write
  80. 80. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 80 DBの冗長化 広告主テーブル 広告テーブル 広告主テーブル 広告テーブル 広告主テーブル 広告テーブル sync sync ロード バランサ 広告配信 アプリケー ション1 広告配信 アプリケー ション2 • マルチマスター構成 • 複数のDBに対して書き込みをしてもデータ整 合性を保持できるレプリケーション方式 • 障害時はロードバランサから自動で切離す • ほぼダウンタイムは発生しない
  81. 81. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 81 システム構成例
  82. 82. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 82 秒間数十万リクエストのトラフィック 99% read 1% write 広告配信に必要なデータの99%は読込のみ どれだけ少ないサーバで 大量のトラフィックを捌けるかが競争力 どれだけ効率よくリクエストを処理するかが 広告配信サーバのパフォーマンスを決める 必要なデータをどこにどう格納し、どう取得するかがキモ
  83. 83. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 83 2大規模機械学習 2.1 アドテクノロジー機械学習概要 2.2 Frequency分析 2.3 リアルタイムCTR予測
  84. 84. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 84 アドテクノロジー 機械学習概要
  85. 85. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 85 大量のログデータ 効率よく解析することで 広告効果改善することが可能 秒間数十万リクエスト 大規模機械学習
  86. 86. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 86 機械学習の周辺技術 アルゴリズム 業務知識 大規模分散 処理 機械学習 広告配信 システム組込 統計 データベース 時間の短縮 精度の向上 時間の短縮 時間の短縮 データの保存評価 パラメータの選定 精度の向上 モデルの作成
  87. 87. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 87 機械学習の手順 1.問題の決定 2.ログの収集 3.ログの前処理 クレンジング 4. ログの分析 5.手法の選択 6.モデルの作成7.モデルの評価8.モデルの適用
  88. 88. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 88 Freaquency分析
  89. 89. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 89 機械学習事例: Frequency分析 Frequency(FQ)とは同じユーザに、 同じ広告を何度表示したのかという広告評価の指標です。 Frequency分析を行うことで同じユーザーへ過度な重複広告の配信を 抑制し、ユーザーのクリックする確率(Click Through Rate/CTR)を 上げることができます
  90. 90. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 90 機械学習事例: Frequency分析 同じユーザーへ同じ広告主の広告を配信する回数が増えるにつれて クリックされる確率(CTR)は減少していきます。 回帰のモデルをつかって配信する回数(FQ回数)とユーザーCTRの関係を 学習して広告を配信する優先度を調整します。
  91. 91. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 91 機械学習事例: Frequency分析 多項式回帰を利用してFQ回数を入力としてCTR算出を出来るようにし ます。 x:xはユーザーへ同じ広告を配信した回数(FQ回数) y:yはユーザーに配信された広告のCTR a:学習するパラメータ。 n:最大の次元数、多項式回帰モデルのハイパーパラメータ。 𝑦 ≈ 𝑎1 𝑥1 + 𝑎2 𝑥2 + ⋯ + 𝑎 𝑛 𝑥 𝑛
  92. 92. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 92 機械学習事例: Frequency分析
  93. 93. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 93 機械学習事例: Frequency分析 FQ分析結果を配信で活用することで無駄な広告表示がなくなった クリック確率が上昇し、広告1回あたりの表示単価が1.5%上昇
  94. 94. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 94 RTBにおけるリアルタイム CTR(クリック確率)予測
  95. 95. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 95 インターネット広告の歴史 RTB (Real Time Bidding)=広告枠のオークション ユーザーがページを表示するたびにオークション開催 入札から落札までの時間はわずか0.1秒 オークション 開催 DSP 100円で掲載したい 掲載したくない 500円で掲載したい 広告A 広告B 広告C
  96. 96. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 96 機械学習事例:リアルタイムCTR予測 オークション 開催 DSP 0.1秒=100ms SSP RTB Real Time Bidding ReeMoにてリアルタイム広告入札(RTB) の CTR予測に機械学習モデルを活用 100円で掲載したい 広告A
  97. 97. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 97 機械学習事例:リアルタイムCTRを予測 時間 UserAgent 広告表示回数(FQ) 広告表示経過時間 … Webサイトのクリック 率 広告主のクリック率 Webサイトの男性比率 … リアルタイムデータ 蓄積データ Trained Model CTR 数msで処理が可能 かつ 精度を担保した アルゴリズム選択が必要
  98. 98. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 98 機械学習事例:リアルタイムCTRを予測 CTR予測の精度が高ければ高いほど 広告主に評価される 機械学習モデルの性能がプロダクトの価値を決める 広告主に評価されることで 広告配信量が増え、売上が上がる
  99. 99. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 99 3レイテンシとの戦い 3.1データセンター間のレイテンシ問題 3.2 RealTimeBiddingのレイテンシ問題
  100. 100. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 100 広告システム間連携におけるレイテンシ
  101. 101. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 101 広告エコシステム レコメンド ウィジェット SSP DSP アド ネットワーク 広告
  102. 102. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 102 GMOAMプロダクトエコシステム レコメンド ウィジェット SSP DSP アドネット ワーク 広告
  103. 103. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 103 京都 東京 東京 データセンター間レイテンシ問題 20-30ms 20-30ms ネットワーク 遅延(レイテンシ) だけでが 40-60ms 広告
  104. 104. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 104 東京 東京 東京 データセンター間レイテンシ問題 5-10ms 5-10ms ネットワーク レイテンシが 10-20ms 広告
  105. 105. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 105 東京 データセンター間レイテンシ問題 1-5ms 1-5ms ネットワーク レイテンシが 2-10ms 広告
  106. 106. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 106 RTB(Real Time Bidding)の レイテンシ
  107. 107. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 107 RTBのレイテンシ オークション 開催 DSP 0.1秒=100ms SSP RTB Real Time Bidding 100円で掲載したい RTB (Real Time Bidding)=広告枠のオーク ション 入札から落札までの時間はわずか0.1秒 広告A
  108. 108. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 108 RTBのレイテンシ問題 SSP DSP SYN SYN/ACK ACK TCPの 3ウェイハンド シェイクだけで 15~30ms http response:Close http request:Close ネットワーク 通信だけで 10~20ms 処理時間 が圧迫
  109. 109. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 109 KeepAliveによる接続の最適化 SSP DSP SYN SYN/ACK ACK http response :Keep-Alive http request:Keep-Alive 2nd Request http request:Keep-Alive TCP 3ウェイハンドシェク 処理時間を 短縮できる http response :Keep-Alive
  110. 110. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 110 高負荷時の配信戦略
  111. 111. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 111 高負荷時の配信戦略 突発的なスクープが発生することでPVが増えるため 世の中の動きによっても 広告配信サーバの負荷は増減する 突発的なPV増加に備えて、 高負荷になった場合の対策が必要となる • 過負荷状態になったら確率的にリクエストを ドロップする • RTBであれば、「入札しない」選択をする
  112. 112. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 112 技術力がビジネスに直結 競合よりいかに効率よく マッチした広告が出せるか 技術力がそのまま商品価値へ直結 エンジニアリングでビジネスをリード することが可能
  113. 113. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 113 アドテクノロジーの技術的な面白み ・秒間数十万のトラフィック ・スケーラビリティと高可用性 ・大規模機械学習 ・アプリ〜ネットワークのフルスタッ クな知識が必要 ・非常にシビアなパフォーマンス要求 ・技術力がビジネスに直結
  114. 114. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 114 アドマーケティングでの開発
  115. 115. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 115 どうやって開発しているか?
  116. 116. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 116 開発本部 メディア開発 グループ TAXEL開発 グループ アドクラウド グループ データマイニ ンググループ インフラ グループ  総勢31名 フルスタック:5名、PHP:7名、Java:10名、Ruby:5名 インフラ:3名、データマイニング:1名 グループ間の異動や兼務により、複数言語を習う機会あり 開発体制
  117. 117. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 117  機械学習活用  GMO次世代システム研究室との共同開発  スクラム開発(Jira, Trello, Redmine, Backlog)  技術ブログ運営(週1回頻度で更新)  アジャイル開発  社内Wiki充実、Slackをフル活用した検知体制  成長のためのサポート環境有 書籍購入サポート(費用負担)、サーバー環境の用意 有料/無料外部勉強会参加サポート(業務時間扱い、費用負担) 勉強会開催(AI/機械学習の勉強のサポートも可能) 資格取得サポート(費用負担)、パソコンが自由に選べる(Win/Mac) 学習時間確保(アウトプット必須、インセンティブあり)、フレックスタイム制など 環境の特徴
  118. 118. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 118 ■言語 Java, Ruby(Ruby on Rails), Python, Go, JavaScript(jQuery) PHP(CodeIgniter/FuelPHP), HTML, CSS ■本番環境 MySQL, ActiveMQ, Nginx, Couchbase, GCP, BigQuery, TensorFlow, Spark(DataProc), Apache, MariaDB, Redis, nginx,PostgreSQL, Amazon S3 ■テスト CircleCI, RSpec, Junit, CircleCI, PHPUnit ■ツール GitHub, Docker, Ansible, Capistrano, Gradle, Slack, IntelliJ, gulp,PhpStorm, Backlog, Slack, JIRA 開発環境
  119. 119. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 119 ■隔週でJava, 統計学・機械学習勉強会を実施 ■アウトプットをする環境多数有 (ライトニングトーク大会、テックブログ等) 働く環境
  120. 120. Copyright(C)2019 GMO AD Partners Inc. All Rights Reserved. 120 【参考文献】(2019年2月現在) ■電通報 https://markezine.jp/article/detail/2749 ■MarkeZine https://dentsu-ho.com/articles/5843 ■Authorized Buyers https://developers.google.com/authorized-buyers/rtb/practices-guide ■OPS https://ops.jig-saw.com/knowhow/detail13/ ■ソーシャルゲーム案件におけるDB分割のPHP実装 https://www.slideshare.net/infinite_loop/socialgame-db-slice ■Social Game Info https://gamebiz.jp/?p=167790 ■HTTPセッションとTCP接続 http://www.cresc.co.jp/tech/java/Servlet_Tutorial/Lesson_36.htm ■CDN(コンテンツデリバリネットワーク) https://www.cdnetworks.co.jp/about/

×