Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
2017年9月15日
濱田健宏
広告における機械学習の適用例と
システムについて
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
もくじ
• 自己紹介
• プロダクト概要
• 機械学習の適用例
• システム概要
• まとめ
2
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
自己紹介
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
自己紹介
濱田 健宏(はまだ たけひろ)
 経歴
• 2008-2014(ソニー株式会社)
画像処理・認識アルゴリズムの研究開発
• 2014-(ヤフー株式会社)
モデリングシステムの開発・運用・ロジックチューニングなど
 所属
• マーケティングソリューションズカンパニー データ事業推進本部
 担当プロダクト
• セグメンテーションツール、プラニングツール
4
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
プロダクト概要
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
セグメンテーションツール
• 社内外のデータからユーザーセグメントを抽出
• 広告配信やプランニングに活用
Ex) 新築マンションの訴求 => 「新築 マンション 東京」と検索したユーザーセグメント
6
ヤフーサービスログ
クライアントサービスログ
ユーザーセグメント
YDD/YAD PF
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
機械学習の適用例
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
ユーザーセグメント抽出の課題
• 最適な抽出条件を人が考えるのは限界がある
Ex) 新築マンションの訴求 => 「新築 マンション 東京」 and 年収 and 地域 and …
• 定量的な指標から抽出条件を最適化 => 機械学習
8
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
問題設定を考える
 目的をデータで表現できるように近似
• 新築マンションの訴求 => 新築マンションの資料請求をするユーザーを
増やす
 問題設定
• 新築マンションの資料請求をするか否かの2値分類
 学習データ
• 正例:新築マンションの資料請求をしたユーザー
• 負例:正例以外のヤフーユーザー
=> 精度が悪いケースが多い
9
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
問題を分解する
 正例:(n日前に)新築マンションの資料請求をしたユーザー
• nが小さいユーザー => ダイレクトレスポンス
効きそうな特徴量:「新築 マンション 東京」と検索 and 年収 and 地域 and …
• nが大きいユーザー => ブランディング
効きそうな特徴量:年収 and 地域 and …
=> 性質が異なるユーザーが混ざっている
 目的をダイレクトレスポンスに絞って考える
10
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
問題設定再考
 目的をデータで表現できるように近似
• 2日後に新築マンションの資料請求をするユーザーを増やす
 問題設定
• 2日後に新築マンションの資料請求をするか否かの2値分類
 学習データ
• 正例:2日前に新築マンションの資料請求をしたユーザー
• 負例:正例以外のヤフーユーザー
=> 精度が悪いケースが少ない
11
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
システム概要
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
要件
• 前述の問題設定の範囲で正例条件を任意に設定
• システムの利用者は、一般ユーザー(≠モデラー)
• 正例条件は利用者が設定
• 10-30 モデル / 日 程度を作成
• 当日に登録したモデルを翌日朝までに作成
13
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
システム
 正例負例抽出
• 正例の条件は利用者が設定
• 負例はYJユーザーから一様サンプリング
• Hive処理
 特徴量抽出
• 特徴量は検索、流出、PV、属性データなど利用
• Hive処理
 モデル学習
• 学習器は木構造、boosting
• Mapreduce処理
 オフライン評価
• クロスバリデーション
• ランダムと比較した場合のLift値を精度として利用者に提示
• Mapreduce処理
14
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
利用者からの問い合わせ
配信結果が良くない
 目的と問題設定があっていないケース
• Ex) クレジットカードの申込でモデル作成したが、
審査に落ちる人に多い
=> 正しい問題設定は、クレジットカードの審査通過したユーザー
 正例数が少ないケース
• 正例条件を見直して数を増やす
• ロジックの改良。半教師あり学習やランク学習を検討
• とはいえ、数が少ないと難しいので、
配信初期は機械学習に頼らないで人が考えることも重要
15
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
まとめ
Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved.
まとめ
17
 広告における機械学習の適用例
• 問題設定が重要
 汎用的なモデリングシステムの難しさ
• ある程度は個別に調査が必要
• 正例数が少ないと難しいので、
配信初期は機械学習に頼らないで人が考えることも重要

広告における機械学習の適用例とシステムについて

  • 1.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. 2017年9月15日 濱田健宏 広告における機械学習の適用例と システムについて
  • 2.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. もくじ • 自己紹介 • プロダクト概要 • 機械学習の適用例 • システム概要 • まとめ 2
  • 3.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 自己紹介
  • 4.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. 自己紹介 濱田 健宏(はまだ たけひろ)  経歴 • 2008-2014(ソニー株式会社) 画像処理・認識アルゴリズムの研究開発 • 2014-(ヤフー株式会社) モデリングシステムの開発・運用・ロジックチューニングなど  所属 • マーケティングソリューションズカンパニー データ事業推進本部  担当プロダクト • セグメンテーションツール、プラニングツール 4
  • 5.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. プロダクト概要
  • 6.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. セグメンテーションツール • 社内外のデータからユーザーセグメントを抽出 • 広告配信やプランニングに活用 Ex) 新築マンションの訴求 => 「新築 マンション 東京」と検索したユーザーセグメント 6 ヤフーサービスログ クライアントサービスログ ユーザーセグメント YDD/YAD PF
  • 7.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. 機械学習の適用例
  • 8.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. ユーザーセグメント抽出の課題 • 最適な抽出条件を人が考えるのは限界がある Ex) 新築マンションの訴求 => 「新築 マンション 東京」 and 年収 and 地域 and … • 定量的な指標から抽出条件を最適化 => 機械学習 8
  • 9.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. 問題設定を考える  目的をデータで表現できるように近似 • 新築マンションの訴求 => 新築マンションの資料請求をするユーザーを 増やす  問題設定 • 新築マンションの資料請求をするか否かの2値分類  学習データ • 正例:新築マンションの資料請求をしたユーザー • 負例:正例以外のヤフーユーザー => 精度が悪いケースが多い 9
  • 10.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. 問題を分解する  正例:(n日前に)新築マンションの資料請求をしたユーザー • nが小さいユーザー => ダイレクトレスポンス 効きそうな特徴量:「新築 マンション 東京」と検索 and 年収 and 地域 and … • nが大きいユーザー => ブランディング 効きそうな特徴量:年収 and 地域 and … => 性質が異なるユーザーが混ざっている  目的をダイレクトレスポンスに絞って考える 10
  • 11.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. 問題設定再考  目的をデータで表現できるように近似 • 2日後に新築マンションの資料請求をするユーザーを増やす  問題設定 • 2日後に新築マンションの資料請求をするか否かの2値分類  学習データ • 正例:2日前に新築マンションの資料請求をしたユーザー • 負例:正例以外のヤフーユーザー => 精度が悪いケースが少ない 11
  • 12.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. システム概要
  • 13.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. 要件 • 前述の問題設定の範囲で正例条件を任意に設定 • システムの利用者は、一般ユーザー(≠モデラー) • 正例条件は利用者が設定 • 10-30 モデル / 日 程度を作成 • 当日に登録したモデルを翌日朝までに作成 13
  • 14.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. システム  正例負例抽出 • 正例の条件は利用者が設定 • 負例はYJユーザーから一様サンプリング • Hive処理  特徴量抽出 • 特徴量は検索、流出、PV、属性データなど利用 • Hive処理  モデル学習 • 学習器は木構造、boosting • Mapreduce処理  オフライン評価 • クロスバリデーション • ランダムと比較した場合のLift値を精度として利用者に提示 • Mapreduce処理 14
  • 15.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. 利用者からの問い合わせ 配信結果が良くない  目的と問題設定があっていないケース • Ex) クレジットカードの申込でモデル作成したが、 審査に落ちる人に多い => 正しい問題設定は、クレジットカードの審査通過したユーザー  正例数が少ないケース • 正例条件を見直して数を増やす • ロジックの改良。半教師あり学習やランク学習を検討 • とはいえ、数が少ないと難しいので、 配信初期は機械学習に頼らないで人が考えることも重要 15
  • 16.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved.Copyright © 2017 Yahoo Japan Corporation. All Rights Reserved. まとめ
  • 17.
    Copyright © 2017Yahoo Japan Corporation. All Rights Reserved. まとめ 17  広告における機械学習の適用例 • 問題設定が重要  汎用的なモデリングシステムの難しさ • ある程度は個別に調査が必要 • 正例数が少ないと難しいので、 配信初期は機械学習に頼らないで人が考えることも重要