1.
何故貴方の機械学習はビジネスを改善でき
ないのか？
AILab Economic Research Scientist
Shota Yasui

2.
2
Shota Yasui (29)
twitter: @housecat442
Work at CyberAgent
2013/10 - present
サーモンの経済学（修士）
↓
広告代理店
↓
DMP
↓
DSP
↓
SSP
良くTokyo.Rに出没してます。

3.
ビジネスの改善に必要なのは
機械学習とか統計そのものじゃない
それらを包括した仕組みの提案が必要
3
今日伝えたい事

4.
仕事の変化
● 広告代理店での仕事
○ クライアントの仮説をデータから検証する。
○ 現象をデータから観察して、何が起きているかの仮説を考える。
○ 基本的にはクライアントに向き合う。
● アドテクでの仕事
○ ユーザーが特定の条件を持つ確率を予測するモデルを作る。
○ click, cv, sex, age, etc…
4

5.
コミュニケーションの変化
ユーザー拡張配信しちゃおう。
DMPで！
拡張・・・？
プロダクトオーナー
安井 試行錯誤の結果・・・
CV予測モデル作って、確率の高いユー
ザーリストを作ってみました。
DMPでセグメント作って配信 ♪
プロダクトオーナー
5

6.
コミュニケーションの変化
ユーザー拡張配信しちゃおう。
拡張・・・？
プロダクトオーナー
安井 試行錯誤の結果・・・
CV予測モデル作って、確率の高いユー
ザーリストを作ってみました。
DMPでセグメント作って配信 ♪
プロダクトオーナー
実は機械学習のタスクだけではなく、
DMPの使い方も暗黙的に依頼に組み込
まれている。
→気が付いてなかったけど・・・
6

7.
結果やってしまった事
● 自分の分野や興味の中でのベストな方法を
選択した。
● 課題に対するベストを考えてなかった。
7

8.
歴史的敗北
8
数か月後・・・

9.
経験した敗北
配信群は非配信群の２倍の購買率だった。
→ML自体は機能していた
肝心の拡張配信広告をクリックして
くれていなかった。
9

10.
10

11.
広告配信が要求する改善と、
自分が組んだ改善案には
開きがあった。
→ML以外の発想もあるはずなのに
11
反省点

12.
機械学習や統計の導入のみを提案する
それらを包括した仕組みを提案する
12

13.
ちなみに）Facebookの配信最適化の仕組み
配信対象
属性A
属性B
属性C
属性D
配信
配信
配信
配信
KPI計測
KPI計測
KPI計測
KPI計測
停止
停止
配信
配信 KPI計測
KPI計測
配信 KPI計測
停止
配信最適化と呼ばれる仕組み
● 大量にユーザーセグメントを用意する。
● 一旦全部配信してみる。
● リフト計測を実行する。
● 効果悪いセグメントは停止。
● 残りで配信。
● 以後続く。
Gordon, Brett R., et al. "A comparison of approaches to advertising measurement: Evidence from
big field experiments at Facebook." White paper(2016).

14.
仕組み考えるとか面倒な事必要なのか？
14

15.
プロダクトによってはそんな発想いらなかった
CTR Prediction
CVR Prediction
まぁそこだよね。
まぁそこだよね。
整理されてない課
題
15
プロダクトの中の課題

16.
CTR/CVR予測のコモディティ化
CTR Prediction
CVR Prediction
手が空いているから何か解いてもら
えるのだけど・・・
大きそうな課題感投げてみるか・・・
この辺のタスクは大体終わった。
機械学習プラットフォームもあるか
ら別のプロダクトでもやる事ない
なー。
整理されてない課
題
16
プロダクトの中の課題

17.
リフトアップ改善の様な複雑な問題
Brand Lift
ブランド案件入れたい・・・
プロダクトでブランドリフトさせる
配信せねば・・・
整理されてない課
題
この問題どうやって解くんだろう？
一旦予測するか。
17
プロダクトの中の課題

18.
18
未整理タスクへの冒険

19.
「人工知能の研究開発チームがプロダクト・組織をどのよ
うに変えたのか」in Developer’s summit 2017
by 谷口 和輝19
冒険の始まり・・・

20.
自分の方法論や興味の中での
ベストな方法による解決策の量産
20
仕組みを提案するという前提がなければ・・・

21.
21

22.
ロジック業務を進める事の何がダメなのか？
1. 問題と人材のミスマッチの温床
○ ベストな解き方が解く人の得意な方法とは限らない
○ 間違ったデザインの中での機械学習の応用
2. プロダクトにとって想像が難しい問題を解くことが後回しにされる
○ 「ざっくり課題感 vs 遠回しな改善」という意思決定の問題は多く起きている
○ クラスタリングやアノテーションのようなタスクは改善のプロセスが想像し難い
○ やったら良さそう位の温度感になってしまい、結果難解だけどアウトプットが直接的なタスクが優先
されてしまう。
→ロジック業務を続けてたら改善に対する打率が低いままになってしまう
22

23.
ＤＳのみなさん各々頑張って仕組み提案し
てくださいね♪
23
え？

24.
24
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc…概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力？努力？
仕組みを考えるのに必要な要件

25.
25
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc…概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力？努力？
でも実際のDSのスキルは左上の中のどれか１つ

26.
これってDSの仕事なんだろうか？
26
？

27.
ロジックを改善の仕組みに分解する事がで
きる人材か機能が別途必要
27
ロジックを機械学習業務に変えるには・・・

28.
誰が歩み寄るべきなのか？
28
歩み寄ってよ 歩み寄ってよ

29.
一旦自分で間に入ってみた
29
歩み寄ってよ 歩み寄ってよ

30.
RTBチームでのトライ（2016/10 - 2017/3）
30
課題集約と議論
→仕組みと手法に落とす
各自の興味とスキルに合わせて
分析タスクのアサイン
プロダクト
プロダクト
プロダクト
安井
メンバー
メンバー
メンバー
安井
● 想定される課題に関連する論
文を課題図書として指定。
● プロダクト側から相談のあった
課題に対して改善の仕組みを
提案。
● 手法の部分をタスクとしてアサ
インする。

31.
良かった点
31
● ロジックタスクから機械学習のタスクになった。
● 経験が浅いメンバー陣でも一定の成果が出た。
● 研究とは違う知的好奇心の刺激
悪かった点
● 自分のコミュニケーション量とマネジメントタスクが激増。
● プロダクトの仕事は満足にいかず、共同研究は回らない。
● ＤＳのプレイヤーとしては生ける屍状態。

32.
誰が歩み寄るべきなのか？
32
歩み寄ってよ 歩み寄ってよ
生ける屍になって思った事

33.
誰が歩み寄って何を
解決するべきなのか？
33
どちらのサイドからでも良いので
これをやりたい人がやるべき
生ける屍になって思った事

34.
34
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc…概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力？努力？
やりたい人が持つべきもの

35.
35
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc...概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力？努力？
ここを抑えれば、

36.
36
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc...概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力？努力？
手法的な知識と発想の拡大に繋がる。

37.
やりたい人いたら
手を挙げてやってみませんか？
37