Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
何故貴方の機械学習はビジネスを改善でき
ないのか?
AILab Economic Research Scientist
Shota Yasui
2
Shota Yasui (29)
twitter: @housecat442
Work at CyberAgent
2013/10 - present
サーモンの経済学(修士)
↓
広告代理店
↓
DMP
↓
DSP
↓
SSP
良くTok...
ビジネスの改善に必要なのは
機械学習とか統計そのものじゃない
それらを包括した仕組みの提案が必要
3
今日伝えたい事
仕事の変化
● 広告代理店での仕事
○ クライアントの仮説をデータから検証する。
○ 現象をデータから観察して、何が起きているかの仮説を考える。
○ 基本的にはクライアントに向き合う。
● アドテクでの仕事
○ ユーザーが特定の条件を持つ確率を...
コミュニケーションの変化
ユーザー拡張配信しちゃおう。
DMPで!
拡張・・・?
プロダクトオーナー
安井 試行錯誤の結果・・・
CV予測モデル作って、確率の高いユー
ザーリストを作ってみました。
DMPでセグメント作って配信 ♪
プロダクトオ...
コミュニケーションの変化
ユーザー拡張配信しちゃおう。
拡張・・・?
プロダクトオーナー
安井 試行錯誤の結果・・・
CV予測モデル作って、確率の高いユー
ザーリストを作ってみました。
DMPでセグメント作って配信 ♪
プロダクトオーナー
実は...
結果やってしまった事
● 自分の分野や興味の中でのベストな方法を
選択した。
● 課題に対するベストを考えてなかった。
7
歴史的敗北
8
数か月後・・・
経験した敗北
配信群は非配信群の2倍の購買率だった。
→ML自体は機能していた
肝心の拡張配信広告をクリックして
くれていなかった。
9
10
広告配信が要求する改善と、
自分が組んだ改善案には
開きがあった。
→ML以外の発想もあるはずなのに
11
反省点
機械学習や統計の導入のみを提案する
それらを包括した仕組みを提案する
12
ちなみに)Facebookの配信最適化の仕組み
配信対象
属性A
属性B
属性C
属性D
配信
配信
配信
配信
KPI計測
KPI計測
KPI計測
KPI計測
停止
停止
配信
配信 KPI計測
KPI計測
配信 KPI計測
停止
配信最適化...
仕組み考えるとか面倒な事必要なのか?
14
プロダクトによってはそんな発想いらなかった
CTR Prediction
CVR Prediction
まぁそこだよね。
まぁそこだよね。
整理されてない課
題
15
プロダクトの中の課題
CTR/CVR予測のコモディティ化
CTR Prediction
CVR Prediction
手が空いているから何か解いてもら
えるのだけど・・・
大きそうな課題感投げてみるか・・・
この辺のタスクは大体終わった。
機械学習プラットフォームも...
リフトアップ改善の様な複雑な問題
Brand Lift
ブランド案件入れたい・・・
プロダクトでブランドリフトさせる
配信せねば・・・
整理されてない課
題
この問題どうやって解くんだろう?
一旦予測するか。
17
プロダクトの中の課題
18
未整理タスクへの冒険
「人工知能の研究開発チームがプロダクト・組織をどのよ
うに変えたのか」in Developer’s summit 2017
by 谷口 和輝19
冒険の始まり・・・
自分の方法論や興味の中での
ベストな方法による解決策の量産
20
仕組みを提案するという前提がなければ・・・
21
ロジック業務を進める事の何がダメなのか?
1. 問題と人材のミスマッチの温床
○ ベストな解き方が解く人の得意な方法とは限らない
○ 間違ったデザインの中での機械学習の応用
2. プロダクトにとって想像が難しい問題を解くことが後回しにされる
○...
DSのみなさん各々頑張って仕組み提案し
てくださいね♪
23
え?
24
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc…概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力?努力?
仕組みを考えるのに必要な要件
25
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc…概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力?努力?
でも実際のDSのスキルは左上の中のどれか1つ
これってDSの仕事なんだろうか?
26
?
ロジックを改善の仕組みに分解する事がで
きる人材か機能が別途必要
27
ロジックを機械学習業務に変えるには・・・
誰が歩み寄るべきなのか?
28
歩み寄ってよ 歩み寄ってよ
一旦自分で間に入ってみた
29
歩み寄ってよ 歩み寄ってよ
RTBチームでのトライ(2016/10 - 2017/3)
30
課題集約と議論
→仕組みと手法に落とす
各自の興味とスキルに合わせて
分析タスクのアサイン
プロダクト
プロダクト
プロダクト
安井
メンバー
メンバー
メンバー
安井
● 想定...
良かった点
31
● ロジックタスクから機械学習のタスクになった。
● 経験が浅いメンバー陣でも一定の成果が出た。
● 研究とは違う知的好奇心の刺激
悪かった点
● 自分のコミュニケーション量とマネジメントタスクが激増。
● プロダクトの仕事は...
誰が歩み寄るべきなのか?
32
歩み寄ってよ 歩み寄ってよ
生ける屍になって思った事
誰が歩み寄って何を
解決するべきなのか?
33
どちらのサイドからでも良いので
これをやりたい人がやるべき
生ける屍になって思った事
34
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc…概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力?努力?
やりたい人が持つべきもの
35
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc...概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力?努力?
ここを抑えれば、
36
機械学習・因果推論・メカニズムデザイン・
行動経済学・etc...概要の把握。
企業における科学技術を応用した
課題解決例
プロダクトや広告配信の知識 アイデアをひねり出す能力?努力?
手法的な知識と発想の拡大に繋がる。
やりたい人いたら
手を挙げてやってみませんか?
37
Upcoming SlideShare
Loading in …5
×

何故あなたの機械学習はビジネスを改善出来ないのか?

11,531 views

Published on

Adtech Developper's Conferenceにおける発表。
ビジネス改善に必要なのは機械学習とか統計学そのものではなくて、それを包括した仕組みですよね?という話。

Published in: Data & Analytics
  • When i heard he turned $10 into $10,000 in 2 months, i could not believe it's possible. I thought it might be a bug, but word on the street is that it's real. If it is, then we might be in for a real treat! I'll stay on the case and let you know more as soon as I speak with the developers, anyway i will go for it since they have a 60 day money back guarantee, so if not quiet like Jordan told us i will ask for a refund. In the meanwhile, check out the video i told you about last week: http://bit.ly/jordantopaulvideo
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

何故あなたの機械学習はビジネスを改善出来ないのか?

  1. 1. 何故貴方の機械学習はビジネスを改善でき ないのか? AILab Economic Research Scientist Shota Yasui
  2. 2. 2 Shota Yasui (29) twitter: @housecat442 Work at CyberAgent 2013/10 - present サーモンの経済学(修士) ↓ 広告代理店 ↓ DMP ↓ DSP ↓ SSP 良くTokyo.Rに出没してます。
  3. 3. ビジネスの改善に必要なのは 機械学習とか統計そのものじゃない それらを包括した仕組みの提案が必要 3 今日伝えたい事
  4. 4. 仕事の変化 ● 広告代理店での仕事 ○ クライアントの仮説をデータから検証する。 ○ 現象をデータから観察して、何が起きているかの仮説を考える。 ○ 基本的にはクライアントに向き合う。 ● アドテクでの仕事 ○ ユーザーが特定の条件を持つ確率を予測するモデルを作る。 ○ click, cv, sex, age, etc… 4
  5. 5. コミュニケーションの変化 ユーザー拡張配信しちゃおう。 DMPで! 拡張・・・? プロダクトオーナー 安井 試行錯誤の結果・・・ CV予測モデル作って、確率の高いユー ザーリストを作ってみました。 DMPでセグメント作って配信 ♪ プロダクトオーナー 5
  6. 6. コミュニケーションの変化 ユーザー拡張配信しちゃおう。 拡張・・・? プロダクトオーナー 安井 試行錯誤の結果・・・ CV予測モデル作って、確率の高いユー ザーリストを作ってみました。 DMPでセグメント作って配信 ♪ プロダクトオーナー 実は機械学習のタスクだけではなく、 DMPの使い方も暗黙的に依頼に組み込 まれている。 →気が付いてなかったけど・・・ 6
  7. 7. 結果やってしまった事 ● 自分の分野や興味の中でのベストな方法を 選択した。 ● 課題に対するベストを考えてなかった。 7
  8. 8. 歴史的敗北 8 数か月後・・・
  9. 9. 経験した敗北 配信群は非配信群の2倍の購買率だった。 →ML自体は機能していた 肝心の拡張配信広告をクリックして くれていなかった。 9
  10. 10. 10
  11. 11. 広告配信が要求する改善と、 自分が組んだ改善案には 開きがあった。 →ML以外の発想もあるはずなのに 11 反省点
  12. 12. 機械学習や統計の導入のみを提案する それらを包括した仕組みを提案する 12
  13. 13. ちなみに)Facebookの配信最適化の仕組み 配信対象 属性A 属性B 属性C 属性D 配信 配信 配信 配信 KPI計測 KPI計測 KPI計測 KPI計測 停止 停止 配信 配信 KPI計測 KPI計測 配信 KPI計測 停止 配信最適化と呼ばれる仕組み ● 大量にユーザーセグメントを用意する。 ● 一旦全部配信してみる。 ● リフト計測を実行する。 ● 効果悪いセグメントは停止。 ● 残りで配信。 ● 以後続く。 Gordon, Brett R., et al. "A comparison of approaches to advertising measurement: Evidence from big field experiments at Facebook." White paper(2016).
  14. 14. 仕組み考えるとか面倒な事必要なのか? 14
  15. 15. プロダクトによってはそんな発想いらなかった CTR Prediction CVR Prediction まぁそこだよね。 まぁそこだよね。 整理されてない課 題 15 プロダクトの中の課題
  16. 16. CTR/CVR予測のコモディティ化 CTR Prediction CVR Prediction 手が空いているから何か解いてもら えるのだけど・・・ 大きそうな課題感投げてみるか・・・ この辺のタスクは大体終わった。 機械学習プラットフォームもあるか ら別のプロダクトでもやる事ない なー。 整理されてない課 題 16 プロダクトの中の課題
  17. 17. リフトアップ改善の様な複雑な問題 Brand Lift ブランド案件入れたい・・・ プロダクトでブランドリフトさせる 配信せねば・・・ 整理されてない課 題 この問題どうやって解くんだろう? 一旦予測するか。 17 プロダクトの中の課題
  18. 18. 18 未整理タスクへの冒険
  19. 19. 「人工知能の研究開発チームがプロダクト・組織をどのよ うに変えたのか」in Developer’s summit 2017 by 谷口 和輝19 冒険の始まり・・・
  20. 20. 自分の方法論や興味の中での ベストな方法による解決策の量産 20 仕組みを提案するという前提がなければ・・・
  21. 21. 21
  22. 22. ロジック業務を進める事の何がダメなのか? 1. 問題と人材のミスマッチの温床 ○ ベストな解き方が解く人の得意な方法とは限らない ○ 間違ったデザインの中での機械学習の応用 2. プロダクトにとって想像が難しい問題を解くことが後回しにされる ○ 「ざっくり課題感 vs 遠回しな改善」という意思決定の問題は多く起きている ○ クラスタリングやアノテーションのようなタスクは改善のプロセスが想像し難い ○ やったら良さそう位の温度感になってしまい、結果難解だけどアウトプットが直接的なタスクが優先 されてしまう。 →ロジック業務を続けてたら改善に対する打率が低いままになってしまう 22
  23. 23. DSのみなさん各々頑張って仕組み提案し てくださいね♪ 23 え?
  24. 24. 24 機械学習・因果推論・メカニズムデザイン・ 行動経済学・etc…概要の把握。 企業における科学技術を応用した 課題解決例 プロダクトや広告配信の知識 アイデアをひねり出す能力?努力? 仕組みを考えるのに必要な要件
  25. 25. 25 機械学習・因果推論・メカニズムデザイン・ 行動経済学・etc…概要の把握。 企業における科学技術を応用した 課題解決例 プロダクトや広告配信の知識 アイデアをひねり出す能力?努力? でも実際のDSのスキルは左上の中のどれか1つ
  26. 26. これってDSの仕事なんだろうか? 26 ?
  27. 27. ロジックを改善の仕組みに分解する事がで きる人材か機能が別途必要 27 ロジックを機械学習業務に変えるには・・・
  28. 28. 誰が歩み寄るべきなのか? 28 歩み寄ってよ 歩み寄ってよ
  29. 29. 一旦自分で間に入ってみた 29 歩み寄ってよ 歩み寄ってよ
  30. 30. RTBチームでのトライ(2016/10 - 2017/3) 30 課題集約と議論 →仕組みと手法に落とす 各自の興味とスキルに合わせて 分析タスクのアサイン プロダクト プロダクト プロダクト 安井 メンバー メンバー メンバー 安井 ● 想定される課題に関連する論 文を課題図書として指定。 ● プロダクト側から相談のあった 課題に対して改善の仕組みを 提案。 ● 手法の部分をタスクとしてアサ インする。
  31. 31. 良かった点 31 ● ロジックタスクから機械学習のタスクになった。 ● 経験が浅いメンバー陣でも一定の成果が出た。 ● 研究とは違う知的好奇心の刺激 悪かった点 ● 自分のコミュニケーション量とマネジメントタスクが激増。 ● プロダクトの仕事は満足にいかず、共同研究は回らない。 ● DSのプレイヤーとしては生ける屍状態。
  32. 32. 誰が歩み寄るべきなのか? 32 歩み寄ってよ 歩み寄ってよ 生ける屍になって思った事
  33. 33. 誰が歩み寄って何を 解決するべきなのか? 33 どちらのサイドからでも良いので これをやりたい人がやるべき 生ける屍になって思った事
  34. 34. 34 機械学習・因果推論・メカニズムデザイン・ 行動経済学・etc…概要の把握。 企業における科学技術を応用した 課題解決例 プロダクトや広告配信の知識 アイデアをひねり出す能力?努力? やりたい人が持つべきもの
  35. 35. 35 機械学習・因果推論・メカニズムデザイン・ 行動経済学・etc...概要の把握。 企業における科学技術を応用した 課題解決例 プロダクトや広告配信の知識 アイデアをひねり出す能力?努力? ここを抑えれば、
  36. 36. 36 機械学習・因果推論・メカニズムデザイン・ 行動経済学・etc...概要の把握。 企業における科学技術を応用した 課題解決例 プロダクトや広告配信の知識 アイデアをひねり出す能力?努力? 手法的な知識と発想の拡大に繋がる。
  37. 37. やりたい人いたら 手を挙げてやってみませんか? 37

×