「AIの問題設定の利活用を考える～強化学習と数理最適化を例にして～」

1. 「AIの問題設定の利活用を考える
～強化学習と数理最適化を例にして～」
2020年8月8日（土） @usagisan2020
太田 博三
オンライン開催！入退室自
由【シューマイ】もくもく花火
編
もくもく参加＋LT(LTは5〜10
分程度予定)
時間：2020年8月8日（土）
10：00-17：00
場 所：オンライン

2. 自己紹介
1. 環境工学を専攻：廃棄物の処理処分に関する研究
→統計学を副専攻
↓
2. Web系企業でレコメンドエンジンや文章自動生成の開
発など
↓
3. 『ウェブ解析士』の資格本を初版時に執筆協力
https://00m.in/MFxzI
↓
4. 統計解析⇨データマイニング⇨機械学習・AIへ
キャッチアップし、今は自然言語理解×強化学習！
⇨『Juliaデータサイエンス』(2017年刊行: 分担翻訳)
https://00m.in/wSR0u

3. 目次
1. 背景
2. レコメンドエンジンにみる、異なる2つの問題設定
3. 従来のリレーショナル・データ VS 最近のストリーミ
ング・データ
4.最近のストリーミング・データに強い問題設定とは
（強化学習やオペレーションズ・リサーチ（OR））
5.最近のストリーミング・データの利活用に強いドメイ
ン知識とは（マーケティング）
6. まとめ/ 今後の課題
7．参考文献・参照URL一覧

4. 目次
1. 背景
2. レコメンドエンジンにみる、異なる2つの問題設
定
3. 最近のストリーミング・データに強い問題設定と
は（強化学習やオペレーションズ・リサーチ（OR））
4. 最近のストリーミング・データの利活用に強いド
メイン知識とは（マーケティング）
5. まとめ/ 今後の課題

5. 1. 背景
・直近の数か月でレコメンドエンジンの開発を行っ
ていました（ ＾ω＾）・・・ ※1
↓
・従来のAmazonのようなレコメンドと異なるものを
求めていることも判明しました。
↓
・この相違は何なのか？と考えてました。
⇒問題設定をする人とデータによるものだと思い、
問題設定について次のスライドで整理してまし
た！

6. 1. 背景
・・問題設定とは、ここでは、社内や社外の課題を改
善しうるソリューションのこと。またこれに向けた適用
可能なアプローチ、そして既存の入手可能なデータ
の項目（変数や特徴量）が想定されているものと仮定
する。
・・データとは、主に、リレーショナル・データベースや
ストリーム・データが保有されており、抽出可能である
状態にあること、と仮定する。
（みなさんに質問）
おもに、問題設定をするひとは、誰でしょうか？
データのことを知っているひとは、誰でしょうか？

7. 1. 背景
・・問題設定をする人とは、誰でしょうか？
→企画のひと、営業のひと、プロマネのひと、コー
ディネーター…
・・データをよく知っている人とは、誰でしょうか？
→インフラエンジニア、データサイエンティスト、プ
ログラマ、企画部のひと、プロマネ…
（みなさんに質問）
おもに、問題設定をするひとは、誰でしょうか？
データのことを知っているひとは、誰でしょうか？

8. 1. 背景
・・問題設定のビジネス的な関わりとその順序
例
①メーカー――取引先クライアントの場合
（打合せ）要望や課題を相互に共有する
当該部署とシステム部のひと――営業のひと
↓
（社内共有）
②主に議事録で共有し、これは第2義的な情報となる。
↓
（システム・コンサル担当者と協議）
③ここで、ソリューションを考え、先方に提案する。
↓
（相互に合意し契約が取れたら）
④ここで、問題設定を行うことになる！（ことが多い）
↓
⑤キックオフMTGをして、開発がはじまる。

9. 1. 背景
・・データのビジネス的な関わりとその順序
例
①メーカー――取引先クライアントの場合
（打合せ）要望や課題を相互に共有する
当該部署とシステム部のひと――営業のひと
↓
（社内共有）
②主に議事録で共有し、これは第2義的な情報となる。
↓
（システム・コンサル担当者と協議）
③ここで、ソリューションを考え、先方に提案する。←解決策を選定する。
↓
（相互に合意し契約が取れたら）
④ここで、問題設定を行うことになる！（ことが多い）←データの項目（変
数）を考える！
↓
⑤キックオフMTGをして、開発がはじまる。

10. 1. 背景
・・わたしが遭遇したのは、④と⑤の間の状況でした…、ここで、①、②、③のひとたち
が知っていたらより良いと思われる問題設定とドメイン知識を説明します！
①メーカー――取引先クライアントの場合
（打合せ）要望や課題を相互に共有する
当該部署とシステム部のひと――営業のひと
↓
（社内共有）
②主に議事録で共有し、これは第2義的な情報となる。
↓
（システム・コンサル担当者と協議）
③ここで、ソリューションを考え、先方に提案する。←解決策を選定する。
↓
（相互に合意し契約が取れたら）
④ここで、問題設定を行うことになる！（ことが多い）←データの項目（変
数）を考える！
↓
⑤キックオフMTGをして、開発がはじまる。←問題設定が常に念頭になっ
ている。

11. 目次
1. 背景
2. レコメンドエンジンにみる、異なる2つの問題設
定
3. 最近のストリーミング・データに強い問題設定と
は（強化学習やオペレーションズ・リサーチ（OR））
4. 最近のストリーミング・データの利活用に強いド
メイン知識とは（マーケティング）
5. まとめ/ 今後の課題

12. 2. レコメンドエンジンにみる、異なる2つの問題設定
協調フィルタリングによるレコメンド 強化学習によるレコメンド
※1 code of recommend engines; https://github.com/otanet/RecSys
※2 RecoGym: https://arxiv.org/pdf/1808.00720.pdf

13. 2. レコメンドエンジンにみる、異なる2つの問題設定
・従来のレコメンドエンジンは、協調フィルタリングをベースとした
ものです。
扱うデータによって、Deep Learningやスパースなデータ対応の
Amazon DDSTINEなどもありますが、依然として、Item-Basedや
content-based 型、さらにHybrid型が主流であることに変わりは
ありません。
⇒根拠は次のスライドのレコメンドエンジンの変遷から見受けら
れます。
一方、強化学習によるレコメンドエンジン（CriteoのRecSys）とは、
次の3つからなり、タスク設計も、扱うデータも、異なります。
1)予測入札、
2)レコメンド商品、
3)Dynamic Creative Optimization+

14. 2.1 レコメンドエンジンの変遷①
・レコメンドエンジンの主流・原型は協調フィルタリングにある。

15. 2.1 レコメンドエンジンの変遷②
近年ではデータに応じた手法、またはディープラーニングによる行列演算に
フォーカスした手法が出てきている。

16. 2.2 CriteoのRecSys
まず、オフライン学習（Offline Learning）のためにRecoGymがデータの
生成を担当し、固定方策で商品を推薦して、その推薦に対するフィード
バックを記録する。ここで記録されたのを、訓練データとして用いる。
これにより、エージェントはオフライン学習を行うことができる。
次に、オンライン学習（Online Learning）では、行動決定を行い、その決
定に伴った状態や報酬の観測から方策の更新を行い、これを繰り返し学
習することになります。オフライン学習は，推薦システムでよくあるコール
ドスタート問題に対する対処がなされることになるのがメリットです。初期
学習のコストは少なく済み、訓練データの収集と学習を切り離しているの
が、強化学習の構造上の特徴です。
引用先：datamix 堅田さん https://datumix.co.jp/blog/recommend/algorithm-recommend/entry-215/

17. 実習 2.レコメンドエンジンの変遷をいくつか
・レコメンドエンジンはデータが手法を決める！
• Google Colabで感覚
をつかもう！
協調フィルタリングを
主とした「レコメンドエン
ジン」の手法主に５つ
です。
https://github.com/otanet/RecSys

18. 目次
1. 背景
2. レコメンドエンジンにみる、異なる2つの問題設
定
3. 最近のストリーミング・データに強い問題設定と
は（強化学習やオペレーションズ・リサーチ（OR））
4. 最近のストリーミング・データの利活用に強いド
メイン知識とは（マーケティング）
5. まとめ/ 今後の課題

19. 3. 最近の強化学習やオペレーションズ・リサーチ（OR）の問題設定①
・強化学習は問題設定がすべて！
※ 引用先: “Grokking Reinforcement Learning”
Manning Publications
・強化学習とORは問題設定がすべて！
制御工学
オペレーションズ・リ
サーチ（OR）

20. 3. 最近の強化学習やオペレーションズ・リサーチ（OR）の問題設定②
※ 引用先: “Grokking Reinforcement Learning”
Manning Publications
・強化学習とORは問題設定がすべて！
実体
強化学習で
問題設定

21. 3. 最近の強化学習やオペレーションズ・リサーチ（OR）の問題設定③
・強化学習とORは問題設定がすべて！
※ 引用先: “Grokking Reinforcement Learning”
Manning Publications

22. 3. オペレーションズ・リサーチ（OR）の問題設定④
・・強化学習とORは問題設定がすべて！

23. ・線形計画問題として定式化（-1 ～ 1）
3. オペレーションズ・リサーチ（OR）の問題設定⑤
・強化学習とORは問題設定がすべて！

24. 3. オペレーションズ・リサーチ（OR）の問題設定⑥
・強化学習とORは問題設定がすべて！
• 整数混合問題は、線形より複雑（∞）

25. 3. オペレーションズ・リサーチ（OR）の問題設定⑥
・強化学習とORは問題設定がすべて！

26. 実習 3. オペレーションズ・リサーチ（OR）
・強化学習とORは問題設定がすべて！
• Google Colabで感覚を
つかもう！
線形最適化の「生産計
画問題」です。
https://github.com/otanet/opt
https://github.com/otanet/opt/blob/master/Python%E3
%81%AB%E3%82%88%E3%82%8B%E7%B7%9A%E5%BD%
A2%E6%9C%80%E9%81%A9%E5%8C%9620200806.ipynb

27. 目次
1. 背景
2. レコメンドエンジンにみる、異なる2つの問題設
定
3. 最近のストリーミング・データに強い問題設定と
は（強化学習やオペレーションズ・リサーチ（OR））
4. 最近のストリーミング・データの利活用に強いド
メイン知識とは（マーケティング）
5. まとめ/ 今後の課題

28. 1. ソーシャルグラフによるリアルタイム・レコメン
デーションを考えてみると…
4.最近のストリーミング・データの利活用に強いドメイン知識とは
（マーケティング）①
2. ドメイン知識としてのマーケティングも必要！！
キー・アイテム

29. 3. レコメンドエンジンのデータはNetflixのような商品名、レ
ンタル回数、ジャンル、評価と個人属性（性別・年代・収入
等）…などのように、十分なデータは少ない！
・時系列の変数が2つか3つのデータがほとんどです！
4.最近のストリーミング・データの利活用に強いドメイン知識とは
（マーケティング）②

30. 2. ドメイン知識で本質を見抜く！
⇒事業の軸になっているサービスや商品は何かを
考える。
4.最近のストリーミング・データの利活用に強いドメイン知識とは（マーケ
ティング）③
キーアイテム
量
を
多
く
し
た
も
の
メ
ニ
ュ
ー
開
発
し
た
も
の

31. 応用: キーアイテムの発見
③[環境]来店中のお客様へのキー・アイテムの訴求]
キーアイテム
※ キーアイテムは、購買回数や点数、金額などを指標化し算出する。
性×年齢
（10才刻み）
金額
（円）
点数
（点）
平均単価
（円）
購買回数
購買率
（％）
１回当り
購買金額
（円）
１回当り
購買点数
（点）
購買人数
購買経験
率
（％）
１人当り
購買金額
（円）
１人当り
購買点数
（点）
１人当り
購買回数
平均
購買間隔
男性20代以下 264,614 564 469.2 380 3 696.4 1.5 166 16.6 1,594.10 3.4 2.3 20.4
男性30代 994,483 2,533 392.6 1,594 6.9 623.9 1.6 422 20.3 2,356.60 6 3.8 18.7
男性40代 1,594,404 3,837 415.5 2,356 6.4 676.7 1.6 666 19.2 2,394.00 5.8 3.5 19.6
男性50代 1,849,793 4,220 438.3 2,566 6.7 720.9 1.6 595 16.9 3,108.90 7.1 4.3 18.5
男性60代 1,404,772 3,681 381.6 1,735 5.7 809.7 2.1 402 14 3,494.50 9.2 4.3 19
男性70代 670,340 1,145 585.4 681 3.3 984.3 1.7 212 10.2 3,162.00 5.4 3.2 17.5
男性80代以上 237,932 579 410.9 229 2.6 1,039.00 2.5 87 9.8 2,734.90 6.7 2.6 22.1
女性20代 400,658 971 412.6 653 2.3 613.6 1.5 315 12.9 1,271.90 3.1 2.1 19.9
女性30代 1,554,834 4,081 381 2,532 3.2 614.1 1.6 1,014 13.7 1,533.40 4 2.5 22
女性40代 2,855,502 7,573 377.1 4,668 3.3 611.7 1.6 1,613 11.8 1,770.30 4.7 2.9 20.7
女性50代 3,381,432 7,437 454.7 4,349 3.1 777.5 1.7 1,430 11.5 2,364.60 5.2 3 20.8
女性60代 2,489,518 5,417 459.6 3,007 2.4 827.9 1.8 1,150 9.4 2,164.80 4.7 2.6 19.1
女性70代 1,599,541 3,174 504 1,788 2.2 894.6 1.8 652 8 2,453.30 4.9 2.7 22.7
女性80代以上 432,599 851 508.3 454 1.8 952.9 1.9 211 8.1 2,050.20 4 2.2 23.2
全体 20,675,830 48,265 428.4 28,290 3.4 730.9 1.7 9,358 11.7 2,209.40 5.2 3 20.2

32. ・メニュー開発したものには、数理計画法（OR）
が用いられている。
4.最近のストリーミング・データの利活用に強いドメイン知識とは（マーケ
ティング）④
メ
ニ
ュ
ー
開
発
し
た
も
の

33. 応用: ID-POSによる新商品開発
④[新商品開発]
→キーアイテムで用
いられている原材
料に追加的費用
の最小化によって、
実現します。
・制約条件:
期間限定メニュー
はその物価が安い
時に仕入れるため、
数量が限定的であ
る。
キーアイテム
追加費用は
チーズの1品目
のみ。
材料の追加は
10品目と採算
が取れない可
能性が高い。

34. ・メニュー開発したものには、数理計画法（OR）が
用いられている。
4.最近のストリーミング・データの利活用に強いドメイン知識とは（マーケ
ティング）⑤
メ
ニ
ュ
ー
開
発
し
た
も
の

35. ・マーケティング戦略とリスティング広告・LINE
Messagasingによるプロモーション
⇒効果検証込みな設計が、強化学習と言える。
4.最近のストリーミング・データの利活用に強いドメイン知識とは（マーケ
ティング）⑥

36. 補足: 強化学習LINE@のクーポン割引戦略への適用
[環境: 来店中のお客様へのキー・アイテムの訴求]
• お客様の注文された品からキー・アイテムを発見し、こち
らを中心にで@LINEアカウントで訴求し、購買意欲を
広げ、客単価を向上させます。
• 割引率を調整させることで、購入時の利益率の最大
化に結びつける。
※1 キーアイテムは、購買回数や点数、金額などを指標化し選出する。
※2 割引率は価格弾力性などを用いる。
キーアイテム
10% OFF 8% OFF 6% OFF

37. 目次
1. 背景
2. レコメンドエンジンにみる、異なる2つの問題設
定
3. 最近のストリーミング・データに強い問題設定と
は（強化学習やオペレーションズ・リサーチ（OR））
4. 最近のストリーミング・データの利活用に強いド
メイン知識とは（マーケティング）
5. まとめ/ 今後の課題

38. 5. まとめ/ 今後の課題①
1. いかに自律型のデータ活用に持ち込むか！を
ドメイン知識を交えて考えることで、問題設定
ができました。
2. データに応じた「問題設定」は強化学習では利
便性が高いこともあります。コールドスタート問
題等で。
3. 新商品開発、とりわけメニュー開発は、オペ
レーションズ・リサーチ（OR）などの数理最適化
が活用されています！

39. 5. まとめ/ 今後の課題②
・今の主流と思われるもの
1．深層強化学習
2．因果推論・因果探索
3．マーケティング分野における数理最適化

40. ご清聴ありがとうございました
・フィードバック等、お声がけ
願います！
Twitter @usagisan2020
今後も、次の3つのうちのいず
れかを掛け合わせて、より良
いものを作り出してゆきたい
です！
1．深層強化学習
2．因果推論・因果探索
3．マーケティング分野におけ
る数理最適化