Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Python data analysis_21st_20200711_ota

182 views

Published on

Pythonデータ分析勉強会_21st_20200711

【オンライン】Pythonデータ分析勉強会#21

https://pythondata.connpass.com/event/179756/?utm_campaign=event_reminder&utm_source=notifications&utm_medium=email&utm_content=title_link

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Python data analysis_21st_20200711_ota

  1. 1. 「いかに自律型のデータ活用に持ち込むか! ~問題設定とデータを通じて、数理最適化など の強化学習の利活用を考える~」 2020年7月11日(土) @usagisan2020 太田 博三 【オンライン】Pythonデータ分析勉 強会#21 時 間:2020年7月11日(土) 13:30-16:30 場 所:ハングアウト(オンライン) 参加費:無料
  2. 2. 自己紹介 1. 環境工学:廃棄物の処理処分に関する研究 →統計学を 副専攻 ↓ 2. Web系企業でレコメンドエンジンの開発・物体認識など ↓ 3. 『ウェブ解析士』の資格本を初版時に執筆協力 https://00m.in/MFxzI ↓ 4. 統計解析⇨データマイニング⇨機械学習・AIへ キャッチアップしつつ、キャリアアップしてきました! ⇨『Juliaデータサイエンス』(2017年刊行: 分担翻訳) https://00m.in/wSR0u
  3. 3. 目次 1. 背景 2. 従来のRecSysとCriteoのRecSysの問題設定 2.1 従来のRecSysの手法の歴史の振り返り 2.2 CriteoのRecSys 3. 強化学習とオペレーションズ・リサーチ(OR)の 問題設定 4. リスティング広告とドメイン領域のマーケティン グ 5. まとめ/ 今後の課題
  4. 4. 1. 背景 ・直近の数か月でレコメンドエンジンの開発を行っ ていました( ^ω^)・・・ ※1 ・従来のRecSys Versus RecSys of DeepRL in Criteo ※1 code of recommend engines; https://github.com/otanet/RecSys ※2 RecoGym: https://arxiv.org/pdf/1808.00720.pdf VS
  5. 5. 2. 従来のRecSysとCriteoのRecSysの問題設定 ・従来のRecSysとは、協調フィルタリングをベースとし たもの。 扱うデータによって、Deep Learningやスパースな データ対応のAmazon DDSTINEなどもあるが、以前と して、Item-Basedやcontent-based RecSysやHybrid RecSysなレコメンドエンジンには変わりはない。 ・CriteoのRecSysとは、次の3つからなり、タスク設計も、 扱うデータも、異なる次元にある。 1)予測入札、 2)レコメンド商品、 3)Dynamic Creative Optimization+
  6. 6. 2.1 従来のRecSysの手法の歴史の振り返り① ・レコメンドエンジンの主流・原型は協調フィルタリングにある。
  7. 7. 2.1 従来のRecSysの手法の歴史の振り返り② 近年ではデータに応じた手法、またはディープラーニングによる行列演算に フォーカスした手法が出てきている。
  8. 8. 2.2 CriteoのRecSys まず、オフライン学習(Offline Learning)のためにRecoGymがデータの 生成を担当し、固定方策で商品を推薦して、その推薦に対するフィード バックを記録する。ここで記録されたのを、訓練データとして用いる。 これにより、エージェントはオフライン学習を行うことができる。 次に、オンライン学習(Online Learning)では、行動決定を行い、その決 定に伴った状態や報酬の観測から方策の更新を行い、これを繰り返し学 習することになります。オフライン学習は,推薦システムでよくあるコール ドスタート問題に対する対処がなされることになるのがメリットです。初期 学習のコストは少なく済み、訓練データの収集と学習を切り離しているの が、強化学習の構造上の特徴です。 引用先:datamix 堅田さん https://datumix.co.jp/blog/recommend/algorithm-recommend/entry-215/
  9. 9. 3. 強化学習とオペレーションズ・リサーチ(OR)の問題設定① ・強化学習は問題設定がすべて! ※ 引用先: “Grokking Reinforcement Learning” Manning Publications
  10. 10. 3. オペレーションズ・リサーチ(OR)の問題設定② ・強化学習は問題設定がすべて! ※ 引用先: “Grokking Reinforcement Learning” Manning Publications
  11. 11. 3. オペレーションズ・リサーチ(OR)の問題設定③ ・強化学習は問題設定がすべて! ※ 引用先: “Grokking Reinforcement Learning” Manning Publications
  12. 12. 3. オペレーションズ・リサーチ(OR)の問題設定④ ・
  13. 13. ・線形計画問題として定式化します。 3. オペレーションズ・リサーチ(OR)の問題設定⑤
  14. 14. 3. オペレーションズ・リサーチ(OR)の問題設定⑥ ・他にも、いろいろあります。 整数計画問題、混合整数計画問題
  15. 15. 1. ソーシャルグラフによるリアルタイム・レコメン デーションを考えてみると… 4. リスティング広告とドメイン領域のマーケティング① 2. ドメイン知識としてのマーケティングも必要!! キー・アイテム
  16. 16. 3. レコメンドエンジンのデータはNetflixのような商品名、レ ンタル回数、ジャンル、評価と個人属性(性別・年代・収入 等)…などのように、十分なデータは少ない! ・時系列の変数が2つか3つのデータがほとんどです! 4. リスティング広告とドメイン領域のマーケティング②
  17. 17. 2. ドメイン知識で本質を見抜く! ⇒事業の軸になっているサービスや商品は何かを 考える。 4. リスティング広告とドメイン領域のマーケティング③ キーアイテム 量 を 多 く し た も の メ ニ ュ ー 開 発 し た も の
  18. 18. 補足: キーアイテムの発見 ③[環境]来店中のお客様へのキー・アイテムの訴求] キーアイテム ※ キーアイテムは、購買回数や点数、金額などを指標化し算出する。 性×年齢 (10才刻み) 金額 (円) 点数 (点) 平均単価 (円) 購買回数 購買率 (%) 1回当り 購買金額 (円) 1回当り 購買点数 (点) 購買人数 購買経験 率 (%) 1人当り 購買金額 (円) 1人当り 購買点数 (点) 1人当り 購買回数 平均 購買間隔 男性20代以下 264,614 564 469.2 380 3 696.4 1.5 166 16.6 1,594.10 3.4 2.3 20.4 男性30代 994,483 2,533 392.6 1,594 6.9 623.9 1.6 422 20.3 2,356.60 6 3.8 18.7 男性40代 1,594,404 3,837 415.5 2,356 6.4 676.7 1.6 666 19.2 2,394.00 5.8 3.5 19.6 男性50代 1,849,793 4,220 438.3 2,566 6.7 720.9 1.6 595 16.9 3,108.90 7.1 4.3 18.5 男性60代 1,404,772 3,681 381.6 1,735 5.7 809.7 2.1 402 14 3,494.50 9.2 4.3 19 男性70代 670,340 1,145 585.4 681 3.3 984.3 1.7 212 10.2 3,162.00 5.4 3.2 17.5 男性80代以上 237,932 579 410.9 229 2.6 1,039.00 2.5 87 9.8 2,734.90 6.7 2.6 22.1 女性20代 400,658 971 412.6 653 2.3 613.6 1.5 315 12.9 1,271.90 3.1 2.1 19.9 女性30代 1,554,834 4,081 381 2,532 3.2 614.1 1.6 1,014 13.7 1,533.40 4 2.5 22 女性40代 2,855,502 7,573 377.1 4,668 3.3 611.7 1.6 1,613 11.8 1,770.30 4.7 2.9 20.7 女性50代 3,381,432 7,437 454.7 4,349 3.1 777.5 1.7 1,430 11.5 2,364.60 5.2 3 20.8 女性60代 2,489,518 5,417 459.6 3,007 2.4 827.9 1.8 1,150 9.4 2,164.80 4.7 2.6 19.1 女性70代 1,599,541 3,174 504 1,788 2.2 894.6 1.8 652 8 2,453.30 4.9 2.7 22.7 女性80代以上 432,599 851 508.3 454 1.8 952.9 1.9 211 8.1 2,050.20 4 2.2 23.2 全体 20,675,830 48,265 428.4 28,290 3.4 730.9 1.7 9,358 11.7 2,209.40 5.2 3 20.2
  19. 19. ・メニュー開発したものには、数理計画法(OR) が用いられている。 4. リスティング広告とドメイン領域のマーケティング④ メ ニ ュ ー 開 発 し た も の
  20. 20. 補足: ID-POSによる新商品開発 ④[新商品開発] →キーアイテムで用 いられている原材 料に追加的費用 の最小化によって、 実現します。 ・制約条件: 期間限定メニュー はその物価が安い 時に仕入れるため、 数量が限定的であ る。 キーアイテム 追加費用は チーズの1品目 のみ。 材料の追加は 10品目と採算 が取れない可 能性が高い。
  21. 21. ・メニュー開発したものには、数理計画法(OR)が 用いられている。 4. リスティング広告とドメイン領域のマーケティング⑤ メ ニ ュ ー 開 発 し た も の
  22. 22. ・マーケティング戦略とリスティング広告・LINE Messagasingによるプロモーション ⇒効果検証込みな設計が、強化学習と言える。 4. リスティング広告とドメイン領域のマーケティング⑥
  23. 23. 補足: 強化学習LINE@のクーポン割引戦略への適用 [環境: 来店中のお客様へのキー・アイテムの訴求] • お客様の注文された品からキー・アイテムを発見し、こち らを中心にで@LINEアカウントで訴求し、購買意欲を 広げ、客単価を向上させます。 • 割引率を調整させることで、購入時の利益率の最大 化に結びつける。 ※1 キーアイテムは、購買回数や点数、金額などを指標化し選出する。 ※2 割引率は価格弾力性などを用いる。 キーアイテム 10% OFF 8% OFF 6% OFF
  24. 24. 5. まとめ/ 今後の課題 1. いかに自律型のデータ活用に持ち込むか!を ドメイン知識を交えて考えることで、問題設定 ができました。 2. データに応じた「問題設定」は強化学習では利 便性が高いこともあります。コールドスタート問 題等で。 3. 新商品開発、とりわけメニュー開発は、オペ レーションズ・リサーチ(OR)などの数理最適化 が活用されています!
  25. 25. ご清聴ありがとうございました ・最近、就業した会社がコロ ナの影響で辞める予定です。 ・強化学習や自然言語処理・ 機械学習の分野で、求職中 です! ・よろしければ、お声がけ願い ます! Twitter @usagisan2020

×