Download as PDF, PPTX
![•
𝑡 = 1,2, … , 𝑇
{ 𝑋𝑖 𝑡 }
𝐼 𝑡 ∈ 𝐾
𝑋𝐼 𝑡 ∈ [0,1]
E σ 𝑡=1
𝑇 𝑋𝐼 𝑡 𝑡](https://image.slidesharecdn.com/stair-20170922-komiyama-170925134227/85/13-27-320.jpg)
![
➢
➢
𝜋: C → [𝐾]
](https://image.slidesharecdn.com/stair-20170922-komiyama-170925134227/85/13-37-320.jpg)
Uploaded bySTAIR Lab, Chiba Institute of Technology
多腕バンディット問題: 定式化と応用 (第13回ステアラボ人工知能セミナー)
講演者: 小宮山純平 先生 (東京大学生産技術研究所) 概要: 多腕バンディット問題は、情報の探索と活用のトレードオフを解決するための最も単純なモデルである。 この問題は1930年代から統計家によって扱われてきたが、近年オンライン広告配置などへの応用を契機として機械学習分野で研究が加速している。 本発表では、前半で多腕バンディット問題の定式化について説明した後、後半でオンライン広告配置、A/Bテスト、囲碁アルゴリズムなどの応用について解説する。
More Related Content
![SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜](https://cdn.slidesharecdn.com/ss_thumbnails/ss2ssii2022-220607054716-2760bd30-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to 多腕バンディット問題: 定式化と応用 (第13回ステアラボ人工知能セミナー)
![Infinite SVM [改] - ICML 2011 読み会](https://cdn.slidesharecdn.com/ss_thumbnails/isvm-icml11a-110719050617-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Dl輪読会]introduction of reinforcement learning](https://cdn.slidesharecdn.com/ss_thumbnails/dlintroductionofreinforcementlearning-161121061444-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Scalable Training of Inference Networks for Gaussian-Process Models](https://cdn.slidesharecdn.com/ss_thumbnails/mainslideshare1-190927025239-thumbnail.jpg?width=640&height=640&fit=bounds)
多腕バンディット問題: 定式化と応用 (第13回ステアラボ人工知能セミナー)
- 2.
- 3.
- 5.
- 6. 𝑡 = 1,2,… , 𝑇 𝐼 𝑡 ∈ 𝐾 = 1, … , 𝐾 𝑋𝐼 𝑡 𝑡
- 7.
- 8.
- 9. 𝑡 = 1,2,… , 𝑇 𝐼 𝑡 ∈ 𝐾 = 1, … , 𝐾 𝑋𝐼 𝑡 𝑡
- 10. 𝑡 = 1,2,… , 𝑇 𝐼 𝑡 ∈ 𝐾 = 1, … , 𝐾 𝑋𝐼 𝑡 𝑡
- 11. ベイズ的 確率的 敵対的 モデルベイズ 頻度論 任意 未来の報酬は？ 割引 今と同じ 今と同じ アルゴリズム Gittins指数 UCB/TS/MED Exp3 (指数重み) https://www.slideshare.net /JohnTyndall /an-introduction-to-bayesian-statistics より
- 12. ベイズ的 確率的 敵対的 モデルベイズ 頻度論 任意 未来の報酬は？ 割引 今と同じ 今と同じ アルゴリズム Gittins指数 UCB/TS/MED Exp3 (指数重み) https://www.slideshare.net /JohnTyndall /an-introduction-to-bayesian-statistics より
- 13. ベイズ的 確率的 敵対的 モデルベイズ 頻度論 任意 未来の報酬は？ 割引 今と同じ 今と同じ アルゴリズム Gittins指数 UCB/TS/MED Exp3 (指数重み) https://www.slideshare.net /JohnTyndall /an-introduction-to-bayesian-statistics より
- 14. • 𝛽 ∈ (0,1)𝝁𝒊(𝟎) 𝒊 𝑡 = 1,2, … , 𝑇 𝐼 𝑡 ∈ 𝐾 𝑋𝐼 𝑡 𝜇𝐼 𝑡 (𝑡)
- 15. • 𝛽 ∈ (0,1)𝝁𝒊(𝟎) 𝒊 𝑡 = 1,2, … , 𝑇 𝐼 𝑡 ∈ 𝐾 𝑋𝐼 𝑡 𝜇𝐼 𝑡 (𝑡)
- 16. • 𝛽 ∈ (0,1)𝝁𝒊(𝟎) 𝒊 𝑡 = 1,2, … , 𝑇 𝐼 𝑡 ∈ 𝐾 𝑋𝐼 𝑡 𝜇𝐼 𝑡 (𝑡)
- 17.
- 18.
- 19. • 𝑡 = 1,2,… , 𝑇 𝐼 𝑡 ∈ 𝐾 𝑋𝐼 𝑡 𝑡 ~𝑃(𝜇𝐼 𝑡 ) E σ 𝑡=1 𝑇 𝑋𝐼 𝑡 𝑡
- 20. • 𝑡 = 1,2,… , 𝑇 𝐼 𝑡 ∈ 𝐾 𝑋𝐼 𝑡 𝑡 ~𝑃(𝜇𝐼 𝑡 ) E σ 𝑡=1 𝑇 𝑋𝐼 𝑡 𝑡
- 21. Regret 𝑇 = 𝑡=1 𝑇 max 𝑖 𝜇𝑖 − 𝑡=1 𝑇 𝜇𝐼 𝑡 . ➢ lim 𝑇→∞ Regret(𝑇) log 𝑇 → 𝐶∗ w. p. 1 ➢ 𝐶∗ 𝜇𝑖 𝑖
- 22. Regret 𝑇 = 𝑡=1 𝑇 max 𝑖 𝜇𝑖 − 𝑡=1 𝑇 𝜇𝐼 𝑡 . ➢ lim 𝑇→∞ Regret(𝑇) log 𝑇 → 𝐶∗ w. p. 1 ➢ 𝐶∗ 𝜇𝑖 𝑖
- 23. Regret 𝑇 = 𝑡=1 𝑇 max 𝑖 𝜇𝑖 − 𝑡=1 𝑇 𝜇𝐼 𝑡 . ➢ lim 𝑇→∞ Regret(𝑇) log 𝑇 → 𝐶∗ w. p. 1 ➢ 𝐶∗ 𝜇𝑖 𝑖
- 24. 𝐵UCB1 𝑖,𝑡 𝐵UCB1 𝑖, 𝑡 = ො𝜇𝑖(𝑡) + log(𝑡) 𝑁𝑖(𝑡) ො𝜇𝑖 𝐵UCB1 𝑖, 𝑡
- 25. 𝐵UCB1 𝑖,𝑡 𝐵UCB1 𝑖, 𝑡 = ො𝜇𝑖(𝑡) + log(𝑡) 𝑁𝑖(𝑡) ො𝜇𝑖 𝐵UCB1 𝑖, 𝑡
- 26.
- 27. • 𝑡 = 1,2,… , 𝑇 { 𝑋𝑖 𝑡 } 𝐼 𝑡 ∈ 𝐾 𝑋𝐼 𝑡 ∈ [0,1] E σ 𝑡=1 𝑇 𝑋𝐼 𝑡 𝑡
- 28. Regret 𝑇= max 𝑖 σ 𝑡=1 𝑇 𝑋𝑖 𝑡 − σ 𝑡=1 𝑇 𝑋𝐼(𝑡) 𝑡 . Ω(𝑇) 𝑜(𝑇) ➢
- 29. 𝑝𝑖(𝑡) • 𝛾𝜂 ෨𝑂( 𝐾𝑇) 総報酬の不偏推定量: 総報酬に対して指数的に高い 確率でアームを引く
- 30.
- 31.
- 32.
- 35.
- 36. 𝑡 = 1,2,… , 𝑇 𝑐(𝑡) 𝐼 𝑡 ∈ 𝐾 𝑋𝐼 𝑡 𝑡
- 37. ➢ ➢ 𝜋: C →[𝐾]
- 38.
- 39.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50.
- 52.
- 53.