Download as PDF, PPTX
![どうしてこうなる？
スロット2は当たり率0.3, 期待値150だけど、
3回の試行でたまたま[0, 0, 0]となることは
0.7 * 0.7 * 0.7 = 0.343 の確率で起きて
「このスロットの期待値は0だな」
と悲観的な勘違いをする。
これ以外にも色々な悲観的勘違いが起きる。
一度悲観的な勘違いをすると、
二度とそのスロットを試さないので
勘違いから脱出できない。
22
昔ペン入力のPCを買ってイマイチだったからそれ以来買ってないけど悲観的勘違いかも](https://image.slidesharecdn.com/1-170113055708/75/1-22-2048.jpg)
![不確かなときは楽観的に
この考え方には名前がついている。
「不確かなときは楽観的に」の原理
(optimism in face of uncertainty)
探索と利用のトレードオフを解く
アルゴリズムの多くが
この原理に従っている。
26
座右の銘として飾っておいてもよさそう。強化学習は人生。
[Bubeck and Cesa-Bianchi: 2012] https://arxiv.org/pdf/1204.5721.pdf](https://image.slidesharecdn.com/1-170113055708/75/1-26-2048.jpg)
![Chernoff-Hoeffding Inequality
[0, 1]の範囲の値を取る独立な確率変数
𝑋1 … 𝑋 𝑛 の平均 ത𝑋 =
1
𝑛
σ𝑖 𝑋𝑖 と真の期待値 𝜇
の差には任意の正数 𝑡 について
𝑃 ത𝑋 − 𝜇 > 𝑡 ≤ exp −2𝑛𝑡2
という関係がある。
42
https://en.wikipedia.org/wiki/Hoeffding's_inequality](https://image.slidesharecdn.com/1-170113055708/75/1-42-2048.jpg)
![リグレット
「全知の神が最善の選択肢を取り続けた場合」
と比べてどれくらい差があるかで、強化学習の
アルゴリズムの良さを評価する。
これをリグレット(Regret)という。
多腕バンディットの場合、神は期待値が最大のも
のを選び続けるので、以下の通り:
𝑅(𝑡) =
𝑖
𝜇1 − 𝜇𝑖 𝐸[𝑁 𝑡,𝑖 ]
47
t回目までにスロットiが選ばれた回数をN(t, i)、期待値最大のスロットを1とする](https://image.slidesharecdn.com/1-170113055708/75/1-47-2048.jpg)
![Nの期待値を求める
𝐸[𝑁 𝑇,𝑖] ≤ 𝑚 +
𝑡=1
∞
𝑠=𝑚
𝑡−1
𝑠′=1
𝑡−1
𝑃
ҧ𝑥𝑖,𝑠 + 𝑎 𝑠, 𝑡
> ҧ𝑥1,𝑠′ + 𝑎 𝑠′
, 𝑡
かつ 𝑁𝑡,𝑖 ≥ 𝑚
≤ 𝑚 +
𝑡=1
∞
𝑠=𝑚
𝑡−1
𝑠′=1
𝑡−1
2𝑡−4
≤ 𝑚 + 2
𝑡=1
∞
𝑡−2
≤
8 log 𝑇
𝜇1 − 𝜇𝑖
2
+ 1 +
𝜋2
3
つまりO(log T)である。
58
Basel Problem
𝑛=1
∞
1
𝑛2
=
𝜋2
6](https://image.slidesharecdn.com/1-170113055708/75/1-58-2048.jpg)
More Related Content
![[DL輪読会]近年のオフライン強化学習のまとめ —Offline Reinforcement Learning: Tutorial, Review, an...](https://cdn.slidesharecdn.com/ss_thumbnails/20200626journalclubpub-200630064755-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...](https://cdn.slidesharecdn.com/ss_thumbnails/20200221settransformer-200221020423-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Yang, Downey and Boyd-Graber 2015] Efficient Methods for Incorporating Knowl...](https://cdn.slidesharecdn.com/ss_thumbnails/sparse-constrained-lda-151024072334-lva1-app6891-thumbnail.jpg?width=640&height=640&fit=bounds)
![A Neural Attention Model for Sentence Summarization [Rush+2015]](https://cdn.slidesharecdn.com/ss_thumbnails/emnlp2015yomi-151024073845-lva1-app6892-thumbnail.jpg?width=640&height=640&fit=bounds)
強化学習その1
- 1. 強化学習 その1 2017-01-13 @機械学習勉強会 サイボウズ・ラボ 西尾泰和
- 2.
- 3.
- 4. 今後の予定 第1回: 序章 1章 強化学習の基礎的理論 1節 強化学習とは 第2回:2節 強化学習の構成要素 第3回: 3節 価値反復に基づくアルゴリズム 第4回: 4節 方策勾配に基づくアルゴリズム 第5回: 5節 部分観測マルコフ決定過程 4
- 5.
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15. 多腕バンディット問題 探索と利用のトレードオフを理解するために具体 的な問題について考えてみよう。 多腕バンディット問題(Multi-armed Bandit)は 強化学習の問題の中でかなり簡単な部類 • 遅延報酬はなく即時報酬だけ •環境は行動によって変化しない 問題設定：スロットマシンがいくつかある。 どのスロットマシンで遊ぶのが良いか？ 15
- 16.
- 17.
- 18. 今回の実験 スロットは3つあり、1回100円でプレイする。 確率 0.1, 0.2,0.3 で500円当たる。つまり期待値は 50円, 100円, 150円。(スロット0～2) 別途「何もしない」に相当する「100円入れたら 確率1で100円戻ってくるスロット3」を用意。 これらの知識が既知なら当然スロット2を選ぶわ けだが、エージェントはこれらを知らない。 18 あなたがエージェントならどうする？
- 19.
- 20. 結果 スロット0：期待値50円： 0件 スロット1：期待値100円： 9件 スロット2：期待値150円：250件(42%) 何もしない：期待値100円：341件(57%) 半数以上が「お得な賭け」があることに気付かず 最適解でない「何もしない」を選択した。 20
- 21.
- 22. どうしてこうなる？ スロット2は当たり率0.3, 期待値150だけど、 3回の試行でたまたま[0, 0,0]となることは 0.7 * 0.7 * 0.7 = 0.343 の確率で起きて 「このスロットの期待値は0だな」 と悲観的な勘違いをする。 これ以外にも色々な悲観的勘違いが起きる。 一度悲観的な勘違いをすると、 二度とそのスロットを試さないので 勘違いから脱出できない。 22 昔ペン入力のPCを買ってイマイチだったからそれ以来買ってないけど悲観的勘違いかも
- 23.
- 24.
- 25.
- 26. 不確かなときは楽観的に この考え方には名前がついている。 「不確かなときは楽観的に」の原理 (optimism in faceof uncertainty) 探索と利用のトレードオフを解く アルゴリズムの多くが この原理に従っている。 26 座右の銘として飾っておいてもよさそう。強化学習は人生。 [Bubeck and Cesa-Bianchi: 2012] https://arxiv.org/pdf/1204.5721.pdf
- 27.
- 28.
- 29.
- 30. 楽観的初期値法 プレイ前に各スロットでK回 500円当たったと考える。 K=1, 3, 10で試した。 K=3でほとんど最適解に。 30
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38. 順位 今回の問題設定ではt=1000でも20000でも greedy(100)が優勝。 t=1000 greedy(100) > optim(3)> UCB1 > optim(100) > greed(3) t=20000 greedy(100) ~ optim(100) > optim(3) > UCB1 > greedy(3) 38
- 39.
- 40.
- 41.
- 42. Chernoff-Hoeffding Inequality [0, 1]の範囲の値を取る独立な確率変数 𝑋1… 𝑋 𝑛 の平均 ത𝑋 = 1 𝑛 σ𝑖 𝑋𝑖 と真の期待値 𝜇 の差には任意の正数 𝑡 について 𝑃 ത𝑋 − 𝜇 > 𝑡 ≤ exp −2𝑛𝑡2 という関係がある。 42 https://en.wikipedia.org/wiki/Hoeffding's_inequality
- 43. Chernoff-Hoeffding Inequality 普通に信頼区間を議論する場合は、givenな5%と かの確率を右辺とイコールと置いてtを求める 𝑃 ത𝑋− 𝜇 > 𝑡 ≤ exp −2𝑛𝑡2 log(0.05) は -3 ぐらいだから n = 150 なら t = 0.1 n = 15000 なら t = 0.01 となる。 43 https://en.wikipedia.org/wiki/Hoeffding's_inequality
- 44. UCB1 UCB1ではまず 𝑡 =2 log 𝑇 𝑛 と決め打ちする。Tは 全試行数。これを右辺に代入すると 𝑃 ത𝑋 − 𝜇 > 𝑡 ≤ exp −2𝑛𝑡2 = 𝑇−4 となる。少し変形すると 𝑃 ത𝑋 − 𝑡 < 𝜇 < ത𝑋 + 𝑡 ≤ 1 − 2𝑇−4 となり、 ത𝑋 + 𝑡はT増加とともにだんだん広くなる 信頼区間の上の端ということになる。 44 https://en.wikipedia.org/wiki/Hoeffding's_inequality
- 45.
- 46.
- 47. リグレット 「全知の神が最善の選択肢を取り続けた場合」 と比べてどれくらい差があるかで、強化学習の アルゴリズムの良さを評価する。 これをリグレット(Regret)という。 多腕バンディットの場合、神は期待値が最大のも のを選び続けるので、以下の通り: 𝑅(𝑡) = 𝑖 𝜇1− 𝜇𝑖 𝐸[𝑁 𝑡,𝑖 ] 47 t回目までにスロットiが選ばれた回数をN(t, i)、期待値最大のスロットを1とする
- 48. iを選んだ回数 iを選んだ回数Nは、引数がtrueの時1になる関数𝜒 を使って以下のように書ける 𝑁 𝑇,𝑖 =1 + 𝑡=𝐾+1 𝑇 𝜒(𝑡回目に𝑖が選ばれた) Nの期待値を知るために「𝑡回目に𝑖が選ばれた」 の起こる確率を計算したい。 48 以下字数削減のため (I 𝑡= 𝑖) ≡ 「𝑡回目に𝑖が選ばれた」とする。
- 49. iがm回以上選ばれた条件 確率を計算するために「iを十分な回数m回選ん だ」という条件をつけたい。 𝑁 𝑇,𝑖 =1 + 𝑡=𝐾+1 𝑇 𝜒(𝐼𝑡 = 𝑖) ≤ 𝑚 + 𝑡=𝐾+1 𝑇 𝜒(𝐼𝑡 = 𝑖 かつ 𝑁𝑡−1,𝑖 ≥ 𝑚) mを導入したことで何がうれしいのか、 mは具体的にはいくらなのかは後述する。 49
- 50. iが選ばれる確率 「𝐼𝑡 = 𝑖」はUCB1のアルゴリズムでは ҧ𝑥𝑖,𝑡+ 𝑎 𝑁(𝑡,𝑖), 𝑇 > ҧ𝑥1,𝑡 + 𝑎 𝑁(𝑡,1), 𝑇 𝑤ℎ𝑒𝑟𝑒 𝑎 𝑛, 𝑇 = 2log 𝑇/𝑛 , ҧ𝑥𝑖,𝑡 = 𝑖の𝑡回目までの報酬の平均 と同じ。この確率を計算したいが、Nが未知。 そこで可能な値全部でsumする。 50
- 51. sumが3重になる 𝑁 𝑇,𝑖 ≤𝑚 + 𝑡=𝐾+1 𝑇 𝜒 𝐼𝑡 = 𝑖 かつ 𝑁𝑡−1,𝑖 ≥ 𝑚 ≤ 𝑚 + 𝑡=𝐾+1 𝑇 𝑠=𝑚 𝑡−1 𝑠′=1 𝑡−1 𝜒 ҧ𝑥𝑖,𝑠 + 𝑎 𝑠, 𝑡 − 1 > ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 − 1 かつ 𝑁𝑡−1,𝑖 ≥ 𝑚 51 「ある値ペアs, s’で1」の時「すべての値ペアs, s’で和を取ったもの」は1以上なので。
- 52. 中身の計算の前に 3重sumの中身をこれから計算していくが、 その前にtの範囲を増やして整理しておく。 t=K…Tをt=1…∞に広げて、t-1→t する。 𝑁 𝑇,𝑖≤ 𝑚 + 𝑡=1 ∞ 𝑠=𝑚 𝑡−1 𝑠′=1 𝑡−1 𝜒 ҧ𝑥𝑖,𝑠 + 𝑎 𝑠, 𝑡 > ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 かつ 𝑁𝑡,𝑖 ≥ 𝑚 52
- 53. iを選ぶ確率の計算 ∗ ҧ𝑥𝑖,𝑠 +𝑎 𝑠, 𝑡 > ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 の起こる確率を計算する。3つの可能性がある。 1 𝜇1 ≥ ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 2 𝜇𝑖 ≤ ҧ𝑥𝑖,𝑠 − 𝑎 𝑠, 𝑡 3 𝜇1 − 𝜇𝑖 < 2𝑎(𝑠, 𝑡) (1)(2)がFalseなら(3)がTrueになることが示せるの で(*)の起こる確率はこの3つの和以下である。 53
- 54. (1)(2)がFalseなら(3)がTrueになる ∗ ҧ𝑥𝑖,𝑠 +𝑎 𝑠, 𝑡 > ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 1 𝜇1 ≥ ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 2 𝜇𝑖 ≤ ҧ𝑥𝑖,𝑠 − 𝑎 𝑠, 𝑡 3 𝜇1 − 𝜇𝑖 < 2𝑎(𝑠, 𝑡) (1)(2)がFalseなので(*)を使って以下が言える 𝜇1 < ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 < ҧ𝑥𝑖,𝑠 + 𝑎 𝑠, 𝑡 ҧ𝑥𝑖,𝑠 − 𝑎 𝑠, 𝑡 < 𝜇𝑖 前提として𝜇1 ≥ 𝜇𝑖なので(3)が言える 54
- 55. iを選ぶ確率の計算 (*)の起こる確率はこの3つの和以下 1 𝜇1 ≥ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 2 𝜇𝑖 ≤ ҧ𝑥𝑖,𝑠 − 𝑎 𝑠, 𝑡 3 𝜇1 − 𝜇𝑖 < 2𝑎(𝑠, 𝑡) (1)(2)は「信頼区間の外」なので𝑇−4 となる。 (3)の計算で「かつ 𝑁𝑡,𝑖 ≥ 𝑚 」の条件を使う。 mが十分大きければ確率が0になることを示す。 (mを導入したのはこのためだ！) 55
- 56. 𝜇1 − 𝜇𝑖< 2𝑎(𝑠, 𝑡)の確率を求める 再掲: 𝑎 𝑛, 𝑇 = 2log 𝑇/𝑛 もし m ≥ 8 log 𝑇 𝜇1−𝜇 𝑖 2 なら s ≥ m なので 2𝑎 𝑠 , 𝑡 = 2 2log 𝑡/𝑠 ≤ 2 2log 𝑡 8 log 𝑇 𝜇1 − 𝜇𝑖 2 = 𝜇1 − 𝜇𝑖 log 𝑡 log T ≤ 𝜇1 − 𝜇𝑖 よってmが上記条件の時、確率は0になる。 56
- 57.
- 58. Nの期待値を求める 𝐸[𝑁 𝑇,𝑖] ≤𝑚 + 𝑡=1 ∞ 𝑠=𝑚 𝑡−1 𝑠′=1 𝑡−1 𝑃 ҧ𝑥𝑖,𝑠 + 𝑎 𝑠, 𝑡 > ҧ𝑥1,𝑠′ + 𝑎 𝑠′ , 𝑡 かつ 𝑁𝑡,𝑖 ≥ 𝑚 ≤ 𝑚 + 𝑡=1 ∞ 𝑠=𝑚 𝑡−1 𝑠′=1 𝑡−1 2𝑡−4 ≤ 𝑚 + 2 𝑡=1 ∞ 𝑡−2 ≤ 8 log 𝑇 𝜇1 − 𝜇𝑖 2 + 1 + 𝜋2 3 つまりO(log T)である。 58 Basel Problem 𝑛=1 ∞ 1 𝑛2 = 𝜋2 6
- 59.