Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Casual learning-machinelearningwithexcelno8
Similar to Casual learning-machinelearningwithexcelno8 (20)
More from KazuhiroSato8
More from KazuhiroSato8 (12)
Recently uploaded
Recently uploaded (6)
Casual learning-machinelearningwithexcelno8
- 1. カジュアル勉強会 @仙台 Excelで機械学習入門 第8回 株式会社 エクテック データサイエンティスト
- 3. 前段
- 8. Excel 2013, 2016 Google Spreadsheets
- 9. 本日のアジェンダ 1. 強化学習とQ学習 2. Q学習のアルゴリズム 3. Q学習をExcelで体験
- 10. 強化学習とQ学習
- 11. 試⾏錯誤を繰り返す
- 12. これはニューラルネットと同じ
- 14. 『強化学習』
- 20. 機械⾃らが学んでいく
- 21. １つの例
- 22. 巣 餌
- 25. Q学習のアルゴリズム
- 27. 正⽅形の壁の中に仕切られた8個の部屋が あります。部屋と部屋とをつなぐ通路が あり、アリは⾃由に⾏き来でき、 報酬となる飴があります。 この飴にたどり着く最短経路の探索に Q学習を利⽤します。
- 28. エージェント 環境 ⾏動 報酬
- 30. 環境
- 31. エージェント
- 32. 報酬
- 33. ⾏動
- 34. 状態 1
- 35. 状態 2
- 36. 状態 3
- 37. 状態 4
- 38. 状態 5
- 39. 状態 7
- 40. 状態 8
- 41. 状態 9
- 42. (1,1) (1,2) (1,3) (2,2)(2,1) (3,1) (3,2) (3,3) (2,3)には ⼊れない
- 43. (1,1) (1,2) (1,3) (2,2)(2,1) (3,1) (3,2) (3,3) i⾏j列に ある部屋を 部屋(i,j) と表現 (2,3)
- 44. (1,1) (1,2) (1,3) (2,2)(2,1) (3,1) (3,2) (3,3) i⾏j列に ある部屋を 部屋(i,j) と表現 (2,3) i⾏j列にある部屋(i,j)と状態番号s s = 3(i-1)+j
- 48. 部屋(1,1) 状態1
- 49. 部屋(1,2) 状態2
- 50. 部屋(2,2) 状態5
- 51. 部屋(3,2) 状態8
- 52. 部屋(3,3) 状態9
- 55. Q値
- 57. Q値 = Q(s, a) s: state(状態) a: action(⾏動)
- 63. 状態s Q(s, 下) Q(s, 上) Q(s, 右)Q(s, 左) ある状態では最⼤で 四つの選択ができます
- 64. 状態s Q(s, 下) Q(s, 上) Q(s, 右)Q(s, 左) ある状態では最⼤で 四つの選択ができます 原則として匂いの強い⽅へ移動します (Q値の⼤きい⽅へ移動する)
- 65. Q(s, 下)=7 Q(s, 右)=4 Q(s, 左)=3 Q値の⼤きい⽅を 選択します 部屋(1,2)
- 66. Q値の表とアリとの対応
- 68. Q(s, 下)=7 Q(s, 右)=4 Q(s, 左)=3 Q値の⼤きい⽅を 選択します 部屋(1,2)
- 69. 状態 ⾏動 上 下 左 右 … … … … … … … … … … 2 Na 7 3 4
- 70. 即時報酬
- 78. 数式と記号の整理
- 79. t: ステップ番号を表す変数 st: ステップtにおける状態を表す変数 at: ステップtで選択する⾏動を表す変数 rt: ステップtに、その場で受け取る 即時報酬
- 86. Q値の更新
- 89. 『魅⼒度(価値)』
- 92. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出⼝の 匂いの強さ(Q値)を a, b, c, d
- 93. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出⼝の 匂いの強さ(Q値)を a, b, c, d xに設定する部屋Yの「魅⼒度」 = max(a,b,c,d)
- 94. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出⼝の 匂いの強さ(Q値)を a, b, c, d この「魅⼒度」を鵜呑みにする と危険な場合も...
- 95. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出⼝の 匂いの強さ(Q値)を a, b, c, d この「魅⼒度」は減衰することも 考慮に⼊れる必要がある
- 96. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出⼝の 匂いの強さ(Q値)を a, b, c, d 減衰率, 割引率 γ(がんま)
- 97. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出⼝の 匂いの強さ(Q値)を a, b, c, d xに設定する部屋Yの「魅⼒度」 = γmax(a,b,c,d) (0<γ<1)
- 98. 部屋X 部屋Y b d ac r x これから進む部屋Yの４つの出⼝の 匂いの強さ(Q値)を a, b, c, d xに設定する部屋Yの「魅⼒度」 = r + γmax(a,b,c,d) (0<γ<1)
- 99. 学習率
- 100. 『次の部屋』の匂いの強さ = r + γmax(a,b,c,d)
- 105. 以前の情報 xと、新たに求めた 匂いの強さの情報 r+γmax(a,b,c,d) から計算される更新量 xは x ← (1-α)x + {r+γmax(a,b,c,d)}
- 106. 以前の情報 xと、新たに求めた 匂いの強さの情報 r+γmax(a,b,c,d) から計算される更新量 xは x ← (1-α)x + {r+γmax(a,b,c,d)} 新情報 旧情報
- 107. 部屋X 部屋Y b d ac r 旧情報 x 部屋X 部屋Y b d ac r 新情報 x
- 108. 状態1 状態2 7 43 4 x=5 部屋X 部屋Y 7 43 4 x=(1-α)*5+α(4+γ*7)
- 109. Q学習の記号で改めて表現すると
- 110. x = Q(st, a)
- 111. Q(st, a)←Q(st, at)+ α(γt+1+γ maxQ(st+1, at+1)-Q(st, at)) at+1 ∈ A(St+1)
- 114. 部屋X 部屋Y 状態st 状態st+1 Q(st+1,4) Q(st+1,1) Q(st+1,2) Q(st+1,3) Q(st,1) 期待報酬=γt+1+γmaxQ(st+1, at+1) γt+1 at+1 ∈ A(St+1)
- 115. ε-greedy法
- 121. exploit explore 2 2 51 2 2 51 exploit: Q値をもとに選択 explore: 気ままに選択 勝⼿気ままに greedy(欲張りな)⾏動をする
- 122. exploit explore 2 2 51 2 2 51 exploit: Q値をもとに選択 explore: 気ままに選択 最初はεを⼤きく 学習終盤はεを⼩さく
- 123. exploit explore 2 2 51 2 2 51 exploit: Q値をもとに選択 explore: 気ままに選択 修正ε-greedy法
- 124. 学習の終了条件
- 125. γt+1+γ maxQ(st+1, at+1)-Q(st, at) → 0 at+1 ∈ A(St+1)
- 126. γt+1+γ maxQ(st+1, at+1)-Q(st, at) → 0 at+1 ∈ A(St+1) 0に収束すれば、学習完了。
- 127. γt+1+γ maxQ(st+1, at+1) → Q(st, at) at+1 ∈ A(St+1)
- 128. γt+1+γ maxQ(st+1, at+1) → Q(st, at) at+1 ∈ A(St+1) 期待報酬とQ値が⼀緒になれば 飽和状態となっている
- 129. γt+1+γ maxQ(st+1, at+1) → Q(st, at) at+1 ∈ A(St+1) εも⼗分⼩さいため、最終的に exploitな⾏動をすれば⽬的にたどり着く
- 130. Q学習をExcelで体験
- 131. パラメータ設定 エピソード 結果
- 133. コピペ コピペ
- 136. 次のステップの 最⼤のQ値を探す
- 137. 選択した⾏動に 対応する Q値を更新
- 138. いかがでしたでしょうか。
- 140. EoF