RL_L2

RL 讀書會 L2
Outline
# 複習 RL 概念
# MDP 概述
# MDP 演化
# 補充

Big Three of RL ： State / Action / Reward

RL 概略分類
評論直接執行
台大李宏毅老師投影片

評論
台大李宏毅老師投影片

# MDP 概述
Markov Decision Processes

什麼是 MDP?
* 抽象說明：
Agent 在目前所處狀態，評估未來幾個動作夠不夠好的工具（呼
應 values-base ）。
* 本質說明：
一個數學工具，用來產生輸出為價值的函數，變數包含 action /
states / reward ，可透過尋找最佳解來評估最佳 action 。

如何使用 MDP?
●
透過 Markov Process 模擬狀態轉變
●
透過 Reward(states, action) 給定好壞的訊號
●
透過價值函數來總結一段轉變的累積價值
●
求出最佳解，並找出讓價值最高的行動

# MDP 演化
1.Markov Process
2.Markov Reward Processes
3.Markov Decision Processes

概念說明
●
MP ：具有 Markov Property 的隨機過程
●
MRP ：是在 MP 的基礎上增加 Reward
●
MDP ：是在 MRP 的基礎上增加 Action

Markov Process
●
用機率來模擬狀態轉變的過程

簡單舉例
模擬學生的行為
乖學生
鬼混

Probability Matrix
St+2 後 Class1 機率可以靠矩陣相乘得到

Markov Reward Process
● MRP = MP + Reward
● Why?
– 希望藉由 Reward 來給予轉變的好壞訊號
● How?
– 藉由定義 Value function 來評估一組轉變的價值高低

Reward 例子 1
希望越少步越好 => 每走一步 R = -1

累積回報 - Return
●
一組轉換的 Reward 怎麼計算？
=> 打折後加總（淨現值概念）

Gt 簡單計算
discount factor = 0.5

Value Function
●
對狀態的長期價值評估 => 取期望值
（從狀態 s 開始對未來的價值期望值）
●
建立好 Value Function 後呢？
– 可以比較各組狀態轉變的價值！
– 求最佳解，找出價值最高的一組狀態轉換！

* 動態規劃：
通過把原問題分解為相對簡單的子問題，並尋找有很多重疊子問題的情況的最優解時有效。
* 貝爾曼方程：
是動態規劃這種數學最佳化方法能夠達到最佳化的必要條件。
思想，那就是某個狀態的狀態值等於立即回報加上到達這個狀態的最終回報

discount factor = 1
取期望值 => 考慮發生機率

MDP
●
抽象說法：
– MDP 有點像是 Agent 在自己的大腦中描述環境模型
的方式
– MRP 是將所有情況都經歷，而 MDP 則是選擇性的
經歷某些情況

書本案例：罐子回收機器人
* 兩個狀態： { 電量高 / 電量低 }
* 根據狀態和 action ，訂出對應 Reward

台大陳縕儂老師投影片

Recommended