Explnation about how A.I supermario learn with Reinforcement Learning.
This presentation and slide are for PyconKR 2018
How Animals Learn
How Humans Learn
Reinforcement Learning
SuperMario with Reinforcement Learning
6. HABUTUATION
- 모든 동물은 학습능력이 있다.
- 300여개의 신경세포만을 갖고 있는 예쁜꼬마선충 또한 학습능력이 있다.
- Head withdrawal reflex : 위험한 물체가 있을것이라 판단에 따른 반사행동
- 예쁜꼬마선충의 머리를 건드리면 일정 거리를 뒤로 간다.
HOW ANIMALS LEARN
8. LAW OF EFFECT
- Edward Thorndike(1898)
- Law of effect : 어떤 행동의 결과가 만족스러우면 다음에도 그 행동을 반복한다.
반대로 만족하지 않으면 그 행동을 하지 않는다.
- Reinforcement(강화) : 이전에 일어난 행동을 반복하게 만드는 자극
- Punishment(처벌) : 이전에 일어난 행동을 피하게 만드는 자극
HOW ANIMALS LEARN
19. 용어 정의
Time step
Action
Transition Function
Reward
Set of states
Set of actions
Start state
Discount factor
t
a
P(s′, r ∣ s, a)
r
A
S
S0
γ
Set of reward
Policy
Reward
State
R
π
r
REINFORCEMENT LEARNING
s
21. LEARNING
- Reinforcement learning은 Reward(보상)을 최대화 하는 action(행동)을 선택한다.
- Learner(배우는자)는 여러 action을 해보며, reward를 가장 높게 받는 action을 찾는다.
-선택된 action이 당장의 reward 뿐만 아닌, 다음의 상황 또는 다음 일어나게 될
reward에도 영향을 끼칠수도 있다.
Action
당장의
상황 변화
미래의 상황Reward 미래의 Reward
REINFORCEMENT LEARNING
46. SUMMARY
1. How Animals Learn
2. How Humans Learn
3. Reinforcement Learning
4. SuperMario with Reinforcement Learning
REINFORCEMENT LEARNING
47. REFERENCES
1. Habituation The Birth of Intelligence
2. Law of effect : The Birth of Intelligence ,p.171
3. Thorndike, E. L. (1905). The elements of psychology. New York: A. G. Seiler.
4. Thorndike, E. L. (1898). Animal intelligence: An experimental study of the associative
processes in animals. Psychological Monographs: General and Applied, 2(4), i-109.
5. Supermario environment
https://github.com/Kautenja/gym-super-mario-bros
6. http://faculty.coe.uh.edu/smcneil/cuin6373/idhistory/thorndike_extra.html