More Related Content Similar to Jack rental-car-problem (20) More from Zahra Sadeghi (12) Jack rental-car-problem1. سشی توشیيهاضیي یادگیشی سَم
1
------------خذا ًام ِت---------
1-دیٌاهیکی هذل
ضاهل ،هحیظ دیٌاهیکی هذلa
ss
P 'حالت اص اًتمال احتوال یاsحالت ِتs’عول اًتخاب تحتa،ٍa
ss
R 'یا
حالت اص اًتمال تحت ُضذ دسیافت پاداشsِتs’عول اًتخاب تحتa.تاضذ هیایي آٍسدى دست ِت تشای
تَاتعّش اصای ِت ،state-actionتاتعrental_carتعذاد ِت1111اص عثاستی ِت ٍ است ُضذ اجشا ِهشتث
ٍ است ُضذ تشداسی ًًَِو هحیظsampleدیگش حالت ّش ِت حالت ّش اص اًتمال احتوال .است ُضذ ِگشفت
اص اًتمال تاسّای تعذاد ِهحاسث تاsِتs’عول تحتaتعذاد کل تش تمسینsampleپاداش همذاس ٍ ،ّا
اص اًتمالsِتs’عول تحتaاص اًتمال دس ُضذ دسیافت ّای پاداش اص گیشی هیاًگیي تاsِتs’دست ِت
.است ُآهذ
صادلی صّشا :خاًَادگی ًام ٍ ًام
:ُچکیذالگَسیتن ٍد توشیي ایي دسPolicy IterationٍValue Iterationِهسال سٍی
Jack’s rental car problemاص ّشیک سٍی گاها همذاس تاثیش ٍ اًذ ُضذ ِهمایس ّن تا
.است ُضذ تشسسی ّا الگَسیتن
2. سشی توشیيهاضیي یادگیشی سَم
2
2-الگَسیتن ٍد ی ِهمایسPolicy Iteration(PI)ٍValue Iteration(VI)
الگَسیتنPolicy Iteration(PI)ِهشحل ٍد ضاهلPolicy EvaluationٍPolicy Improvement
ِهشحل دس اتتذا .تاضذ هیPolicy Evaluationفشهَل اص ُاستفاد تا ّا حالت ی ِّو همادیشBellman
ِهشحل دس ،سپس ضَد؛ هی ِهحاسثPolicy Improvementجَاب ٌِتیطی ِت هٌجش ِک ّایی سیاست
ّا سیاست کشدى تٌْگام سٍش .ضًَذ هی لثلی سیاست جایگضیي ٍ ضًَذ هی پیذا ضًَذ هی حالت ّش تشای
کاهلgreedyت همذاس ِت هٌجش ِک ّایی عول ِکلی سیاست همذاس ِک هعٌی ایي ِت ضَد هی اًجامٌِیطی
صفش ضًَذ ًوی حالت ّش تشایضَد هی ِگزاضتِداضت ٍجَد ّا سیاست ساصی تٌْگام اهکاى ِک صهاًی تا .
تاضذتاضذ هتفاٍت لثلی سیاست تا جذیذ سیاست ٍتکشاس ّا سیاست ساصی تْثَد ٍ سیاست اسصیاتی هشاحل ،
الگَسیتن دس .ضًَذ هیValue Iteration(VI)یک ِت ِهشحل ٍد ایي اًجامِت .است ِیافت کاّص ِهشحل
همادیش تواهی دٍس یک ِآًک جای ِت ،عثاستیّا حالتصفش سا ٌِتْی غیش ّای سیاست سپس ٍ ضًَذ ِهحاسث
تٌْگام ،کٌذ هی تَلیذ سا همذاس ٌِتیطی ِک سیاستی ِت ِتَج تا تٌْا ،حالت ّش همادیش ِهشحل یک دس ،ًوَد
الگَسیتن ،کلی عَس ِت .ضَد هیValue Iterationتا سا آى تْثَدساصی ٍ سیاست اسصیاتی هَثشی ضکل ِت
است ُکشد تشکیة ّنکاسایی ًظش ایي اص ٍ است ُکشد کوتش سا ّا ِحلم ٍ هحاسثات همذاس تشتیة ایي ِت ٍ
داسد تاالتشیالگَسیتن تش سشیع ّوگشایی تاعث ،کاس ایي .VIِت ًسثتPIایي ّشدٍی ٍلی .است ُضذ
َج یک ِت ّا الگَسیتن.ضًَذ هی ّوگشا ٌِتْی سیاست یا اب
3-گاها همذاس تاثیش
ّش اصای ِت ِک است ُضذ اثثات1دٍستیي همذاس گاها ،ٍالع دس است؛ تضویي ّا الگَسیتن ایي ّوگشایی
اّویت تعذی ّای حالت ّای اسصش ِت عاهل ،تاضذ تش تضسگ گاها ِچ ّش .کٌذ هی هطخص سا ّا عاهل تَدى
است تیي ًضدیک عاهل یک هعشف ،گاها تَدى کن ِدسحالیک .است تیطتش آى ًگشی ُآیٌذ ٍ دّذ هی تیطتشی
پاداش ِت ِکهی افضایص سا ّوگشایی صهاى هذت گاها همذاس تَدى تاال .دّذ هی تیطتشی اّویت ای ِلحظ
دًثال ِت عاهل ٍ است تش تلٌذ عاهل دیذ افك ،تاضذ تش تضسگ گاها ِّشچ ِک است ایي اتفاق ایي دلیل .دّذ
اًتخابstate-actionاه .ضَد هی هذت تلٌذ دس آى اسصش سفتي تاال ِت هٌجش ِک است ّاییهمذاس اگش ا
فمظ عاهل ،تاضذ کن گاهاstate-actionدس تاالتشی پاداش دسیافت ِت هٌجش ِک کٌذ هی اًتخاب سا ّایی
هی اًجام ًشهی ِت ِهسال فضای دس حشکت ،گاها همذاس تَدى پاییي تا ،دیگش تعثیشی ِت .ضًَذ هی ِلحظ ّواى
همذاس تَدى تاال اها ،ضًَذ هی تشسسی ّا جَاب تواهی ٍ ضَدٍ ضَد هی ِهسال فضای دس جْص تاعث گاها
3. سشی توشیيهاضیي یادگیشی سَم
3
تشای ِدسًتیجexploreٍ است تضسگ ّا گام چَى ضَد هی ًیاص تیطتشی صهاى ِهسال فضای تواهی کشدى
.ضَد پشش ّا جَاب اص تسیاسی سٍی اص است هوکي
4-ساصی ِضثی ًتایج
دسجذٍل1هختلف ّای سٍش تشای ٌِتْی سیاست ِت سسیذى تشای الصم صهاى هذت.است ُضذ ِهمایس ّن تا
الگَسیتن ِت هشتَط اجشا صهاى کوتشیيVIتشاتش گاهای همذاس تا1.6.استاص ٍ ضذ ُداد تَضیح لثال ِک عَس ّواى
الگَسیتن ،است هطخص ًیض ُآهذ دست ِت ًتایج سٍیVIِهشحل ٍد ِآًک دلیل ِت ،داسد تاالتشی ّوگشایی سشعت
الگَسیتن دس ُضذ اًجام یPIاها ضًَذ؛ هی اًجام ِهشحل یک دسالگَسیتن دسVIتعذادiterationّای
خاسجیکل ّواى ٍالع دس ِ(کiteration)است الگَسیتن ایي دس ّاالگَسیتن اص تیطتشPIِآًک دلیل ِت است؛
الگَسیتن تشایPIیک عٌَاى ِت ِهشحل ٍد ّش اجشای کاهل دٍس یکiterationخاسجیِک است ُضذ حساب
ّش دس ّا حالت همذاس ضذى پایذاس تشای تیطتشی ّای ِحلم تعذاد ضاهل خَدiterationتاضذ هیعَس ّواى ٍ
الگَسیتن تشای ّا ِحلم کل تعذاد است هعلَم ًتایج سٍی اص ِکPIاص تیطتش تسیاسVIاست.الگَسیتن کلی عَس ِت
VI.است ًُوَد جَیی ِصشف ّوگشایی صهاى دس ّا حالت همادیش ِهحاسث کشدى ُیکثاس تا
جذٍل1الگَسیتن ٍد دس اجشا هذت ِهمایسPIٍVI
Value Iteration
9.0
Value Iteration
6.0
Policy Iteration
9.0
Policy Iteration
6.0
4.15631.031313.59383.3750Run Time (s)
942343# External Iteration
--26143# Total Iteration
دس ّا حالت همذاس ُّوشا ِت ،تاضذ هی حالت ّش دس ُضذ اًتخاب ّای عول ضاهل ِک ٌِتْی ًْایی سیاست
اصای ِت ٌِتْی ًْایی سیاست6.0ٍ9.0دسضکل تشتیة ِت1ضکل ٍ2.است ُضذ ُداد ًطاىدس
ّای لسوتbٍeاست ُضذ تیاى ُضذ اًتخاب عول ِتَسیل ّا حالت اص یک ّش دس ُضذ اًتخاب سیاستٍّش
عولّای عول ٍ است ُضذ ُداد ًطاى هتفاٍت سًگ یک تا-5+ تا5ِتّای ُضواس1تا11.اًذ ُضذ هتٌاظش
اص ّا حالت ٍضعیت ّوچٌیي(1,1)تا(21,21)ّای حالت تا است هتٌاظش ِک است ُکشد تغییش(0,0)تا
(20,20).الگَسیتن ٍد ّش ضَد هی ِهالحظ ِک عَس ّواىPIٍVIِت تشاتش گاهای همذاس اصای ِتّای سیاست
یکساًی کاهالُضذ ّوگشااًذٍلی ،الگَسیتن ٍد تشای ّا حالت همذاستشاتش گاهای همذاس اصای ِتتسیاس حذ دس
داسًذ اختالف ّن تا ّضاسم ُد جضیی.ُضذ رکش هتفاٍت گاهای ٍد اصای ِت ٌِتْی ًْایی سیاستاست ِهطات تسیاس
4. سشی توشیيهاضیي یادگیشی سَم
4
حذٍد چیضی دس فمظ ٍ11-15.داسًذ فشق تاّن عولگاهای همذاس ِگشچ1.0همذاس ِت هٌجشتشای تیطتشی
ِت الگَسیتن ٍد تشای ٌِتْی ًْایی سیاست اها ،است ُضذ ّا حالتاصای.تاضذ هی هساٍی تشاتش گاهای یک
5-ًتیگیشی ِج
الگَسیتن ٍدPIٍVIاها ضًَذ هی ّوگشا سیاست یک ِت ،هساٍی ِاٍلی ضشایظ ٍ تشاتش گاهای همذاسّای اصای ِت
الگَسیتن ّوگشایی سشعتVIالگَسیتن جذای ی ِهشحل ٍد ِآًک دلیل ِت است تاالتشPIالگَسیتن دسVIیک ِت
.است ِیافت تملیل ِهشحلالگَسیتن هضایایVIِت ًسثتPIّوگشایی ٍ کوتش ّای ِحلم تعذاد ،کوتش ِهحاسث
.تاضذ هی تش سشیعگاهای ّش اصای ِت اها سٍد هی تاالتش َجستج صهاى تاضذ تش تضسگ گاها همذاس ِچ ّش ّوچٌیي
اص کوتش1.ضذ خَاّذ ّوگشا ٌِتْی جَاب یک ِت حتوا الگَسیتن ،
5. سشی توشیيهاضیي یادگیشی سَم
5
b) Actions selected at each statea) State-value function for final optimal policy
Policy Iteration
e) Actions selected at each stated) State-value function for final optimal policy
Value Iteration
Results of applying Gamma=0.6
شکل2
6. سشی توشیيهاضیي یادگیشی سَم
6
b) Actions selected at each stateb) State-value function for final optimal policy
Policy Iteration
e) Actions selected at each stated) State-value function for final optimal policy
Value Iteration
Results of applying Gamma=0.9
شکل3