Recommended
More Related Content
Similar to حافظه طولانی کوتاه مدت Long Short-Term Memory (LSTM)
Similar to حافظه طولانی کوتاه مدت Long Short-Term Memory (LSTM) (20)
Recently uploaded
Recently uploaded (20)
حافظه طولانی کوتاه مدت Long Short-Term Memory (LSTM)
- 1. حافظه مدتکوتاهنیالطو LongShort-TermMemory(LSTM) گردآورنده : ماهرخ مهندس صحرایی PAGE 1 تهران دانشگاه فنی دانشگده
- 2. دوره یادگیری آموزشی عص شبکه و ماشین بی اول درس : بازگشتی عصبی های شبکه دوم درس سوم درس چهارم درس پنجم درس PAGE 2
- 3. PAGE 3 ▪ بازگشتی عصبی های شبکه ▪ lstm آنچه در این دوره فراخواهیم گرفت :
- 4. کلی طرح ▪ بازگشتی عصبی های شبکه ( RNN ) ▪ های شبکه مدت طوالنی های وابستگی مشکل LSTM ▪ انواع پشت اصلی ایده LSTM ▪ سازی پیاده مراحل LSTM ▪ های مدل انواع LSTM ▪ منابع و گیری نتیجه ▪ ها پیوست (BPTT >> Gradient Exploding/ Vanishing) PAGE 4
- 5. بازگشتی عصبی های شبکه ( RNN ) ایده : ▪ شرط گذاری کردن شبکه عصبی بر اساس تمام اطالعات قبلی و تنظیم وزن ها در هر گام زمانی پیش فرض : ▪ اطالعات زمانی دارای اهمیت هستند ( به عنوان مثال داده های وابسته به سری زمانی ) PAGE 5
- 6. بازگشتی عصبی شبکه Recurrent Neural Network ایدسته دیگر از شبکه های عصبی است . صورتبه خالصه به این خانواده از ،هاشبکه شبکه RNN نیز گفته شودمی . مناسب برای پردازش داده سری زمانی ( Time Series ) و داده ترتیبی (Sequential) برای شبکه بازگشتی مولفه زمان اهمیت زیادی دارد . کهدرحالی در شبکه MLP و شبکه CNN توجه به مولفه زمانی دیده شودنمی . ساختار شبکه بازگشتی بسیار به شبکه عصبی MLP شبیه هست . می توان گفت RNN مدل توسعه یافته MLP است . PAGE 6
- 7. بازگشتی عصبی شبکه Recurrent Neural Network درمورد شبکه عصبی بازگشتی دو نکته مهم زیر را به یاد داشته ب اشید : • شبکه بازگشتی به مولفه زمانی اهمیت دهدمی و مناسب هایداده مبتنی بر زمان هست . • سه شبکه RNN LSTM GRU پرکاربرد ترین خانواده شبکه های بازگشتی هستند . PAGE 7 سهام در بورس و هایداده متنی ( جمله و پاراگراف ) ترتیببه هاییمثال از داده سری زمانی و ترتیبی ه ستند
- 8. بازگشتی عصبی های شبکه RNN ▪ تعریف RNN ▪ مدل آموزش : ▪ مدل پارامترهای تمام 𝜃 = { 𝑈 ، 𝑉 ، 𝑊 } با توان می را روزرسانی به نزولی گرادیان کرد PAGE 8
- 9. مدت طوالنی های وابستگی مشکل ▪ مثال : ( تالش برای پیش بینی آخرین کلمه در یک متن را در ن ظر بگیرید ) " است آفتابی هوا امروز " ▪ " خوانم می درس بجنورد شهر در دانشگاهی در من ،حاضر حال در ... هستم بجنورد ساکن االن من " PAGE 9 درک وابستگی بین کلمات و یافتن ارتباط معنایی میان ج مالت از جمله مواردی است که در ،حرف RNN ها می توانند آن را کنترل کنند ولی متاسفانه در عمل چنین چیزی ممکن نیست !
- 10. بازگشتی عصبی های شبکه ▪ این هاشبکه به مقدار زیادی به هادنباله و هالیست مرتبط هستند . ▪ در حقیقت هایشبکه عصبی بازگشتی اولین انتخاب برای کار با چنین هاییداده هستند . PAGE 10
- 12. مدت طوالنی های وابستگی آموزش مشکالت RNN : 1 - گرادیان محصول محاسبات ماتریس های ژاکوبینی که هر ک دام با یک گام در محاسبه پیشرونده ،همراهند می باشد 2 - تکثیر ماتریس های مشابه در هر گام زمانی در طول BPTT ▪ گرادیان به سرعت خیلی کوچک یا خیلی بزرگ می شود • انفجار یا محو شدگی گرادیان • سطح خطا یا بسیار مسطح یا بسیار شیب دار است PAGE 12
- 13. مدت طوالنی های وابستگی مشکل و مسئله ▪ راه حل های ممکن : ▪ انفجار گرادیان ▪ مقاله : https://arxiv.org/abs/1211.5063?context=cs ▪ محو شدگی گرادیان : ▪ مقداردهی اولیه بهتر : https://arxiv.org/abs/1504.00941 ▪ مکانیسم دروازه ای یا گیت ( LSTM ، GRU ، … و غیره ) ▪ این مکانیسم ها را مطالعه کنید : https://arxiv.org/pdf/1706.03762.pdf زمان گیر بودن فرایند یادگیری ذخیره سازی اطالعات در فواصل زمانی طوالنی از طریق تکرار و ت ،ناوب به دلیل خطای محوشدگی : مطالعه Hochreiter در سال 1991 یک راهکار مناسب برای این مسئله PAGE 13
- 14. PAGE 14 LSTM : بر مبتنی و کارآمد راهکاری گرادیان مهارت یادگیری در توانمند کمترین با ارتباط برقراری از بیش در ،زمان 1000 مرحله اجرای با ،گسسته زمانی چرخ طریق از ثابت خطای چرخشی های / ثابت خطای ویژه واحدهای در محلی زمان و مکان نظر از است . با مقایسه در RTRL ، BPTT ، Recurrent Cascade-Correlation ، Elman nets و Neural Sequence Chunking ، LSTM اجرای به منجر و شود می آمیزتر موفقیت آموزد می تر سریع بسیار . تأ فنی و پیچیده وظایفی خیر که کند می حل را طوالنی های الگوریتم توسط هرگز نشده حل شبکه تکراری است . Long Short-Term Memory ؟ چرا
- 15. های شبکه LSTM - پشت اصلی ایده LSTM ها PAGE 15 مولفه اصلی LSTM سلول حالت ( cell state) است که در حقیقت یک خط افقی است که در باالی شکل قرار دارد . سلول حالت را توانمی به صورت یک تسمه نقاله تصور کرد که از اول تا آخر دنباله یا همان زنجیره با تعامالت خطی جزئی در حرکت است ( یعنی ساختار آن بسیار ساده است و تغییرات کمی در آ ن اتفاق افتدمی ) .
- 16. های شبکه -LSTM پشت اصلی ایده LSTM ها PAGE 16 شبکه LSTM این توانائی را دارد که اطالعات جدیدی را به سلول حالت اضافه یا اطالعات آن را حذف کنید . این کار توسط ساختارهای دقیقی ب ه نام هادروازه gates انجام شودمی . هاگیت راهی هستند برای ورود اختیاری اطالعات . هاآن از یک الیه شبکه عصبی سیگموید sigmoid به همراه یک عملگر ضرب نقطه به نقط ه تشکیل اندشده .
- 19. های شبکه - LSTM مرحله (1/4) شبکه معماری ▪ فراموش کردن گیت ( سیگموئید + اپراتور ضرب داخلی / نقطه ای ) : ▪ تصمیم می گیرد چه اطالعاتی را از وضعیت سلول دور بر یزیم ▪ 1 : حفظ کردن یک ها ▪ 0 : حذف کردن صفرها PAGE 19
- 20. های شبکه LSTM – مرحله ( 2/4 ) ▪ ورودی گیت ( سیگموئید + ای نقطه ضرب اپراتور :) حالت در را جدیدی اطالعات چه که گیرد می تصمیم کنیم ذخیره سلول PAGE 20
- 22. های شبکه LSTM – مرحله ( 4/4 ) ▪ خروجی گیت ( سیگموئید + ای نقطه ضرب اپراتور :) ▪ کنیم تولید را جدیدی اطالعات چه گیرد می تصمیم ▪ << ht در مرحله t به روز شده ،است که سریعتر تغییر میکند ! PAGE 22
- 23. PAGE 23 از انیمیشنی LSTM C — cell state
- 24. های شبکه انواع LSTM (1/3) ▪ LSTM اتصاالت با Peephole ▪ ایده : تا دهد می اجازه گیت های الیه به حالت سلول ر ا کنیم بررسی PAGE 24
- 25. های شبکه انواع LSTM (2/3) ▪ LSTM فراموشی گیت جفت با / ورودی گیت ایده : در این ،مدل فقط زمانی فراموشی اطالعات را داریم ک ه بخواهیم چیزی را به جای آن وارد کنیم ( جایگزین کنیم ) و برعکس . PAGE 25
- 27. ضمیمه - مدت طوالنی های وابستگی مسئله آموزش مسئله :RNN - Gradient Vanishing - Gradient Exploding مرور Backpropagation (BP) توسط شده داده شرح Backpropagation در زمان طول BPTT PAGE 27
- 28. ضمیمه - مدت طوالنی های وابستگی مسئله ▪ عصبی های شبکه برای کاهشی گرادیان نزول ▪ است پارامتر ها میلیون شامل گرادیان محاسبه . ▪ از ،آن کارآمد محاسبه برای backpropagation شود می استفاده . ▪ کنید مخاسبه عقب روبه و جلو روبه شده محاسبه قبل از ترم دو اساس بر را گرادیان PAGE 28
- 29. ضمیمه - مدت طوالنی های وابستگی مسئله ▪ WLOG ، نمایش برای کنیم می استفاده از PAGE 29
- 30. ضمیمه - مدت طوالنی های وابستگی مسئله ▪ WLOG ، کنیم می استفاده از دادن نشان برای ما PAGE 30
- 31. ضمیمه - مدت طوالنی های وابستگی مسئله PAGE 31
- 32. ضمیمه - مدت طوالنی های وابستگی مسئله ▪ مورد در نهایی سخنان Backpropagation (BP) PAGE 32
- 33. ضمیمه - مدت طوالنی های وابستگی مسئله ▪ معماری خالصه Recurrent Neuron Network (RNN) ▪ مدل آموزش : ▪ مدل پارامترهای تمام 𝜃 = { 𝑈 , 𝑉 , 𝑊 } کرد روز به شیب نزول با توان می را PAGE 33
- 34. ضمیمه - مدت طوالنی های وابستگی مسئله PAGE 34
- 35. ضمیمه - مدت طوالنی های وابستگی مسئله PAGE 35
- 37. گیری نتیجه ▪ بازگشتی عصبی های شبکه آموزش در مشکالت درک ▪ انفجار گرادیان ▪ رود می بین از گرادیان ▪ ،گرادیان رفتن بین از مسئله حل برای ممکن های حل راه از یکی " گیتینگ مکانیزم " اصلی مفهوم که است LSTM است ▪ سلول چندین اگر LSTM ،دهیم قرار هم روی را LSTM تواند می " عمیق " باشد ▪ ها افزونه : ▪ و جهته تک جهته دو ▪ چند به چند ،یک به چند ، یک به یک ، یک به یک PAGE 37
- 38. مرتب ویدیوهای و منابع ط او درس با ل ▪ Understanding LSTM Networks ▪ http://colah.github.io/posts/2015-08-Understanding-LSTMs ▪ • Prof. Hung-yi Lee Courses ▪ https://www.youtube.com/watch?v=xCGidAeyS4M ▪ https://www.youtube.com/watch?v=rTqmWlnwz_0 ▪ • On the difficulty of training recurrent neural networks ▪ https://arxiv.org/abs/1211.5063 ▪ • UDACITY Courses: Intro to Deep Learning with PyTorch ▪ https://classroom.udacity.com/courses/ud188 PAGE 38 First Skill Second Skill Third Skill Conclusion