Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده

2,113 views

Published on

جلسه سوم سلسله نشست های تحلیل با رویکرد یادگیری ژرف بر بستر کلان داده

Published in: Data & Analytics

(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده

  1. 1. ‫د‬ ‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬ ‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬‫اده‬(3) ‫تهران‬ ،‫شریف‬ ‫صنعتی‬ ‫دانشگاه‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬1 Fayyaz@Sensifai.com ‫فیاض‬ ‫محسن‬ 22‫دی‬1395 ‫محسن‬‫فیاض‬
  2. 2. ‫محسن‬‫فیاض‬ ‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬ ‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ 2 ‫مروری‬ ‫گذشت‬ ‫مباحث‬ ‫بر‬‫ه‬ ‫متصل‬ ‫تمام‬ ‫شبکه‬‫محلی‬ ‫متصل‬ ‫شبکه‬‫کانولوشن‬ ‫شبکه‬
  3. 3. ‫محسن‬‫فیاض‬ ‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬ ‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ 3 ‫آموزش‬ ‫عصب‬‫های‬‫شبکه‬‫ی‬
  4. 4. ‫شبکه‬ ‫آموزش‬ ‫اولیه‬ ‫های‬ ‫وزن‬ ‫اولیه‬ ‫بینی‬ ‫پیش‬ ‫هدف‬ ‫با‬ ‫اختالف‬ ‫آموزش‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬4 ‫محسن‬‫فیاض‬
  5. 5. ‫شبکه‬ ‫آموزش‬ •‫نزولی‬ ‫گرادیان‬ [1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬5 ‫محسن‬‫فیاض‬
  6. 6. ‫شبکه‬ ‫آموزش‬ •‫نزولی‬ ‫گرادیان‬ [1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬6 ‫محسن‬‫فیاض‬
  7. 7. ‫شبکه‬ ‫آموزش‬ •‫نزولی‬ ‫گرادیان‬ [1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬7 ‫محسن‬‫فیاض‬
  8. 8. ‫شبکه‬ ‫آموزش‬ •‫نزولی‬ ‫گرادیان‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬8 ‫محسن‬‫فیاض‬
  9. 9. ‫شبکه‬ ‫آموزش‬ •‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬9 ‫محسن‬‫فیاض‬
  10. 10. ‫شبکه‬ ‫آموزش‬ •‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬10 ‫محسن‬‫فیاض‬
  11. 11. ‫شبکه‬ ‫آموزش‬ •‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬11 ‫محسن‬‫فیاض‬
  12. 12. ‫محوشدگی‬‫گرادیان‬ •‫های‬ ‫تابع‬‫فعالساز‬ Sigmoid o‫محوشدگی‬‫گرادیان‬ o‫خروجی‬ ‫میانگین‬ ‫بودن‬ ‫صفر‬ ‫غیر‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬12 ‫محسن‬‫فیاض‬ 1 ( ) 1 t S t e   𝜕𝑆(𝑡) 𝜕𝑥 = 𝑆(𝑡)(1 − 𝑆 𝑡 )
  13. 13. ‫محوشدگی‬‫گرادیان‬ •‫های‬ ‫تابع‬‫فعالساز‬ Tanh o‫مشکل‬ ‫دارای‬‫محوشدگی‬ o‫صفر‬ ‫غیر‬ ‫میانگین‬ ‫مشکل‬ ‫رفع‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬13 ‫محسن‬‫فیاض‬ tanh x = 2𝑆 2𝑥 − 1 S(x) = Sigmoid(x) 𝜕tanh(𝑥) 𝜕𝑥 = 1 − 𝑡𝑎𝑛ℎ2 (𝑥)
  14. 14. ‫محوشدگی‬‫گرادیان‬ •‫تابع‬‫های‬‫فعالساز‬ •ReLU •‫افزایش‬‫سرعت‬‫همگرایی‬‫گرادیان‬ •‫عملیات‬‫ریاضی‬‫ساده‬ •‫مشکل‬:‫مرگ‬‫غیر‬‫قابل‬‫احیا‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬14 ‫محسن‬‫فیاض‬ ( ) max(0, )f x x 𝑥 > 0, 𝜕𝑓(𝑥) 𝜕𝑥 = 1 𝑥 = 0, 𝜕𝑓(𝑥) 𝜕𝑥 = 0 𝑥 < 0, 𝜕𝑓(𝑥) 𝜕𝑥 = 0 *‫برای‬x=0‫مشتق‬ReLU‫شود‬ ‫می‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫صفر‬ ‫با‬ ‫برابر‬
  15. 15. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬ ‫محسن‬‫فیاض‬‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬15
  16. 16. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬16 ‫محسن‬‫فیاض‬
  17. 17. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬ GMP Fully Convolutional VGG + GMP ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬17 ‫محسن‬‫فیاض‬
  18. 18. ‫محسن‬‫فیاض‬ ‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬ ‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ 18 ‫انواع‬‫مختلف‬ ‫های‬ ‫شبکه‬‫عصب‬‫ی‬
  19. 19. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬ •‫متصل‬ ‫تمام‬ ‫عصبی‬ ‫شبکه‬ ‫بازنمایی‬ ‫فضای‬ ‫تغییر‬ ‫برای‬ ‫مناسب‬ ‫بندی‬ ‫دسته‬ ‫برای‬ ‫مناسب‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬19 ‫محسن‬‫فیاض‬
  20. 20. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬ •‫کانولوشن‬ ‫عصبی‬ ‫شبکه‬ ‫تصویر‬ ‫پردازش‬ ‫برای‬ ‫مناسب‬ ‫صوت‬ ‫و‬ ‫متن‬ ‫پردازش‬ ‫در‬ ‫استفاده‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬20 ‫محسن‬‫فیاض‬
  21. 21. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬ •‫بازگشتی‬ ‫عصبی‬ ‫شبکه‬ ‫متغیر‬ ‫طول‬ ‫با‬ ‫دادگان‬ ‫برای‬ ‫مناسب‬ ‫متن‬ ‫پردازش‬ ‫صوت‬ ‫پردازش‬ RNN [2] LSTM [2] ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬21 ‫محسن‬‫فیاض‬
  22. 22. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬ •‫ها‬ ‫خودرمزکننده‬ ‫نظارت‬ ‫بدون‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫یادگیری‬ ‫ها‬ ‫زمینه‬ ‫تمامی‬ ‫در‬ ‫استفاده‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬22 ‫محسن‬‫فیاض‬
  23. 23. ‫محسن‬‫فیاض‬ ‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬ ‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ 23 ‫کارهای‬ ‫بررسی‬ State of the Art
  24. 24. ‫ضعیف‬ ‫نظارت‬ ‫با‬ ‫آموزش‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ضعیف‬ ‫نظارت‬ ‫با‬ ‫یادگیری‬CNN‫ها‬ •Multiple Labeling •Weakly Localization •‫اینترنت‬ ‫در‬ ‫موجود‬ ‫دادگان‬ ‫از‬ ‫استفاده‬ ‫امکان‬ Is object localization for free? - Weakly-supervised learning with convolutional neural networks, Oquab et. al., CVPR 2015 ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬24 ‫محسن‬‫فیاض‬
  25. 25. ‫نظارت‬ ‫بدون‬ ‫آموزش‬ ‫برچسب‬ ‫بدون‬ ‫ویدیوهای‬ ‫از‬ ‫تصویری‬ ‫های‬ ‫بازنمایی‬ ‫بینی‬ ‫پیش‬ •‫اینترنت‬ ‫روی‬ ‫بر‬ ‫موجود‬ ‫برچسب‬ ‫بدون‬ ‫ویدیوهای‬ ‫عظیم‬ ‫حجم‬ ‫روی‬ ‫بر‬ ‫آموزش‬ •‫نظارت‬ ‫بدون‬ ‫سامانه‬ ‫خروجی‬ ‫روی‬ ‫بر‬ ‫بندها‬ ‫دسته‬ ‫آموزش‬ Anticipating Visual Representations From Unlabeled Video, Vondrick et. al., CVPR 2016 ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬25 ‫محسن‬‫فیاض‬
  26. 26. Distributed Training: From Karpathy’s slides ‫شده‬ ‫توزیع‬ ‫آموزش‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬26 ‫محسن‬‫فیاض‬
  27. 27. ‫شده‬ ‫توزیع‬ ‫آموزش‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬27 ‫محسن‬‫فیاض‬ [Large Scale Distributed Deep Networks, Jeff Dean et al., 2013] ‫دادگان‬ ‫توزیع‬ ‫شبکه‬ ‫توزیع‬
  28. 28. ‫منابع‬ • [1] https://ayearofai.com/rohan-lenny-1-neural-networks-the-backpropagation- algorithm-explained-abf4609d4f9d#.g0n7r1ain, 1/10/2017 • [2] http://colah.github.io/posts/2015-08-Understanding-LSTMs/, 1/10/2017 ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬28 ‫محسن‬‫فیاض‬
  29. 29. ‫د‬ ‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬ ‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬‫اده‬(3) ‫تهران‬ ،‫شریف‬ ‫صنعتی‬ ‫دانشگاه‬ ‫داده؛‬ ‫کالن‬ ‫کارگروه‬ ‫تشکر‬ ‫با‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬29 Fayyaz@Sensifai.com ‫فیاض‬ ‫محسن‬ 22‫دی‬1395 ‫محسن‬‫فیاض‬

×