Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
‫د‬ ‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬ ‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬‫اده‬(3)
‫تهران‬ ،‫شریف‬ ‫صنعتی‬ ‫دانشگاه‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یا...
‫محسن‬‫فیاض‬
‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬
‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬
2
‫مروری‬
‫گذشت‬ ...
‫محسن‬‫فیاض‬
‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬
‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬
3
‫آموزش‬
‫عصب‬‫ه...
‫شبکه‬ ‫آموزش‬
‫اولیه‬ ‫های‬ ‫وزن‬
‫اولیه‬ ‫بینی‬ ‫پیش‬
‫هدف‬ ‫با‬ ‫اختالف‬
‫آموزش‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬...
‫شبکه‬ ‫آموزش‬
•‫نزولی‬ ‫گرادیان‬
[1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کال...
‫شبکه‬ ‫آموزش‬
•‫نزولی‬ ‫گرادیان‬
[1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کال...
‫شبکه‬ ‫آموزش‬
•‫نزولی‬ ‫گرادیان‬
[1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کال...
‫شبکه‬ ‫آموزش‬
•‫نزولی‬ ‫گرادیان‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ...
‫شبکه‬ ‫آموزش‬
•‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬...
‫شبکه‬ ‫آموزش‬
•‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬...
‫شبکه‬ ‫آموزش‬
•‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬...
‫محوشدگی‬‫گرادیان‬
•‫های‬ ‫تابع‬‫فعالساز‬
Sigmoid
o‫محوشدگی‬‫گرادیان‬
o‫خروجی‬ ‫میانگین‬ ‫بودن‬ ‫صفر‬ ‫غیر‬
‫بست‬ ‫بر‬ ‫ژ...
‫محوشدگی‬‫گرادیان‬
•‫های‬ ‫تابع‬‫فعالساز‬
Tanh
o‫مشکل‬ ‫دارای‬‫محوشدگی‬
o‫صفر‬ ‫غیر‬ ‫میانگین‬ ‫مشکل‬ ‫رفع‬
‫بست‬ ‫بر‬ ‫ژ...
‫محوشدگی‬‫گرادیان‬
•‫تابع‬‫های‬‫فعالساز‬
•ReLU
•‫افزایش‬‫سرعت‬‫همگرایی‬‫گرادیان‬
•‫عملیات‬‫ریاضی‬‫ساده‬
•‫مشکل‬:‫مرگ‬‫غیر‬...
‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬
‫محسن‬‫فیاض‬‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫س...
‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫د...
‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬
GMP
Fully Convolutional VGG + GMP
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تح...
‫محسن‬‫فیاض‬
‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬
‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬
18
‫انواع‬‫مختلف‬...
‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬
•‫متصل‬ ‫تمام‬ ‫عصبی‬ ‫شبکه‬
‫بازنمایی‬ ‫فضای‬ ‫تغییر‬ ‫برای‬ ‫مناسب‬
‫بندی‬ ‫دسته‬ ...
‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬
•‫کانولوشن‬ ‫عصبی‬ ‫شبکه‬
‫تصویر‬ ‫پردازش‬ ‫برای‬ ‫مناسب‬
‫صوت‬ ‫و‬ ‫متن‬ ‫پردازش‬ ‫...
‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬
•‫بازگشتی‬ ‫عصبی‬ ‫شبکه‬
‫متغیر‬ ‫طول‬ ‫با‬ ‫دادگان‬ ‫برای‬ ‫مناسب‬
‫متن‬ ‫پردازش‬
...
‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬
•‫ها‬ ‫خودرمزکننده‬
‫نظارت‬ ‫بدون‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫یادگیری‬
‫ها‬ ‫زمینه‬ ‫...
‫محسن‬‫فیاض‬
‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬
‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬
23
‫کارهای‬ ‫بررس...
‫ضعیف‬ ‫نظارت‬ ‫با‬ ‫آموزش‬
‫از‬ ‫استفاده‬ ‫با‬ ‫ضعیف‬ ‫نظارت‬ ‫با‬ ‫یادگیری‬CNN‫ها‬
•Multiple Labeling
•Weakly Localizati...
‫نظارت‬ ‫بدون‬ ‫آموزش‬
‫برچسب‬ ‫بدون‬ ‫ویدیوهای‬ ‫از‬ ‫تصویری‬ ‫های‬ ‫بازنمایی‬ ‫بینی‬ ‫پیش‬
•‫اینترنت‬ ‫روی‬ ‫بر‬ ‫موجود‬...
Distributed Training:
From Karpathy’s slides
‫شده‬ ‫توزیع‬ ‫آموزش‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ...
‫شده‬ ‫توزیع‬ ‫آموزش‬
‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬27 ‫محسن‬...
‫منابع‬
• [1] https://ayearofai.com/rohan-lenny-1-neural-networks-the-backpropagation-
algorithm-explained-abf4609d4f9d#.g...
‫د‬ ‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬ ‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬‫اده‬(3)
‫تهران‬ ،‫شریف‬ ‫صنعتی‬ ‫دانشگاه‬ ‫داده؛‬ ‫کالن‬ ‫کار...
Upcoming SlideShare
Loading in …5
×

(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده

2,040 views

Published on

جلسه سوم سلسله نشست های تحلیل با رویکرد یادگیری ژرف بر بستر کلان داده

Published in: Data & Analytics

(3) تحلیل با رویکرد یادگیری ژرف بر بستر کلان‌داده

  1. 1. ‫د‬ ‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬ ‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬‫اده‬(3) ‫تهران‬ ،‫شریف‬ ‫صنعتی‬ ‫دانشگاه‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬1 Fayyaz@Sensifai.com ‫فیاض‬ ‫محسن‬ 22‫دی‬1395 ‫محسن‬‫فیاض‬
  2. 2. ‫محسن‬‫فیاض‬ ‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬ ‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ 2 ‫مروری‬ ‫گذشت‬ ‫مباحث‬ ‫بر‬‫ه‬ ‫متصل‬ ‫تمام‬ ‫شبکه‬‫محلی‬ ‫متصل‬ ‫شبکه‬‫کانولوشن‬ ‫شبکه‬
  3. 3. ‫محسن‬‫فیاض‬ ‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬ ‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ 3 ‫آموزش‬ ‫عصب‬‫های‬‫شبکه‬‫ی‬
  4. 4. ‫شبکه‬ ‫آموزش‬ ‫اولیه‬ ‫های‬ ‫وزن‬ ‫اولیه‬ ‫بینی‬ ‫پیش‬ ‫هدف‬ ‫با‬ ‫اختالف‬ ‫آموزش‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬4 ‫محسن‬‫فیاض‬
  5. 5. ‫شبکه‬ ‫آموزش‬ •‫نزولی‬ ‫گرادیان‬ [1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬5 ‫محسن‬‫فیاض‬
  6. 6. ‫شبکه‬ ‫آموزش‬ •‫نزولی‬ ‫گرادیان‬ [1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬6 ‫محسن‬‫فیاض‬
  7. 7. ‫شبکه‬ ‫آموزش‬ •‫نزولی‬ ‫گرادیان‬ [1]‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬7 ‫محسن‬‫فیاض‬
  8. 8. ‫شبکه‬ ‫آموزش‬ •‫نزولی‬ ‫گرادیان‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬8 ‫محسن‬‫فیاض‬
  9. 9. ‫شبکه‬ ‫آموزش‬ •‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬9 ‫محسن‬‫فیاض‬
  10. 10. ‫شبکه‬ ‫آموزش‬ •‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬10 ‫محسن‬‫فیاض‬
  11. 11. ‫شبکه‬ ‫آموزش‬ •‫عقب‬ ‫به‬ ‫رو‬ ‫انتشار‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬11 ‫محسن‬‫فیاض‬
  12. 12. ‫محوشدگی‬‫گرادیان‬ •‫های‬ ‫تابع‬‫فعالساز‬ Sigmoid o‫محوشدگی‬‫گرادیان‬ o‫خروجی‬ ‫میانگین‬ ‫بودن‬ ‫صفر‬ ‫غیر‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬12 ‫محسن‬‫فیاض‬ 1 ( ) 1 t S t e   𝜕𝑆(𝑡) 𝜕𝑥 = 𝑆(𝑡)(1 − 𝑆 𝑡 )
  13. 13. ‫محوشدگی‬‫گرادیان‬ •‫های‬ ‫تابع‬‫فعالساز‬ Tanh o‫مشکل‬ ‫دارای‬‫محوشدگی‬ o‫صفر‬ ‫غیر‬ ‫میانگین‬ ‫مشکل‬ ‫رفع‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬13 ‫محسن‬‫فیاض‬ tanh x = 2𝑆 2𝑥 − 1 S(x) = Sigmoid(x) 𝜕tanh(𝑥) 𝜕𝑥 = 1 − 𝑡𝑎𝑛ℎ2 (𝑥)
  14. 14. ‫محوشدگی‬‫گرادیان‬ •‫تابع‬‫های‬‫فعالساز‬ •ReLU •‫افزایش‬‫سرعت‬‫همگرایی‬‫گرادیان‬ •‫عملیات‬‫ریاضی‬‫ساده‬ •‫مشکل‬:‫مرگ‬‫غیر‬‫قابل‬‫احیا‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬14 ‫محسن‬‫فیاض‬ ( ) max(0, )f x x 𝑥 > 0, 𝜕𝑓(𝑥) 𝜕𝑥 = 1 𝑥 = 0, 𝜕𝑓(𝑥) 𝜕𝑥 = 0 𝑥 < 0, 𝜕𝑓(𝑥) 𝜕𝑥 = 0 *‫برای‬x=0‫مشتق‬ReLU‫شود‬ ‫می‬ ‫گرفته‬ ‫نظر‬ ‫در‬ ‫صفر‬ ‫با‬ ‫برابر‬
  15. 15. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬ ‫محسن‬‫فیاض‬‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬15
  16. 16. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬16 ‫محسن‬‫فیاض‬
  17. 17. ‫ژرف‬ ‫های‬ ‫شبکه‬ ‫در‬ ‫ها‬ ‫الیه‬ ‫مفاهیم‬ GMP Fully Convolutional VGG + GMP ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬17 ‫محسن‬‫فیاض‬
  18. 18. ‫محسن‬‫فیاض‬ ‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬ ‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ 18 ‫انواع‬‫مختلف‬ ‫های‬ ‫شبکه‬‫عصب‬‫ی‬
  19. 19. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬ •‫متصل‬ ‫تمام‬ ‫عصبی‬ ‫شبکه‬ ‫بازنمایی‬ ‫فضای‬ ‫تغییر‬ ‫برای‬ ‫مناسب‬ ‫بندی‬ ‫دسته‬ ‫برای‬ ‫مناسب‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬19 ‫محسن‬‫فیاض‬
  20. 20. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬ •‫کانولوشن‬ ‫عصبی‬ ‫شبکه‬ ‫تصویر‬ ‫پردازش‬ ‫برای‬ ‫مناسب‬ ‫صوت‬ ‫و‬ ‫متن‬ ‫پردازش‬ ‫در‬ ‫استفاده‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬20 ‫محسن‬‫فیاض‬
  21. 21. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬ •‫بازگشتی‬ ‫عصبی‬ ‫شبکه‬ ‫متغیر‬ ‫طول‬ ‫با‬ ‫دادگان‬ ‫برای‬ ‫مناسب‬ ‫متن‬ ‫پردازش‬ ‫صوت‬ ‫پردازش‬ RNN [2] LSTM [2] ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬21 ‫محسن‬‫فیاض‬
  22. 22. ‫عصبی‬ ‫های‬ ‫شبکه‬ ‫مختلف‬ ‫انواع‬ •‫ها‬ ‫خودرمزکننده‬ ‫نظارت‬ ‫بدون‬ ‫صورت‬ ‫به‬ ‫ها‬ ‫ویژگی‬ ‫یادگیری‬ ‫ها‬ ‫زمینه‬ ‫تمامی‬ ‫در‬ ‫استفاده‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬22 ‫محسن‬‫فیاض‬
  23. 23. ‫محسن‬‫فیاض‬ ‫رو‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫یکرد‬ ‫داده‬‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ 23 ‫کارهای‬ ‫بررسی‬ State of the Art
  24. 24. ‫ضعیف‬ ‫نظارت‬ ‫با‬ ‫آموزش‬ ‫از‬ ‫استفاده‬ ‫با‬ ‫ضعیف‬ ‫نظارت‬ ‫با‬ ‫یادگیری‬CNN‫ها‬ •Multiple Labeling •Weakly Localization •‫اینترنت‬ ‫در‬ ‫موجود‬ ‫دادگان‬ ‫از‬ ‫استفاده‬ ‫امکان‬ Is object localization for free? - Weakly-supervised learning with convolutional neural networks, Oquab et. al., CVPR 2015 ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬24 ‫محسن‬‫فیاض‬
  25. 25. ‫نظارت‬ ‫بدون‬ ‫آموزش‬ ‫برچسب‬ ‫بدون‬ ‫ویدیوهای‬ ‫از‬ ‫تصویری‬ ‫های‬ ‫بازنمایی‬ ‫بینی‬ ‫پیش‬ •‫اینترنت‬ ‫روی‬ ‫بر‬ ‫موجود‬ ‫برچسب‬ ‫بدون‬ ‫ویدیوهای‬ ‫عظیم‬ ‫حجم‬ ‫روی‬ ‫بر‬ ‫آموزش‬ •‫نظارت‬ ‫بدون‬ ‫سامانه‬ ‫خروجی‬ ‫روی‬ ‫بر‬ ‫بندها‬ ‫دسته‬ ‫آموزش‬ Anticipating Visual Representations From Unlabeled Video, Vondrick et. al., CVPR 2016 ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬25 ‫محسن‬‫فیاض‬
  26. 26. Distributed Training: From Karpathy’s slides ‫شده‬ ‫توزیع‬ ‫آموزش‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬26 ‫محسن‬‫فیاض‬
  27. 27. ‫شده‬ ‫توزیع‬ ‫آموزش‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬27 ‫محسن‬‫فیاض‬ [Large Scale Distributed Deep Networks, Jeff Dean et al., 2013] ‫دادگان‬ ‫توزیع‬ ‫شبکه‬ ‫توزیع‬
  28. 28. ‫منابع‬ • [1] https://ayearofai.com/rohan-lenny-1-neural-networks-the-backpropagation- algorithm-explained-abf4609d4f9d#.g0n7r1ain, 1/10/2017 • [2] http://colah.github.io/posts/2015-08-Understanding-LSTMs/, 1/10/2017 ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬28 ‫محسن‬‫فیاض‬
  29. 29. ‫د‬ ‫کالن‬ ‫بستر‬ ‫بر‬ ‫ژرف‬ ‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬‫اده‬(3) ‫تهران‬ ،‫شریف‬ ‫صنعتی‬ ‫دانشگاه‬ ‫داده؛‬ ‫کالن‬ ‫کارگروه‬ ‫تشکر‬ ‫با‬ ‫بست‬ ‫بر‬ ‫ژرف‬‫یادگیری‬ ‫رویکرد‬ ‫با‬ ‫تحلیل‬ ‫علمی‬ ‫ارائه‬ ‫سوم‬ ‫جلسه‬‫داده‬‫کالن‬ ‫ر‬29 Fayyaz@Sensifai.com ‫فیاض‬ ‫محسن‬ 22‫دی‬1395 ‫محسن‬‫فیاض‬

×