Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

شبکه های عصبی و کراس

191 views

Published on

دوره مقدماتی یادگیری ژرف
مقدمات یادگیری ماشین و یادگیری نظارت شده
آشنایی با نوع داده تصویر در پایتون
پیده سازی طبقه بندی ساده در پایتون
در این جلسه با مفاهیم پایه شبکه های عصبی و یادگیری عمیق آشنا شدیم. نوع خاصی از داده که داده تصویری است معرفی شد. و سپس به معرفی و بررسی انواع توابع فعال سازی ( activation function) معرفی مدل های پرسپترون چندلایه (MLP یا multi-layer Perceptron) انواع توابع هزینه در شبکه های عصبی (Cost Functions یا Loss Function) یادگیری و آموزش شبکه های عصبی پرداخته شد.
همچنین به بررسی tensorflow playground پرداخته و مباحثی مانند تعداد لایه و نورون و نوع activation function و تاثیر آن بر روی آموزش مورد بحث قرار گرفت. در ادامه آموزش کتابخانه Keras در پایتون و پیاده سازی یک شبکه عصبی ساده بیان شد. مشکل over-fitting و راهکار Dropout به عنوان یکی از راه حل های regularization بیان شد.

Published in: Data & Analytics
  • Be the first to comment

شبکه های عصبی و کراس

  1. 1. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫های‬‫شبکه‬ ‫و‬ ‫عصبی‬ ‫کتابخانه‬Keras Alireza Akhavan Pour AkhavanPour.ir CLASS.VISION Wednesday, November 14, 2018
  2. 2. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫مقدمه‬: •‫مقدمه‬1:‫ماشین‬ ‫یادگیری‬ ‫بر‬ ‫ای‬‫مقدمه‬ •‫مقدمه‬2:‫داده‬ ‫عنوان‬ ‫به‬ ‫تصویر‬ •‫مقدمه‬3:‫پایتون‬ ‫در‬ ‫تصویر‬ ‫بندی‬ ‫طبقه‬ ‫عصبی‬ ‫های‬‫شبکه‬: •‫بخش‬1:‫پرسپترون‬ ‫بر‬ ‫ای‬‫مقدمه‬ •‫بخش‬2:‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬ •‫بخش‬3:‫هزینه‬ ‫تابع‬ •‫بخش‬4:‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ •‫بخش‬5:‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬
  3. 3. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫مقدمه‬1: ‫ماشین‬ ‫یادگیری‬ ‫بر‬ ‫ای‬‫مقدمه‬ Introduction to Machine Learning
  4. 4. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ Image Classification: a core task in Computer Vision cat (assume given set of discrete labels) {dog, cat, truck, plane, ...}
  5. 5. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ Challenges: Illumination
  6. 6. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ Challenges: Deformation
  7. 7. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ Challenges: Occlusion
  8. 8. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ Challenges: Background clutter
  9. 9. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ Challenges: Intraclass variation
  10. 10. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ An image classifier Unlike e.g. sorting a list of numbers, no obvious way to hard-code the algorithm for recognizing a cat, or other classes.
  11. 11. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ Data-driven approach: 1. Collect a dataset of images and labels 2. Use Machine Learning to train an image classifier 3. Evaluate the classifier on a withheld set of test images Example training set
  12. 12. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ● Supervised Learning uses labeled data to predict a label given some features. ● If the label is continuous its called a regression problem, if its categorical it is a classification problem. Supervised Learning(‫شده‬ ‫نظارت‬ ‫یادگیری‬)
  13. 13. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫یادگیری‬‫نظارت‬‫شده‬–‫بندی‬ ‫طبقه‬ ‫یا‬ ‫بندی‬ ‫طبقه‬classification: feature:‫وزن‬ ‫و‬ ‫قد‬ label:‫جنسیت‬ ‫هدف‬: ‫وزن‬ ‫و‬ ‫قد‬ ‫روی‬ ‫از‬ ‫جنسیت‬ ‫تشخیص‬
  14. 14. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫نظارت‬ ‫یادگیری‬‫شده‬–‫بندی‬ ‫طبقه‬ HeightHeight Weight Male Female ?
  15. 15. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫نظارت‬ ‫یادگیری‬‫شده‬–‫بندی‬ ‫طبقه‬ HeightHeight Weight Male Female
  16. 16. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫بندی‬ ‫طبقه‬:‫همسایه‬ ‫ترین‬‫نزدیک‬ ‫الگوریتم‬  1-Nearest Neighbor
  17. 17. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫بندی‬ ‫طبقه‬:‫همسایه‬ ‫ترین‬‫نزدیک‬ ‫الگوریتم‬  3-Nearest Neighbor
  18. 18. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫مقدمه‬2: ‫داده‬ ‫عنوان‬ ‫به‬ ‫تصویر‬ Images as data
  19. 19. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫داده‬ ‫عنوان‬ ‫به‬ ‫تصویر‬
  20. 20. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫داده‬ ‫عنوان‬ ‫به‬ ‫تصویر‬
  21. 21. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫تصویری‬ ‫داده‬ ‫ویرایش‬
  22. 22. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫تصویری‬ ‫داده‬ ‫ویرایش‬
  23. 23. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫سفید‬ ‫و‬ ‫سیاه‬ ‫تصویر‬
  24. 24. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫سفید‬ ‫و‬ ‫سیاه‬ ‫تصویر‬
  25. 25. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ 01_Intro2image&numpy.ipynb Let’s code… ‫پایتون‬ ‫در‬ ‫تصویر‬ ‫با‬ ‫آشنایی‬
  26. 26. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫مقدمه‬3: ‫پایتون‬ ‫در‬ ‫تصویر‬ ‫بندی‬ ‫طبقه‬ Image classification in Python
  27. 27. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫تصویر‬ ‫بندی‬‫طبقه‬(Image Classification)
  28. 28. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫تصویر‬ ‫بندی‬‫طبقه‬:‫آموزش‬(Training)
  29. 29. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫تصویر‬ ‫بندی‬‫طبقه‬:‫ارزیابی‬(Evaluation)
  30. 30. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ Representing class data: one-hot encoding labels = ["shoe", "dress", "shoe", "t-shirt", "shoe", "t-shirt", "shoe", "dress"]
  31. 31. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ One-hot encoding: testing predictions Test prediction =6.0
  32. 32. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫تصویر‬ ‫بندی‬‫طبقه‬: X = resize(img, (5, 5)) X.reshape(25)
  33. 33. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ 02_HodaDataset.ipynb Let’s code… ‫اندازه‬ ‫تغییر‬ ‫و‬ ‫هدی‬ ‫داده‬ ‫مجموعه‬ ‫معرفی‬ ‫های‬‫الگوریتم‬ ‫در‬ ‫استفاده‬ ‫برای‬ ‫شکل‬ ‫و‬ ‫ماشین‬ ‫یادگیری‬
  34. 34. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ 03_K-Nearest Neighbor classification.ipynb Let’s code… ‫و‬ ‫همسایه‬ ‫نزدیکترین‬ ‫بندی‬ ‫طبقه‬K ‫همسایه‬ ‫نزدیکترین‬ ‫در‬scikit-learn
  35. 35. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ k-Nearest Neighbor on images never used. - terrible performance at test time - distance metrics on level of whole images can be very unintuitive (all 3 images have same L2 distance to the one on the left)
  36. 36. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬ ○ Neurons and Activation Functions ○ Cost Functions ○ Gradient Descent ○ Backpropagation
  37. 37. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫اول‬ ‫بخش‬: ‫پرسپترون‬ ‫بر‬ ‫ای‬‫مقدمه‬ Introduction to the Perceptron
  38. 38. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ AxonBodyDendrites  The biological neuron:
  39. 39. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ ‫دارند‬ ‫خروجی‬ ‫و‬ ‫ورودی‬ ‫هم‬ ‫مصنوعی‬ ‫های‬‫نرون‬ ‫نامند‬‫می‬ ‫پرسپترون‬ ‫را‬ ‫ساده‬ ‫مدل‬ ‫این‬. Input 0 Input 1 Output
  40. 40. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ Input 0 Input 1 Output 12 4 ‫ها‬‫ویژگی‬ ‫مقادیر‬ ‫ورودی‬(features)‫هستند‬
  41. 41. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ Input 0 Input 1 Output 12 4 ‫شوند‬‫می‬ ‫ضرب‬ ‫ها‬‫وزن‬ ‫در‬ ‫ها‬‫ورودی‬
  42. 42. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ Input 0 Input 1 Output 12 4 ‫صورت‬ ‫به‬ ‫ها‬‫وزن‬‫رندم‬ ‫و‬ ‫تصادفی‬‫او‬ ‫مقداردهی‬
  43. 43. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ Input 0 Input 1 Output 12 4 ‫شوند‬‫می‬ ‫ضرب‬ ‫متناظر‬ ‫های‬‫وزن‬ ‫در‬ ‫ها‬‫ورودی‬ 12 * 0.5 = 6 4 * -1 = -4
  44. 44. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ Input 0 Input 1 Output 12 4 ‫گرد‬‫می‬ ‫اعمال‬ ‫نتایج‬ ‫روی‬ ‫بر‬ ‫فعالیت‬ ‫تابع‬ ‫یک‬ Activation Function
  45. 45. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ Input 0 Input 1 Output 12 4 ‫داریم‬ ‫فعالیت‬ ‫تابع‬ ‫برای‬ ‫زیادی‬ ‫های‬‫انتخاب‬ Activation Function ‫فعالیت‬ ‫تابع‬ ‫ترین‬ ‫ساده‬: ‫بود‬ ‫مثبت‬ ‫مجموع‬ ‫اگر‬:1 ‫صورت‬ ‫این‬ ‫غیر‬ ‫در‬0
  46. 46. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ Input 0 Input 1 Output 12 4 ‫داریم‬ ‫مثال‬ ‫این‬ ‫در‬: 6 – 4 = 2 ‫با‬ ‫است‬ ‫برابر‬ ‫خروجی‬ ‫پس‬1 Activation Function
  47. 47. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ Input 0 Input 1 Output 12 4 ‫مشکل‬ ‫یک‬!‫ورودی‬ ‫اگر‬0‫باشد؟‬! Activation Function ‫خروجی‬ ‫ها‬‫وزن‬ ‫از‬ ‫مستقل‬0‫شود‬‫می‬!
  48. 48. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ ‫کنیم‬‫می‬ ‫رفع‬ ‫بایاس‬ ‫افزودن‬ ‫با‬ ‫را‬ ‫مشکل‬ ‫این‬. Input 0 Input 1 Activation Function Output Bias
  49. 49. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پرسپترون‬ ‫ب‬ ‫ریاضی‬ ‫صورت‬ ‫به‬ ‫را‬ ‫پرسپترون‬ ‫بخواهیم‬ ‫اگر‬ Input 0 Input 1 Activation Function Output Bias
  50. 50. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫دیدیم‬ ‫اول‬ ‫بخش‬ ‫در‬ ‫آنچه‬... ○ Biological Neuron ○ Perceptron Model ○ Mathematical Representation
  51. 51. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫دوم‬ ‫بخش‬: ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬ Introduction to Neural Networks
  52. 52. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬ ‫پرسپترون‬ ‫چندین‬ ‫از‬ ‫ای‬‫شبکه‬ Input Layer. 2 hidden layers. Output Layer
  53. 53. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫ها‬‫الیه‬ ‫ورودی‬ ‫الیه‬: ‫ها‬‫داده‬ ‫حقیقی‬ ‫مقادیر‬ ‫پنهان‬ ‫الیه‬: ‫خروجی‬ ‫و‬ ‫ورودی‬ ‫بین‬ ‫های‬ ‫الیه‬ ‫به‬3‫بیشتر‬ ‫یا‬‫الیه‬‫معمو‬‫ال‬‫می‬ ‫عمیق‬ ‫شبکه‬ ‫خروجی‬ ‫الیه‬: ‫است‬ ‫خروجی‬ ‫از‬ ‫شبکه‬ ‫نهایی‬ ‫تخمین‬
  54. 54. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫فعالیت‬ ‫تابع‬ ‫دیدیم‬ ‫کنون‬ ‫تا‬ ‫که‬ ‫ای‬ ‫ساده‬ ‫فعالیت‬ ‫تابع‬ z = wx + b Output 0 1 0 ‫شوند‬ ‫نمی‬ ‫منعکس‬ ‫کوچک‬ ‫تغییرات‬.
  55. 55. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫فعالیت‬ ‫تابع‬ ‫مث‬ ،‫میشد‬ ‫بهتر‬ ‫داشتیم‬ ‫پویاتر‬ ‫تابعی‬ ‫اگر‬ z = wx + b Output 0 1 0
  56. 56. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫فعالیت‬ ‫تابع‬ ‫سیگموئید‬ ‫تابع‬ z = wx + b Output 0 1 0
  57. 57. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫فعالیت‬ ‫تابع‬ ‫مت‬ ‫فعالیت‬ ‫توابع‬ ‫از‬ ‫است‬ ‫ممکن‬ ‫کار‬ ‫به‬ ‫بسته‬ ‫به‬ ‫رو‬ ‫آنها‬ ‫با‬ ‫است‬ ‫ممکن‬ ‫که‬ ‫فعالیتی‬ ‫توابع‬ z = wx + b Output 0 1 0
  58. 58. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫فعالیت‬ ‫تابع‬ ● Hyperbolic Tangent: tanh(z) z = wx + b Output -1 1 0
  59. 59. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫فعالیت‬ ‫تابع‬ ● Rectified Linear Unit ReLU-‫خطی‬ ‫یکسوساز‬ ‫واحد‬ max(0,z) z = wx + b Output 0
  60. 60. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫سوم‬ ‫بخش‬: ‫هزینه‬ ‫تابع‬ Cost Function
  61. 61. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫هزینه‬ ‫تابع‬ ‫مدل‬ ‫بودن‬ ‫بد‬ ‫گیری‬ ‫اندازه‬ ‫برای‬ ‫معیاری‬! ‫بودن؟‬ ‫بد‬!‫انتظار‬ ‫مورد‬ ‫خروجی‬ ‫با‬ ‫مدل‬ ‫خروجی‬ ‫تفاوت‬ ‫میکنیم‬ ‫استفاده‬ ‫زیر‬ ‫متغیرهای‬ ‫و‬ ‫عالئم‬ ‫از‬: y:‫انتظار‬ ‫مورد‬ ‫خروجی‬ ‫نمایانگر‬(true value) a:‫شبکه‬ ‫خروجی‬ ‫از‬ ‫حاصل‬ ‫تخمین‬ ‫محاسبه‬a‫بایاس‬ ‫و‬ ‫ها‬‫وزن‬ ‫از‬ ○ w*x + b = z ○ σ(z) = a => Pass z into activation function
  62. 62. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫هزینه‬ ‫تابع‬ ‫بندی‬‫طبقه‬ ‫برای‬ ‫ساده‬ ‫هزینه‬ ‫تابع‬: ‫توان‬ ‫علت‬ ‫به‬ ‫بزرگتر‬ ‫خطاهای‬2‫تر‬ ‫برجسته‬ ، C = Σ(y-a)2 / n ‫کند‬‫می‬ ‫کند‬ ‫را‬ ‫آموزش‬ ‫فرآیند‬ ‫خطا‬ ‫تابع‬ ‫این‬.
  63. 63. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫هزینه‬ ‫تابع‬ Cross Entropy C = (-1/n) Σ (y⋅ln(a) + (1-y)⋅ln(1-a)) ‫شود‬ ‫تسریع‬ ‫آموزش‬ ‫که‬ ‫دهد‬‫می‬ ‫اجازه‬ ‫تابع‬ ‫این‬ ‫م‬ ‫نورون‬ ‫سریعتر‬ ،‫باشد‬ ‫بزرگتر‬ ‫تفاوت‬ ‫چه‬ ‫هر‬
  64. 64. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫هزینه‬ ‫تابع‬ Cross Entropy C = (-1/n) Σ (y⋅ln(a) + (1-y)⋅ln(1-a)) 𝒚 𝒂
  65. 65. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫هزینه‬ ‫تابع‬ ‫با‬ ‫االن‬ ‫تا‬2‫های‬ ‫شبکه‬ ‫یادگیری‬ ‫کلیدی‬ ‫جنبه‬ ‫فعالیت‬ ‫تابع‬ ‫با‬ ‫ها‬ ‫نورون‬ ‫هزینه‬ ‫تابع‬ ‫داریم‬ ‫کم‬ ‫را‬ ‫کلیدی‬ ‫گام‬ ‫یک‬ ‫هنوز‬ ‫ما‬" !‫یاد‬
  66. 66. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫چهارم‬ ‫بخش‬: ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ Gradient Descent and Backpropagation
  67. 67. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫یا‬ ‫کاهشی‬ ‫گرادیان‬Gradient descent ‫حدا‬ ‫یافتن‬ ‫برای‬ ‫سازی‬ ‫بهینه‬ ‫الگوریتم‬ ‫یک‬ ‫یافتن‬ ‫برای‬‫محلی‬ ‫ی‬‫کمینه‬‫استفاد‬ ‫با‬ ‫تابع‬ ‫یک‬ ‫هایی‬‫گام‬‫با‬ ‫متناسب‬‫گرادیان‬ ‫منفی‬‫در‬ ‫تابع‬
  68. 68. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫کاهشی‬ ‫گرادیان‬(‫بعد‬ ‫یک‬ ‫در‬) w C  Gradient Descent (in 1 dimension) w C w C w C
  69. 69. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫کاهشی‬ ‫گرادیان‬(‫بعد‬ ‫یک‬ ‫در‬)  Gradient Descent (in 1 dimension) w C w C
  70. 70. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫مقدار‬ ‫توانیم‬ ‫می‬ ‫بصری‬ ‫صورت‬ ‫به‬ ‫هزینه‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫برای‬ ‫انتخابی‬ ‫ببینیم‬ ‫را‬! w C w C
  71. 71. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫برای‬ ‫کمینه‬ ‫این‬ ‫کردن‬ ‫پیدا‬1،‫است‬ ‫ساده‬ ‫بعد‬ ‫دارای‬ ‫ااا‬‫ا‬‫م‬ ‫ااائل‬‫ا‬‫مس‬ ‫تمااام‬ ‫ااا‬‫ا‬‫تقریب‬ ‫امااا‬ ‫ماا‬ ‫که‬ ‫معنی‬ ‫این‬ ‫به‬ ،‫است‬ ‫زیادی‬ ‫پارامترهای‬ ‫خطاای‬ ‫جباار‬ ‫از‬ ‫بایااد‬built-in‫کتابخانااه‬ ‫در‬ ‫کنیم‬ ‫استفاده‬ ‫عمیق‬ ‫یادگیری‬. ‫تاوانیم‬‫می‬ ‫کاهشای‬ ‫گرادیاان‬ ‫از‬ ‫اساتفاده‬ ‫با‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫برای‬ ‫را‬ ‫پارامترها‬ ‫بهترین‬ ،‫مثاال‬ ‫عناوان‬ ‫باه‬ ،‫آوریم‬ ‫بدست‬ ‫هزینه‬ ‫تابع‬ ‫وزن‬ ‫ارای‬‫با‬ ‫اادیر‬‫مقا‬ ‫ارین‬‫بهتا‬ ‫اردن‬‫کا‬ ‫ادا‬‫پیا‬ ‫نورون‬ ‫های‬‫ورودی‬.
  72. 72. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫کاردن‬ ‫حال‬ ‫بارای‬ ‫مسئله‬ ‫یک‬ ‫فقط‬ ‫ما‬ ‫حاال‬ ‫پارامترهاای‬ ‫تاوانیم‬‫می‬ ‫چگوناه‬ ،‫داریم‬ ‫تنظایم‬ ‫شبکه‬ ‫کل‬ ‫در‬ ‫را‬ ‫ها‬‫وزن‬ ‫یا‬ ‫مطلوب‬ ‫کنیم؟‬ ‫یااا‬ ‫خطااا‬ ‫انتشااار‬‫پس‬ ‫کااه‬ ‫اینجاساات‬ backpropagation‫شود‬‫می‬ ‫مطرح‬.
  73. 73. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫خطاای‬ ‫ساهم‬ ‫محاسبه‬ ‫برای‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫از‬ ‫دساته‬ ‫یاک‬ ‫پاردازش‬ ‫از‬ ‫پس‬ ‫نورون‬ ‫هر‬ ‫شود‬ ‫می‬ ‫استفاده‬ ‫ها‬ ‫داده‬. ‫برای‬ ‫زنجیری‬ ‫قاعده‬ ‫بر‬ ‫شدت‬ ‫به‬ ‫روش‬ ‫این‬ ‫مشتق‬ ‫کردن‬ ‫پیدا‬‫یا‬chain rule‫مای‬ ‫تکیاه‬ ‫ایان‬ ‫و‬ ‫برود‬ ‫عقب‬ ‫شبکه‬ ‫طریق‬ ‫از‬ ‫تا‬ ‫کند‬ ‫کند‬ ‫محاسبه‬ ‫را‬ ‫خطاها‬.
  74. 74. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫و‬ ‫خروجی‬ ‫خطای‬ ‫محاسبه‬ ‫با‬ ‫خطا‬ ‫انتشار‬‫پس‬ ‫باه‬ ‫خروجای‬ ‫از‬ ‫الیاه‬ ‫به‬ ‫الیه‬ ‫بازگشت‬ ‫با‬ ‫دهد‬ ‫می‬ ‫انجام‬ ‫ورودی‬ ‫سمت‬. ‫یاک‬ ‫باه‬ ‫نیااز‬ ‫ورودی‬ ‫مقادار‬ ‫هار‬ ‫برای‬ ‫دارد‬ ‫اار‬‫ا‬‫انتظ‬ ‫اورد‬‫ا‬‫م‬ ‫ای‬‫ا‬‫خروج‬(‫اادگیری‬‫ا‬‫ی‬ ‫شده‬ ‫نظارت‬.)
  75. 75. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ playground.tensorflow.org
  76. 76. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫پنجم‬ ‫بخش‬: ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬ Implementation with Keras!
  77. 77. 5x5 25pixels Softmax Relu 64 Neurons 0 1 2 9 ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬-‫مدل‬ ‫معماری‬
  78. 78. ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬–‫هزینه‬ ‫تابع‬ ‫سازی‬ ‫بهینه‬ ‫و‬
  79. 79. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ w C ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬: ‫اندازه‬ ،‫آموزشی‬ ‫داده‬ ‫تعیین‬mini-batch‫و‬ ‫تعداد‬epoch w C
  80. 80. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ w C ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬: ‫اندازه‬ ،‫آموزشی‬ ‫داده‬ ‫تعیین‬mini-batch‫و‬ ‫تعداد‬epoch w C
  81. 81. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ w C ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬: ‫اندازه‬ ،‫آموزشی‬ ‫داده‬ ‫تعیین‬mini-batch‫و‬ ‫تعداد‬epoch w C
  82. 82. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ w C ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬: ‫اندازه‬ ،‫آموزشی‬ ‫داده‬ ‫تعیین‬mini-batch‫و‬ ‫تعداد‬epoch w C w C
  83. 83. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ w C ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬: ‫اندازه‬ ،‫آموزشی‬ ‫داده‬ ‫تعیین‬mini-batch‫و‬ ‫تعداد‬epoch w C
  84. 84. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ 04_a Gentle Introduction to Keras - Simple neural network(mlp).ipynb Let’s code… ‫سازی‬ ‫پیاده‬‫کراس‬ ‫در‬ ‫عصبی‬ ‫شبکه‬–‫ارقام‬ ‫فارسی‬
  85. 85. ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬-‫برازش‬ ‫بیش‬
  86. 86. Main Idea: approximately combining exponentially many different neural network architectures efficiently Srivastava, Hinton, Krizhevsky, Sutskever & Salakhutdinov, JMLR (2014) x x xxx xx ‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬-Dropout
  87. 87. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ 05_Dropout.ipynb Let’s code… ‫ی‬‫الیه‬ ‫و‬ ‫ها‬‫داده‬ ‫برازش‬ ‫بیش‬Dropout‫در‬ ‫کراس‬
  88. 88. ‫پور‬ ‫اخوان‬ ‫علیرضا‬ ‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ ‫منابع‬ • http://cs231n.stanford.edu/ • https://www.csee.umbc.edu/courses/671/fall01/class-notes/k- nn.ppt • https://docs.google.com/presentation/d/1kytN5gqrZe0Bcu3hExjZp A4PQipaFEKn26S-JhqncXk/edit#slide=id.g1ff36e20db_0_450 • https://www.slideshare.net/Alirezaakhavanpour/tensorflow- 71395844 • https://www.datacamp.com/courses/convolutional-neural- networks-for-image-processing

×