شبکه های عصبی و کراس

‫پور‬ ‫اخوان‬ ‫علیرضا‬
‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬
‫بر‬ ‫ای‬ ‫مقدمه‬‫های‬‫شبکه‬
‫و‬ ‫عصبی‬
‫کتابخانه‬Keras
Alireza Akhavan Pour
AkhavanPour.ir
CLASS.VISION
Wednesday, November 14, 2018

‫مقدمه‬:
•‫مقدمه‬1:‫ماشین‬ ‫یادگیری‬ ‫بر‬ ‫ای‬‫مقدمه‬
•‫مقدمه‬2:‫داده‬ ‫عنوان‬ ‫به‬ ‫تصویر‬
•‫مقدمه‬3:‫پایتون‬ ‫در‬ ‫تصویر‬ ‫بندی‬ ‫طبقه‬
‫عصبی‬ ‫های‬‫شبکه‬:
•‫بخش‬1:‫پرسپترون‬ ‫بر‬ ‫ای‬‫مقدمه‬
•‫بخش‬2:‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬
•‫بخش‬3:‫هزینه‬ ‫تابع‬
•‫بخش‬4:‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬
•‫بخش‬5:‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬

‫مقدمه‬1:
‫ماشین‬ ‫یادگیری‬ ‫بر‬ ‫ای‬‫مقدمه‬
Introduction to Machine Learning

Image Classification: a core task in Computer Vision
cat
(assume given set of discrete labels)
{dog, cat, truck, plane, ...}

Challenges: Illumination

Challenges: Deformation

Challenges: Occlusion

Challenges: Background clutter

Challenges: Intraclass variation

An image classifier
Unlike e.g. sorting a list of numbers,
no obvious way to hard-code the algorithm for
recognizing a cat, or other classes.

Data-driven approach:
1. Collect a dataset of images and labels
2. Use Machine Learning to train an image classifier
3. Evaluate the classifier on a withheld set of test images
Example training set

● Supervised Learning uses labeled data to predict
a label given some features.
● If the label is continuous its called a regression
problem, if its categorical it is a classification
problem.
Supervised Learning(‫شده‬ ‫نظارت‬ ‫یادگیری‬)

‫یادگیری‬‫نظارت‬‫شده‬–‫بندی‬ ‫طبقه‬
‫یا‬ ‫بندی‬ ‫طبقه‬classification:
feature:‫وزن‬ ‫و‬ ‫قد‬
label:‫جنسیت‬
‫هدف‬:
‫وزن‬ ‫و‬ ‫قد‬ ‫روی‬ ‫از‬ ‫جنسیت‬ ‫تشخیص‬

‫نظارت‬ ‫یادگیری‬‫شده‬–‫بندی‬ ‫طبقه‬
HeightHeight
Weight
Male
Female
?

‫نظارت‬ ‫یادگیری‬‫شده‬–‫بندی‬ ‫طبقه‬
HeightHeight
Weight
Male
Female

‫بندی‬ ‫طبقه‬:‫همسایه‬ ‫ترین‬‫نزدیک‬ ‫الگوریتم‬
 1-Nearest Neighbor

‫بندی‬ ‫طبقه‬:‫همسایه‬ ‫ترین‬‫نزدیک‬ ‫الگوریتم‬
 3-Nearest Neighbor

‫مقدمه‬2:
‫داده‬ ‫عنوان‬ ‫به‬ ‫تصویر‬
Images as data

‫داده‬ ‫عنوان‬ ‫به‬ ‫تصویر‬

‫تصویری‬ ‫داده‬ ‫ویرایش‬

‫سفید‬ ‫و‬ ‫سیاه‬ ‫تصویر‬

01_Intro2image&numpy.ipynb
Let’s code…
‫پایتون‬ ‫در‬ ‫تصویر‬ ‫با‬ ‫آشنایی‬

‫مقدمه‬3:
‫پایتون‬ ‫در‬ ‫تصویر‬ ‫بندی‬ ‫طبقه‬
Image classification in Python

‫تصویر‬ ‫بندی‬‫طبقه‬(Image Classification)

‫تصویر‬ ‫بندی‬‫طبقه‬:‫آموزش‬(Training)

‫تصویر‬ ‫بندی‬‫طبقه‬:‫ارزیابی‬(Evaluation)

Representing class data: one-hot encoding
labels = ["shoe", "dress", "shoe", "t-shirt",
"shoe", "t-shirt", "shoe", "dress"]

One-hot encoding: testing predictions
Test prediction
=6.0

‫تصویر‬ ‫بندی‬‫طبقه‬:
X = resize(img, (5, 5))
X.reshape(25)

02_HodaDataset.ipynb
Let’s code…
‫اندازه‬ ‫تغییر‬ ‫و‬ ‫هدی‬ ‫داده‬ ‫مجموعه‬ ‫معرفی‬
‫های‬‫الگوریتم‬ ‫در‬ ‫استفاده‬ ‫برای‬ ‫شکل‬ ‫و‬
‫ماشین‬ ‫یادگیری‬

03_K-Nearest Neighbor classification.ipynb
Let’s code…
‫و‬ ‫همسایه‬ ‫نزدیکترین‬ ‫بندی‬ ‫طبقه‬K
‫همسایه‬ ‫نزدیکترین‬
‫در‬scikit-learn

k-Nearest Neighbor on images never used.
- terrible performance at test time
- distance metrics on level of whole images can be
very unintuitive
(all 3 images have same L2 distance to the one on the left)

‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬
○ Neurons and Activation Functions
○ Cost Functions
○ Gradient Descent
○ Backpropagation

‫اول‬ ‫بخش‬:
‫پرسپترون‬ ‫بر‬ ‫ای‬‫مقدمه‬
Introduction to the Perceptron

‫پرسپترون‬
AxonBodyDendrites
 The biological neuron:

‫دارند‬ ‫خروجی‬ ‫و‬ ‫ورودی‬ ‫هم‬ ‫مصنوعی‬ ‫های‬‫نرون‬
‫نامند‬‫می‬ ‫پرسپترون‬ ‫را‬ ‫ساده‬ ‫مدل‬ ‫این‬.
Input 0
Input 1
Output

Input 0
Input 1
Output
12
4
‫ها‬‫ویژگی‬ ‫مقادیر‬ ‫ورودی‬(features)‫هستند‬

Input 0
Input 1
Output
12
4
‫شوند‬‫می‬ ‫ضرب‬ ‫ها‬‫وزن‬ ‫در‬ ‫ها‬‫ورودی‬

Input 0
Input 1
Output
12
4
‫صورت‬ ‫به‬ ‫ها‬‫وزن‬‫رندم‬ ‫و‬ ‫تصادفی‬‫او‬ ‫مقداردهی‬

Input 0
Input 1
Output
12
4
‫شوند‬‫می‬ ‫ضرب‬ ‫متناظر‬ ‫های‬‫وزن‬ ‫در‬ ‫ها‬‫ورودی‬
12 * 0.5 = 6
4 * -1 = -4

Input 0
Input 1
Output
12
4
‫گرد‬‫می‬ ‫اعمال‬ ‫نتایج‬ ‫روی‬ ‫بر‬ ‫فعالیت‬ ‫تابع‬ ‫یک‬
Activation
Function

Input 0
Input 1
Output
12
4
‫داریم‬ ‫فعالیت‬ ‫تابع‬ ‫برای‬ ‫زیادی‬ ‫های‬‫انتخاب‬
Activation
Function
‫فعالیت‬ ‫تابع‬ ‫ترین‬ ‫ساده‬:
‫بود‬ ‫مثبت‬ ‫مجموع‬ ‫اگر‬:1
‫صورت‬ ‫این‬ ‫غیر‬ ‫در‬0

Input 0
Input 1
Output
12
4
‫داریم‬ ‫مثال‬ ‫این‬ ‫در‬:
6 – 4 = 2
‫با‬ ‫است‬ ‫برابر‬ ‫خروجی‬ ‫پس‬1
Activation
Function

Input 0
Input 1
Output
12
4
‫مشکل‬ ‫یک‬!‫ورودی‬ ‫اگر‬0‫باشد؟‬!
Activation
Function
‫خروجی‬ ‫ها‬‫وزن‬ ‫از‬ ‫مستقل‬0‫شود‬‫می‬!

‫کنیم‬‫می‬ ‫رفع‬ ‫بایاس‬ ‫افزودن‬ ‫با‬ ‫را‬ ‫مشکل‬ ‫این‬.
Input 0
Input 1
Activation
Function Output
Bias

‫ب‬ ‫ریاضی‬ ‫صورت‬ ‫به‬ ‫را‬ ‫پرسپترون‬ ‫بخواهیم‬ ‫اگر‬
Input 0
Input 1
Activation
Function Output
Bias

‫دیدیم‬ ‫اول‬ ‫بخش‬ ‫در‬ ‫آنچه‬...
○ Biological Neuron
○ Perceptron Model
○ Mathematical Representation

‫دوم‬ ‫بخش‬:
Introduction to Neural Networks

‫پرسپترون‬ ‫چندین‬ ‫از‬ ‫ای‬‫شبکه‬
Input Layer. 2 hidden layers. Output Layer

‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫ها‬‫الیه‬
‫ورودی‬ ‫الیه‬:
‫ها‬‫داده‬ ‫حقیقی‬ ‫مقادیر‬
‫پنهان‬ ‫الیه‬:
‫خروجی‬ ‫و‬ ‫ورودی‬ ‫بین‬ ‫های‬ ‫الیه‬
‫به‬3‫بیشتر‬ ‫یا‬‫الیه‬‫معمو‬‫ال‬‫می‬ ‫عمیق‬ ‫شبکه‬
‫خروجی‬ ‫الیه‬:
‫است‬ ‫خروجی‬ ‫از‬ ‫شبکه‬ ‫نهایی‬ ‫تخمین‬

‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬‫مقدمه‬–‫فعالیت‬ ‫تابع‬
‫دیدیم‬ ‫کنون‬ ‫تا‬ ‫که‬ ‫ای‬ ‫ساده‬ ‫فعالیت‬ ‫تابع‬
z = wx + b
Output
0
1
0
‫شوند‬ ‫نمی‬ ‫منعکس‬ ‫کوچک‬ ‫تغییرات‬.

‫مث‬ ،‫میشد‬ ‫بهتر‬ ‫داشتیم‬ ‫پویاتر‬ ‫تابعی‬ ‫اگر‬
z = wx + b
Output
0
1
0

‫سیگموئید‬ ‫تابع‬
z = wx + b
Output
0
1
0

‫مت‬ ‫فعالیت‬ ‫توابع‬ ‫از‬ ‫است‬ ‫ممکن‬ ‫کار‬ ‫به‬ ‫بسته‬
‫به‬ ‫رو‬ ‫آنها‬ ‫با‬ ‫است‬ ‫ممکن‬ ‫که‬ ‫فعالیتی‬ ‫توابع‬
z = wx + b
Output
0
1
0

● Hyperbolic Tangent: tanh(z)
z = wx + b
Output
-1
1
0

● Rectified Linear Unit
ReLU-‫خطی‬ ‫یکسوساز‬ ‫واحد‬
max(0,z)
z = wx + b
Output
0

‫سوم‬ ‫بخش‬:
‫هزینه‬ ‫تابع‬
Cost Function

‫مدل‬ ‫بودن‬ ‫بد‬ ‫گیری‬ ‫اندازه‬ ‫برای‬ ‫معیاری‬!
‫بودن؟‬ ‫بد‬!‫انتظار‬ ‫مورد‬ ‫خروجی‬ ‫با‬ ‫مدل‬ ‫خروجی‬ ‫تفاوت‬
‫میکنیم‬ ‫استفاده‬ ‫زیر‬ ‫متغیرهای‬ ‫و‬ ‫عالئم‬ ‫از‬:
y:‫انتظار‬ ‫مورد‬ ‫خروجی‬ ‫نمایانگر‬(true value)
a:‫شبکه‬ ‫خروجی‬ ‫از‬ ‫حاصل‬ ‫تخمین‬
‫محاسبه‬a‫بایاس‬ ‫و‬ ‫ها‬‫وزن‬ ‫از‬
○ w*x + b = z
○ σ(z) = a => Pass z into activation function

‫بندی‬‫طبقه‬ ‫برای‬ ‫ساده‬ ‫هزینه‬ ‫تابع‬:
‫توان‬ ‫علت‬ ‫به‬ ‫بزرگتر‬ ‫خطاهای‬2‫تر‬ ‫برجسته‬ ،
C = Σ(y-a)2 / n
‫کند‬‫می‬ ‫کند‬ ‫را‬ ‫آموزش‬ ‫فرآیند‬ ‫خطا‬ ‫تابع‬ ‫این‬.

Cross Entropy
C = (-1/n) Σ (y⋅ln(a) + (1-y)⋅ln(1-a))
‫شود‬ ‫تسریع‬ ‫آموزش‬ ‫که‬ ‫دهد‬‫می‬ ‫اجازه‬ ‫تابع‬ ‫این‬
‫م‬ ‫نورون‬ ‫سریعتر‬ ،‫باشد‬ ‫بزرگتر‬ ‫تفاوت‬ ‫چه‬ ‫هر‬

Cross Entropy
C = (-1/n) Σ (y⋅ln(a) + (1-y)⋅ln(1-a))
𝒚
𝒂

‫با‬ ‫االن‬ ‫تا‬2‫های‬ ‫شبکه‬ ‫یادگیری‬ ‫کلیدی‬ ‫جنبه‬
‫فعالیت‬ ‫تابع‬ ‫با‬ ‫ها‬ ‫نورون‬
‫هزینه‬ ‫تابع‬
‫داریم‬ ‫کم‬ ‫را‬ ‫کلیدی‬ ‫گام‬ ‫یک‬ ‫هنوز‬ ‫ما‬" !‫یاد‬

‫چهارم‬ ‫بخش‬:
‫کاهشی‬ ‫گرادیان‬ ‫و‬ ‫خطا‬ ‫انتشار‬‫پس‬
Gradient Descent and Backpropagation

‫یا‬ ‫کاهشی‬ ‫گرادیان‬Gradient descent
‫حدا‬ ‫یافتن‬ ‫برای‬ ‫سازی‬ ‫بهینه‬ ‫الگوریتم‬ ‫یک‬
‫یافتن‬ ‫برای‬‫محلی‬ ‫ی‬‫کمینه‬‫استفاد‬ ‫با‬ ‫تابع‬ ‫یک‬
‫هایی‬‫گام‬‫با‬ ‫متناسب‬‫گرادیان‬ ‫منفی‬‫در‬ ‫تابع‬

‫کاهشی‬ ‫گرادیان‬(‫بعد‬ ‫یک‬ ‫در‬)
w
C
 Gradient Descent (in 1 dimension)
w
C
w
C
w
C

‫کاهشی‬ ‫گرادیان‬(‫بعد‬ ‫یک‬ ‫در‬)
 Gradient Descent (in 1 dimension)
w
C
w
C

‫مقدار‬ ‫توانیم‬ ‫می‬ ‫بصری‬ ‫صورت‬ ‫به‬
‫هزینه‬ ‫رساندن‬ ‫حداقل‬ ‫به‬ ‫برای‬ ‫انتخابی‬
‫ببینیم‬ ‫را‬!
w
C
w
C

‫برای‬ ‫کمینه‬ ‫این‬ ‫کردن‬ ‫پیدا‬1،‫است‬ ‫ساده‬ ‫بعد‬
‫دارای‬ ‫ااا‬‫ا‬‫م‬ ‫ااائل‬‫ا‬‫مس‬ ‫تمااام‬ ‫ااا‬‫ا‬‫تقریب‬ ‫امااا‬
‫ماا‬ ‫که‬ ‫معنی‬ ‫این‬ ‫به‬ ،‫است‬ ‫زیادی‬ ‫پارامترهای‬
‫خطاای‬ ‫جباار‬ ‫از‬ ‫بایااد‬built-in‫کتابخانااه‬ ‫در‬
‫کنیم‬ ‫استفاده‬ ‫عمیق‬ ‫یادگیری‬.
‫تاوانیم‬‫می‬ ‫کاهشای‬ ‫گرادیاان‬ ‫از‬ ‫اساتفاده‬ ‫با‬
‫رساندن‬ ‫حداقل‬ ‫به‬ ‫برای‬ ‫را‬ ‫پارامترها‬ ‫بهترین‬
،‫مثاال‬ ‫عناوان‬ ‫باه‬ ،‫آوریم‬ ‫بدست‬ ‫هزینه‬ ‫تابع‬
‫وزن‬ ‫ارای‬‫با‬ ‫اادیر‬‫مقا‬ ‫ارین‬‫بهتا‬ ‫اردن‬‫کا‬ ‫ادا‬‫پیا‬
‫نورون‬ ‫های‬‫ورودی‬.

‫کاردن‬ ‫حال‬ ‫بارای‬ ‫مسئله‬ ‫یک‬ ‫فقط‬ ‫ما‬ ‫حاال‬
‫پارامترهاای‬ ‫تاوانیم‬‫می‬ ‫چگوناه‬ ،‫داریم‬
‫تنظایم‬ ‫شبکه‬ ‫کل‬ ‫در‬ ‫را‬ ‫ها‬‫وزن‬ ‫یا‬ ‫مطلوب‬
‫کنیم؟‬ ‫یااا‬ ‫خطااا‬ ‫انتشااار‬‫پس‬ ‫کااه‬ ‫اینجاساات‬
backpropagation‫شود‬‫می‬ ‫مطرح‬.

‫خطاای‬ ‫ساهم‬ ‫محاسبه‬ ‫برای‬ ‫خطا‬ ‫انتشار‬‫پس‬
‫از‬ ‫دساته‬ ‫یاک‬ ‫پاردازش‬ ‫از‬ ‫پس‬ ‫نورون‬ ‫هر‬
‫شود‬ ‫می‬ ‫استفاده‬ ‫ها‬ ‫داده‬. ‫برای‬ ‫زنجیری‬ ‫قاعده‬ ‫بر‬ ‫شدت‬ ‫به‬ ‫روش‬ ‫این‬
‫مشتق‬ ‫کردن‬ ‫پیدا‬‫یا‬chain rule‫مای‬ ‫تکیاه‬
‫ایان‬ ‫و‬ ‫برود‬ ‫عقب‬ ‫شبکه‬ ‫طریق‬ ‫از‬ ‫تا‬ ‫کند‬
‫کند‬ ‫محاسبه‬ ‫را‬ ‫خطاها‬.

‫و‬ ‫خروجی‬ ‫خطای‬ ‫محاسبه‬ ‫با‬ ‫خطا‬ ‫انتشار‬‫پس‬
‫باه‬ ‫خروجای‬ ‫از‬ ‫الیاه‬ ‫به‬ ‫الیه‬ ‫بازگشت‬ ‫با‬
‫دهد‬ ‫می‬ ‫انجام‬ ‫ورودی‬ ‫سمت‬.
‫یاک‬ ‫باه‬ ‫نیااز‬ ‫ورودی‬ ‫مقادار‬ ‫هار‬ ‫برای‬
‫دارد‬ ‫اار‬‫ا‬‫انتظ‬ ‫اورد‬‫ا‬‫م‬ ‫ای‬‫ا‬‫خروج‬(‫اادگیری‬‫ا‬‫ی‬
‫شده‬ ‫نظارت‬.)

playground.tensorflow.org

‫پنجم‬ ‫بخش‬:
‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬
Implementation with Keras!

5x5
25pixels
Softmax
Relu
64 Neurons
0
1
2
9
‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬-‫مدل‬ ‫معماری‬

‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬–‫هزینه‬ ‫تابع‬
‫سازی‬ ‫بهینه‬ ‫و‬

‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ w
C
‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬:
‫اندازه‬ ،‫آموزشی‬ ‫داده‬ ‫تعیین‬mini-batch‫و‬
‫تعداد‬epoch
w
C

‫و‬ ‫عصبی‬ ‫های‬‫شبکه‬ ‫بر‬ ‫ای‬ ‫مقدمه‬‫کت‬ ‫در‬ ‫سازی‬‫پیاده‬ w
C
‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬:
‫اندازه‬ ،‫آموزشی‬ ‫داده‬ ‫تعیین‬mini-batch‫و‬
‫تعداد‬epoch
w
C
w
C

04_a Gentle Introduction to Keras - Simple neural network(mlp).ipynb
Let’s code…
‫سازی‬ ‫پیاده‬‫کراس‬ ‫در‬ ‫عصبی‬ ‫شبکه‬–‫ارقام‬
‫فارسی‬

‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬-‫برازش‬ ‫بیش‬

Main Idea: approximately
combining exponentially many
different neural network
architectures efficiently
Srivastava, Hinton, Krizhevsky, Sutskever & Salakhutdinov, JMLR (2014)
x x
xxx
xx
‫کراس‬ ‫در‬ ‫سازی‬ ‫پیاده‬-Dropout

05_Dropout.ipynb
Let’s code…
‫ی‬‫الیه‬ ‫و‬ ‫ها‬‫داده‬ ‫برازش‬ ‫بیش‬Dropout‫در‬
‫کراس‬

‫منابع‬
• http://cs231n.stanford.edu/
• https://www.csee.umbc.edu/courses/671/fall01/class-notes/k-
nn.ppt
• https://docs.google.com/presentation/d/1kytN5gqrZe0Bcu3hExjZp
A4PQipaFEKn26S-JhqncXk/edit#slide=id.g1ff36e20db_0_450
• https://www.slideshare.net/Alirezaakhavanpour/tensorflow-
71395844
• https://www.datacamp.com/courses/convolutional-neural-
networks-for-image-processing

شبکه های عصبی و کراس

More Related Content

Similar to شبکه های عصبی و کراس

شبکه های عصبی و کراس