用淺顯的方式，導讀CNN 經典論文的思考紀錄，再請大家多多指教。

1. Mora Chen
LeNet5

2. Mora Chen
Hello
• Mora Chen(陳穗碧)
-PyTroch Taichung”潛水”社長
– 逢甲大學地理資訊系統研究中心
研究助理教授/資料分析師
– 政府專案與研究案
– 專長:統計資料分析-影像辨識
– 經歷:
• 工研院 研究員
• 交大電機與控制工程系
• 交大統計研究所博士

3. Mora Chen
3
大綱

4. Mora Chen
Traditional
困難點

5. Mora Chen
1980年代 基於生物大腦神經傳遞的研究開啟了人工神經網絡

6. Mora Chen
模擬神經元
輸入層 輸出層
b
1
下雨 晴天
1.感知層(Perceptron)
-1957 Rosenblatt
線性
y )
邏輯

7. Mora Chen
)
feedforward network
f : Activation function
Multi-Layer Perception Neural Network(MLPNN)
輸入層 隱藏層 輸出層
b
1

8. Mora Chen
)
f :sigmoid function
=Logistic function
活化函數
Activation function
Change activation function
輸入層 隱藏層 輸出層
b
1
下雨 晴天
Step function
非線
性
機率
f ( )

9. Mora Chen
常用的Activation function
sigmoid function Activation function:可微分

10. Mora Chen
常用的Activation function
ReLU

11. Mora Chen
常用的Activation function
Tanh x

12. Mora Chen
常用的Activation function
Softmax 應用在多類別
Sigmoid在雙類別

13. Mora Chen
圖片來源:https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=1
手寫辨識資料NN

14. Mora Chen
16 16 10
圖片來源:https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=1
手寫辨識資料NN

15. Mora Chen
圖片來源:https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=1
手寫辨識資料NN
) =784, 16 biases

16. Mora Chen
多少個參數?
16 16 10
參數parameters: 13,002
圖片來源:https://www.youtube.com/watch?v=aircAruvnKk&list=PLZHQObOWTQDNU6R1_67000Dx_ZCJB-3pi&index=1

17. Mora Chen
cross entropy
=
=
=
常用的cost function
Absolute error=

18. Mora Chen
訓練資料 模型 輸出 正確
Initial value
Forward
Propagation
Cost function
Model 1
Model 2
Model 3
…
挑選 最好model
平均而言cost function 最小
flowchart
• 找出w ,b，使得cost function=0
• 找出w ,b ，使得 cost fucntion最小
(Gradient descent:找局部的最小值)
)
以整體cost function 的角度來挑選參數
Derivative: scalar-valued
Gradient: a multi-variable generalization
of the derivative

19. Mora Chen
Gradient Descent-forward pass 推導
https://www.youtube.com/watch?v=ibJpTrp5mcE
NN 有超多參數
Forward pass

20. Mora Chen
訓練資料 模型 輸出 正確
Initial value
Forward
Propagation
Cost function
Backpropagation
找出w ，使得cost function=0
找出w，使得 cost fucntion最小
)
Backpropagation

21. Mora Chen
Backpropagation
以整體cost function 回饋每一個Neuron的誤差，來更新參數(更有效率)
1986年，Rumelhar和Hinton等人應用”反向傳播算法”創造出很好的
應用案例

22. Mora Chen
Backpropagation 推導

23. Mora Chen
Backpropagation 推導-手寫 backward pass
前向傳播 (Forward-Propagation)
反向傳播 (Backward-Propagation)
代價函數(Cost Function)
第一次傳遞
重新調整神經元權重
 訓練的目的，就是不斷縮小cost

24. Mora Chen

25. Mora Chen
NNLeNet-5: 2D(CNN)
Convolutional Neural Network: 積捲類神經
主要透過影像辨識的特性，設計出不同NN的架構，讓模型更簡單
Full connection NNCNN
v v
Flatten
v

26. Mora Chen
NNLeNet-5: 2D(CNN)
Convolutional Neural Network: 積捲類神經
v
特性1:
特徵在局部，neuron不需要看整張照片
設計出Filter的概念
filter

27. Mora Chen
NNLeNet-5: 2D(CNN)
Convolutional Neural Network: 積捲類神經
v
特性2:
相同的特徵，出現在照片不同的位置
Filter 是可以移動的:補抓不同位置的相同特
徵

28. Mora Chen
NNLeNet-5: 2D(CNN)
Convolutional Neural Network: 積捲類神經
特性3:
局部pixels取樣(Subsampling)，不影響特徵的辨識
把參數的數量變小
v

29. Mora Chen
Stride=2:每次filter在原圖移動的位移量
convolution
資料來源:https://blog.csdn.net/v_july_v/article/details/51812459

30. Mora Chen
Subsampling
資料來源:https://medium.com/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep-learning-99760835f148
Value1 Value2
Value3 Value4

31. Mora Chen
Convolution Neural Network(NN) 和fully
connected NN的關係
Filter裡面的值就是weights Feature map每一個值就是
下一個neuron 的input
資料來源:https://www.youtube.com/watch?v=FrKWiRv254g&t=3671s
Shared weightsless parameters

32. Mora Chen
How many parameters?
個
Parameters:
5*5*6+6(biases)=156
v
v
(kernel size)

33. Mora Chen
How many parameters? C3
個
Parameters:
(5x5x3+1)x6+(5x5x4+1)x9
+(5x5x6+1)=1516
(kernel size)
S2的 6 feature map 沒有經過所有的 16 filter生成，透故下面的表
主要原因: a控制參數個數 b打破對稱性，希望學到不一樣的特徵
因為不是對稱，所以參數的weights沒有共用
的
的
第一個
map只有
(0,4,5,6,9,1
0,11,12,13,
14,15)

34. Mora Chen
How many parameters?
v
v
(kernel size)

35. Mora Chen
How many parameters?
v
v
(kernel size)

36. Mora Chen
How many parameters? (kernel size)
C5
120x(5x5x16+1)=48120
F6
(120+1)x84
激活函數為Atanh(Sx)，
A,S超參數
84
代表7*12的照
片flatten(白
值:-1,黑值=1)
主要是處理連
續型ASCII 數
字，不是單獨
數字? Why?

37. Mora Chen
How many parameters?
output 層:
Euclidean Radial Basis Function
: the unnormalized negative log-likelihood of
a Gaussian distribution in F6 (why?)
,
Force the F6 operate in their maximally non-
linear range.

38. Mora Chen
圖片來源:https://medium.com/@RaghavPrabhu/understanding-of-convolutional-neural-network-cnn-deep-learning-
99760835f148

39. Mora Chen
Paper還有很多細節，仍需努力
• Saturation of the sigmoids must be avoided
because it is known to lead slow convergence
and ill-conditioning of the loss function.
• Saturation of the sigmoids斜率沒有變化的
區域

40. Mora Chen
結論
遇到甚麼問
題
用甚麼方法
解決
有甚麼好處
怎麼做
Perceptron
邏輯結果0,1
使用範圍小
更動activation
function
邏輯 機率
線性 非線性
描述的情況更多
fully connected NN
參數太多
了解影像特性來
變更NN架構
參數變少，學習速
度較快穩定
…….後續大家的努力
Step function
sigmoid
function
Convolution
subsampling
Perceptron
NN
Fully connected
NN
Convolution
NN

41. Mora Chen
Email: suipichen@gmail.com