Downloaded 28 times
![基本原則 (General principle)
局部連接(locally connected)
[區域感受野]
權重共享(weight sharing)
[共用學習參數]](https://image.slidesharecdn.com/cnnintro-jasontsai2019-191112170626/85/Convolutional-Neural-Networks-CNN-21-320.jpg)
![卷積層 (Convolutional layer)
Depth (D): filter (或稱 kernel) 數目
Stride (s): 每一次 kernel 移動的間隔
Zero padding (p): 每一輸入邊緣填0的寬度
若以 i 表示輸入寬度大小，k 表示 kernel
寬度大小， 卷積運算後 feature map 的寬
度大小 (o) 公式為：
o = D 個 [(i - k + 2p) / s] + 1
以輸入為28x28，5x5卷積核，stride為1，padding為2為
例，輸出大小仍為 28x28 feature map。](https://image.slidesharecdn.com/cnnintro-jasontsai2019-191112170626/85/Convolutional-Neural-Networks-CNN-26-320.jpg)
Uploaded byJason Tsai
Convolutional Neural Networks (CNN) — 卷積神經網路的前世今生
本研習涵蓋了卷積神經網路(CNN)的基本原理及其生物神經元模型，並介紹了神經網路訓練及經典模型如Lenet-5、AlexNet等。還探討了CNN在分類、物體識別、自駕車等實際應用中的重要性。文中提供了多個技術細節和實作示例，供學員深入理解CNN的運作。
More Related Content
![[DL輪読会]マテリアルズインフォマティクスにおける深層学習の応用](https://cdn.slidesharecdn.com/ss_thumbnails/181207dlwakasugipanasonicver4-181207003725-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Convolutional Neural Networks (CNN) — 卷積神經網路的前世今生
![[students AI workshop] Pytorch](https://cdn.slidesharecdn.com/ss_thumbnails/pytorch1-170911183243-thumbnail.jpg?width=640&height=640&fit=bounds)
Convolutional Neural Networks (CNN) — 卷積神經網路的前世今生
- 1. Jason Tsai (蔡志順)2019.11.19 台北市 3A中心 教師研習 Convolutional Neural Networks (CNN) 卷積神經網路的前世今生 *Picture adopted from https://bit.ly/36yLPJL
- 2. Copyright Notice: All figuresin this presentation are taken from miscellaneous sources and their copyrights belong to the original authors. This presentation itself adopts Creative Commons license.
- 3. 大綱 (Outlines) • 生物神經元及其模型 •視覺的研究發現和啟發 • 卷積神經網路原理 • 如何訓練神經網路 • 經典卷積神經網路模型 • 卷積神經網路應用實例
- 4.
- 5.
- 6.
- 7.
- 8. 海柏學習法則 (Hebb’s learning rule) 突觸前神經元向突觸後神經元持續重複的刺激，使得神 經元之間的突觸強度增加。
- 9.
- 10.
- 11. 第三代人工神經元模型 Spiking Neural Networks(脈衝神經網 路)
- 12.
- 13. 視覺皮質傳導路徑 空間位置 (where pathway) 物體識別(what pathway)
- 14. 皮質柱 (cortical column) 感受野(receptive field)
- 15. Simple 和 Complex細胞 Hubel & Wiesel (1962)
- 16. 階層稀疏分散表徵 (Hierarchical Sparse DistributedRepresentations)
- 17.
- 18.
- 19.
- 20.
- 21. 基本原則 (General principle) 局部連接(locallyconnected) [區域感受野] 權重共享(weight sharing) [共用學習參數]
- 22.
- 23.
- 24. 階層特徵 (Hierarchy offeatures)
- 25.
- 26. 卷積層 (Convolutional layer) Depth (D): filter (或稱 kernel) 數目 Stride (s): 每一次 kernel 移動的間隔 Zero padding (p): 每一輸入邊緣填0的寬度 若以 i 表示輸入寬度大小，k 表示 kernel 寬度大小， 卷積運算後 feature map 的寬 度大小 (o) 公式為： o = D 個 [(i - k + 2p) / s] + 1 以輸入為28x28，5x5卷積核，stride為1，padding為2為 例，輸出大小仍為 28x28 feature map。
- 27.
- 28.
- 29.
- 30. 池化層 (Pooling layer) 平均池化 Averagepooling 最大池化 Maximal pooling
- 31. 區域感受野 (Local receptivefield) 稀疏連結 (Sparse connectivity) 全連接網路 Fully connection networks 卷積神經網路 Convolutional neural networks (輸入)
- 32. 權重共享 (Weight sharing) 此處 w1=w4=w7, w2=w5=w8, w3=w6=w9 具有 translational invariance 的特性
- 33.
- 34. 反卷積 (Transpose convolution/ Deconvolution) stride (步長) = 1 (p’ = k – p – 1) 公式: o’ = ( i’ – 1) + k – 2p stride (步長) = 2 (dilation=s) 公式: o’ = s (i’ – 1) + k - 2p
- 35.
- 36.
- 37.
- 38. 擴張卷積 (Dilated/Atrous convolution) Dilation= 2 Kernel = 3x3 Stride = 1
- 39.
- 40.
- 41.
- 42.
- 43. 損失函數 (Loss function)/ 目標函數 (Objective function) P(x)為目標機率，Q(x)為 實際機率。 最小化損失函數 L θ* = arg min L(θ) Mean square error (最小均方差) Cross entropy (交叉熵) Video tutorial: https://youtu.be/ErfnhcEV1O8
- 44.
- 45.
- 46.
- 47.
- 48.
- 49. LeNet-5 (1998) Paper: http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf 在MNIST 手寫數字資料集中圖片大小為 28x28，實作 上常常左右邊緣各補 (padding) 二個 pixels 變成 32x32。 此模型的卷積核 (convolution kernel) 大小為 5x5
- 50. 使用 PyTorch 實現LeNet-5 模型 import torch.nn as nn Import torch.nn.functional as F class LeNet5(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5) self.conv2 = nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5) self.mxpol = nn.MaxPool2d(kernel_size=2, stride=2) self.fc1 = nn.Linear(16*5*5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = F.relu(self.conv1(x)) x = self.mxpol(x) x = F.relu(self.conv2(x)) x = self.mxpol(x) x = x.view(x.size(0), -1) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) return self.fc3(x) net = LeNet5() 此處激活函數改用現在普遍被 採用的 ReLU
- 51.
- 52.
- 53.
- 54. Residual block: y= F(x)+x Paper: https://arxiv.org/abs/1512.03385 Deep residual networks ResNet (2015)
- 55.
- 56.
- 57. 生成對抗網路 GAN (2014) (Generativeadversarial networks) Video tutorial: https://youtu.be/dCKbRCUyop8
- 58.
- 59. Capsule networks (2017) Paper:https://papers.nips.cc/paper/6975-dynamic-routing-between-capsules
- 60.
- 61.
- 62. 瑕疵／病徵檢測 (Defect /Symptom inspection )
- 63.
- 64.
- 65.
- 66.
- 67.
- 68. 姿態估算 (Skeleton /pose estimation)
- 69.
- 70.
- 71.
- 72.
- 73.
- 74.
- 75.
- 76.
- 77.
- 78.
- 79. 估計數量 (Count /Estimate)
- 80. 農產品辨識 / 估量/ 分級
- 81.
- 82. 推薦書單 科普 進階 入門 高階
- 83.