Downloaded 73 times
![基本原則 (General principle)
局部連接(locally connected)
[區域感受野]
權重共享(weight sharing)
[共用學習參數]](https://image.slidesharecdn.com/cnnintro-jasontsai2019-191023152941/85/Convolutional-Neural-Networks-CNN-21-320.jpg)
![卷積層 (Convolutional layer)
Depth (D): filter (或稱 kernel) 數目
Stride (s): 每一次 kernel 移動的間隔
Zero padding (p): 每一輸入邊緣填0的寬度
若以 i 表示輸入寬度大小，k 表示 kernel
寬度大小， 卷積運算後 feature map 的寬
度大小 (o) 公式為：
o = D 個 [(i - k + 2p) / s] + 1
以輸入為28x28，5x5卷積核，stride為1，padding為2為
例，輸出大小仍為 28x28 feature map。](https://image.slidesharecdn.com/cnnintro-jasontsai2019-191023152941/85/Convolutional-Neural-Networks-CNN-26-320.jpg)
Uploaded byJason Tsai
Convolutional Neural Networks (CNN) — 卷積神經網路的前世今生
本文件介绍了卷积神经网络（CNN）的起源、原理及其应用，包括生物神经元模型、视觉科学启发、训练方法以及多种经典模型（如LeNet-5、AlexNet和VGGNet）。文中还探讨了卷积操作、参数共享、激活函数等关键技术，最后列举了CNN在分类、目标识别、图像分割等领域的应用实例。整体而言，这是对CNN的全面概述，适合有兴趣深入了解该技术的读者。
More Related Content
![[系列活動] 手把手打開Python資料分析大門](https://cdn.slidesharecdn.com/ss_thumbnails/python-171213042421-thumbnail.jpg?width=640&height=640&fit=bounds)
![[PR12] categorical reparameterization with gumbel softmax](https://cdn.slidesharecdn.com/ss_thumbnails/pr12categoricalreparameterizationwithgumbel-softmax-180304131005-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Convolutional Neural Networks (CNN) — 卷積神經網路的前世今生
![[台灣人工智慧學校] 人工智慧技術發展與應用](https://cdn.slidesharecdn.com/ss_thumbnails/version5-final-190319060225-thumbnail.jpg?width=640&height=640&fit=bounds)
Convolutional Neural Networks (CNN) — 卷積神經網路的前世今生
- 1. Jason Tsai (蔡志順)2019.10.24 Deep01（愛因斯坦人工智慧） Convolutional Neural Networks (CNN) 卷積神經網路的前世今生 *Picture adopted from https://bit.ly/2o1OKct
- 2. Copyright Notice: All figuresin this presentation are taken from miscellaneous sources and their copyrights belong to the original authors. This presentation itself adopts Creative Commons license.
- 3. 大綱 (Outlines) • 生物神經元及其模型 •視覺的研究發現和啟發 • 卷積神經網路原理 • 如何訓練神經網路 • 經典卷積神經網路模型 • 卷積神經網路應用實例
- 4.
- 5.
- 6.
- 7.
- 8. 海柏學習法則 (Hebb’s learning rule) 突觸前神經元向突觸後神經元持續重複的刺激，使得神 經元之間的突觸強度增加。
- 9.
- 10.
- 11. 第三代人工神經元模型 Spiking Neural Networks(脈衝神經網路) SDTP (spike-timing-dependent plasticity)
- 12.
- 13. 視覺皮質傳導路徑 空間位置 (where pathway) 物體識別(what pathway)
- 14. 皮質柱 (cortical column) 感受野(receptive field)
- 15. Simple 和 Complex細胞 Hubel & Wiesel (1962)
- 16. 階層稀疏分散表徵 (Hierarchical Sparse DistributedRepresentations)
- 17.
- 18.
- 19.
- 20.
- 21. 基本原則 (General principle) 局部連接(locallyconnected) [區域感受野] 權重共享(weight sharing) [共用學習參數]
- 22.
- 23.
- 24. 階層特徵 (Hierarchy offeatures)
- 25.
- 26. 卷積層 (Convolutional layer) Depth (D): filter (或稱 kernel) 數目 Stride (s): 每一次 kernel 移動的間隔 Zero padding (p): 每一輸入邊緣填0的寬度 若以 i 表示輸入寬度大小，k 表示 kernel 寬度大小， 卷積運算後 feature map 的寬 度大小 (o) 公式為： o = D 個 [(i - k + 2p) / s] + 1 以輸入為28x28，5x5卷積核，stride為1，padding為2為 例，輸出大小仍為 28x28 feature map。
- 27.
- 28.
- 29.
- 30. 池化層 (Pooling layer) 平均池化 Averagepooling 最大池化 Maximal pooling
- 31. 區域感受野 (Local receptivefield) 稀疏連結 (Sparse connectivity) 全連接網路 Fully connection networks 卷積神經網路 Convolutional neural networks (輸入)
- 32. 權重共享 (Weight sharing) 此處 w1=w4=w7, w2=w5=w8, w3=w6=w9 具有 translational invariance 的特性
- 33.
- 34. 反卷積 (Deconvolution) stride (步長)= 1 stride (步長) = 2 公式: o = s (i – 1) + k - 2p
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42. 損失函數 (Loss function)/ 目標函數 (Objective function) P(x)為目標機率，Q(x)為 實際機率。 最小化損失函數 L θ* = arg min L(θ) Mean square error (最小均方差) Cross entropy (交叉熵) Video tutorial: https://youtu.be/ErfnhcEV1O8
- 43.
- 44.
- 45.
- 46.
- 47.
- 48. LeNet-5 (1998) Paper: http://yann.lecun.com/exdb/publis/pdf/lecun-01a.pdf 在MNIST 手寫數字資料集中圖片大小為 28x28，實作 上常常左右邊緣各補 (padding) 二個 pixels 變成 32x32。 此模型的卷積核 (convolution kernel) 大小為 5x5
- 49. 使用 PyTorch 實現LeNet-5 模型 import torch.nn as nn Import torch.nn.functional as F class LeNet5(nn.Module): def __init__(self): super().__init__() self.conv1 = nn.Conv2d(in_channels=1, out_channels=6, kernel_size=5) self.conv2 = nn.Conv2d(in_channels=6, out_channels=16, kernel_size=5) self.mxpol = nn.MaxPool2d(kernel_size=2, stride=2) self.fc1 = nn.Linear(16*5*5, 120) self.fc2 = nn.Linear(120, 84) self.fc3 = nn.Linear(84, 10) def forward(self, x): x = F.relu(self.conv1(x)) x = self.mxpol(x) x = F.relu(self.conv2(x)) x = self.mxpol(x) x = x.view(x.size(0), -1) x = F.relu(self.fc1(x)) x = F.relu(self.fc2(x)) return self.fc3(x) net = LeNet5() 此處激活函數改用現在普遍被 採用的 ReLU
- 50.
- 51.
- 52.
- 53. Residual block: y= F(x)+x Paper: https://arxiv.org/abs/1512.03385 Deep residual networks ResNet (2015)
- 54.
- 55.
- 56.
- 57.
- 58.
- 59.
- 60. 瑕疵／病徵檢測 (Defect /Symptom inspection )
- 61.
- 62.
- 63.
- 64.
- 65. 姿態追蹤 (Skeleton /pose tracking)
- 66.
- 67.
- 68. 生成對抗網路 (Generative adversarial networks, GAN) Videotutorial: https://youtu.be/dCKbRCUyop8
- 69.
- 70.
- 71.
- 72.
- 73.
- 74.
- 75.
- 76. 估計數量 (Count /Estimate)
- 77.
- 78. 推薦書單 科普 進階 入門 高階
- 79.