2020/12/18(五) 09:30 ~ 17:30 (13：10 ~ 14：20) 台科大國際大樓302會議室 未來前瞻科技跨界人才沙盒論壇─AI影像實作工作坊 人工智能影像分類實作及應用 http://omnixri.blogspot.com/

1. 歐尼克斯實境互動工作室 (OmniXRI Studio)
許哲豪 (Jack Hsu)
未來數位科技能力培訓工作坊
AI影像實作─人工智能影像分類實作及應用

2. 簡報大綱
 人工智慧工作流程
 電腦視覺任務
 卷積神經網路及元素
 AI開源工具與免費計算資源
 Google Colab
 Jypeter Notebook
 PyTorch
 範例一
 自定義模型訓練
 範例二
 自定義模型推論
 範例三
 預訓練模型推論
2020/12/18 台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu 2

3. 人工智慧(大數據) vs. 咖哩雞飯
2020/12/18 台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu 3
素材 原料 分解 倉儲 加工 美食
資料
收集
資料
清洗
資料
標註
資料
倉儲
特徵
分析
智能
應用
主要元素
次要元素
長期儲存
臨時緩衝
配方工序
模型建立、
特徵提取、
分析推論
美味咖哩雞飯
分類、聚類、
回歸預測、
增強學習

4. 常見電腦視覺任務與標註
2020/12/18 4
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
影像分類 物件偵測 語義分割
實例分割 全景分割 骨架分析

5. 卷積神經網路(CNN) LeNet 結構
2020/12/18 5
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：http://omnixri.blogspot.com/2018/06/blog-post.html

6. Conv2D 卷積（迴旋積）
2020/12/18 6
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://d2l.ai/chapter_convolutional-neural-networks/index.html

7. Padding 填充
2020/12/18 7
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://d2l.ai/chapter_convolutional-neural-networks/index.html

8. Stride 移步
2020/12/18 8
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://d2l.ai/chapter_convolutional-neural-networks/index.html

9. MaxPool 最大池化
2020/12/18 9
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://d2l.ai/chapter_convolutional-neural-networks/index.html

10. Flatten 平坦化
2020/12/18 10
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://www.superdatascience.com/blogs/convolutional-neural-networks-cnn-step-3-flattening

11. Full Connected 全連接
2020/12/18 11
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://www.superdatascience.com/blogs/convolutional-neural-networks-cnn-step-4-full-connection

12. Activation Function激活函數
2020/12/18 12
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://medium.com/%E6%B7%B1%E6%80%9D%E5%BF%83%E6%80%9D/ml08-activation-function-
%E6%98%AF%E4%BB%80%E9%BA%BC-15ec78fa1ce4

13. Softmax輸出
2020/12/18 13
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://towardsdatascience.com/softmax-activation-function-explained-a7e1bc3ad60

14. 深度學習影像分類工作流程
2020/12/18 14
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
取像 標註 訓練 推論
CIFAR-10

15. 常見電腦視覺開放資料集
2020/12/18 15
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
Pascal VOC (2005 ~ 2012)
共有1萬7千多張影像，分為20類，標註內容包括影
像分類、物件偵測、語義分割等。其標註資料主要
採用XML格式。
ImageNet (2010 ~ 2017)
共有超過1400萬張影像，透過Amazon Mechanical
Turk外包協助下進行手動標註，包含2萬多個類別，
超過100萬個物件偵測邊界框(Bounding Box)被標
註。
MS COCO (2015 ~ )
共有超過32萬張影像，包含91(80)個類別，超過
250萬個物件測邊界框被標註。其標註資料主要採用
JSON格式。

16. AI開源工具與免費計算資源
2020/12/18 16
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
Google Colab
Python
Jupyter Notebook
Numpy
PIL
OpenCV
…

17. Google Colab基本介紹
2020/12/18 17
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
 免費虛擬機
 Xeon 2.2GHz CPU * 2
 12GB記憶體(2GB訓練用)
 50GB以上儲存空間
 NVIDIA K80/T4/P100 GPU
 作業環境及預裝套件
 Liunx (Ubuntu)
 Python (3.6.9)
 Jupyter notebook
 TensorFlow (2.3.0)
 PyTorch (1.7.0)
 OpenCV (4.1.2)
 使用限制
 最多連續12小時(含額外安裝)
 容易連線中斷
只 要 有 Google
帳號就可使用

18. 啟動Google Colab
2020/12/18 18
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu

19. 設定硬體加速器
2020/12/18 19
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
NVIDIA GPU
K80/T4/P100
虛擬機
連接狀態
檔案名稱
Jupyter Notebook工作模式

20. 上傳Colab格式檔案到雲端硬碟
 執行Colab程式方式
 直接於編輯區中輸入程式，
可單步執行（按 或Ctrl
+ Enter）或全部一起執行。
 將 *.ipynb 上傳到Google
雲端硬碟，再以Colab開
啟、執行。
2020/12/18 20
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
單步執行
（本課程執行範例方式）

21. 下載範例
 OmniXRI Github
https://github.com/OmniXRI/NTUST_Colab_PyTorch_C
lassification
2020/12/18 21
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
1
2 下載ZIP到桌面
3 解壓縮
4 上傳 *.ipynb到
Google雲端硬碟

22. 範例一：自定義模型訓練
 20201218_PyTorch_Classification_Training.ipynb
 掛載雲端硬體
 下載資料集
 轉換資料格式
 建立卷積神經網路
 開始訓練模型參數
 儲存模型參數
2020/12/18 22
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
訓練集：貓狗各1000張，驗證集
各250張，合計2500張。

23. 範例二：自定義模型推論
 20201218_PyTorch_Classification_Inference.ipynb
 下載資料集
 載入模型及參數
 轉換輸入測試影像
 建立卷積神經網路
 開始進行推論
2020/12/18 23
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu

24. 範例三：預訓練模型推論
 20201218_PyTorch_Classification_Pretrained_Inferen
ce.ipynb
 下載測試影像及標籤檔
 轉換影像格式
 選擇合適已訓練過模型
 開始進行推論
 輸出最高五項結果
2020/12/18 24
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
Husky 0.64

25. PyTorch支援資料集
 torchvision.datasets
 CelebA
 CIFAR
 Cityscapes
 COCO
 DatasetFolder
 EMNIST
 FakeData
 Fashion-MNIST
 FlickrHM
 DB51
 ImageFolder
 ImageNet
 Kinetics-400
 KMNIST
 LSUN
 MNIST
 Omniglot
 PhotoTour
2020/12/18 25
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
 Places365
 QMNIST
 SBD
 SBU
 STL10
 SVHN
 UCF101
 USPS
 VOC
資料來源：https://pytorch.org/docs/stable/torchvision/datasets.html

26. PyTorch支援模型【影像分類】
 torchvision.models
 AlexNet
 VGG
 ResNet
 SqueezeNet
 DenseNet
 Inception v3
 GoogLeNet
 ShuffleNet v2
 MobileNet v2
 ResNeXt
 Wide
 ResNet
 MNASNet
2020/12/18 26
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
(pretrained=True) 支援預訓練模型
資料來源：https://pytorch.org/docs/stable/torchvision/models.html

27. 深度學習影像分類模型比較
2020/12/18 27
台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu
資料來源：https://p.migdal.pl/2017/04/30/teaching-deep-learning.html
參數量
計算量
G-Ops
Top-1
精確率

28. 參考文獻
 【課程簡報】20201208_真理資工_手把手教你建置自己的
智慧影像分類系統
https://omnixri.blogspot.com/2020/12/20201208.html
 【Maker玩AI】使用Google Colaboratory免費資源學AI，
正是時候！
http://omnixri.blogspot.com/2018/06/makeraigoogle-
colaboratoryai.html
 【AI入門】利用「深度學習」模型進行影像二元分類_簡報
分享
http://omnixri.blogspot.com/2018/07/ai.html#more
 如何建立精準標註的電腦視覺資料集
http://omnixri.blogspot.com/2020/10/ai-hub_16.html
2020/12/18 台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu 28

29. 歐尼克斯實境互動工作室
(OmniXRI Studio)
許哲豪 (Jack Hsu )
Facebook : Jack Omnixri
FB社團： Edge AI Taiwan邊緣智能交流區
電子信箱：omnixri@gmail.com
部落格：https://omnixri.blogspot.tw
開源：https://github.com/OmniXRI
2020/12/18 台科大_未來前瞻科技跨界人才沙盒論壇_未來數位科技能力培訓工作坊_OmniXRI_Jack Hsu 29