20201208 au smart_image_classification_omni_xri

歐尼克斯實境互動工作室 (OmniXRI Studio)
許哲豪 (Jack Hsu)
自造應用開發─人工智慧與邊緣運算
手把手教你建置自己的智慧影像分類系統

簡報大綱
 深度學習與電腦視覺
 影像分類演進
 建立資料集與資料標註
 labelImage
 免費GPU資源Colab
 使用說明
 PyTorch影像分類範例程式
說明
 部署環境說明
 外部取像測試
2020/12/08 真理大學資工_自造應用開發_手把手教你建置自己的智慧影像分類系統_OmniXRI_Jack Hsu 2

人工智慧(大數據) vs. 咖哩雞飯
素材原料分解倉儲加工美食
資料
收集
資料
清洗
資料
標註
資料
倉儲
特徵
分析
智能
應用
主要元素
次要元素
長期儲存
臨時緩衝
配方工序
模型建立、
特徵提取、
分析推論
美味咖哩雞飯
分類、聚類、
回歸預測、
增強學習

常見電腦視覺任務
2020/12/08 4
真理大學資工_自造應用開發_手把手教你建置自己的智慧影像分類系統_OmniXRI_Jack Hsu
OmniXRI Aug. 2020 整理繪製
Image
Classification
Object
Detection
Semantic
Segmentation
Instance
Segmentation
資料來源：https://omnixri.blogspot.com/2020/08/2020080114_1.html

深度學習影像分類發展史
 LeNet
 AlexNet
 GoogLeNet
 Inception
 VGG
 ResNet
 SqueezeNet
 MobileNet
2020/12/08 5
資料來源：https://arxiv.org/pdf/1901.06032.pdf

卷積神經網路(CNN) LeNet 結構
2020/12/08 6
資料來源：http://omnixri.blogspot.com/2018/06/blog-post.html

影像分類評量方式
2020/12/08 7
平均精確度均值 (mean Average Precision, mAP)
平均精確度 (Average Precision, AP)
OmniXRI Jul. 2019 整理繪製

深度學習影像分類模型比較
2020/12/08 8
資料來源：https://p.migdal.pl/2017/04/30/teaching-deep-learning.html
參數量
計算量
G-Ops
Top-1
精確率

深度學習影像分類工作流程
2020/12/08 9
取像標註訓練推論
CIFAR-10

建立資料集
 資料集來源
 公開資料集
 網路收集
 自行拍攝取像
 專業相機（手機相機）
 網路攝影機（USB）
 開發板專用相機（CSI）
 可見光
 紅外線
 取像要領
 取像品質近似
 解析度、模糊度…
 多視點
 遠近、角度、物件正反面…
 多光源差異
 環境亮度、陰影、光圈、快
門…
 多背景、品種
 建立足夠多樣性的資料集
2020/12/08 10

資料擴增(Data Augmentation)
2020/12/08 11
資料來源：https://nanonets.com/blog/data-augmentation-how-to-use-deep-learning-when-you-have-limited-data-part-2/
隨機平移、縮放、翻轉、鏡射、旋轉、截切、仿射、亮度、
對比、色彩、色調、飽和度、模糊、銳利…

常見標註工具【影像分類/物件偵測類】
 RectLabel https://rectlabel.com（商業付費版）
 LabelImg https://github.com/tzutalin/labelImg (示範)
 Labelme https://github.com/wkentaro/labelme
 Intel CVAT https://github.com/openvinotoolkit/cvat
 OpenCV SuperAnnotate Desktop https://opencv.org/superannotate-
desktop（部份免費）
 labelbox https://github.com/Labelbox/Labelbox
 Microsoft VoTT https://github.com/microsoft/VoTT
 VGG Image Annotator (VIA)
http://www.robots.ox.ac.uk/~vgg/software/via
2020/12/08 12
＊如何建立精準標註的電腦視覺資料集＊
https://omnixri.blogspot.com/2020/10/ai-hub_16.html

常見電腦視覺開放資料集
2020/12/08 13
Pascal VOC (2005 ~ 2012)
共有1萬7千多張影像，分為20類，標註內容包括影
像分類、物件偵測、語義分割等。其標註資料主要
採用XML格式。
ImageNet (2010 ~ 2017)
共有超過1400萬張影像，透過Amazon Mechanical
Turk外包協助下進行手動標註，包含2萬多個類別，
超過100萬個物件偵測邊界框(Bounding Box)被標
註。
MS COCO (2015 ~ )
共有超過32萬張影像，包含91(80)個類別，超過
250萬個物件測邊界框被標註。其標註資料主要採用
JSON格式。

安裝影像標註軟體labelImg
2020/12/08 14
 GITHUB https://github.com/tzutalin/labelImg
 最簡單安裝方式在Python 3.x環境下使用pip安裝（會自動
安裝PyQt5, lxml）
pip3 install labelImg
 啟動標註程式
labelImg
（其它作業系統安裝方式
請參閱GITHUB 說明）
labelImg執行畫面

下載範例
 本範例請至Github下載為ZIP至桌面並解壓縮
https://github.com/OmniXRI/20201024_AIGO_Lab2
2020/12/08 15
─20201024_AIGO_Lab2
└ Ex1_Annotations (影像標註練習檔)
│ └ VOC2007
│ ├ Annotations (影像標註結果 *.xml)
│ ├ ImageSets (影像集清單)
│ │ └ Main (訓練、驗證、測試清單)
│ └ JPEGImages (原始影像 *.jpg)
├ Ex2_Colab (Colab練習檔)
├ Ex3_OpenVINO (OpenVINO練習檔)
├ Ex4_
├ Ex4_
│
└ Ex5_

Ex1 影像標註練習_設定路徑
2020/12/08 16
1. 選擇欲標註影像的路徑
2. 選擇標註結果輸出路徑
3. 選擇輸出格式VOC
工作
影像區
影像清單

Ex1 影像標註練習_邊界框標註
2020/12/08 17
1. 選擇開始標註邊界框
下一張影像
前一張影像
2. 設定物件邊界框
3. 輸入物件標籤名稱
4. 儲存標註結果檔
邊界框區
自定框選原則：有露出1/2以上

Google Colab基本介紹
2020/12/08 18
 免費虛擬機
 Xeon 2.2GHz CPU * 2
 12GB記憶體(2GB訓練用)
 50GB以上儲存空間
 NVIDIA K80/T4/P100 GPU
 作業環境及預裝套件
 Liunx (Ubuntu)
 Python (3.6.9)
 Jupyter notebook
 TensorFlow (2.3.0)
 PyTorch (1.7.0)
 OpenCV (4.1.2)
 使用限制
 最多連續12小時(含額外安裝)
 容易連線中斷
只要有 Google
帳號就可使用

啟動Google Colab
2020/12/08 19

設定硬體加速器
2020/12/08 20
NVIDIA GPU
K80/T4/P100
虛擬機
連接狀態
檔案名稱
Jupyter Notebook工作模式

檢查硬體配置（選配）
print("CPU Status:")
!cat /proc/cpuinfo | grep model name #檢查CPU資訊
print("nDisk Status:")
!df -lh #檢查磁碟空間
print("nRAM Status:")
!free -h #檢查記憶體大小
2020/12/08 21

檢查NVIDIA GPU配置（選配）
!nvidia-smi #檢查NVIDIA GPU使用狀態
2020/12/08 22
NVIDIA GPU
K80/T4/P100
(每次可能不同)
筆記本設定須選GPU

上傳Colab格式檔案到雲端硬碟
 執行Colab程式方式
 直接於編輯區中輸入程式，
可單步執行（按或Ctrl
+ Enter）或全部一起執行。
 將 *.ipynb 上傳到Google
雲端硬碟，再以Colab開
啟、執行。
2020/12/08 23
單步執行
（本課程執行範例方式）

Ex2 檢查Colab硬體
 將/Ex2_Colab/CheckHW.ipynb複製到Google雲端硬碟
 單步執行，確認Colab可順利啟動及檢查硬體環境。
 常用Linux指令，可利用Colab
 ！ls ，查詢當下目錄內容，相當於Windows下dir指令
 ！pwd ，顯示目前工作目錄
 ！rm xxx.xxx ，刪除檔案，加-r為刪除路徑下所有檔案
 %cd 路徑名稱，切換工作路徑
 %pycat xxx.py ，開啟python程式原始碼
2020/12/08 24

訓練集/驗證集/測試集
 已標註之資料可依一定比例分配到訓練集、驗證集及測試
集中。絕對不可把測試集加入訓練集或驗證集中。
 分配比例沒有一定標準，建議訓練：驗證：測試為6:2:2。
 更嚴謹作法，甚至會有交叉驗證。
 訓練集：就像在學校段考，了解問題並修正學習方向。
 驗證集：就像模擬考，測試全部學習成果，找出修正方向。
 測試集：就像聯考，出題和模擬考接近程度會影響最後考
試成績。
2020/12/08 25

常見開發框架
 TensorFlow 2.x
(內含Keras)
 PyTorch
2020/12/08 26

PyTorch支援資料集
 torchvision.datasets
 CelebA
 CIFAR
 Cityscapes
 COCO
 DatasetFolder
 EMNIST
 FakeData
 Fashion-MNIST
 FlickrHM
 DB51
 ImageFolder
 ImageNet
 Kinetics-400
 KMNIST
 LSUN
 MNIST
 Omniglot
 PhotoTour
2020/12/08 27
 Places365
 QMNIST
 SBD
 SBU
 STL10
 SVHN
 UCF101
 USPS
 VOC
資料來源：https://pytorch.org/docs/stable/torchvision/datasets.html

PyTorch支援模型【影像分類】
 torchvision.models
 AlexNet
 VGG
 ResNet
 SqueezeNet
 DenseNet
 Inception v3
 GoogLeNet
 ShuffleNet v2
 MobileNet v2
 ResNeXt
 Wide
 ResNet
 MNASNet
2020/12/08 28
(pretrained=True) 支援預訓練模型
資料來源：https://pytorch.org/docs/stable/torchvision/models.html

下載測試資料集
 Kaggle Dogs vs. Cats資料集 (815MB)
https://www.kaggle.com/c/dogs-vs-cats/data
 Google Dogs vs. Cats精簡版資料集 (65MB)
https://storage.googleapis.com/mledu-
datasets/cats_and_dogs_filtered.zip
2020/12/08 29

Conv2D 卷積（迴旋積）
2020/12/08 30
資料來源：https://d2l.ai/chapter_convolutional-neural-networks/index.html

Padding 填充
2020/12/08 31

Stride 移步
2020/12/08 32

MaxPool 最大池化
2020/12/08 33

Flatten 平坦化
2020/12/08 34
資料來源：https://www.superdatascience.com/blogs/convolutional-neural-networks-cnn-step-3-flattening

Full Connected 全連接
2020/12/08 35
資料來源：https://www.superdatascience.com/blogs/convolutional-neural-networks-cnn-step-4-full-connection

Activation Function激活函數
2020/12/08 36
資料來源：https://medium.com/%E6%B7%B1%E6%80%9D%E5%BF%83%E6%80%9D/ml08-activation-function-
%E6%98%AF%E4%BB%80%E9%BA%BC-15ec78fa1ce4

Jetson Nano 2GB版差異
2020/12/08 37
攝影機端子由2組MIPI CSI-2端子改為1組。
I/O介面部分，2GB版少了DisplayPort，4組
USB 3.2 Gen1也被改為1組USB 3.2 Gen1加2
組USB 2.0。電源2GB版改Type-C(5V3A)供電。
資料來源：https://www.techbang.com/posts/82208-nvidia-jetson-nano-2gb

硬體環境設置及SD燒錄
 2GB版所使用的映像檔(image file)和先前的不相容，要到
下列網址下載（6GB）
https://developer.nvidia.com/jetson-nano-2gb-sd-card-
image
 Jetson Nano先前版本是使用Ubuntu 18.04 LTS桌面版本，
而2GB版本是採用LXDE 18.04簡化桌面版本（外觀較像
Windows）
 解壓映像檔後約14GB，建議最好燒錄至32/64GB之SD卡。
 第一次啟動會自動把剩餘空間配置給磁碟空間，同時會額
外配置4GB的SWAP區，解決2GB記憶體空間不足問題。
2020/12/08 38

第一次啟動Jetson Nano
 完成啟動後，先執行系統更新
sudo apt-get update
sudo apt-get upgrade
 檢查記憶體使用狀況，SWAP區約有5GB。
free -m
 檢查磁碟使用狀況，64GB記憶卡約剩40GB。
df -h
 系統已內建 Python 2.7.17、3.6.9版，numpy 1.13.3版，
及OpenCV 4.1.1版
2020/12/08 39

VNC遠端操作設定(1/2)
 設定自動開機執行VNC Server
 舊版：
cd /usr/lib/systemd/user/graphical-session.target.wants
sudo ln -s ../vino-server.service ./.
 2GB版：
mkdir -p ~/.config/autostart
cp /usr/share/applications/vino-server.desktop ~/.config/autostart/.
 設定VNC Server參數
gsettings set org.gnome.Vino prompt-enabled false
gsettings set org.gnome.Vino require-encryption false
2020/12/08 40
資料來源：https://developer.nvidia.com/embedded/learn/tutorials/vnc-setup

VNC遠端操作設定(2/2)
2020/12/08 41
資料來源：https://developer.nvidia.com/embedded/learn/tutorials/vnc-setup
 設定VNC密碼
gsettings set org.gnome.Vino authentication-methods "['vnc']"
gsettings set org.gnome.Vino vnc-password $(echo -n ‘自定義密碼
'|base64)
 重新開機
sudo reboot
 確認Jetson Nano 網址
ifconfig
 在PC端安裝VNC Viewer並執行（注意PC和Jetson Nano在同一網域）
https://www.realvnc.com/en/connect/download/viewer/

無顯示器、鍵鼠之VNC連線方式
 依前述步驟設定後，拔掉顯示器、鍵盤、滑鼠，啟動
Jetson Nano後，從遠端以VNC連接時，工作區解析度變
得很小，須另行設定。
 在桌面新增一個文字檔 set_rec.sh 設定解析度
xrandr --fb 1280x960
 將 set_rec.sh 屬性變更為可執行，則執行後顯示區解析度
就會變大。
2020/12/08 42

Jetson Nano 工作環境建置(1/2)
 下載pytorch，安裝pip3、必要套件及pytorch 1.7.0
wget
https://nvidia.box.com/shared/static/wa34qwrwtk9njty
arwt5nvo6imenfy26.whl -O torch-1.7.0-cp36-cp36m-
linux_aarch64.whl
sudo apt-get install python3-pip libopenblas-base
libopenmpi-dev
pip3 install Cython
pip3 install numpy torch-1.7.0-cp36-cp36m-
linux_aarch64.whl
2020/12/08 43

Jetson Nano 工作環境建置(2/2)
 安裝pip3 及 libopenblas-base
sudo apt-get install python3-pip libopenblas-base libopenmpi-
dev
 用pip3安裝 Cython, numpy, torch
pip3 install Cython
pip3 install numpy torch-1.7.0-cp36-cp36m-linux_aarch64.whl
 安裝 matplotlib（用pip3有問題）
python3 -m pip install -U pip
python3 -m pip install -U matplotlib
 用pip3安裝 torchvision
pip3 install torchvision
2020/12/08 44

影像分類 PyTorch範例說明
 請參見 Github OmniXRI
https://github.com/OmniXRI/Colab_PyTorch_Classificati
on
2020/12/08 45

從Webcam取得外部影像
 透過OpenCV從USB網路攝影機中取得一張影像
import cv2 # 導入OpenCV函式庫
cap = cv2.VideoCapture(0) # 設定取像裝置編號
ret, frame = cap.read() # 從外部攝影機讀入一張影像
cv2.imwrite(' test.jpg', frame) # 將取得之影像寫入檔案
cv2.imshow(' Frame ', frame) # 顯示取得之影像至指定視窗
cv2.waitKey(0) # 等待任一鍵按下，一定要加imshow才能作用
cv2.destroyAllWindows() # 關閉所有顯示視窗
2020/12/08 46

參考文獻
 【Maker玩AI】使用Google Colaboratory免費資源學AI，正
是時候！
http://omnixri.blogspot.com/2018/06/makeraigoogle-
colaboratoryai.html
 【AI入門】利用「深度學習」模型進行影像二元分類_簡報分享
http://omnixri.blogspot.com/2018/07/ai.html#more
 如何建立精準標註的電腦視覺資料集
http://omnixri.blogspot.com/2020/10/ai-hub_16.html
 如何在Google Colab上安裝執行Intel OpenVINO的範例
https://omnixri.blogspot.com/2020/09/google-colabintel-openvino.html

歐尼克斯實境互動工作室
(OmniXRI Studio)
許哲豪 (Jack Hsu )
Facebook : Jack Omnixri
FB社團： Edge AI Taiwan邊緣智能交流區
電子信箱：omnixri@gmail.com
部落格：https://omnixri.blogspot.tw
開源：https://github.com/OmniXRI

20201208 au smart_image_classification_omni_xri

Recommended

Recommended

More Related Content

Similar to 20201208 au smart_image_classification_omni_xri

Similar to 20201208 au smart_image_classification_omni_xri (20)

20201208 au smart_image_classification_omni_xri