20201024_aigo_lab2_fruit_classification_omnixri

歐尼克斯實境互動工作室 (OmniXRI Studio)
許哲豪 (Jack Hsu)
採果辨識解題與技術開發

簡報大綱
 物件偵測/辨識技術簡介
 技術發展歷史
 性能評量方式
 取像、建立與標註資料集
 常見物件偵測資料集
 資料集格式介紹
 labelImg安裝與使用
2020/10/24 AIGO LAB解題實務工作坊(二)_採果辨識解題與技術開發_OmniXRI_Jack Hsu 2
 Google Colab程式碼體驗
 Colab基本介紹
 OpenVINO簡介
 安裝OpenVINO到Colab
 下載標註資料、預訓權重
 資料集重新分配、轉換
 模型訓練
 影像推論

智慧農業、人工智慧與電腦視覺
2020/10/24 3
AIGO LAB解題實務工作坊(二)_採果辨識解題與技術開發_OmniXRI_Jack Hsu
採收（採果）機器人系列 https://omnixri.blogspot.com/p/blog-page_19.html#HarvestBot

常見電腦視覺任務
2020/10/24 4
OmniXRI Aug. 2020 整理繪製
Image
Classification
Object
Detection
Semantic
Segmentation
Instance
Segmentation
資料來源：https://omnixri.blogspot.com/2020/08/2020080114_1.html

物件偵測/辨識發展歷史(1/2)
2020/10/24 5
資料來源：Deep Learning for Generic Object Detection: A Survey https://arxiv.org/abs/1809.02165
深度學習算法
特徵點提取算法

物件偵測/辨識發展歷史(2/2)
2020/10/24 6
資料來源：Deep Learning for Generic Object Detection: A Survey https://arxiv.org/abs/1809.02165

物件偵測算法YOLO發展歷史
Yolo V1 Yolo V2 Yolo V3 Yolo V4 Yolo V5
2020/10/24 7
CVPR 2016 CVPR 2017 2018 Arxiv 2020 2020 ???
You only look once (YOLO)
【相關論文】
V1: https://pjreddie.com/media/files/papers/yolo_1.pdf
V2: https://pjreddie.com/media/files/papers/YOLO9000.pdf
V3: https://pjreddie.com/media/files/papers/YOLOv3.pdf
V4: https://arxiv.org/pdf/2004.10934.pdf
V5: https://github.com/ultralytics/yoloV5

YOLOv3 概念及重要參數
2020/10/24 8
預測邊界框資訊
＊中心座標
＊寬、高
＊類別標籤
錨點框(Anchor box)

影像分類/物件偵測評量方式
2020/10/24 9
OmniXRI Jul. 2019 整理繪製
影像分類評量物件偵測評量
平均精確度均值 (mean Average Precision, mAP)
聯交比 (Intersection over Union, IoU)
平均精確度 (Average Precision, AP)

深度學習物件偵測工作流程
2020/10/24 10

取像設備及系統架構
2020/10/24 11

建立資料集(取像)要領
 取像品質近似
 解析度、模
糊度…
 多視點
 遠近、角度、
物件正反面…
 多光源差異
 環境亮度、
陰影、光圈、
快門…
 多背景、品種
2020/10/24 12
建立足夠多樣性的資料集

資料擴增(Data Augmentation)
2020/10/24 13
資料來源：https://nanonets.com/blog/data-augmentation-how-to-use-deep-learning-when-you-have-limited-data-part-2/
隨機平移、縮放、翻轉、鏡射、旋轉、截切、仿射、亮度、
對比、色彩、色調、飽和度、模糊、銳利…

電腦視覺任務及標註方式
2020/10/24 14
(a)原始影像/影像分類，(b)物件偵測，(c)語義分割，(d)實例分割，
(e)全景分割，(f)人體姿態（關鍵點）。

影像標註方式
2020/10/24 15
(a)點/線，(b)矩形，(c)多邊形/貝茲曲線，(d)自由筆刷，(e)超像素。

常見標註工具(1/2)
 如何建立精準標註的電腦視覺資料集
https://omnixri.blogspot.com/2020/10/ai-hub_16.html
 【影像分類/物件偵測類】
 RectLabel https://rectlabel.com（商業付費版）
 LabelImg https://github.com/tzutalin/labelImg
 Labelme https://github.com/wkentaro/labelme
 Intel CVAT https://github.com/openvinotoolkit/cvat
 OpenCV SuperAnnotate Desktop
https://opencv.org/superannotate-desktop（部份免費）
2020/10/24 16
本次教學
標註工具

常見標註工具(2/2)
 labelbox https://github.com/Labelbox/Labelbox
 Microsoft VoTT https://github.com/microsoft/VoTT
 VGG Image Annotator (VIA)
http://www.robots.ox.ac.uk/~vgg/software/via
 【影像分割類】
 PixelAnnotationTool
https://github.com/abreheret/PixelAnnotationTool
 superpixels-segmentation
https://github.com/Labelbox/superpixels-segmentation
 semantic-segmentation-editor https://github.com/Hitachi-
Automotive-And-Industry-Lab/semantic-segmentation-
editor
2020/10/24 17

常見物件偵測開放資料集
2020/10/24 18
Pascal VOC (2005 ~ 2012)
共有1萬7千多張影像，分為20類，標註內容包括影
像分類、物件偵測、語義分割等。其標註資料主要
採用XML格式。
ImageNet (2010 ~ 2017)
共有超過1400萬張影像，透過Amazon Mechanical
Turk外包協助下進行手動標註，包含2萬多個類別，
超過100萬個物件偵測邊界框(Bounding Box)被標
註。
MS COCO (2015 ~ )
共有超過32萬張影像，包含91個類別，超過250萬
個物件測邊界框被標註。其標註資料主要採用JSON
格式。

VOC資料集格式(*.xml)
2020/10/24 19

COCO資料集格式(*.json)
2020/10/24 20

YOLO資料集格式(*.txt)
2020/10/24 21
邊界框位置
以中心表示
邊界框位置
以左上表示

安裝影像標註軟體labelImg
 GITHUB https://github.com/tzutalin/labelImg
 最簡單安裝方式在Python 3.x環境下使用pip安裝（會自動
安裝PyQt5, lxml）
pip3 install labelImg
 啟動標註程式
labelImg
（其它作業系統安裝方式
請參閱GITHUB 說明）
2020/10/24 22
labelImg執行畫面

下載課程範例
 本課程所有範例請至Github下載為ZIP至桌面並解壓縮
https://github.com/OmniXRI/20201024_AIGO_Lab2
2020/10/24 23
─20201024_AIGO_Lab2
└ Ex1_Annotations (影像標註練習檔)
│ └ VOC2007
│ ├ Annotations (影像標註結果 *.xml)
│ ├ ImageSets (影像集清單)
│ │ └ Main (訓練、驗證、測試清單)
│ └ JPEGImages (原始影像 *.jpg)
├ Ex2_Colab (Colab練習檔)
├ Ex3_OpenVINO (OpenVINO練習檔)
├ Ex4_
├ Ex4_
│
└ Ex5_

Ex1 影像標註練習_設定路徑
2020/10/24 24
1. 選擇欲標註影像的路徑
2. 選擇標註結果輸出路徑
3. 選擇輸出格式VOC
工作
影像區
影像清單

Ex1 影像標註練習_邊界框標註
2020/10/24 25
1. 選擇開始標註邊界框
下一張影像
前一張影像
2. 設定物件邊界框
3. 輸入物件標籤名稱
4. 儲存標註結果檔
邊界框區
自定框選原則：有露出1/2以上

Google Colab基本介紹
2020/10/24 26
 免費虛擬機
 Xeon 2.2GHz CPU * 2
 12GB記憶體(2GB訓練用)
 50GB以上儲存空間
 NVIDIA K80/T4/P100 GPU
 作業環境及預裝套件
 Liunx (Ubuntu)
 Python (3.6.9)
 Jupyter notebook
 TensorFlow (2.3.0)
 額外套件(線上安裝)
 Keras, OpenCV, PyTorch,
MxNet, XGBoost….
 使用限制
 最多連續12小時(含額外安裝)
 容易連線中斷
只要有 Google
帳號就可使用

啟動Google Colab
2020/10/24 27

設定硬體加速器
2020/10/24 28
NVIDIA GPU
K80/T4/P100
虛擬機
連接狀態
檔案名稱
Jupyter Notebook工作模式

檢查硬體配置（選配）
print("CPU Status:")
!cat /proc/cpuinfo | grep model name #檢查CPU資訊
print("nDisk Status:")
!df -lh #檢查磁碟空間
print("nRAM Status:")
!free -h #檢查記憶體大小
2020/10/24 29

檢查NVIDIA GPU配置（選配）
!nvidia-smi #檢查NVIDIA GPU使用狀態
2020/10/24 30
NVIDIA GPU
K80/T4/P100
(每次可能不同)
筆記本設定須選GPU

上傳Colab格式檔案到雲端硬碟
 執行Colab程式方式
 直接於編輯區中輸入程式，
可單步執行（按或Ctrl
+ Enter）或全部一起執行。
 將 *.ipynb 上傳到Google
雲端硬碟，再以Colab開
啟、執行。
2020/10/24 31
單步執行
（本課程執行範例方式）

Ex2 檢查Colab硬體
 將/Ex2_Colab/CheckHW.ipynb複製到Google雲端硬碟
 單步執行，確認Colab可順利啟動及檢查硬體環境。
 常用Linux指令，可利用Colab
 ！ls ，查詢當下目錄內容，相當於Windows下dir指令
 ！pwd ，顯示目前工作目錄
 ！rm xxx.xxx ，刪除檔案，加-r為刪除路徑下所有檔案
 %cd 路徑名稱，切換工作路徑
 %pycat xxx.py ，開啟python程式原始碼
2020/10/24 32

Intel OpenVINO簡介
2020/10/24 33
Open Visual Inferencing and Neural Network Optimization (OpenVINO)

Intel OpenVINO支援硬體
2020/10/24 34

OpenVINO & OpenCV相互支援
2020/10/24 35

OpenVINO預訓練模型(1/2)
2020/10/24 36

OpenVINO預訓練模型(2/2)
2020/10/24 37

Ex3 安裝OpenVINO到Colab
 將
/Ex3_OpenVINO/Colab_OpenVINO_mobilenet_SSD.i
pynb複製到Google雲端硬碟，這是SSD物件偵測的範例。
 單步執行，確認OpenVINO可順利啟動及檢查硬體環境。
 如果不使用自訂義的資料集，則OpenVINO有提供很多預
訓練好的模型可供使用。
https://docs.openvinotoolkit.org/latest/omz_models_int
el_index.html
 工作流程說明請直接參照程式註解。
2020/10/24 38

訓練集/驗證集/測試集
 已標註之資料可依一定比例分配到訓練集、驗證集及測試
集中。絕對不可把測試集加入訓練集或驗證集中。
 分配比例沒有一定標準，建議訓練：驗證：測試為6:2:2。
 更嚴謹作法，甚至會有交叉驗證。
 訓練集：就像在學校段考，了解問題並修正學習方向。
 驗證集：就像模擬考，測試全部學習成果，找出修正方向。
 測試集：就像聯考，出題和模擬考接近程度會影響最後考
試成績。
2020/10/24 39

Ex4 重新分配資料集
 將/Ex4_Redistribute/Redistribute.ipynb複製到Google
雲端硬碟。
 所需已標註資料集從下列網址取得：
https://github.com/OmniXRI/OpenVINO_RealSense_H
arvestBot
 可全部一起執行，最後將清單 (*.txt) 存放在
/VOC2007/ImageSets/Main路徑下。
2020/10/24 40

資料集及權重格式轉換
 至 YOLO 官網下載預訓練權重檔 yolov3.weight （約
243MB，透過Colab下載到虛擬機約30~40分鐘）
 修改 my_voc_annotation.py ，只需定義 classes =
[“tomato”]一個項目即可。
 /model_data/my_classes.txt同樣地只需定義tomato一
個類別即可。
 執行 my_voc_annotation.py 產生 2007_tarin.txt,
2007_val.txt及2007_test.txt三個YOLO格式的清單檔。
 轉換權重文件從YOLO格式轉成Keras格式(*.h5)，執行
python convert.py -w yolov3.cfg yolov3.weights
model_data/yolo_weights.h5
2020/10/24 41

執行模型訓練(1/2)
 可適當調整下列參數並執行my_train.py進行訓練。
16 annotation_path = '2007_train.txt' #待訓練清單(YOLO格式)
17 log_dir = 'logs/000/' #訓練過程及結果暫存路徑
18 classes_path = 'model_data/my_classes.txt' #自定義標籤檔路徑及名稱
19 anchors_path = 'model_data/yolo_anchors.txt' #錨點定義檔路徑及名稱
32 freeze_body=2, weights_path='model_data/yolo_weights.h5') #指定起
始訓練權重檔路徑及名稱
35 checkpoint = ModelCheckpoint(log_dir + 'ep{epoch:03d}-
loss{loss:.3f}-val_loss{val_loss:.3f}.h5’,
2020/10/24 42

執行模型訓練(2/2)
36 monitor='val_loss', save_weights_only=True, save_best_only=True,
period=3) #訓練過程權重檔名稱由第幾輪加上損失率為名稱
56 batch_size = 24 #批次處理數量，依GPU記憶體大小決定
62 epochs=50, #訓練遍歷次數
63 initial_epoch=0, #初始訓練遍歷次數
82 epochs=100, #訓練遍歷次數
83 initial_epoch=50, #初始訓練遍歷次數
86 model.save_weights(log_dir + 'trained_weights_final.h5') #儲存最終權
重檔
2020/10/24 43

影像推論
 可適當調整下列參數並執行my_yolo.py進行推論。
22 _defaults = {
23 "model_path": 'model_data/trained_weights_final.h5', #指定YOLO訓練完成權
重檔路徑及名稱
24 "anchors_path": 'model_data/yolo_anchors.txt', #指定錨點定義檔路徑及名稱
25 "classes_path": 'model_data/my_classes.txt', #指定自定義標籤檔路徑及名稱
26 "score" : 0.1, #最低置信度門檻(0.01~0.99)
27 "iou" : 0.45, #重疊區比例(0.01~1.0)
28 "model_image_size" : (416, 416), #影像尺寸
29 "gpu_num" : 1, #使用GPU數量
30 }
216 path = 'VOC2007/JPEGImages/img_1550.jpg' #指定待測影像檔案路徑及名稱
2020/10/24 44

Ex5 轉換、訓練、推論
 將/Ex5_Training/Training.ipynb複製到Google雲端硬碟。
 所需已標註資料集及參考範例可從下列網址取得：
https://github.com/OmniXRI/OpenVINO_RealSense_H
arvestBot
 因共用資料，故採單步執行進行測試。
2020/10/24 45

小蕃茄正反面偵測實驗結果
2020/10/24 46

小蕃茄動態偵測實驗結果
2020/10/24 47

參考文獻(1/2)
 【Maker玩AI】使用Google Colaboratory免費資源學AI，正
是時候！
http://omnixri.blogspot.com/2018/06/makeraigoogle-
colaboratoryai.html
 【AI入門】利用「深度學習」模型進行影像二元分類_簡報分享
http://omnixri.blogspot.com/2018/07/ai.html#more
 如何建立精準標註的電腦視覺資料集
http://omnixri.blogspot.com/2020/10/ai-hub_16.html
 如何以YOLOv3訓練自己的資料集─以小蕃茄為例
http://omnixri.blogspot.com/2019/11/aicolumnyolov3.html

參考文獻(2/2)
 【OpenVINO™+RealSense™教學】土炮智能機器手臂之視覺
系統
https://omnixri.blogspot.com/2019/12/openvinorealsense.html
 如何在Google Colab上安裝執行Intel OpenVINO的範例
https://omnixri.blogspot.com/2020/09/google-colabintel-openvino.html
 Edge AI創意應用自造松_OpenVINO平台運用要領
https://omnixri.blogspot.com/2019/10/201910192019-intel-openvino-x-
edge.html
 Edge AI創意應用自造松_OpenVINO預訓模型使用及應用實例
開發
http://omnixri.blogspot.com/2019/10/201910262019-intel-openvino-x-
edge.html
2020/10/24 49

歐尼克斯實境互動工作室
(OmniXRI Studio)
許哲豪 (Jack Hsu )
Facebook : Jack Omnixri
FB社團： Edge AI Taiwan邊緣智能交流區
電子信箱：omnixri@gmail.com
部落格：https://omnixri.blogspot.tw
開源：https://github.com/OmniXRI

20201024_aigo_lab2_fruit_classification_omnixri

Recommended

Recommended

More Related Content

Similar to 20201024_aigo_lab2_fruit_classification_omnixri

Similar to 20201024_aigo_lab2_fruit_classification_omnixri (20)

More from OmniXRI Studio

More from OmniXRI Studio (6)

20201024_aigo_lab2_fruit_classification_omnixri