YOLOによる物体検出モデルをファインチューニングして、カメラに写った車両のナンバープレートを検出し、AI-OCRで数字等を読み取る手順を紹介させて頂きます。必要となった大量のデータセットは全部プログラムで自動生成してます。

1. クラメソさっぽろ IT 勉強会 ( 仮 )
2024.09.28
最近、ショッピングセンターとかの駐車場で見かける「自動でナンバープレートを認識して決算
するやつ」
↑ これ、作ってみました。
YOLO による物体検出モデルをファインチューニングして、カメラに写った車両のナンバープ
レートを検出し、 AI-OCR で数字等を読み取る手順を紹介させて頂きます。必要となった大量の
データセットは全部プログラムで自動生成してます。

2. 自己紹介
平内真一（ SIN)
クラスメソッド（株）製造ビジネステクノロ
ジー部
Iot 関連のサーバーサイドエンジニア

3. アジェンダ
• 無人の駐車場精算
• 機械学習（物体検出・ファインチューニング）
• AI-OCR
• 改善

4. ナンバープレート認識 - 駐車場精算システム
スマートパーク https://www.pitdesign.jp/smartpark/

5. ナンバープレート認識
スマートパーク https://www.pitdesign.jp/smartpark/

6. 深層学習 - ファインチューニング
6
https://pjreddie.com/darknet/yolo/#google_vignette

7. 深層学習 - ファインチューニング

8. 深層学習 - ファインチューニング

9. 深層学習 - ファインチューニング
データセット作成
学習
推論

10. 深層学習 - ファインチューニング
アノテーション
普通乗用車 ,x1,y1,x2,y2
業務用軽自動車 ,x3,y3,x4,y4

11. データセット - プログラムによるナンバープレート生成

12. データセット –プログラムによるナンバープレート生成
テキスト 1
テキスト 2
テキスト 3
テキスト 4

13. データセット - 合成 ( 画像 30,000 枚 アノテーション 192,000 個 )
テキスト 1
テキスト 2
テキスト 3
テキスト 4

14. データセット - 合成 ( 画像 30,000 枚 アノテーション 192,000 個 )

15. データセット YOLO 形式

16. 学習 - Jetson AGX Orin

17. 学習 小一時間

18. 学習

19. 推論

20. 推論

21. AI-OCR Azure AI Vision 3.2 GA Read API
https://learn.microsoft.com/ja-jp/azure/ai-services/computer-vision/how-to/call-read-api

22. AI-OCR そのまま読み込むと、比較的、誤認識が目立ってしまう

23. AI-OCR ３箇所を別に読み込ませる・業務用はネガポジ・グレースケール変換

25. 改善（複数の画像を撮影して、多数決による補正）
札幌 33 ( 87-24
札幌 33 く 87-24
札幌 33 く 87-24
札幌 33 く 87-24
札幌 33 く 87-24
札幌 33 く 87-24
恐らく誤検出
として破棄

26. 改善（矩形変形処理をして、検出範囲を補正）

27. 改善（ OCR のファインチューニング）
https://learnopencv.com/fine-tuning-trocr-
training-trocr-to-recognize-curved-text/

28. 改善（ Tesseract OCR 単語リスト）
https://qiita.com/kaseki/items/4eae71d7dfa773cda4e5

29. ご清聴ありがとうございました
YOLOv8 でナンバープレートを検出して AI-OCR で読み
取ってみました。 〜ファインチューニングに使用した
データは、撮影した写真ではなく、 Python で生成した
画像（ 30,000 枚・ 192,000 アノテーション）です〜
https://dev.classmethod.jp/articles/detect_number_plate/