More Related Content
What's hot
What's hot (20)
YOLOv3 , Mask R-CNNなどの一般物体検出技術をG空間分野に活用する（FOSS4G 2018 Tokyo）
- 1. 株式会社オービタルネット 小林 裕治 YOLOv3 , Mask R-CNNなどの 一般物体検出技術をG空間分野に活用する ～地方自治体での活用事例をもとに～
- 2. 内容 • 自己紹介 • YOLOv3を用いた地物検出の事例紹介 （岐阜県恵那市様における業務適用事例） • Mask R-CNNを用いた地物の検出とポリゴン化の事例紹介 • まとめ 1
- 3. 自己紹介 【氏名】 小林 裕治 【所属】 株式会社オービタルネット 代表取締役 （株式会社カナエジオマチックス 取締役） ・ 4年前にリアルタイム・キャバリア検出器を機械学習 （JAVA-JNI-OpenCV）で実装したのが出発点 ・ 3年ほど前からディープラーニングにはまる。 【リアルタイム物体検出の取り組み】 2 OSMベースの Vector Tile Map 試験公開しています！
- 4. 一般物体検出の現状 出典： YoloV2, Yolo 9000, SSD Mobilenet, Faster RCNN NasNet comparison https://www.youtube.com/watch?v=V4P_ptn2FF4 ここ数年、ディープラーニングを活用した一般物体検出（画像から物 体領域の検出とクラス分類）の進化が著しい。とりわけリアルタイム物体 検出に関しては Faster R-CNN, YOLO, SSDなどのアルゴリズムが 考案されており、年々検出速度と精度の向上が図られている。 3
- 8. YOLO You only livelook once (YOLO) is a state-of- the-art, real-time object detection system. ➢ YOLOはオブジェクトの候補領域（短径）と分類を同時に実現するアルゴリズム https://arxiv.org/abs/1506.02640 ➢ 現在はYOLOv3が公開されており、ニューラルネットワークが刷新され、検出精度 の向上が図られている https://arxiv.org/abs/1804.02767 採用した一般物体検出アルゴリズム 7
- 9. YOLOv3のネットワーク・アーキテクチャー ・ YOLOv3はResNetをベースに改良を加えたネットワーク・モデル ・ 全結合層を持たない106層の Fully Convolutional Network ・ 3層の異なるサイズの検出レイヤを持つ Feature Pyramid Network のような構造が特徴 出典： Ayoosh Kathuria, 2018. What’s new in YOLO v3? https://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6b 8
- 10. YOLOv3の物体検出の仕組み 13 13 1 1 18 Feature Map BB(1) BB(2) BB(3) Detect Layer 1 ×B *本件ではソーラーパネルの１クラス Bounding Box 出力層の特徴マップはセルに分割され、セル単位で物体候補を内包 する短径（Bounding Box）を複数（本件では3）保持することが できる。 特徴マップにはオブジェクト性スコア、 短径の中心座標 x,y,width,height,クラス確率 × 分類クラス数の情報が格納される。 9
- 12. 判読システムの開発・テスト環境 CPU Core i7770K メインメモリ 32GB GPU NVIDIA GeForce GTX1080Ti 11GB OS Ubuntu16.04 LTS CUDA 8.0 cuDNN 6.0 OpenCV 3.2.0 物体検出アルゴリズム YOLOv3 ディープラーニング・フレームワーク Darknet 開発言語 C言語, Python2.7 NoSQLデータベース MongoDB v3.4.15 GIS QGIS2.8 with Mongo Connector Plugin 判読システムは、YOLO実装を含むディープラーニング・フレームワーク Darknetを改良して構築した。 Windows用のソースコードも公開されており、Windows10においても 同様の開発・テスト環境を構築した。 11
- 13. 12 判読システム・ワークフロー 『フォルダ内の画像を連続処理する機能』、『画像上の短径座標と物体 カテゴリー名、推定確率を地理空間情報に変換する機能』、『既知の データとの差分抽出機能』、『NoSQLデータベースMongoDBに登録 する機能』及び『GeoJson、CSVに出力する機能』などを実装した。 output insert connect visualize GeoJson Object Deep Learning NoSQL GIS input オルソ画像 ワールドファイル Data Source Old GeoJSON シリアライズ v3 差分判定 地物検出 学習済モデル （ウェイト） GeoJSON インスタンス
- 15. 学習モデル（ウェイト）の評価 教師用データから取り分けた250枚の評価用画像セットを判読システ ムに入力し、学習で得られた学習モデル（ウェイト）をCNNのウェイトに 設定してモデルの性能評価を行った。 P = 0.981, R = 0.938, F = 0.959 Total Detection Time 4.586sec. , , 14
- 16. 差分管理の仕組み 新たに検出したすべての地物に対して既知のソーラーパネルとの重なり 度合いをIoU（Intersection over Union）を用いて数値化し、 設定した閾値を超えた場合に新設ソーラーパネルと定義した。 差分情報はGeoJsonのプロパティに付与される。 IoU = Area of Overlap Area of Union Area of Overlap Area of Union 15
- 20. 検証結果 P = 0.951, R = 0.949, F = 0.950 relevant（正） not relevant（誤） True Positive (TP) False Positive (FP) 409 21 False Negative(FN) True Negative(TN) 22 ‐ retrieved（検出） not retrieved（未検出） , , Total Detection Time 191.077sec. 19
- 23. Mask R-CNNの概要 Faster R-CNN Instance segmentation Mask R-CNNは、Faster R-CNNを拡張しオブジェクト領域 を検出する既存の経路と並行して、 オブジェクトマスクを予測するための経路を追加。 22
- 25. 開発・テスト環境 CPU Core i7770K メインメモリ 32GB GPU NVIDIA GeForce GTX1080Ti 11GB OS Ubuntu16.04 LTS CUDA 8.0 cuDNN 6.0 OpenCV 3.2.0 物体検出アルゴリズム Mask R-CNN ディープラーニング・フレームワーク Keras using TensorFlow backend 開発言語 Python3.5 Mask R-CNNをベースに、検出した物体形状をトレースして （Multi）polygon化, GeoJson出力する機能を新たに実装した。 24
- 27. 実は、G空間での活用が進んでいる GRASS GIS Addon to generate vector masks from geospatial imagery. Mapping Challenge: Convert satellite imagery to maps for use by humanitarian organisations. Images to OSM: Improve OpenStreetMap by adding baseball, soccer, tennis, football, and basketball fields. https://github.com/matterport/Mask_RCNN 26
- 28. まとめ 1. リアルタイム物体検出は、その検出速度を大量の航空写真の判読 処理に活かせる 2. YOLOv3は検出速度に加え、精度も向上。小さな地物判読に有 効。地方自治体の業務で使用し、実際に成果が得られた。 3. Mask R-CNNはインスタンス（検出した物体）セグメンテーションの 最新技術。地物のマスク処理を行うことから、Polygon化が容易 4. Mask R-CNNを用いた地物の自動生成は今後流行りそうな予感 27
- 29. ありがとうございました！ 28