More Related Content
What's hot
What's hot (20)
More from Ryousuke Wayama
AIによる効率的危険斜面抽出システムの開発について
- 3. 頻発する大規模土砂災害 3 2014年 平成26年8月豪雨 • 前線に向かい温暖湿潤な空気が流入、各地で記録的な大雨 • 広島市では土石流・崖崩れなどにより死者76名（災害関連死を含む）、家屋被 害計4,749棟の被害 出典：地理院地図/ 国土地理院 (http://www.maps.gsi.go.jp)
- 4. 頻発する大規模土砂災害 4 2018年 北海道胆振東部地震 • 最大震度７の大規模な地震 • 液状化現象や北海道全域の停電などの被害 • 台風21号の影響もあり広範囲の土砂崩れが発生 出典：国土地理院ウェブサイト(http://www.gsi.go.jp/BOUSAI/H30-hokkaidoiburi-east-earthquake-index.html) い ぶり
- 5. 弊社のこれまでの取り組み 5 Deep Learning を用いた崩落地形予測・抽出 • 2016年 台風10号による岩手県内の崩落箇所データを用い、雨量や地形などの データから崩落箇所を予測（FOSS4G 2017 HOKKAIDO） 出典：国土地理院(http://maps.gsi.go.jp/development/ichiran.html)，標高タイルを加工して作成 国土地理院(http://www.gsi.go.jp/BOUSAI/H28.taihuu10gou.html)，土砂崩壊・堆積地等分布図を加工して作成
- 6. 2018年度の取り組み 6 pix2pix および Mask R-CNN を使い、地形画像から崩落箇所を判別 • pix2pix：変換前後の画像をペアで学習させ、GANにより画像変換を行う 入 力 出 力 正 解 標高タイル ⇒ 陰影図 航空写真 ⇒ 地図
- 7. 2018年度の取り組み 7 pix2pix および Mask R-CNN を使い、地形画像から崩落箇所を判別 • Mask R-CNN：画像データと物体の輪郭を示すマスクデータを与えることで、 物体検出を行う 出典： Jason Remillard, “Images to OSM”. https://github.com/jremillard/images-to-osm, 2017 動作デモ 航空写真 ⇒ 野球場 （Remillard, 2017）
- 8. 2018年度の取り組み 8 CS立体図 地質図 （pix2pixのみ） 正解データ 崩落箇所 データセット：地形・地質・植生 • 地形：CS立体図 • 地質：地質図 • 植生：Bing Map から取得した航空写真 • Mask R-CNNはCS立体図だけで学習 航空写真 （pix2pixのみ） 出典： Bing Map (https://www.bing.com/maps)
- 9. 2018年度の取り組み 9 CS立体図 地質図 （pix2pixのみ） 正解データ 崩落箇所 教師データ：崩落箇所データ • 「地形」「植生」データから熟練者が抽出 航空写真 （pix2pixのみ） 出典： Bing Map (https://www.bing.com/maps)
- 10. データセットの作成 • CS立体図 • 地域ごとのCS立体図だったためgdal_merge.pyで全てのCS立体図をマージ • GDAL2TILESでタイル化 10生成されたCS立体図のタイル画像
- 11. データセットの作成 • 地質図 • GeoJSONから地図タイルを作成するプログラムを使用 • QGISでシェープファイルをGeoJSONに変換 • GeoJSONからタイルを作成するJavaScriptライブラリであるgeojson-vtを使ってタイル化 (https://github.com/mapbox/geojson-vt) 11 生成された地質のタイル画像
- 14. 2018年度の取り組み 14 結果 • Mask R-CNN：抽出成功！ • 植生が回復した過去の崩落地も抽出できている 入力（CS立体図） 出力 正解
- 15. 本年度（2019年度）の課題設定 15 ① 崩落の危険性がある箇所を予測する • 教師データ：平成30年広島県土砂災害の崩落箇所 • 入力データ：崩落前の地形・地質データと雨量 • 目標：崩落危険箇所の抽出 CS立体図 正解データ 崩落箇所航空写真 土壌図 表層地質図 雨量 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp), Bing Map (https://www.bing.com/maps)
- 16. 本年度（2019年度）の課題設定 16 ② 「直近の災害により崩落した箇所」を識別する • 教師データ：平成30年広島県土砂災害の崩落箇所 • 入力データ：CS立体図 • 目標：崩落が起こった箇所の抽出 正解データ 崩落箇所 CS立体図
- 18. MS-GANによる崩落危険箇所の予測 18 航空写真、土壌図、表層地質図を読み込ませる 入力 正解 Bing 航空写真 土壌図 表層地質図 出典：Bing Map (https://www.bing.com/maps)
- 19. MS-GANによる崩落危険箇所の予測 19 CS立体図、航空写真、土壌図、表層地質図、雨量を読み込ませる → 抽出失敗！ 入力（Bing 航空写真） 出力 正解出力 出典：Bing Map (https://www.bing.com/maps)
- 20. MS-GANによる崩落危険箇所の予測 20 まるでファミコン版ドラクエのマップのような出力 ドラクエマップジェネレータとして応用できる？ 入力 出力 エポック 56 エポック 53 入力 出力 エポック 100 エポック 151 出典：Bing Map (https://www.bing.com/maps)
- 24. Mask R-CNNによる崩落危険箇所の予測 24 画像から一般物体認識に特化したDNN • RGB3チャネルの画像データを読み込む能力をもつ → 多チャネル画像の読み込みが可能なように改造 （https://github.com/matterport/Mask_RCNN/wiki） → 種類の異なるタイル画像を1枚のTIFF画像にまとめ、入力画像とする 1～3バンド（航空写真） 4～6バンド（CS立体図） 7～9バンド（土壌図） 10～12バンド（表層地質図） 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp), Bing Map (https://www.bing.com/maps)
- 25. Mask R-CNNによる崩落危険箇所の予測 25 2種類のデータ（航空写真、CS立体図）を1枚の画像として読み込ませる → 抽出失敗、海上で崩落のおそれあり？ • 原因は座標軸の入れ替え時のミス 入力 （CS立体図、航空写真） 出力 正解 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp), Bing Map (https://www.bing.com/maps)
- 26. Mask R-CNNによる崩落危険箇所の予測 26 バグが紛れ込んだときに見つけづらい！ 入力 （CS立体図、航空写真） 出力 正解 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp), Bing Map (https://www.bing.com/maps)
- 27. Mask R-CNNによる崩落危険箇所の予測 27 修正し再トライ → 山岳地形を抽出しているが、実際の崩落箇所からずれている • データの種類が不足？ • 抽出対象物（崩落箇所）が小さすぎる？ 出力（赤）＋正解（青） 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)
- 28. Mask R-CNNによる崩落危険箇所の予測 28 CS立体図 ＋ Bing航空写真 ＋ 土壌図 + 表層地質図 CS立体図 ＋ Bing航空写真 ＋ 土壌図 + 表層地質図 ＋ 雨量 を使って再トライ → 山岳地形を抽出しているが、実際の崩落箇所からずれている • とくに雨量を加えて訓練すると、抽出箇所が塊状になる傾向がある 入力（CS立体図） 出力（雨量なし学習） 出力（雨量あり学習） 正解 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp), Bing Map (https://www.bing.com/maps)
- 29. Mask R-CNNによる崩落危険箇所の予測 29 なぜ、うまくいかなかったのか？ • 抽出対象の物体（崩落箇所）が小さすぎる → ズームレベルを上げ、抽出対象物が大きく写る画像を使えばよい？ （手元にない…） ズームレベル14 ズームレベル18 （画像は崩落後のもの） 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)
- 30. Mask R-CNNによる崩落危険箇所の予測 30 なぜ、うまくいかなかったのか？ • データセットの粒度、作成手法（機械的に作成/人力で作成）が異なる → 入力画像の種類を少なくして、高精細・ファクトデータだけを使えばよい？ 低解像度（雨量） 中解像度（土壌） 高解像度（地形） 出典：CS立体図（5mDEMもあり） (http://kouapp.main.jp)
- 32. Mask R-CNNによる崩落箇所抽出 32 CS立体図 ズームレベル18 → 崩落箇所を抽出できている例もあったが、総じて精度は低い 入力（CS立体図） 正解出力
- 33. Mask R-CNNによる崩落箇所抽出 33 CS立体図 ズームレベル18 → 崩落箇所を抽出できている例もあったが、総じて精度は低い 入力（CS立体図） 正解出力
- 34. Mask R-CNNによる崩落箇所抽出 34 PNG標高タイル • 標高データをWeb上で高速転送することを主眼にした標高データフォーマット • 一定の可読性のある生データ 西岡芳晴,長津樹理『PNG 標高タイル―Web 利用に適した標高ファイルフォーマットの考案と実装―』 「情報地質」26巻4号, pp.155-163. 2015.
- 38. 考察 38 MS-GANはラベル推定には不向き？ 出典：Qi Mao, Hsin-Ying Lee, (et al.) “Mode-seeking Generative Adversarial Networks for Diverse Image Synthesis.” In （右の4列がMS-GANによる変換画像）
- 39. 考察 39 検出対象物が十分大きく、データセットが高精細ファクトデータであ れば、Mask R-CNNを用いて崩落箇所を検出できる × 検出対象が小さすぎる データから特徴量を捉えられない × データセットの画像が粗すぎる 微細な地形の特徴を捉えられない 粗すぎるデータ （雨量） 小さすぎる検出対象 （ズームレベル14）