Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測

1,352 views

Published on

2020/8/1 Deep Learning Digital Conference
日鉄ソリューションズ株式会社
徳竹 眞人 氏

Published in: Technology
  • Be the first to comment

  • Be the first to like this

[Track1-2] ディープラーニングを用いたワインブドウの収穫量予測

  1. 1. 1Copyright ©2020 NS Solutions Corporation. All Rights Reserved. ディープラーニングを用いた ワインブドウの収穫量予測 日鉄ソリューションズ株式会社 IoXソリューション事業推進部 徳竹 眞人
  2. 2. 2Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 自己紹介・メンバー紹介 ◼ 徳竹 眞人 (分析・モデリング担当) ⚫ 誕生~学生時代 – 長野県中野市出身🍏 – 名古屋大学 素粒子宇宙物理学専攻(修士) ⚫ 就職~現在 – 2016/4 新日鉄住金ソリューションズ入社 エンベデッドユビキタスシステムセンター 配属 – 2017/9 IoXソリューション事業推進部 異動 – 2019/4 農業分野の案件を担当 ⚫ 休日の過ごし方 – キャンプ(ソロキャン8割) – ピアノ(月2回レッスン) – 天鳳(八段) ◼ メンバー紹介 ⚫ 森屋和喜(2020年度 PM) ⚫ 高畑紀宏(インフラ担当) ⚫ 飯田健一郎(2019年度 PM) ⚫ 山岡信介(技術サポート)
  3. 3. 3Copyright ©2020 NS Solutions Corporation. All Rights Reserved. イントロダクション1
  4. 4. 4Copyright ©2020 NS Solutions Corporation. All Rights Reserved. タスク概要 ◼ 「ブドウの収穫2週間前に、収穫量[kg]を予測したい!」 ⚫ 収穫は1年間で最も大変な作業のため、計画的に実施する必要あり 収穫 醸造 出荷 必要な人数は? - 事前にアルバイト雇う必要も 必要な時間は? - ワインの品質にも影響する ワイナリー側の 受け入れ計画どうする? これらは全て収穫量に依存する! ⚫ スマート農業実証プロジェクト(農水省) – サントリーワインインターナショナル様、日本総合研究所様、ジャパンプレミアムヴィンヤード様 ⚫ 2019年度データ収集・モデル作成、2020年度評価
  5. 5. 5Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 〇〇 kg 房検出 ×平均重量 〇〇 kg A案 B案 収穫量予測の方針 領域検出 回帰 C案 〇〇 kg
  6. 6. 6Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 〇〇 kg 房検出 ×平均重量 〇〇 kg A案 B案 収穫量予測の方針 領域検出 回帰 C案 〇〇 kg 〇直接的でシンプル ×重量データ数が 足りない可能性あり 〇隠れたブドウに頑健 〇モデル再調整しやすい ×平均重量が年毎・圃場毎 に異なる 〇普遍性の高いモデル 〇モデル再調整しやすい ×隠れたブドウによって 誤差が生じる
  7. 7. 7Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 〇〇 kg 房検出 ×平均重量 〇〇 kg A案 B案 収穫量予測の方針 領域検出 回帰 C案 〇〇 kg
  8. 8. 8Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 収穫量予測フロー ブドウ大きさ推定 - 大きさ = ピクセル数×距離^2 大きさー重量回帰 - 事前に作成した回帰モデルに より大きさを重さに変換 ブドウの領域推定 - 事前に学習させたディープ ラーニングモデルにより推定 フレーム抽出 - Depth情報と自己位置情報により、 ブドウの重複のないフレーム抽出が可能 台車+カメラで圃場内を移動しながら撮像 - カメラはIntel RealSense D435 + T265 - D435でRGB + Depth画像(距離情報)を撮像 - T265でカメラの自己位置を推定 収 量 推 定 値 = 〇 〇 ㎏ 大きさ(ピクセル数×距離^2) 重量 距 離 に よ る 補 正 ×
  9. 9. 9Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 収穫量予測フロー ブドウ大きさ推定 - 大きさ = ピクセル数×距離^2 台車+カメラで圃場内を移動しながら撮像 - カメラはIntel RealSense D435 + T265 - D435でRGB + Depth画像(距離情報)を撮像 - T265でカメラの自己位置を10cm程度の誤差で推定 収 量 推 定 値 = 〇 〇 ㎏ 大きさ(ピクセル数×距離^2) 重量 距 離 に よ る 補 正 × ②大きさー重量回帰 - 事前に作成した回帰モデルに より大きさを重さに変換 ③フレーム抽出 - Depth情報と自己位置情報により、 ブドウの重複のないフレーム抽出が可能 ①ブドウの領域推定 - 事前に学習させたディープ ラーニングモデルにより推定
  10. 10. 10Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 収穫量予測モデル構築2
  11. 11. 11Copyright ©2020 NS Solutions Corporation. All Rights Reserved. ①ブドウ領域推定モデル データ収集 学習 評価 Fig.1 学習データの一例 ◼ データ収集 ⚫ 合計760枚の画像を取得 ⚫ D435 + 台車 ◼ アノテーション ⚫ 760枚の画像をグループ会社+私で ⚫ アノテーション基準統一が極めて重要 – 実際アノテーション修正によってF値 85% → 94%に Fig.2 D435を搭載した台車が 畝間を走行し撮像する Fig.3 アノテーション基準ばらつきの例 アノテーション
  12. 12. 12Copyright ©2020 NS Solutions Corporation. All Rights Reserved. Fig.1 Ronneberger, Olaf, Philipp Fischer, and Thomas Brox, “U-Net: Convolutional Networks for Biomedical Image Segmentation”, International Conference on Medical image computing and computer- assisted intervention. Springer, Cham, 2015. ①ブドウ領域推定モデル データ収集 アノテーション 学習 評価 ◼ 学習・評価 ⚫ Unet ⚫ Data augmentation – Shift, Zoom, Horizontal flip ⚫ 5-Foldで評価 ⚫ 圃場A, B個別に評価値を算出 A, Bのブドウに対してadversarial validationの正解率70%のため Fig.3 圃場別のテストデータを用いた評価. P : Precision, R : Recall, F_1 : F-measure Fig.2 (左)圃場Aのブドウ(右)圃場Bのブドウ
  13. 13. 13Copyright ©2020 NS Solutions Corporation. All Rights Reserved. ◼ データ収集と回帰 ⚫ D435 + 台車 ⚫ 撮像 → 収穫 → 計量 ⚫ 2人×2日 ⚫ 129房の大きさー重量データを取得 ⚫ 線形回帰(MAPE = 18%) ②大きさ-重量回帰モデル Fig.2 画像中の房の重量を推定することができる. Fig.1 収集したデータと回帰関数 大きさ(ピクセル数×距離^2) 重量
  14. 14. 14Copyright ©2020 NS Solutions Corporation. All Rights Reserved. ③フレーム抽出 畝 台車の 進行方向 Fig.1 フレーム抽出方法. D435とT265により測定した自己位置情報により、撮像した畝領域の特定が可能. Fig.2 フレーム抽出の精度評価. (左)0.5m毎にマーカーを付与し、撮像した動画に対してフレーム抽出を行った. (右)抽出された各フレーム同士のダブり・抜け誤差の平均±1σ. 台車の 軌跡 ↓
  15. 15. 15Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 全体評価(は2020年度実施します)3
  16. 16. 16Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 共有したいこと・その他4 領域検出 回帰 C案 〇〇 kg Fig.1 タスク分割 Fig.2 現場の方々へのヒアリング Fig.3 アノテーション
  17. 17. 17Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 共有したいこと 〇問題を分割し各タスクに適切なアルゴリズムを採用 画像データ多 → ブドウ認識をCNNで 重量データ少 → 重量を線形回帰で 〇現場の方々のご協力・ヒアリングが成否のカギ ドメイン知識の有無がアルゴリズム選択に大きく影響する ×アノテーション基準統一が極めて重要 (外注や複数人で行う場合は特に) 実際アノテーション修正によってF値 85% → 94%に Fig.1 アノテーション基準ばらつきの例
  18. 18. 18Copyright ©2020 NS Solutions Corporation. All Rights Reserved. 試したこと・試したいこと ◼ 重複カウント対策 △ パノラマ画像生成 ○ 自己位置推定 × ブドウのトラッキング ◼ 隠れたブドウ対策 ○ 画角の工夫 × 隠れたブドウの生成(VAE) ? 隠れるブドウ率のサンプリング ◼ 他の圃場への展開 ? 甲州以外の品種ではどうか ? 異なる仕立てではどうか ? ブドウ以外の作物ではどうか Fig.2 隠れたブドウ 畝 台車の 軌跡 ↓ Fig.1 ブドウの重複カウント
  19. 19. 19Copyright ©2020 NS Solutions Corporation. All Rights Reserved. FIN 本文記載の会社名及び製品名は、それぞれ各社の商標又は登録商標です。

×