Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ドローン農業最前線

4,171 views

Published on

tokyowebmining 58th

Published in: Education
  • Be the first to comment

ドローン農業最前線

  1. 1. ドローン農業最前線 TokyoWebmining #58th 2017/03/25 古川哲也 (@negative_t28)   1/35
  2. 2. 自己紹介 2/35 ニューラルネット ネオコグニトロン大変そう〜 変分ベイズ パダワン中退 SunGridEngine 分散処理! 顔検出 OpenCVやめて~、特許もうや~ ベンチャー1 お腹いっぱい(検索,レコメンド,CDN,DRM,EC,STB) Solr、Hadoop 検索はレコメンド ベンチャー2 いつの間にか濱田さんが隣 ドローン フルスタックなフレンズと、すごーい!、たのしー!
  3. 3. 目次 1. ドローン入門 2. 農業分野のドローン活用 2.1. リモートセンシング 2.2. 農薬散布 3. 位置推測技術 3.1. GPS 3.2. Visual SLAM 4. まとめ 3/35
  4. 4. 1. ドローン入門 4/35
  5. 5. ドローン構成 5/35 気圧センサー 角速度センサー(ジャイロ ) 加速度センサー ステレオカメラ レーザー距離計(LiDAR) 超音波距離計(SONAR) ブラシレスモーター プロペラ Power Management Unit (PMU) Electric Speed Controler (ESC) GPS リチウムポリマーバッテリー フライトコントローラ 通信 モジュール 地磁気センサー フレーム 慣性計測装置(Inertial Measurement Unit) 電気自動車とほぼ同じ
  6. 6. ドローン制御 6/35 フライトコントローラ 通信 モジュール 電源系 センサー系 駆動系 駆動制御 PID 制御 姿勢・位置推定 - 相補フィルタ - カルマンフィルタ 飛行指示・状態報告 フライトコントローラ基盤上に乗ってるセンサーも多数 フライトコントローラ以外でも、一部モジュールは CPUを搭載しソフトウェア稼働=>分散処理
  7. 7. 代表的会社 7/35 社名 DJI(中国) Parrot (フランス) 3D Robotics(アメリカ) 社員数 5000人以上 840人→ 550人(ドローンだけ) 350 → 未公表 特色 覇者 ・一人勝ち ・コントローラ、キット販売 先駆者 ・産業系に力入れ始めた? ・子会社(Micasence,Pix4D) 伝道者 ・オープン戦略、産業系へ (Autodesk) ・HW:pixhawk SW:ardupilot, px4 機体 ※画像は各社HPより転記
  8. 8. インテルの本気 8/35 買収 ● Asending(ドローン) ● MAVinci(ドローン) ● Movidius(画像処理+カメラ) ● Mobileye(画像処理+カメラ) ● Itseez(画像処理,OpenCV) ● Altera(FPGA) ● Yogitech(FPGA開発ツール) 出資 ● ZMP(自動運転) ● Yuneec(ドローン) ● PresicionHawk(データ加工) ● Airware(ドローンソフト) ※intel社 HPより転記
  9. 9. フライトコントローラ 9/35 名前 A3 Pixhawk NAVIO2 開発元 DJI 3D Robotics Emlid 特徴 ・DJIキットとセット利用 ・開発用SDKあり ・10万円 ・CPU: 不明 ・PX4、ArduPilotの標準ハード ・オープンハード(コピー品有) ・3万円 ・CPU 168MHz ・ラズパイ拡張ボード ・PX4、ArduPilot動作 ・3万円 ・CPU 1.2GHz ※画像は各社HPより転記
  10. 10. 業界動向 ● コンシューマーはDJI一人勝ち ● 産業用途のソリューションで勝負(観測センサー、データ管理、収集、分析 ) ○ 空撮、測量、施工管理、運輸、農業、監視、セキュリティ ● 関連する法律 ○ 航空法で以下条件は国土交通大臣の許可・承認が必要 (200g未満は対象外) ■ 空港周辺、人工密集地、高度 150m以上の飛行 ■ 夜間、目視外、危険物輸送、投下、安全距離 (30m)未満 の飛行 ○ 電波法 ■ 技適マークのない無線は NG (海外製品はNGが多い) ■ 携帯をドローン搭載に載せるのは NG (免許あれば実験はOK) ○ その他: 民法(土地所有権 上空300m)、 道路交通法、条例、etc ● 法的には免許不要(民間免許のみ) 10/35
  11. 11. 2. 農業分野のドローン活用 11/35
  12. 12. 2.1 リモートセンシング 12/35
  13. 13. 農業分野における用途 13/35 ● 付面積調査 ● 土壌分析 ● 収量予測 ● 生育状況監視(肥料散布・農薬散布・収穫 時期決定) ○ 正規化植生指数(Normalized Difference Vegetation Index)=NDVI ● 衛星(SPOT, ALOS...) を使ったものが主流 ○ 時間・空間解像度低 → ドローン使おう!
  14. 14. NDVIとは? NDVI = (IR - R) / (IR + R), -1.0 <= NDVI <= 1 ● IR: 近赤外光(波長 720 - 1200 nm) の反射率 ● R: 可視光赤(波長 620 - 690 nm) の反射率 ● 光合成は赤い光を吸収 = 赤の反射率低下(=緑に見える) ● 近赤外光は光合成に利用されない ● 光合成不活発 → NDVI小 ● 光合成活発  → NDVI大 反射率なので基準必要 14/35
  15. 15. ドローンによるNDVI計測 15/35 ※ parrot 社 HPより転記 マルチスペクトルカメラ 照度計 較正板 装着方法 parrot sequoia 反射率基準
  16. 16. 撮影方法 + データ量(sequoia の場合) 16/35 飛行経路 農場 撮影範囲 ● 30m以上の高度で撮影 ● オーバーラップ80%を確保して飛行 ○ 画像結合のため ● 波長ごとの画像を取得 ● gps位置および、撮影時カメラ姿勢記録 ○ 地図重畳、画像結合補助 ● データ量 (90m x 90m 高度30m) = 2GByte ○ 225枚 x 4波長 x (1280 x 960) x 2Byte 正確な飛行は結構難しい(自動化)
  17. 17. NDVI解析アプリ(ATLAS) 17/35 ● 全撮影画像をクラウドにアップ ● クラウドで画像結合+NDVI計算 ● 計算終了後、結果をwebで確認 ○ ダウンロードして加工可能 ● 画像結合(スティッチング) ○ SfM(Structure From Motion) ● 地理情報連動 ○ GIS(Geographic Informatin System) ○ GeoTiff フォーマット
  18. 18. SfM の有名ソフト 18/35 製品名 Photoscan Pix4D OpenMVG Photosynth 開発元 Aigsoft社 Pix4D社 Pierre Moulon 氏 Microsoft社 特徴 SfM定番 産業系で強い? クラウド処理可 parrot子会社 オープンソース (MPL2) SfM 先駆け? クラウド+スマフォ サービス終了 ● 計算コストが高いため、強力なGPUがあったほうがよい ● クラウドと相性良さそう(回線太ければ) ● OpebMVGはGPU対応してないので辛いかも
  19. 19. 2.1 農薬散布 19/35
  20. 20. 農薬散布ヘリ 20/35 ● 1987年 ヤマハ + ヒロボーが農薬散布ヘリ発売、以降ほぼ独占 ● 全国の水稲の3割~4割で農薬散布実施 ● エンジン駆動で60分飛行可能 ● 30リットル搭載可能 ● 価格 1000万~ ● 一般社団法人 農林水産航空協会の免許制 ○ 散布業務は委託が多い ■ 適時散布、ピンポイント散布は難しい もっと簡単に、もう少し手ごろに→ ドローンに期待 ※ ヤマハ発動機社 HPより転記
  21. 21. 農薬散布ドローン 21/35 ● 操縦が簡単 → 自動化し易い ○ 適時散布、ピンポイント散布可能 ● 構造が単純 ○ メンテしやすい ○ 安い 100万円〜300万円 ● 飛行時間が 20分程度 ● 搭載可能量が10リットル しばらくは規模、用途でヘリと済み分け? ※ ナイルワークス社 HPより転記
  22. 22. 農薬散布の課題 ● 農場の端から端まできっちり飛ばすことは難しい ○ 散布漏れは生育不良、害虫被害に直結 ○ 重複散布は薬害の恐れ ○ 対象外に飛散すると大問題(別作物に悪影響、健康被害) ■ プロペラの作る下降気流に乗せた散布 ■ 速度と連動した散布制御 ■ 10センチ以下の位置制御 22/35 ● 空中散布可能な農薬は限られている ○ 通常散布に比べ農薬の濃度が濃い ○ 農薬特性の違い  人間には無理=自動化 ドローンだけではだめ
  23. 23. 動画デモ 23/35
  24. 24. 3. 位置推測技術 24/35
  25. 25. 3.1 GPS 25/35
  26. 26. GPSとは? ● GPS = Global Positioning System ○ アメリカが開発・運用する人工衛星を使った測位システム ● アメリカ以外も衛星を使った測位システムを開発・運用! ○ ロシア GLONASS(GLOval NAvigation Satellite System) ○ 中国 BeiDou(北斗衛星導航系統)→ 次世代Compass ○ EU Galileo ○ インド IRNSS(Indian Regional Navigational Satellite System) ○ 日本 QZSS(Quasi-Zenith Satellite System 準天頂衛星システム) 26/35 人工衛星による位置情報サービスをひっくるめて、 GNSS: Global Navigation Satellite System ※最近のGPS受信機は、大抵複数システムをサポートするので、正確には GNSS受信 機
  27. 27. さいたま市の衛星状態 2017/03/20 10:30 27/35 GPS(12) GPS(12), QGS(1) GPS(12),QZS(1), GLO(7), BDS(10), GAL(4) 衛星が多いほど位置精度が向上
  28. 28. GNSS の仕組み 28/35 衛星1 衛星2 衛星N 地上観測網 受信機 ● 衛星の位置、誤差用情報観測 ● 衛星にアップロード 衛星ごとに決まったコード波形で、 衛星位置、補正情報をエンコード、 さらに放送電波に変調して放送 ● 既知の各衛星コード波形を使って電波を分離 ● コード波形に乗っている衛星情報をデコード ● 複数衛星の情報を合わせて測位計算
  29. 29. 測位方法の種類 29/35 単独測位 数m 通常方法 ドップラー測位 数cm/s ドップラーシフトで受信機移動速度を計測 時間積分で相対位置を算出可能(誤差累積) 相対測位 RealTimeKinematic 数cm 基準点との相対距離を計測 数百万円 → 数万円 衛星数増加 + 高須先生のRTKLIB(BSD) 高精度単測位 数cm 準天頂衛星(2018年4月から稼働) 大幅な精度向上 観測精度向上+補正データ放送周波数追加
  30. 30. 実精度比較(静止時) 30/35
  31. 31. 3.2 Visual SLAM 31/35
  32. 32. Visual SLAM ● Simultaneous Localization And Mapping 地図と位置の同時推定 ● Visual SLAM の種類 ○ 特徴点ベースのもの PTAM, SVO, ORB-SLAM.... ■ SfM のリアルタイム化 ○ ピクセルベースのもの LSD-SLAM ● Visual SLAM の弱点 ○ 初期化重要: 失敗するとアウト ○ 逐次処理のため誤差蓄積: 何らかの方法で補正が必要 ■ Loop Closing(一度見た場所にもう一度戻った時に、まとめて補正) ■ 別センサー情報(GNSSなど)と組み合わせ 32/35
  33. 33. デモ(ORB-SLAM) 33/35
  34. 34. 4. まとめ 34/35
  35. 35. まとめ...というか感想 35/35 ● cm精度はセンシングの世界を変える予感 ● things は楽しいが、スタックが拡大して結構大変 ○ センサー評価、ドライバ実装、ロジック検討、高速化実装、システム結合 ● 物理強し ○ アルゴリズムよりセンサー精度・サンプルレート。 ○ 力技は王道 ● WEBと対象は違えど、実装で重要なことは類似 ○ データの ETL(Extract Transform Load)がメイン ○ pub/sub モデル(PX4)
  36. 36. 多すぎたのでカット 36/35
  37. 37. 単独測位方法 37/35 衛星1 衛星2 衛星N 受信機   各衛星と受信機の疑似距離 各衛星位置 =真の距離 + 受信機時計誤差  ✕光速c 受信機位置 コード波形の位相ずれから算出し た電波到達にかかった時間Tiと 光速cで算出可能 ニュートン・ラフソン法で解く ● 初期値決定 ● 初期値周りで線形化 ● 線形化した方程式を解く ● 初期値更新 ● 収束するまで繰り返し 精度: 数m
  38. 38. ドップラー測位方法 38/35 衛星1 衛星2 衛星N 受信機 精度: 数 ㎝/s 各衛星速度 擬似距離変化率 受信機移動速度 受信機時計誤差の時間変化 ドップラーシフト関係式に、これらを代入 すると、線形連立方程式が成立 速度積分で相対位置を算出可能(累積誤算発生)
  39. 39. 相対測位方法(RealTime Kinematic) 39/35 衛星1 衛星2 受信機 衛星N 基準点 衛星位置 dx =放送電波の波長✕ 整数倍x + 余りx dy = 放送電波の波長✕整数倍y + 余りy dz = 放送電波の波長✕整数倍z + 余りz 放送電波の位相ずれで距離推定 コード波形に比べ周波数が高いため距離精度が向上 するが、余り部分しか計測できない 既知の基準点からの距離を推定 様々な誤差が打ち消しあって精度向上 精度: 数cm dを解いた後、整数制約をLAMBDA法で探索 Leastsquare Ambiguity Decorrelation Adjustment
  40. 40. RTK搭載ドローンと基準局 40/35 基準局位置を(0, 0, 0)とした時 左アンテナ位置 (north1, east1, down1) 右アンテナ位置 (north2, east2, down2) がcm単位でわかる → コンパスにも使える
  41. 41. 高精度単独測位 ● 準天頂衛星から放送される補正データを使った測位方法 ● 基本的には、単独測位方法と同じ ● 誤差修正データがより精密化、地域別に分割 ● 準天頂衛星システムが正式稼働するまでテスト難しい ○ 現在衛星1台 → 2018年4月 4台体制 ○ 地上観測網の整備中 ● RTKいらなくなる? 41/35 誤差: 数cm
  42. 42. SfM: Structure From Motion ● 多数の画像から、3次元形状を復元する技術 ● 計算フロー 1. 各画像で画像特徴量(SIFT, SURF, ORB)計算 2. キーポイントとしてふさわしいもの抽出 3. 画像間のキーポイント対応を抽出(RANSAC) 4. 対応点関係からカメラ位置姿勢推定、各点の3次元位置を推測 a. カメラ位置姿勢は、IMUの値を利用することもあり 5. 4を初期値として、再投影誤差最小化基準で非線形最適化(Bundle調節) 42/35
  43. 43. 特徴点ベース visual SLAMのフロー 1. 追跡するキーポイント決定+3次元位置推定 2. カメラ移動・姿勢変化 3. キーポイントを追跡して、画像位置変化補足 4. 画像位置変化からカメラ位置・姿勢推定とキーポイント3次元位置推測 (SfM のときとほぼ一緒) 5. 新しいキーポイント登録 6. カメラ位置・姿勢、キーポイント3次元位置を非線形最適化(Bundle調節) 7. 2から6を繰り返し 43/35

×