Recommended
More Related Content
Similar to 【つくばチャレンジ2020 LT2大会】KARAKAZE産学隊2020
Similar to 【つくばチャレンジ2020 LT2大会】KARAKAZE産学隊2020 (20)
【つくばチャレンジ2020 LT2大会】KARAKAZE産学隊2020
- 1. Tsukuba Challenge 2020 1 市街仮想環境における 自律走行ロボットの開発 つくばチャレンジ2020LT2大会 - KARAKAZE産学隊2020 - 番号:2018 - 2020年11月28日
- 2. 市街仮想環境における自律走行ロボットの開発 Tsukuba Challenge 2020 2 ❑発表内容概要： 1.KARAKAZE産学隊2020メンバー紹介 2.開発環境概要 3.開発目的、目標、課題に対する完成度概要 4.仮想環境上でのロボット構成 5.自律走行に必要な技術 a)自己位置推定 b)SLAM(格子Map作成) c)2D Navigation d)AIによるObject Detection及びSegmentation 6.まとめ及び今後の予定 KARAKAZE産学隊2020 (No.2018)
- 3. 市街仮想環境における自律走行ロボットの開発 Tsukuba Challenge 2020 3 ❑KARAKAZE産学隊2020 ❖株式会社両毛システムズ • 石井 孝典 • 栗原 佑汰 ❖群馬大学デジタル情報処理研究室* • D2 張 浩浩** • M1 渡邉 恭佑 • B4 梶塚 祐輝 • B4 中島 彗 • B4 松井 滉太 • B4 望月 耕輔 *指導教員：准教授 白石 洋一, 助教 茂木 和弘 **当Project Manager担当 ❑開発環境概要 • OS: Linux (Ubuntu18.04) • ROS: Melodic Version. • Simulator: Gazebo • Version管理： - Git - GitHub • 開発中利用の言語: - C++ - Python - MATLAB - SIMULINK KARAKAZE産学隊2020 (No.2018)
- 4. 市街仮想環境における自律走行ロボットの開発 Tsukuba Challenge 2020 4 ❑ 開発目的： ❑ 環境に依存しないロボット自律走行技 術とAI技術の融合開発 ❑ 目標(つくばチャレンジ2019を参考) • 必須: 決められたルートを自律走行 • 選択: 1) 地図データなしの自律走行 2) 信号認識横断 3) Check Point通過+封鎖迂回 4) 探索対象の発見 KARAKAZE産学隊2020 (No.2018) ❑ 課題の完成度 子課題 完成度 コメント Simulator調査、研究 Done Gazebo ロボットSpec 検討 Done P5で説明 ロボット3Dモデル Done Solidworks + Gazebo Sensor モデル Done GPS, IMU, LiDAR, etc. ロボット駆動制御 Done 差動二輪モデル 仮想環境構築 Done Gazeboで市街環境構築 ロボット自己位置推定 Doing EKF, AMCL 2D SLAM Doing gmapping 2D Navigation Doing Navigation Stack利用 Object Detection Doing Darknet YOLO V3 Segmentation Doing DeepLab v3+ 走行ロジック構築 To do SIMULINK 市街中のルート走行 To do 各子機能の融合確認 Phase-1 (8/15- 9/15) Phase-2 (9/16- 11/28) Phase-3,4 (11/29- 12/25)
- 5. 市街仮想環境における自律走行ロボットの開発 Tsukuba Challenge 2020 5 ❑ 仮想環境上でのロボット構成 T-frog Projectで公開されている i-Cart Middleを使用。 目標達成の為に必要な、各種センサ類 を追加。 ❑ 搭載センサ KARAKAZE産学隊2020 (No.2018) ❑ ロボットモデル センサ メーカー 名称 3D LiDAR 北陽電機 YVT-35LX-FK カメラ×2 (RGB,深度) Intel RealSense Depth Camera D435i IMU TDK InvenSense MPU-6500 GPS 三菱電機 AQLOC 超音波センサ×8 SainSmart HC-SR04 仕様表 駆動方式 差動二輪(前輪駆動)+キャスター 幅×高さ×奥行き 503mm×697mm×473mm 重量 29.8kg 前輪直径 304mm 後輪直径(キャスター) 100mm 最高速度 4km/h GPS 3D LiDAR Drive Motor超音波センサ カメラ
- 6. Tsukuba Challenge 2020 6 ❑ Sensor Fusionによる自己位置推定(robot_localization) • 方法：EKF(拡張カルマンフィルタ) • センサ情報： a) Wheel Odometry b) IMU + Noise c) GPS + Noise d) Tracking Sensor + Noise • Simulation上での評価方法 a) 60[m]×45[m]を一周、最終位置の座標を比較 b) 開始地点を原点(x = 0[m], y = 0[m])とする • Simulation上で評価結果,真値に対して • EKF結果のx, y座標ともに約0.04m • Dead Reckoning結果がx: -15.98m, y:-1.24m ❑ モンテカルロ位置推定(AMCL) • 方法：Particle Filter(パーティクルフィルタ) • パーティクル数：100~5000 • センサ情報： 3D LiDAR(2DLaser Scanに変換) • 現状：屋内の自律走行は可能、屋外の自己位置推定が課題 真値 EKF GPS Dead Reckoning x [m] 0.3028 0.2607 0.2632 -15.9804 y [m] 0.1428 0.1022 0.0539 -1.2357 市街仮想環境における自律走行ロボットの開発 パーティクル群
- 7. Tsukuba Challenge 2020 7 ❑SLAM(格子Map作成) • SLAM方法：2D gmapping • 自己位置推定: EKFによるSensor Fusion • 入力 1) 2D Laser scan* 2) tf(EKFによる推定値) • 出力: 2D grid map *3D LiDARで取得したPointcloud2を2D Laser scanに変換 ❑SLAMのrqt_graph ❑SLAMの様子と結果 KARAKAZE産学隊2020 (No.2018) 市街仮想環境における自律走行ロボットの開発
- 8. Tsukuba Challenge 2020 8 2D Navigation 概要 • ソフトウェア: ROS navigation stack • マップ: 2D grid map • 自己位置推定: AMCL(Activate Monte Carlo Localization) • Planner仕様: - global planner: ダイクストラ法 - local planner: DWA(Dynamic Window Approach) • 使用センサ: 3D LiDAR 2D Navigation framework* *Ref: http://wiki.ros.org/move_base?distro=noetic 課題 1. 滑らかな走行の実現 2. 地図にない障害物や動的な障害物 回避の検証 3. 地図なしの自律走行の検証 市街仮想環境における自律走行ロボットの開発
- 9. Tsukuba Challenge 2020 9 ❑AIによるObject Detection •目的：市街仮想環境内の物体(人形、信号など)を 認識し、自律走行を達成する •実装アルゴリズム：Darknet Yolo V3 •PC Spec: CPU:Intel Core i9-7900X GPU:GeForce RTX 2070 Memory:64GB •結果： 1) 市街仮想環境内の人形、信号を認識することが 可能 2) Real Time性: 40 fps •今後の課題： 1) 色判別アルゴリズムと連携し、認識した信号 の状態を判別しロボットによる信号認識横断 2) LiDARと深度カメラ情報を連携し、認識した 物体の空間距離情報を抽出 市街仮想環境における自律走行ロボットの開発
- 10. AIによるSemantic Segmentation • 目的：走行可能領域を区別するため • 方法：ピクセル単位でラベル付けを行い、画像 全体を領域分割する • 実装アルゴリズム：DeepLab V3+ • 実装環境: MATLAB 2020a 実装事項 1. 市街仮想環境の画像をラベル付けし、学習用の データセット作成 2. データセットを分け、機械学習を行い、モデル を作成 3. モデルを用いて画像をSegmentationすること ができた 今後の課題 1. Segmentationの精度の向上 2. Navigationとの連携 Tsukuba Challenge 2020 10 学習したモデルの実行結果 Segmentationを実施する対象生画像 市街仮想環境における自律走行ロボットの開発 KARAKAZE産学隊2020 (No.2018)
- 11. まとめ • Gazebo上で市街仮想環境の構築 • シミュレーション上で走行制御可能なロボットモデルの構築 • センサの実装（LiDAR、IMU、深度カメラ、トラッキングセンサ、超音波センサ、GPS） • EKF、AMCLによるロボットの自己位置推定 • 屋内格子Mapの作成 • 屋内格子Mapを用いたロボットのNavigation • AIによるObject DetectionとSegmentationの実装 今後の予定 • 屋外環境の格子Mapを作成 • センサ情報によるロボットの走行ロジックを設計 • 市街仮想環境上の指定経路における走行評価 Tsukuba Challenge 2020 11 市街仮想環境における自律走行ロボットの開発 KARAKAZE産学隊2020 (No.2018)