Download as PDF, PPTX
![ロボット
• Phenox: FPGA搭載ドローン
（Xilinx Zynq XC7Z010）
FPGAは主に信号処理を担う
19
• LOVOT
出典︓本郷⾶⾏機株式会社 - Phenoxプロジェクト http://phenoxlab.com/phenox2.html
テクノロジー | LOVOT[らぼっと] https://lovot.life/technology/](https://image.slidesharecdn.com/robosemi-20201218up-201218103816/85/FPGA-ROS-19-320.jpg)
![⾼位合成 (HLS: High Level Synthesis)
• 抽象度の⾼い動作記述からRTLを⽣成する技術
汎⽤プログラミング⾔語によって振る舞いを定義
「なに」を⾏うかに重点を置いて設計する
ソフトウェア志向の協調設計との親和性が⾼い
23
プロセッサ
通信バス
FPGA
func2
main
func1
int_t main () {
a = func1(xxx);
b = a + func2(yyy);
}
int func1(int x) {
…
return val;
}
int func2(int x) {
int a[N];
int i;
for(i=0;i<N;i++){
a[i] = ･･･;
:
}
}
x
func
i
a
func2](https://image.slidesharecdn.com/robosemi-20201218up-201218103816/85/FPGA-ROS-23-320.jpg)
![FPGAをROSで使うには︖
• トップダウン︓
システム設計時からFPGAとROSをインテグ
• ボトムアップ︓
FPGA導⼊済みのロボット／モジュールをROS化
• チャレンジ︓
ROSノードそのものをFPGA化する
[T. Ohkawa, et al., RoSE 2019]
[Y. Ishida, et al., Advanced Robotics 2020]
ROSとFPGAを協調設計する
[D. P. Leal, et al, FPT 2020]
30
https://roscon.ros.org/2017/presentations/ROSCon
%202017%20ROS%20Compliant%20FPGA.pdf](https://image.slidesharecdn.com/robosemi-20201218up-201218103816/85/FPGA-ROS-30-320.jpg)
Uploaded byHideki Takase
FPGAをロボット(ROS)で「やわらかく」使うには
第7回ロボティクス勉強会 #robosemi 2020/12/18(金) https://robosemi.connpass.com/event/196905/ IFTD 2020登壇内容の拡張版(?)でもあります
More Related Content
![SSII2022 [TS2] 自律移動ロボットのためのロボットビジョン〜 オープンソースの自動運転ソフトAutowareを解説 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts2ssii2022r4-220607054405-1c6b5fc2-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]SlowFast Networks for Video Recognition](https://cdn.slidesharecdn.com/ss_thumbnails/20191206slowfastnetworkkuboshizuma-191206010601-thumbnail.jpg?width=640&height=640&fit=bounds)
![SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜](https://cdn.slidesharecdn.com/ss_thumbnails/ts2-01-210607042910-thumbnail.jpg?width=640&height=640&fit=bounds)
![[DL輪読会]近年のエネルギーベースモデルの進展](https://cdn.slidesharecdn.com/ss_thumbnails/energybasedmodel-200124020855-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to FPGAをロボット(ROS)で「やわらかく」使うには
FPGAをロボット(ROS)で「やわらかく」使うには
- 1.
- 2. ⾃⼰紹介 @takasehideki 京都⼤学 情報学研究科准教授 JSTさきがけ 兼任研究者 理研R-CCS 客員研究員 SWEST ステアリング委員 IPSJ-SIGEMB 運営幹事 TOPPERSプロジェクト 運営委員／箱庭WG IoT ALGYAN 関⻄⽀部⻑代⾏補佐 Elixir: NervesJP kyoto.ex ROS Japan Users Group ü 関⻄勉強会 主催 ü ROSCon JP 実⾏委員 主なROS関係の研究開発プロジェクト mROS: 組込み向けROS軽量実⾏環境 ZytleBot: ROSxFPGA統合プラットフォーム Rclex: ROS 2 Client Lib for Elixir 2 Cockatrice 箱 庭
- 3.
- 4.
- 5. ROS(Robot Operating System)とは︖ 5 http://www.ros.org/about-ros/ ROS is not just framework, but design platform for robots!! • Plumbing: 出版購読型の通信モデルとミドルウェア • Tools: プロジェクト管理，デバッグ，可視化，等 • Capabilities: 膨⼤なライブラリ・パッケージ • Ecosystem: 世界規模の強⼒なOSSコミュニティ
- 6. Plumbing: 通信ミドルウェア • Publish/ Subscribe messaging infrastructure ROSノード︓ロボットシステムを構成する機能単位 基本はTopicを介した出版購読型︓⾮同期の疎な通信⽅式 üノードの登録・変更・削除・配置が容易に実現できる ü障害時にはプロセス／ノード単位で再起動ができる 6 node1 node2 node3 node4 Topic1 Topic2 node5 出版（Publish） 購読（Subscribe） msg msg msg msg • その他の通信⽅式 Service: 同期式 Action: 同期と⾮同期の組合せ Parameter: 多変量辞書
- 7. Tools: 開発促進のためのツール群 • catkin_tools:プロジェクト構成／ビルドシステム • rqt: Qtベースのデバッグフレームワーク • gazebo: 3D物理シミュレーションツール • rviz: 可視化ツール 他にもroslaunch, rosbagなど,,, 7
- 8. Capabilities: 再利⽤性の⾼い⾞輪 • ROSパッケージ︓有⽤な機能がまとめられたライブラリの集合 2,000以上のパッケージが公開されている ühttps://index.ros.org/packages/ 利点︓既存資産として活⽤できる üコンポーネント指向開発を実現できる 8 パッケージ名内容 tf ロボットの3次元座標と連鎖関係，時間の管理 teleop ロボットの移動⽅向の操作 usb_cam USBカメラの画像の取り込み Navigation 地図ベースの⾃⼰位置推定と経路計画のアルゴリズム MoveIt マニピュレーションの制御アルゴリズム
- 9. Ecosystem: 世界規模のコミュニティ • オンライン ROSWiki: パッケージ・⽂書の公開 ROS Answers: Q&Aページ ROS Discourse: リリースやイベントの告⽰ üTSC, SIG-WGsの議事録も全て公開 • オフライン ROSCon: 世界規模の開発者会議 ü最近はlocal conf.も SIG meetups, workshop, local events, etc.,,, 9
- 10. ROSの変遷 10 • 単体ロボット • WS級の計算資源 •⾮リアルタイムな制御 • 理想的なNW環境 • Ubuntu/amd64のみ • 主に研究⽤途 • 複数ロボット(協調動作) • 組込み規模での動作要求 • リアルタイム制御 • 不安定なNW環境への対応 • Win/Macでもarm64でも • 実製品への適⽤ http://www.ros.org/news/ 2017/11/ros-turns-10.html
- 11. ROS 2の新機能 • DDS(Data Distribution Service) • Quality of service • Lifecycle state machine • Actions • Intra-process communication • ros1bridge • colcon build tool • Python launch system • Multi platform support 11 https://www.slideshare.net/takasehideki/ robot-operating-system-236990359/22 https://shop.cqpub.co.jp/hanbai/books/MTR/MTR202009.html
- 12. ROS 2のソフトウェア階層構造 12 node.cpp rclcpp node.py rclpy RCL（ROS ClientLibrary） RMW（ROS MiddleWare） DDS A Operating System node.ex rclex ・・・ • 出版購読通信を提供 • ノード⾃動検出 など DDSはOMG標準仕様として規定 • 共通の基盤機能 • 実装はC⾔語 • 各⾔語から呼び出すことで ライブラリを開発可能 DDS B ・・・ • DDSの通信機能を抽象化するAPI層 • 複数のDDS実装から選択可能
- 13.
- 14. ROS 1 vs.ROS 2 • ROS 2はまだまだ発展途上 Foxyでほぼほぼ決定版︖ • 既存パッケージを使いたいならROS 1 これからスクラッチ開発で今後の強みとするならROS 2 • 使いたい機能が熟れてきているならROS 2移⾏すべき MoveIt，リアルタイム制御，セキュリティ,,, むしろ積極的なcontributionを︕︕ • ROS 1の寿命はあと1~2年と⾔って差し⽀えない︖ Python 2/3問題も考慮すべき (MelodicはPython 2) 最終版のNoeticでも少なくとも2025年5⽉でEOFを迎える 14
- 15.
- 16. 16 IOB SB CB LB IOB IOB SB IOB LB SB CBCB SB CB SB SB CB CBLB IOBIOB LB SB SB SB IOB IOB CB CB CB CB CB CB ⼊出⼒ブロック コネクションブロック LB 論理ブロック IOB SB スイッチブロック CB プロセッサ 通信バス FPGA HW SW SW FPGA (Field Programmable Gate Array) • ハードウェアを⾃由に形成可能なLSI • GPUよりも電⼒効率に優れる • 最近の組込み分野ではプロセッサ と密結合されたSoCが主流に 並列性のある⾼負荷処理はHWで
- 17. FPGAの⽤途 • ASICの設計・検証⽤LSIに ASICの機能を製造前に検証できる HWの完成前からSWの開発が始められる • 最終製品に組み込むLSIとして 1.(独⾃仕様な) 通信I/Fの⾼応答化 2. ⾼負荷処理のオフロード ⾼速化と低電⼒化 ü⾦融市場取引，ロボット，データセンター，機械学習，... 出荷後のデータ書換え機能を持たせることもできる 17
- 18. ⾦融市場取引 • 株式相場の値動きを解析して⾼速に売買取引 ⾼頻度取引（HFT）の⾃動売買では超⾼速応答が必須 18出典︓井上, FPGAによる⾦融業務アクセラレーション複合イベント処理を題材に,情報処理, 2012. W. Wang, “Black-Scholes in hardware,” Overload Journal, 2012.
- 19. ロボット • Phenox: FPGA搭載ドローン （XilinxZynq XC7Z010） FPGAは主に信号処理を担う 19 • LOVOT 出典︓本郷⾶⾏機株式会社 - Phenoxプロジェクト http://phenoxlab.com/phenox2.html テクノロジー | LOVOT[らぼっと] https://lovot.life/technology/
- 20. データセンター • Microsoft Catapult 20出典︓A.Putnam, et al., A Reconfigurable Fabric for Accelerating Large-Scale Datacenter Services, ISCA, 2014. A. Putnam, Large-Scale Reconfigurable Computing in a Microsoft Datacenter, HotChips26, 2014.
- 21. 機械学習 • CNN/DNNのアクセラレータ パイプラインをニューロン・シナプスの値が流れる 21出典︓K. Ovtcharov,et al. Toward Accelerating Deep Learning at Scale Using Specialized Hardware in the Datacenter, HotChips27, 2015. C. Zhang, et al. Optimizing FPGA-based Accelerator Design for Deep Convolutional Neural Networks, FPGA 2014.
- 22. ハードウェアの設計レベル • RTL: Register-TransferLevel • デジタル回路を記述する⼿法の⼀種で， 回路の動作を構成する表現 データ転送︓レジスタ間のデジタル信号の流れ それに対する論理演算の組み合わせ üTimed設計︓「なに」を「いつ」「どのように」を表現 22 レ ジ ス タ 組合せ 回路 レ ジ ス タ 組合せ 回路 クロック 出⼒⼊⼒
- 23. ⾼位合成 (HLS: HighLevel Synthesis) • 抽象度の⾼い動作記述からRTLを⽣成する技術 汎⽤プログラミング⾔語によって振る舞いを定義 「なに」を⾏うかに重点を置いて設計する ソフトウェア志向の協調設計との親和性が⾼い 23 プロセッサ 通信バス FPGA func2 main func1 int_t main () { a = func1(xxx); b = a + func2(yyy); } int func1(int x) { … return val; } int func2(int x) { int a[N]; int i; for(i=0;i<N;i++){ a[i] = ･･･; : } } x func i a func2
- 24. ⾼位合成 (HLS: HighLevel Synthesis) 24出典︓Y Explorations, Inc.: FAQ - ⾼位合成関連 http://www.yxi.com/old/Japanese/faqJ.html
- 25. ① HDLによるRTL設計 ② ⾼位⾔語による設計 a.動作レベルの合成 b.HLS対応コードの⽣成 c.DSLfor HLS ③ データフローによる設計 a.メタ⾔語からの合成 b.DFGからの(直接)合成 25 設計レベルでの分類 出典︓M. W. Numan, et al.: Towards Automatic High-Level Code Deployment on Reconfigurable Platforms: A Survey of High-Level Synthesis Tools and Toolchains, IEEE Access, 2020.
- 26. ⾼位合成系 ⼤全 26出典︓R. Nane,et al.: A Survey and Evaluation of FPGA High-Level Synthesis Tools, IEEE T-CAD, 2015. 多くはC/C++と その機能拡張 (#pragma, parallel lib.) 他にも,,, • Scala (Chisel) • Haskell (CλaSH) • KARUTA (origin) • Java (Synthesijier) • Python (PyCoRAM)
- 27.
- 28. 効率的なロボットの実現に向けて 28 • 様々な状況に対応する複雑な制御 • 限定された計算資源と電⼒量 •AI/ML処理を実現する処理性能 • 多品種少量⽣産の展開への対応 FPGA Ø⾼機能･多機能化 Ø省電⼒化 Ø並列性能 Ø設計柔軟性
- 29. ROS meets FPGA 29 •開発⽣産性の向上への期待 •豊富なOSSパッケージ •分散システム・マルチスケール対応 •書換・再構成可能な回路を設計 •省電⼒性・並列性能の向上 •CPUとの密結合による柔軟な構成 ØROSとFPGAの双⽅で ⾼度な開発知識が求められる Ø ロボット技術者がFPGAを 導⼊する敷居は⾼い (逆も)
- 30. FPGAをROSで使うには︖ • トップダウン︓ システム設計時からFPGAとROSをインテグ • ボトムアップ︓ FPGA導⼊済みのロボット／モジュールをROS化 •チャレンジ︓ ROSノードそのものをFPGA化する [T. Ohkawa, et al., RoSE 2019] [Y. Ishida, et al., Advanced Robotics 2020] ROSとFPGAを協調設計する [D. P. Leal, et al, FPT 2020] 30 https://roscon.ros.org/2017/presentations/ROSCon %202017%20ROS%20Compliant%20FPGA.pdf
- 31.
- 32. FPGA トップダウンなアプローチ • ROSはつまるところ通信ライブラリである • SoCFPGAの活⽤︓CPUからFPGAをドライバとして使う üトピックを外部ノードへのインタフェースとする (1) CPUからFPGAにデータを送信して処理をオフロード (2) FPGAでデータを直接処理してからCPUに送信 32 CPU bus ROS data circuit nodetopic datacircuit driver nodetopic driver
- 33. FPGA ROS x FPGAの適⽤事例 33 CPU ROS camera Image Preprocessor driving motor webcam SVM Classifier 新⽥泰⼤・⽥村爽・⾼瀬英希”ZytleBot: ROSベースの⾃律移動ロボットへのFPGAの統合に向けて“ IEICE-RECONF 201909 https://www.slideshare.net/takasehideki/zytlebot-rosfpga
- 34. ROS x FPGAの適⽤効果 34 •ログデータをFPGAに 送信して回路処理を確認 • FPGA回路のテストや 結果⽐較を容易化 • sliding window+SVMの 画像処理をハードウェア化 SVM Classification ! !"# $ 𝑤! 𝑥! + 𝑏 Feature Extraction 8x8 BGR 8x8 HSV HOG システムの⾼性能化 開発・検証コストの⼯数削減 新⽥泰⼤・⽥村爽・⾼瀬英希 ”ZytleBot: ROSベースの⾃律移動ロボットへのFPGAの統合に向けて“ IEICE-RECONF 201909 https://www.slideshare.net/takasehideki/zytlebot-rosfpga
- 35. ボトムアップなアプローチ • すでにFPGAを導⼊済みのロボット／モジュール 安川電機︓ロボットコントローラ YRC1000 TTTechIndustrial︓Nerve Blue Terasic︓Self-Balancing Robot üDE10-Nano Kit 搭載 35 ROS対応による価値向上 ロボットへの導⼊容易化
- 36. Intel FPGA SoCのROS対応 •ROS 2 Dashing on Terasic Self-Balancing Robot Terasic純正 Linux LXDE Desktop の Ubuntu rootfs 16.04を18.04に (kernel v4.5 -> v5.4) FPGAカメラモジュールを追加 36 FPGA CPU ROS motor driver control /tf /image 6-axis camera /cmd driver Image Preprocessor imu
- 37. ホストPCからの /cmd 出版 DE10-Nanoの ターミナル ロボットの 実動作 3次元座標 /tfの表⽰FPGAカメラ画像 /image の表⽰ ホストPCからの /cmd 出版 ロボットの 実動作 3次元座標 /tf の表⽰FPGAカメラ画像 /image の表⽰
- 38. まとめ • ROS isnot just framework, but design platform!! ロボットシステムの開発を加速化 ROS 2の開発が鋭意進⾏中 Letʼs contribute!! • ROSをFPGAでやわらかく使うには︖ トップダウン︓システム設計時からFPGAを導⼊ ボトムアップ︓既存のロボット／モジュールをROS化 そんなことより，新しいコトしたくない︖︖ 38
- 39. ROS Japan UsersGroup • Discourse: https://discourse.ros.org/c/local/japan • connpass: https://rosjp.connpass.com 勉強会・講習会など 初⼼者から歴戦の猛者まで︕ 関⻄や瀬⼾内・九州でも開催︕ メンバー数 1,982名 @2020/12/18 39 üSlack: rosjp üTwitter: #rosjp