Recommended
More Related Content
What's hot
What's hot (20)
More from 直久 住川
More from 直久 住川 (20)
オープンソースからの高位合成によるORB-SLAM FPGA実装
- 2. 自己紹介 岩渕 甲誠（いわぶち こうせい） システムエンジニア ◼ 2003年4月 株式会社セック入社 ◼ 主に組み込みソフトウェア開発に従事 ✓ 人工衛星 ✓ ロボット 2017年 FPGA研究プロジェクト開始 2 https://www.jaxa.jp/projects/sas/hayabusa2/index_j.html
- 3. 概要 ACRiブログ『ホームサービスロボットにおける FPGA の応用例 (5)： ORB-SLAMのFPGA実装』の内容を 解説。 オープンソースソフトウェアの ORB-SLAMを、高位合成でFPGA 実装するために必要な、設計、実装 の変更。 ソフトウェア技術者視点で、高位合成で注意すべきこと 、苦労したことなど。 3
- 4. 目次 4 ORB-SLAMとは FPGA化部分の特定 設計、実装の変更 性能測定結果 ソフトウェア技術者としてFPGA開発
- 5. ORB-SLAMとは SLAM（Simultaneous Localization and Mapping） ◼ 自己位置推定と地図作成を同時に行う技術 ◼ 周囲を観測するセンサにより数種類存在する ORB-SLAM ◼ 単眼カメラで動作可能なので、安価に実装可能 ◼ 画面内の特徴点を検出し、自分の位置と姿勢の変化を推定。 5
- 6. ORB-SLAMとは ソースコードはGithubで公開されているオープンソース ◼ https://github.com/raulmur/ORB_SLAM2 ➢ FPGA化なんて全く考慮されていない 6
- 7. ORB-SLAMとは 特徴点 ◼ 画像内の角（かど）を特徴点とする。 ◼ OpenCVのfast()を用いて取得する。 ◼ 7x7の範囲で判定 7
- 8. ORB-SLAMとは デモ動画 ◼ KITTIデータセットを入力し地図を作成。 ◼ 画面上部がKITTIデータの画像、下部が作成した地図。 8 ORB-SLAM in the KITTI dataset (Sequence 00)
- 10. 全体構成 3つのブロックで構成され、それぞれ別のスレッドで動く 10 ◼ Tracking ◼ Local Mapping ◼ Loop Closing
- 11. 全体構成 Tracking ◼ 毎フレームに対して動作する ◼ フレーム画像から特徴点を抽出 ◼ 自己位置推定 ◼ Key Frameの追加判定 Local Mapping ◼ TrackingでKey Frameが追加されたら動作する ◼ Key Frame、Map Pointの追加、削除 ◼ 近傍の最適化 Loop Closing ◼ TrackingでKey Frameが追加されたら動作する ◼ 経路がループしているか判断 ◼ ループしていたときはKey Frame、Map Pointの累積誤差を補正 11
- 12. FPGA化部分の特定 ソフトウェアとして動作させたときの、各処理の処理負荷を 計測し、負荷の高い部分をFPGA化する。 ◼ Visual Studioプロファイリングツールで計測 12 処理負荷計測 結果の抜粋 Tracking処理 (全体経過時間の22.2%を占める) 呼び出し数 平均経過時間 ms (子を含む) System::TrackMonocular 93 587.2 Tracking::GrabImageMonocular 93 587.2 Frame::Frame 93 174.3 ORBextractor::operator() 93 134.4 ORBextractor::ComputeKeyPointsOctTree 93 119.4 ORBextractor::DistributeOctTree 744 10.5 Tracking::Track 93 411.8 Tracking::MonocularInitialization 11 689.1 ORBmatcher::SearchForInitialization 7 975.7 Frame::GetFeaturesInArea 37,417 0.3 Tracking::TrackWithMotionModel 81 172.9 ORBmatcher::SearchByProjection 81 80.7 Frame::GetFeaturesInArea Optimizer::PoseOptimization 164 100.5 Tracking::TrackLocalMap 82 181.4 Tracking::SearchLocalPoints 82 43.0 ORBmatcher::SearchByProjection Frame::GetFeaturesInArea Optimizer::PoseOptimization 関数名
- 13. FPGA化部分の特定 Trackingスレッドの特徴点抽出～特徴量計算までを FPGA化対象とする。 ◼ 処理負荷が高い ◼ Trackingスレッドは 常に動作する ◼ 画像処理はパイプ ライン化し易い。 13
- 15. 縮小画像作成 物体までの距離が変わり画像中の見た目の大きさが変わ っても同一のものと判断できるよう、画像を1/1.2倍しなが ら8段階の縮小画像を作成する。 8つの画像で合計2000個の特徴点を検出。 各画像で採用する特徴点の分配数を決定。 15 Keyframe-based monocular SLAM: design, survey, and future directions Georges Younes1,2, Daniel Asmar1 , Elie Shammas1, John Zelek2
- 17. FASTによる特徴点抽出 FAST()：OpenCVのAPIの一つ ◼ 抽出する強度の閾値をパラメータで指定する。 画像内のコントラストが大きい場合でもまんべんなく特徴点 を取得できるようにする。 1. 約30x30のGridに画像を分割 2. 一つのGridに対してFAST()を実行 1. 高い閾値で実行 2. 特徴点を取得できない場合は低い閾値で再実行 3. 全てのGridに対して繰り返し 17 高閾値で FAST 高閾値で FAST 低閾値で FAST
- 19. 特徴点の間引き 得られた特徴点が密集しているとデータ効率が悪いため間 引きを行う。 1. 画面を4分割する。 2. 4分割したセルに特徴点が複数含まれる場合、更に4分割。 3. 0個、1個の場合、分割を終了し次のセルに移る。 4. 既定の上限数まで分割したら終了。 5. 終了時、複数の特徴点を含む場合、最も強度の大きい特徴点を採 用し、他は削除。 19
- 23. 特徴量計算 特徴量 ◼ 特徴点を中心とした円内から2点を1組として16組サンプリングす る。サンプリング点は定義した角度だけ回転させた座標とする。(角 度不変性） ◼ それぞれ大小比較し、その結果を0と1で示した16bitのビット配列 を特徴量とする。 23 異なるフレームで得られた特徴点の 特徴量を比較し、同一構造物のマッ チングを行う。
- 24. 設計変更 FPGA化対象部分のアルゴリズム 24 処理開始 8段階縮小画像作成 入力：元画像 出力：縮小画像 FASTによる特徴点抽出 入力：縮小画像 出力：特徴点リスト 特徴点の間引き 入力：全特徴点リスト 出力：間引きした 特徴点リスト 特徴点の角度計算 入力：ピラミッド画像 特徴点リスト 出力：特徴点角度リスト 特徴量算出 入力：GaussianBlur処理画像 特徴点リスト 特徴点角度リスト 出力：特徴点角度リスト 処理終了 GaussianBlur 入力：縮小画像 出力：GaussianBlur 処理画像 問題点 1. 間引き処理では画像データを使用しない が、角度計算では必要で、メモリが必要。 2. fast処理以降は8枚の画像について、8回 ループして処理している。 3. 枝分かれしているGaussianBlurは先に処 理が終わるため、画像8枚分のメモリが 必要となる。
- 26. 設計変更 クラス設計の変更 ◼ ORBextractorクラス、KeyPointクラスとFrameクラスの一部が FPGA化対象の処理を含む。 ◼ SDSoC、Vitisでは関数単位でFPGA化対象を指定する。クラスの 一部の関数のみFPGAで処理させる場合は、クラスを分割し、必要 なメンバ変数もFPGA側のクラスに移す。 26 元のクラス設計 変更後クラス設計(仮)
- 27. 設計変更 このクラス設計ではループ、関数呼び出しのネストが深くな る。（ソフトのソースコードでは10、20のネストは当たり前） ✓ どこが「タスク」となるのか分からない。 ✓ パイプライン化しにくい。 ✓ デバッグが非常に困難となる。 FPGAではクラスのカプセル化はできない（？）。 ✓ 同時に動くほかの処理との整合性を取らなければならない。 ✓ 呼び出したクラスの関数からどのようにメモリアクセスしているかを 考慮しなければならない。 ソフトウェアに比べ、FPGAに実装できるコード量は少ない。 ✓ ORB-SLAMのFPGA化では3000行程度。 ✓ オブジェクト指向の旨味があまりない。 ⇒ ORB-SLAMのFPGA化ではクラスは使わない。 27
- 28. FASTによる特徴点抽出（再掲） FAST()：OpenCVのAPIの一つ ◼ 抽出する強度の閾値をパラメータで指定する。 画像内のコントラストが大きい場合でもまんべんなく特徴点 を取得できるようにする。 1. 約30x30のGridに画像を分割 2. 一つのGridに対してFAST()を実行 1. 高い閾値で実行 2. 特徴点を取得できない場合は低い閾値で再実行 3. 全てのGridに対して繰り返し 28
- 29. FASTによる特徴点抽出の設計変更 小さいGridに分割して特徴点を抽出しているのは、画面に 均一に特徴点を分布させたいため。 ◼ その後の間引き処理で集中する部分を除いている。 ◼ 低い閾値で画面全体で抽出し、均一にするのは間引き処理に任せ てもよいのではないか。 29 Grid分割あり Grid分割なし Grid分割あり/なしで特徴点を 抽出し、間引き処理した結果 を比較した。 約80%の特徴点が一致。 SLAMを動作させるのが目的 で、全く同じ出力にする必要 はない。 Grid分割せず、全体をFAST() で特徴点を抽出することとし た。
- 30. 特徴点の間引き（再掲） 得られた特徴点が密集しているとデータ効率が悪いため間 引きを行う。 1. 画面を4分割する。 2. 4分割したセルに特徴点が複数含まれる場合、更に4分割。 3. 0個、1個の場合、分割を終了。 4. 既定の上限数まで分割した場合も終了。 5. 終了時、複数の特徴点を含む場合、最も強度の大きい特徴点を採 用し、他は削除。 30
- 31. 特徴点の間引きの設計変更 固定サイズのGridに分割 1. FASTで得られた特徴点を各Gridに割り振る 2. 割り振る際に強度の大きい順にソート 3. 各Gridから1つずつ採用し、既定の数になったら終了 密集している部分の強度の低い特徴点は除かれる 31
- 32. 特徴点の間引きの設計変更 PC上で動作確認 FPGA向けに設計変更してもSLAMは正常に動作した ✓ PC上での動作確認環境があると便利 32 通常版間引き処理で作成 FPGA版間引き処理で作成
- 33. 特徴点の角度計算の設計変更 特徴点の角度を特徴点の周り31x31の画素値から以下の 式で定義。 ◼ 31Line Bufferを使いパイプライン処理するように変更 ◼ 積和演算をパイプライン化 33 X方向、Y方向に重み付けしながら画素値を 積算し、その比率から角度を定義している。
- 34. 実装変更 Vivado Design Suite ユーザーガイド 高位合成 (UG902) - 3章「高位合成コーディングスタイル」 に従って変更する。 ◼ new, malloc, std::vectorなどの動的なメモリ取得をstaticオブ ジェクト、固定長配列に変更。 ◼ 浮動小数点を固定小数点に変更。 ◼ resize, FAST, GaussianBlurはXilinxのライブラリxfOpenCV に変更。 など 34
- 35. 性能測定結果 開発環境 ◼ SDSoC 2018.2 ◼ ZCU102 コード量（FPGA化改造後） ◼ 約3000行 （コメント、空行除く） ◼ xfOpenCVの以下のファイルを含む ソフトウェアの規模より小さい 高負荷処理が一部分に集中しているシステムがFPGAを適用しや すい 35 common/xf_params.h imgproc/xf_gaussian_filter.hpp common/xf_structs.h imgproc/xf_resize.hpp common/xf_types.h imgproc/xf_resize_down_nn.hpp features/xf_fast.hpp
- 36. 性能測定結果 使用データ ◼ KITTIデータセット（1241 x 376) 速度性能 ◼ FPGAの動作クロックは200MHz。300MHzに上げても性能はほ ぼ変わらず。400MHzではタイミングがメットせず。 ◼ CPUの処理速度は、MPSoCに含まれるARM 1.2GHzでソフトウ ェアとして動作させたときの処理時間。 ◼ 後段は前段に比べて倍率が低い。まだ改善の余地ありか。 36 FPGA[ms] CPU[ms] 倍率 処理全体 31.8 631.0 19.9 内訳 前段 9.6 310.9 32.5 後段 19.7 317.6 16.1
- 37. 性能測定結果 消費リソース量 ◼ 3000行の回路で、ZCU102に搭載されているSoC(Zynq UltraScale+ XCZU9EG)でLUTの半分以上を消費している。 37 Resource Utilization Available Utilization % LUT 157983 274080 57.64 LUTRAM 9289 144000 6.45 FF 186451 548160 34.01 BRAM 813.5 912 89.2 DSP 176 2520 6.98 BUFG 3 404 0.74 MMCM 1 4 25
- 38. まとめ（ソフトウェア技術者のFPGA開発） FPGAのハードウェアとしての知識は必須 ✓ パイプライン、タスクの概念、Laytency、II、etc.. ✓ 簡単なHDLが理解できるとよい。 ✓ 身近にFPGA、高位合成について質問できる人がいると助かる。 ➢ ユーザーマニュアルはソフト屋が読めるものではない。。。 ✓ ACRiブログ「高位合成で加速するアクセラレータ開発」を読んで みましょう。 38
- 39. まとめ（ソフトウェア技術者のFPGA開発） ソフトウェアとは適したアルゴリズムが全く異なる ✓ ソフト屋の常識は捨てる。 ✓ ソフトは時間的な処理手順、FPGAは空間的な回路の広がり ✓ 既存ソフトウェアソースコードを流用する場合は、大幅にアルゴリズ ムを変更し、できる限りシンプルな構造に。 ➢ 「初めてのC」、「C++入門」のような入門書のサンプルコードレベ ルを意識。 ➢ 今後FPGAが大規模化し、高位合成で10万行の回路が合成でき るようになれば変わるか。 39