SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
•
1 like•547 views
SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術 6/11 (金) 11:00 - 12:30 登壇者：伊達 宏昭 氏（北海道大学） 概要：レーザスキャナやSfM-MVSを用いた3次元計測・再構成技術が、人が活動する環境や大型設備の維持管理、各種シミュレーションに活用されてきています。本発表では、プラントや橋梁、屋内や市街地環境を対象とし、3次元計測・再構成技術のより確実かつ高度な活用を目指した、(1)高品質な計測点群を取得するための計測作業支援、(2)計測点群の迅速位置合わせ、ならびに(3)計測点群からの自動モデル化の、各技術開発の取り組みをご紹介します。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
Similar to SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術 (20)
More from SSII
More from SSII (20)
Recently uploaded
Recently uploaded (20)
SSII2021 [OS3-01] 設備や環境の高品質計測点群取得と自動モデル化技術
- 2. 北海道大学 ディジタル幾何処理工学研究室 1 研究室教員：教授 金井理，准教授 伊達宏昭 https://www.ist.hokudai.ac.jp/labo/dgp
- 3. 3次元計測に基づく設備や環境のモデル化 2 実環境・ 設備等 点群 (複数) 合成 点群 3D モデル 点 群 処 理 モ デ ル 化 3 次 元 計 測 1 質の高い計測データ取得 のための計測支援技術 2 効率的位置合わせ （レジストレーション） 3 高精度配管・規則性考慮 型屋内環境モデル化 TLS TLS，MMS，SfM-MVS，Handy TLS 最適スキャナ設置位置導出 点群のAR表示 プラント，建物， 橋梁，市街地… プラント配管 室内・設備
- 4. 質の高いTLS点群の効率的取得 3 TLSを用いた3次元レーザ計測 利用上十分な質（精度や密度）を持った 計測点群が取得できなければならない • 点群の質や計測漏れはTLS設置位置に依存 TLS設置位置決定は熟練者の経験に基づく • 事前の現場確認→計測計画→計測実施 • 最適な計測になっているとは限らない 計測作業の高度化・支援技術 A 最適計測位置決定問題：Next-Best-View • 事前知識を用いない手法 [Potthast 14][Svensson 14] • 事前知識を用いた手法 2次元図面を利用 [Soudarissanane 11][Ahn16] 3次元モデルを利用 [Kitada15][Zhang16][Inui13][Wakisaka18] B 計測点群の確認支援 • 点群リアルタイム重畳表示 [Ohno21] [Svensson 14] [Kitada 15] [Ahn 16] [Inui13] TLS: 地上設置型レーザスキャナ 計測時間：数分/スキャン 計測精度：数mm 点間隔*：6mm/12mm＠10m 点数* ：4千万/1千万 /スキャン *設備や屋内環境計測でよく使われる設定 TLS点群 (１スキャン)
- 5. 最適スキャナ設置位置決定法 4 １ 事前知識生成と 計測重要度付与 スキャナ設置の 候補点推定 ２ ３ 最適スキャナ 設置位置導出 重要度: 高（フランジ） 重要度: 中 （機器周辺） 重要度: 低（その他） Eisuke Wakisaka, Satoshi Kanai, Hiroaki Date, Model-based Next-best-view Planning of Terrestrial Laser Scanner for HVAC Facility Renovation, Computer-Aided Design and Applications, 15(3), 353-366 (2018) 最適化 【目的関数】 計測可能な物体表面ボクセル数 【変数】 スキャナ設置位置のボクセル列 【制約】 入射角・計測距離・可観測性・ 点群オーバーラップ • 計測重要度に応じた制約適用 空間占有状態を有する ボクセルモデル生成 SfMで求まっ た各カメラ 位置からの Lay Casting 候補点推定 床面から一定高さの位置 視点 𝑃𝑃 𝑐𝑐𝑐𝑐𝑐𝑐 光線 𝑟𝑟 SfM-MVSによる3次元 メッシュの生成 計測重要度の付与 要求計測精度に応じた計測 重要度（3段階）の手動付与 • 機器交換を目的とした場合の例 高：フランジ 中：交換機器 低：その他 3次元モデルを事前知識とした，計測品質を考慮した最適TLS設置位置導出
- 6. 熱源機械室への適用結果 推定最適 スキャナ 設置位置 ① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ ⑩ b a c d e スキャン 回数 計測率 % オペレータ 制約なしNBV 提案NBV 59.6% 88.0% 69.6% フランジのモデル化誤差 提案NBV 制約なしNBV オペレータ モデル化誤差 評価対象フランジ × 5 提案NBV : 3.64 mm 制約なしNBV : 9.31 mm オペレータ : 6.98 mm 径 提案NBV : 1.32 mm 制約なしNBV : 6.39 mm オペレータ : 2.94 mm 平均 平均 13.1mm ≈- 26.3mm 誤差 [mm] 誤差 [mm] 端面中心位置 ≈ ≈ 17.3m m Z+F Imager5010C 計測品質要求を満たすセル計測率 Eisuke Wakisaka, Satoshi Kanai, Hiroaki Date, Model-based Next-best-view Planning of Terrestrial Laser Scanner for HVAC Facility Renovation, Computer-Aided Design and Applications, 15(3), 353-366 (2018)
- 7. 計測点群の迅速・直感的確認 6 計測済み点群のAR表示 実環境を撮影しているカメラ画像上へのリアルタイム点群重畳表示 • カメラ画像と点群画像間のORBによる対応抽出とカメラ位置姿勢推定 • 重畳フレームレート：1.1FPS (Surface Pro 7) • カメラ位置姿勢推定平均誤差：位置140㎜，姿勢1.0deg Kenta Ohno, Hiroaki Date, Satoshi Kanai, Study on Real-Time Point Cloud Superimposition on Camera Image to Assist Environmental Three-Dimensional Laser Scanning, Int. J. Automation Technol., 15(3), 324-333 (2021) far near 計測距離 high low 点密度 large small レーザ入射角 未計測部
- 8. 3次元計測点群の位置合わせ ～レジストレーション～ 7 3次元レーザ計測 遮蔽による計測抜けを低減し，対象表面 全体の計測点群を取得するために複数の 個所から計測を実施 計測後に計測点群の座標系を統一する 位置合せ(レジストレーション)を実施 • TLS点群の初期座標系: スキャナ位置が 原点，鉛直上方向がZ座標軸 レジストレーション 点群中の対応箇所を一致させる座標変換 を点群に適用 • 対応抽出のための表現・特徴量 反射強度画像，高さ画像，ボクセル，Skyline，線 分，平面，スライス点群，2D特徴点，SIFT (2D/ 3D), 4PCS, FPFH，PPF．．． • 最適化～深層学習の活用 • 現場: マーカー利用…マーカーレス 高い効率性・安定性・精度が求められる スキャナ設置位置 レーザ計測点群 （1スキャン） 19スキャン レジストレーション
- 9. 環境・構造物計測点群のレジストレーションの一手法 8 計測対象に応じた単純な特徴抽出とサンプルコンセンサス/ハッシュを利用した方法 【前処理】 各点群からの特徴抽出 複数特徴から算出されるキーを用いた 複数特徴のハッシュ表生成 【位置合わせ処理】 I. サンプリング ソースから必要数の特徴を ランダムにサンプル II. キー計算 サンプルした複数特徴Fsから ハッシュのキーを計算 III. マッチング Fsに対応する可能性のある複 数特徴Ftをターゲットハッシュ表から取得 IV. 位置合せ FsとFtを一致させる座標変換 (R, t)を求めてソースに仮適用 V. 妥当性計算 特徴/点群の重なり度合いを 座標変換(R, t)の妥当性cR,tとして計算 VI. 座標変換 妥当性cR,tが最大の座標変換を ソースに適用 N-回反復 ソース ターゲット サンプリング (lc, ld) (l*, l*) (l*, l*) マッチング {R, t} 位置合せ 妥当性計算 cR,t = X cR,t = Y cR,t = Z dmn αmn キー計算 特徴 ハッシュ 表 H. Date, Y. Matsuyama, and S. Kanai, Registration of Point Clouds of Large Scale Environments using Point Projection Images, Proc. of the 15th International Conference on Precision Engineering, D31 (2014)
- 10. 平坦な床面や地面を有する環境 9 Taiki Sumi, Hiroaki Date, Satoshi Kanai, MULTIPLE TLS POINT CLOUD REGISTRATION BASED ON POINT PROJECTION IMAGES, ISPRS Technical Commission II Symposium 2018/Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2, 1083-1090 (2018) 一定高さの水平面スライス 断面における高曲率点 2点間の距離 【特徴】 【キー】 i p j p ij l ij ij k l = 断面点群の画像化とポリゴン近似法適用 処理時間： 8スキャン(8千万点)→14秒* 処理時間： 9スキャン(4500万点)→83秒* （精密位置合せ含む） 【整合性】 FS2 S2 FS1 FS2 S2 S1 空間的不整合 空間非重複 × × * CPU：Intel Core i7 3970X
- 11. 平坦な床面や地面を有する環境 10 MMS trajectory Hokkaido University Campus MMS 点群 TLS39スキャン(3.26億点) MMS点群 TLS点群 ↓ 屋外TLS点群 MMS点群＋TLS点群 TLS点群 TLS点群＋ハンディスキャナ点群
- 12. 橋 梁 11 Hiroaki Date, Takahito Yokoyama, Satoshi Kanai, Yoshiro Hada, Manabu Nakao, and Toshiya Sugawara, Efficient Registration of Laser- Scanned Point Clouds of Bridges Using Linear Features, International Journal of Automation Technology, 12(3), 328-338 (2018) 処理時間 19スキャン(1.2億点)→52秒* 処理時間 8スキャン(1.7億点)→32秒* 平面領域境界・交差 部の直線分 非平行2線分の距離と 方向ベクトル間角度 【特徴】 【キー】 ij θ i l j l ij d i d j d i d j d ( ) 1 2 ( , ) , ij ij ij ij k k d θ = * CPU：Intel Core i7 5960X
- 13. 市 街 地 ～スケール調整機能付き 12 Reiji Yoshimura, Hiroaki Date, Satoshi Kanai, Ryohei Honma, Kazuo Oda and Tatsuya Ikeda, Automatic registration of MLS point clouds and SfM meshes of urban area, Geo-spatial Information Science, 19(3), 171-181 (2016) Error[m] 0 1～ Vertical Edges of Buildings Ground plane i p j p k p ij l jk l ijk α 1 2 ( , ) , ij ijk ijk ijk jk l k k l α = ビルの鉛直エッジと 地面平面との交点 3点で定義される２ 線分の長さ比と角度 【特徴】 【キー】 SfM-MVSメッシュ MMS点群 処理時間：50万三角形・3300万点→約60秒* • MMS点群を用いたSfM- MVSメッシュの幾何修正 * CPU：Intel Core i7 3970X
- 14. 精度向上の取り組み 13 H. Date, E. Wakisaka, Y. Moribe, and S. Kanai, TLS POINT CLOUD REGISTRATION BASED ON ICP ALGORITHM USING POINT QUALITY, Int. Arch. Photogramm. Remote Sens. Spatial Inf. Sci., XLII-2/W13, 963-968 (2019) レーザ計測点群の各点の計測品質を考慮 計測距離と入射角に基づく各点の品質(誤差)評価 品質値重み付きICPアルゴリズムによる精密位置合わせ q0 dc dm DST i q 0 1 di (a) Distance quality τa 0 ANG i q 1 ai (b) Angle quality 2 2 0 2 2 1 (1 )( ) / ( ) 1 ( ) / ( ) ( ) 0 i c c i c DST i i c m c c i m q d d d d d q d d d d d d d otherwise − − − < = − − − ≤ < 1 cos / cos ( ) 1 cos 0 a i i a ANG a i a a q otherwise τ τ τ − < − = ①点の品質推定モデルの定義 ②点群の各点の品質推定 (a) Point clouds (c) Angle quality (0 1) ANG i q (b) Distance quality DST i q (0 1) 2 ( , ) || ( ) || ij j i i j C w ∈ − + ∑ q Rp t ③品質重み付きICP min( , , , ) DST ANG DST ANG ij i i j j w q q q q = 0 0.001 0.002 0.003 0.004 0.005 1-1 1-2 1-3 1-4 1-5 1-6 1-7 1-8 2-1 2-2 2-3 : Uniform weight : quality-based weight 併進誤差 Point cloud pair ID 併進誤差: eT [m] 計測誤差 0 0.0002 0.0004 0.0006 0.0008 0.001 0.0012 1-1 1-2 1-3 1-4 1-5 1-6 1-7 1-8 2-1 2-2 2-3 計測誤差 回転誤差 Point cloud pair ID 回転誤差: eR 入射角 計測距離
- 15. 設備や環境の3次元モデル化 14 点群からの3次元モデル化技術 面抽出とモデル生成 • 平面，円筒面の需要が非常に高い • RANSAC，領域成長法，Hough変換，LSM • テンプレートフィット，断面スイープ • マンハッタンワールド仮説，規則性抽出と利用 物体認識（ルール，モデルベース，一般） 誤差考慮：CityGML, LoA (Level-of-Accuracy) モデル化に関する取り組み 高精度プラント円筒配管モデル化 [Moritani19] 規則性考慮型室内環境モデル化 [Takahashi19,20] LOD考慮型市街地建物モデル化 [Kanayama19] 深層学習とタイプ分類による橋梁モデル化 [Rusu12] [Xiong13] [Quan08] [増田12] [Lin13] [Aron15] [Qi 17] [Rutzinger 09] [Yu 15] [Moritani19] [Takahashi19,20] [Macher17] [Kanayama19]
- 16. プラント配管の高精度モデル化 15 精密レジストレーションとモデル化の同時処理による高精度な 円筒配管パラメータ推定 1. EfficientRANSAC [Schnabel 07]による配管点群認識とラフレジストレーション 2. スキャナ外部パラメータと円筒パラメータの精緻化 Ryota Moritani, Satoshi Kanai, Hiroaki Date, Masahiro Watanabe, Takahiro Nakano and Yuta Yamauchi，Cylinder-based Efficient and Robust Registration and Model Fitting of Laser-scanned Point Clouds for As-built Modeling of Piping Systems，Computer-Aided Design & Applications，16(3)，396-412 (2019) 2 { , } minimize ( ( )) ( ; , ) Reg Cyl j k i Reg Cyl jk jk j k i N w D i D i ∈ ∑ x x x x スキャナ外部パラメータ 円筒パラメータ [ , , , , , ] Reg j Sj Sj Sj j j j X Y Z ω φ κ = x [ , , , , ] Cyl k Ck Ck k k k X Y r = Ω Φ x 残差 Re ( ; , ) g Cyl jk j k D i x x ( ) w x 重み スキャナ 𝒋𝒋 円筒 𝒌𝒌 Σ0 Σ𝑗𝑗 𝐱𝐱𝑗𝑗 𝑅𝑅𝑅𝑅𝑅𝑅 Σ𝑘𝑘 点 𝑖𝑖 𝐱𝐱𝑘𝑘 𝐶𝐶𝐶𝐶𝐶𝐶 1. 2.
- 17. 適用結果 16 点群データ 環境：水処理プラント スキャナ：FARO Focus3D 12スキャン，5.15憶点 円筒モデリング モデル化された円筒本数 306本(誤検出数本) 処理時間 10分* (配管点数:1,600万，ラフ位置合せ後) 精度評価例：8円筒ペア軸間距離 (3m～6m) レジストレーション 位置合せ後の平面間距離による精度検証 平均 平面ペア A 平面ペア B 平面ペア C 点群対 I 0.9 mm 1.1 mm 0.9 mm 点群対 II 0.7 mm 3.0 mm 0.9 mm 点群対 III 0.6 mm 0.9 mm 0.5 mm 制 御 盤 制 御 盤 制 御 盤 浄水 装置 選択平面 平均値 最大 絶対誤差 1.6 mm 4.0 mm * CPU：Intel Core i7 5960X
- 18. 屋内環境のモデル化 17 規則性を考慮した天井・床・壁面のモデル化 天井面点群境界への直線フィットによる壁面推定 壁面の規則性（平行・直交・共平面・等間隔）を有するモデル生成 Hayato Takahashi, Hiroaki Date, Satoshi Kanai, Automatic Indoor Environment Modeling from Laser-scanned Point Clouds using Graph-based Regular Arrangement Recognition, Proceedings of the 4th International Conference on Civil and Building Engineering Informatics, 368-375 (2019) gb gb gc gc ge ge = gb + gc w2,6 w4,8 w3 w5 w7 w9 w1 w10 gb gc ci b j b e l b 計測箇所 実計測 3Dモデル 誤差 D1 4,847 4,851 4 D2 6,845 6,852 7 D3 6,939 6,944 5 D4 20,721 20,722 1 平行・直交 R1 R2 R3 R4 R5 R3R4 R6 R6 R7 R8 gb gb gc gc ge ge ge ge ci cj n1 n2 e l b e k b e j b e i b c i b c j b b i b b j b グラフを用いた規則性 表現の例 (共平面・等間隔) 大学の研究室 検出された規則性 3Dモデル TLS 点群 共平面 等間隔 A A 各種寸法と誤差 (単位:[mm]) 𝑤𝑤1 𝑤𝑤2 𝑤𝑤3 𝑤𝑤4 𝑤𝑤5 𝑤𝑤6 𝑤𝑤7 𝑤𝑤8 𝑤𝑤9 𝑤𝑤10
- 19. 屋内環境のモデル化 ~ 付属設備の認識 18 壁面・天井面付属設備の認識 窓・照明器具：レーザで測りにくい ⇒ 基本面上のフットプリントの利用 フットプリント：点密度と遮蔽の影響大 ⇒ 遮蔽影響と点間隔を考慮した点群処理 H. Takahashi, H. Date, S. Kanai, K. Yasutake, DETECTION OF INDOOR ATTACHED EQUIPMENT FROM TLS POINT CLOUDS USING PLANAR REGION BOUNDARY, ISPRS - International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLIII-B2-2020, 495-500 (2020) Input 1 : Point cloud Output : Positions of the target equipment - Occlusion boundary point detection - Point cloud structuring - Region growing - Point interval-adaptive RANSAC - Weighted voting 1. Planar region and boundary point extraction 2. Footprint boundary point extraction 3. Attached equipment detection Input 2 : Target equipment info. ・Region boundary points ・Footprint boundary points r circle rectangle h w 65/72 3/3 照明器具 火災報知器 検出数 照明器具 基本面境界点 設備 遮蔽 遮蔽境界点 設備FP点 − ＝ x y z スキャナ 設備 y z x
- 20. まとめ 19 地上設置型レーザスキャナ(TLS)を中心とした設備や環境の 計測点群の取得支援とモデル化技術のご紹介 高品質な計測点群の効率的取得のための計測支援技術 • 計測品質を考慮した最適スキャナ(TLS)設置位置推定法 • 計測点群のリアルタイム重畳表示 点群の位置合わせ技術 • 単純幾何特徴のマッチングに基づく環境計測点群の位置合わせ • 点群の各点の推定計測誤差を考慮した位置合わせ精度向上 点群からの3次元モデル化技術 • スキャナ外部パラメータとモデルパラメータの同時推定による プラント配管系統の高精度モデル化法 • 規則性・計測特性を考慮した屋内環境の3次元モデル生成法