![変形ARマーカの高速かつ高精度な姿勢推定
浅野 右京，山内 悠嗣 (中部大学)
研究背景・目的
⚫ 2次元コードが様々な場所で利用
例) キャッシュレス決済，ロボットの自己位置推定
⚫ 変形により認識率や
位置・姿勢推定精度が低下
提案手法
⚫ 変形ARマーカの位置・姿勢推定法[1]
1. 物体検出器で画像中の変形ARマーカを検出
2. Augmented Autoencoder(AAE)[2]で背景・変形
を除去した潜在変数を取得
3. 潜在変数をデータベースと照合し，姿勢を推定
⚫ 姿勢推定精度・推定時間に課題
⚫ Pitch，Yawの姿勢推定精度が低い
⚫ データベースとの照合に時間がかかる
従来手法
⚫ データセット
⚫ シミュレータ上で撮影した
変形ARマーカ画像
⚫ 実験環境
⚫ CPU: Intel Core i7-12700
⚫ GPU: GeForce RTX 3080
⚫ 評価指標
⚫ 姿勢推定精度: Roll，Pitch，Yawごとの推定誤差
⚫ 姿勢推定時間: 画像1枚あたりの推定時間
⚫ 各手法の姿勢推定精度
⚫ Rollは従来手法と同等の誤差
⚫ Pitch，Yawは大きく誤差が減少
⚫ 各手法の姿勢推定時間
⚫ AlexNetと比べ若干増加
⚫ 従来手法からは99.8%削減
⚫ 実環境の画像に対し，姿勢推定を実行した例
⚫ ワイヤーキューブでARマーカの姿勢を表現
⚫ 変形ARマーカの高精度かつ高速な姿勢推定法
⚫ 姿勢推定に回帰推定を導入
→姿勢推定の高速化
⚫ AAEと回帰推定をEnd-to-Endで学習
→姿勢推定に適した潜在変数を出力
⚫ 学習用の変形ARマーカをBlenderで作成
⚫ ARマーカ画像をベジェ曲面により変形
⚫ ベジェ曲面の制御点により変形度合いの調整
⚫ BlenderのPythonスクリプトにより自動で生成
⚫ 提案手法は2段階で構成
⚫ 変形ARマーカの背景・変形除去を行うAAEを
事前に学習
⚫ AAEと回帰推定のMulti-Layer Perceptron(MLP)を
End-to-Endで学習
⚫ End-to-End学習の流れ
1. 画像を入力し，復元画像と推定姿勢を出力
2. 画像誤差と姿勢誤差の和でエンコーダを更新
3. 画像を入力し，推定姿勢を出力
4. 姿勢誤差でMLPを更新
5. 1~4を繰り返す
評価実験
比較手法
姿勢推定誤差[deg]
Roll Pitch Yaw 平均
AlexNet[3] 1.48 5.01 5.34 3.94
従来手法[1] 0.69 7.84 7.32 5.28
提案手法 0.64 2.87 2.87 2.13
比較手法 1枚あたりの推定時間[msec]
AlexNet[3] 2.395
従来手法[1] 3,270
提案手法 6.233
今後の展望・参考文献
⚫ 潜在変数を外観と形状に分離する手法を導入
[1]榎元等: “機械学習による変形AR マーカの3 次元位置・姿勢推定“, 動的画像処理
実利用化ワークショップ, 2022.
[2]M.Sundermeyer et al．: “Implicit 3D Orientation Learning for 6D Object
Detection from RGB Images”, ECCV, 2018.
[3] A.Krizhevsky et al．: “ImageNet Classication with Deep Convolutional Neural
Networks", NeurIPS, 2012.
変形した2次元コードの位置・姿勢推定
実験結果
変形ARマーカ画像の例
変形した2次元コード
推定姿勢
潜在変数 復元画像 画像
姿勢
画像誤差
姿勢誤差
入力画像
AAEと回帰推定のEnd-to-End学習の流れ](https://image.slidesharecdn.com/poster-240228023512-1f87031c/85/AR-1-320.jpg)
Recommended
More Related Content
Recently uploaded
Recently uploaded (7)
Featured
Featured (20)
変形ARマーカの高速かつ高精度な姿勢推定
- 1. 変形ARマーカの高速かつ高精度な姿勢推定 浅野 右京，山内 悠嗣 (中部大学) 研究背景・目的 ⚫ 2次元コードが様々な場所で利用 例) キャッシュレス決済，ロボットの自己位置推定 ⚫ 変形により認識率や 位置・姿勢推定精度が低下 提案手法 ⚫ 変形ARマーカの位置・姿勢推定法[1] 1. 物体検出器で画像中の変形ARマーカを検出 2. Augmented Autoencoder(AAE)[2]で背景・変形 を除去した潜在変数を取得 3. 潜在変数をデータベースと照合し，姿勢を推定 ⚫ 姿勢推定精度・推定時間に課題 ⚫ Pitch，Yawの姿勢推定精度が低い ⚫ データベースとの照合に時間がかかる 従来手法 ⚫ データセット ⚫ シミュレータ上で撮影した 変形ARマーカ画像 ⚫ 実験環境 ⚫ CPU: Intel Core i7-12700 ⚫ GPU: GeForce RTX 3080 ⚫ 評価指標 ⚫ 姿勢推定精度: Roll，Pitch，Yawごとの推定誤差 ⚫ 姿勢推定時間: 画像1枚あたりの推定時間 ⚫ 各手法の姿勢推定精度 ⚫ Rollは従来手法と同等の誤差 ⚫ Pitch，Yawは大きく誤差が減少 ⚫ 各手法の姿勢推定時間 ⚫ AlexNetと比べ若干増加 ⚫ 従来手法からは99.8%削減 ⚫ 実環境の画像に対し，姿勢推定を実行した例 ⚫ ワイヤーキューブでARマーカの姿勢を表現 ⚫ 変形ARマーカの高精度かつ高速な姿勢推定法 ⚫ 姿勢推定に回帰推定を導入 →姿勢推定の高速化 ⚫ AAEと回帰推定をEnd-to-Endで学習 →姿勢推定に適した潜在変数を出力 ⚫ 学習用の変形ARマーカをBlenderで作成 ⚫ ARマーカ画像をベジェ曲面により変形 ⚫ ベジェ曲面の制御点により変形度合いの調整 ⚫ BlenderのPythonスクリプトにより自動で生成 ⚫ 提案手法は2段階で構成 ⚫ 変形ARマーカの背景・変形除去を行うAAEを 事前に学習 ⚫ AAEと回帰推定のMulti-Layer Perceptron(MLP)を End-to-Endで学習 ⚫ End-to-End学習の流れ 1. 画像を入力し，復元画像と推定姿勢を出力 2. 画像誤差と姿勢誤差の和でエンコーダを更新 3. 画像を入力し，推定姿勢を出力 4. 姿勢誤差でMLPを更新 5. 1~4を繰り返す 評価実験 比較手法 姿勢推定誤差[deg] Roll Pitch Yaw 平均 AlexNet[3] 1.48 5.01 5.34 3.94 従来手法[1] 0.69 7.84 7.32 5.28 提案手法 0.64 2.87 2.87 2.13 比較手法 1枚あたりの推定時間[msec] AlexNet[3] 2.395 従来手法[1] 3,270 提案手法 6.233 今後の展望・参考文献 ⚫ 潜在変数を外観と形状に分離する手法を導入 [1]榎元等: “機械学習による変形AR マーカの3 次元位置・姿勢推定“, 動的画像処理 実利用化ワークショップ, 2022. [2]M.Sundermeyer et al．: “Implicit 3D Orientation Learning for 6D Object Detection from RGB Images”, ECCV, 2018. [3] A.Krizhevsky et al．: “ImageNet Classication with Deep Convolutional Neural Networks", NeurIPS, 2012. 変形した2次元コードの位置・姿勢推定 実験結果 変形ARマーカ画像の例 変形した2次元コード 推定姿勢 潜在変数 復元画像 画像 姿勢 画像誤差 姿勢誤差 入力画像 AAEと回帰推定のEnd-to-End学習の流れ