SlideShare a Scribd company logo
1 of 28
機械学習による
変形ARマーカの位置・姿勢推定
電気・電子・情報関係学会 東海支部連合大会
中部大学
榎元洋平 山内悠嗣
研究背景
• 2次元コードが普及し様々な場所で活用されている
• キャッシュレス決済、物品管理、広告、ロボットの自己位置推定に利用
メルペイ「コード決済」のやり方:https://www.itmedia.co.jp/mobile/articles/1903/19/news113.html
AprilTag:https://april.eecs.umich.edu/software/apriltag
2
ロボットの位置・姿勢の推定 キャッシュレス決済
2次元コード
• 2次元コードの代表的な例
• URL埋め込み, ID分類,姿勢・位置推定が可能
3
ARマーカ
QRコード
• 問題点
• 平面に貼られることを前提
• 角や曲面に貼られて変形すると正しく認識できない
ID:4 ID:8
ID:2
https://□□.jp
https://OO.jp https://××.jp
提案手法
• 研究目的
• 変形した2次元コードの検出、3次元姿勢の推定
• アプローチ
• SSD(Single Shot MultiBox Detector)でARマーカの検出
• AAE(Augmented Autoencoder)を用いてARマーカの変形を除去しその際に得ら
れる潜在変数により姿勢の推定
4
提案手法
• 研究目的
• 変形した2次元コードの検出、3次元姿勢の推定
• アプローチ
• SSD(Single Shot MultiBox Detector)でARマーカの検出
• AAE(Augmented Autoencoder)を用いてARマーカの変形を除去しその際に得ら
れる潜在変数により姿勢の推定
5
Single Shot MultiBox Detector (SSD)
• SSDは深層学習ベースの物体検出アルゴリズム
• SSDは物体検出とクラス分類を同時に推定
• 高速、高精度に物体を検出
SSD:Liu, Wei, et al. “Ssd: Single shot multibox detector.” European conference on computer vision. Springer, Cham, 2016
6
提案手法
• 研究目的
• 変形した2次元コードの検出、3次元姿勢の推定
• アプローチ
• SSD(Single Shot MultiBox Detector)でARマーカの検出
• AAE(Augmented Autoencoder)を用いてARマーカの変形を除去しその際に得ら
れる潜在変数により姿勢の推定
7
Augmented Autoencoder(AAE)
• ノイズを含む入力画像➡ノイズを除去し姿勢情報を含む画像を生成
• エンコーダーにより圧縮された物体の特徴量である潜在変数zを取得
AAE:M. Sundermeyer et al. : Implicit 3D Orientation Learning for 6D Object Detection from RGB Images, ECCV, 2019.
8
Encoder
出力 (𝑥′
𝑖)
Decoder
z
教師データ:変形のないARマーカ
訓練データ:変形ARマーカ
出力(推定):変形のない様に復元したARマーカ
訓練データ
教師データ(𝑥𝑖)
Encoder
z
提案手法におけるAAEの学習
• 訓練データに姿勢が対応する教師データを用意
• 訓練データをオートエンコーダに入力
• 教師データ𝑥𝑖と出力データ𝑥′
𝑖の損失誤差が小さくなるように学習
9
姿勢推定を行うための潜在変数zをエンコーダより取得可能
教師データ(𝑥𝑖)
訓練データ
L=Σi|| 𝑥𝑖 -𝑥′
𝑖||2
ネットワークを学習
出力 (𝑥′
𝑖)
Decoder
エンコーダによる潜在変数を用いた姿勢推定
step1. 「変形を除去した平面状のARマーカ」を生成可能なAEを学習
step2. エンコーダを用いた「姿勢情報データベース(DB)」の作成
step3. エンコーダを用いて「推定対象となる画像の潜在変数」を取得
step4. 3で得られた潜在変数をDBと照合し姿勢の推定
11
潜在変数:Z1
潜在変数:Z2
潜在変数:Z3
潜在変数:Z4
DB
潜在変数
照合
Encoder
Encoder
学習データ
テストデータ
データベースの作成
• 各姿勢の変形ARマーカの姿勢情報をデータベース(DB)に保存
• マーカの姿勢範囲:roll [0~360°], pitch [-35~35°], yaw [-15~15°]
• 角度の分解能:3°
• 撮影した画像264124枚を学習済みのエンコーダに入力
• エンコーダより取得した潜在変数zをDBに保存
12
評価実験
• 学習データの作成
• 提案手法の有効性の検証
• SSDによるARマーカの検出及びIDの分類精度の評価
• AAEによる姿勢推定精度の評価
13
検出対象のARマーカ
• ロボット分野で利用されるROSのar_track_alvarパッケージを使用
• ARマーカの種類:ID:0~9の10種類
• ARマーカの大きさ:縦横50mm
ar_track_alvar:https://wiki.ros.org/ar_track_alvar
14
ARマーカを貼り付ける円柱
• 変形させるために図の円柱に貼付
• 半径20~50mmの5mm間隔の大きさで円柱を用意しARマーカを貼付
15
変形度合
小さい
大きい
学習データの作成
• ロボットシミュレーターGazeboによって学習データを自動生成
• SSD及びAAEの学習に使用
16
撮影した画像
学習データ
• 実空間でも検出できる様に背景画像を追加
Indoor Scene Recognition:http://web.mit.edu/torralba/www/indoor.html
17
評価実験
• 学習データの作成
• 提案手法の有効性の検証
• SSDによるARマーカの検出及びIDの分類精度の評価
• AAEによる姿勢推定精度の評価
18
評価実験の概要
• 下記の2つの実験を実施
1. カメラとARマーカの距離の違いによる検出精度の比較
2. 円柱の半径の違いによる検出精度の比較
• 比較手法
• 提案手法:SSD
• 従来手法:ar_track_alvar
• ROSで利用可能なオープンソース
• ARマーカの生成や姿勢推定が可能
• 評価指標
• mAP:ARマーカのID分類精度
• IoU:ARマーカの推定位置の精度
19
評価実験1
• 距離の違いによるmAP・IoUの比較
• カメラとARマーカの距離による検出精度の違いをar_track_alvarと比較
• ar_track_alvarはIoUを出力できないため、mAPのみ評価
• 評価データ
• カメラとの距離0.4~0.5m、0.5~0.6m、0.6~0.7m、0.7~0.8mの画像を各300枚
• 各間隔の間にランダムに生成したARマーカを合計1200枚撮影
20
実験結果1
• 提案手法は0.76m, ar_track_alvarは0.70mまで検出
• 提案手法はar_track_alvarより検出精度は2倍以上
21
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
0.4~0.5 0.5~0.6 0.6~0.7 0.7~0.8
m
AP
距離 [m]
提案手法
ar_track_alvar
評価指標 mAP IoU
提案手法 0.78 0.69
ar_track_alvar 0.35 -
距離による姿勢推定の比較
実験結果2
• ar_track_alvarでは半径30mm以下のARマーカを検出不可
• 提案手法ではどの変形度合いでも検出可能
22
提案手法 ar_track_alvar
円柱半径[mm] mAP IoU mAP IoU
20 0.79 0.68 0.00 -
30 0.83 0.71 0.00 -
40 0.85 0.73 0.56 -
評価実験
• 学習データの作成
• 提案手法の有効性の検証
• SSDによるARマーカの検出及びIDの分類精度の評価
• AAEによる姿勢推定精度の評価
24
実験概要
1. ARマーカの姿勢[roll, pitch, yaw]の推定精度の検証
2. 画像中央から位置ずれを想定した姿勢の推定精度の検証
• 評価指標
• 姿勢の推定精度:平均絶対誤差(MAE)
• 画像の復元精度:平均平方二乗誤差(RMSE)
25
実験に使用するデータ
• 学習データ
• 学習画像は1種類あたり1500枚撮影
• 「訓練データ・教師データ」の60種類,合計90000枚用意
• 評価データ
• SSDより検出された画像を使用
• 半径20, 30, 40[mm]の100枚の画像
26
評価実験1
• 評価データ100枚の姿勢の推定精度(MAE)と復元精度(RMSE)を算出
• 推定結果は平均して2~3°の誤差
• 変形の小さいモデルほど精度が向上
• 復元精度に伴って姿勢の推定精度が向上
27
円柱半径[mm] roll pitch yaw 平均
20 4.39 3.06 2.77 3.40
30 2.76 2.88 2.58 2.74
40 2.52 2.65 2.43 2.53
半径[mm] RMSE
20 0.238
30 0.226
40 0.214
姿勢の推定精度(MAE) 画像の復元精度(RMSE)
評価実験2の概要
• 画像中央からの位置ずれを想定した姿勢の推定精度(MAE)
• 擬似的にマーカ中心を一定の割合でずらす
• 想定する位置ずれ:0%, 10%, 20%
29
位置ずれ0%
位置ずれ10%
位置ずれ20%
評価実験3
• 画像中央からの位置ずれを想定した姿勢の推定精度(MAE)
• 位置ずれに比例し、誤差も増加
30
位置ずれ0% 位置ずれ10% 位置ずれ20%
入力 出力 入力 出力 入力 出力
円柱半径[mm] 0% 10% 20%
20 3.40 4.73 37.4
30 2.74 3.65 28.6
40 2.53 3.41 25.1
まとめ
• 機械学習による位置,姿勢推定を提案
• SSDを用いて変形ARマーカを認識
• 変形度合が大きいARマーカを検出可能なことを確認
• AAEを用いた姿勢推定が可能であることを確認
• 今後の課題
• 実環境下での評価
• 三次元位置の推定
• あらゆる変形に対応したARマーカの検出及び姿勢推定法の検討
31

More Related Content

What's hot

SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII
 
20190307 visualslam summary
20190307 visualslam summary20190307 visualslam summary
20190307 visualslam summaryTakuya Minagawa
 
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングLiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングTakuya Minagawa
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​SSII
 
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチMIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチHironobu Fujiyoshi
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説Masaya Kaneko
 
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォームAutoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォームTakuya Azumi
 
ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例Yoshitaka HARA
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介Ryohei Ueda
 
SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介miyanegi
 
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎yohei okawa
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)Toru Tamaki
 
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMSLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMIwami Kazuya
 
CNN-SLAMざっくり
CNN-SLAMざっくりCNN-SLAMざっくり
CNN-SLAMざっくりEndoYuuki
 
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​SSII
 
オープンソース SLAM の分類
オープンソース SLAM の分類オープンソース SLAM の分類
オープンソース SLAM の分類Yoshitaka HARA
 

What's hot (20)

SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
SSII2021 [TS1] Visual SLAM ~カメラ幾何の基礎から最近の技術動向まで~
 
G2o
G2oG2o
G2o
 
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
SSII2019TS: 実践カメラキャリブレーション ~カメラを用いた実世界計測の基礎と応用~
 
20190307 visualslam summary
20190307 visualslam summary20190307 visualslam summary
20190307 visualslam summary
 
LiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピングLiDAR点群と画像とのマッピング
LiDAR点群と画像とのマッピング
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜​
 
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチMIRU2013チュートリアル:SIFTとそれ以降のアプローチ
MIRU2013チュートリアル:SIFTとそれ以降のアプローチ
 
ORB-SLAMの手法解説
ORB-SLAMの手法解説ORB-SLAMの手法解説
ORB-SLAMの手法解説
 
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォームAutoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
Autoware: ROSを用いた一般道自動運転向けソフトウェアプラットフォーム
 
ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例ロボティクスにおける SLAM 手法と実用化例
ロボティクスにおける SLAM 手法と実用化例
 
Visual slam
Visual slamVisual slam
Visual slam
 
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
三次元点群処理ライブラリPCLと 統合ロボットシステム研究での 利用例の紹介
 
SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介SLAM開発における課題と対策の一例の紹介
SLAM開発における課題と対策の一例の紹介
 
SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎SLAM入門 第2章 SLAMの基礎
SLAM入門 第2章 SLAMの基礎
 
3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)3次元レジストレーション(PCLデモとコード付き)
3次元レジストレーション(PCLデモとコード付き)
 
SLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAMSLAM勉強会(3) LSD-SLAM
SLAM勉強会(3) LSD-SLAM
 
SLAM勉強会(PTAM)
SLAM勉強会(PTAM)SLAM勉強会(PTAM)
SLAM勉強会(PTAM)
 
CNN-SLAMざっくり
CNN-SLAMざっくりCNN-SLAMざっくり
CNN-SLAMざっくり
 
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​SSII2020SS:  微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜​
 
オープンソース SLAM の分類
オープンソース SLAM の分類オープンソース SLAM の分類
オープンソース SLAM の分類
 

Similar to 機械学習による変形ARマーカの位置・姿勢推定, 電気・電子・情報関係学会東海支部連合大会, 2021

QR Codes - Quick Response Code.
QR Codes - Quick Response Code.QR Codes - Quick Response Code.
QR Codes - Quick Response Code.Clinton Dsouza
 
QR Codes PETE&C
QR Codes PETE&CQR Codes PETE&C
QR Codes PETE&CChris Hyde
 
QR Codes: Introduction and Case Studies
QR Codes:  Introduction and Case StudiesQR Codes:  Introduction and Case Studies
QR Codes: Introduction and Case StudiesGlobal Thinking
 
PacNOG 25: Life of a QR code
PacNOG 25: Life of a QR codePacNOG 25: Life of a QR code
PacNOG 25: Life of a QR codeAPNIC
 
Quick-Response-Code.pptx
Quick-Response-Code.pptxQuick-Response-Code.pptx
Quick-Response-Code.pptxsgvacationleave
 
Making Smartphones Smarter in the Library: Reaching Mobile Users with QR Code
Making Smartphones Smarter in the Library: Reaching Mobile Users with QR CodeMaking Smartphones Smarter in the Library: Reaching Mobile Users with QR Code
Making Smartphones Smarter in the Library: Reaching Mobile Users with QR CodeBen Rawlins
 
Review of Types and Analysis of Two Dimensional Bar Codes in Logistics and E-...
Review of Types and Analysis of Two Dimensional Bar Codes in Logistics and E-...Review of Types and Analysis of Two Dimensional Bar Codes in Logistics and E-...
Review of Types and Analysis of Two Dimensional Bar Codes in Logistics and E-...IRJET Journal
 
Exploiting Quick Response Codes
Exploiting Quick Response CodesExploiting Quick Response Codes
Exploiting Quick Response CodesAkshay Patil
 
Barcode technology ppt
Barcode technology pptBarcode technology ppt
Barcode technology pptNeeta Chavare
 
Telling Tales: QR Codes in UK Education
Telling Tales: QR Codes in UK EducationTelling Tales: QR Codes in UK Education
Telling Tales: QR Codes in UK Educationandyramsden
 
Q rious about qr codes
Q rious about qr codesQ rious about qr codes
Q rious about qr codespkwyatt
 
QR codes as a learning technology
QR codes as a learning technologyQR codes as a learning technology
QR codes as a learning technologyandyramsden
 

Similar to 機械学習による変形ARマーカの位置・姿勢推定, 電気・電子・情報関係学会東海支部連合大会, 2021 (20)

QR Codes - Quick Response Code.
QR Codes - Quick Response Code.QR Codes - Quick Response Code.
QR Codes - Quick Response Code.
 
QR Codes PETE&C
QR Codes PETE&CQR Codes PETE&C
QR Codes PETE&C
 
QR codes in libraries (By Gaurav Boudh)
QR codes in libraries (By Gaurav Boudh)QR codes in libraries (By Gaurav Boudh)
QR codes in libraries (By Gaurav Boudh)
 
QR Codes
QR CodesQR Codes
QR Codes
 
QR Codes: Introduction and Case Studies
QR Codes:  Introduction and Case StudiesQR Codes:  Introduction and Case Studies
QR Codes: Introduction and Case Studies
 
What is a QR Code?
What is a QR Code?What is a QR Code?
What is a QR Code?
 
PacNOG 25: Life of a QR code
PacNOG 25: Life of a QR codePacNOG 25: Life of a QR code
PacNOG 25: Life of a QR code
 
Quick-Response-Code.pptx
Quick-Response-Code.pptxQuick-Response-Code.pptx
Quick-Response-Code.pptx
 
Making Smartphones Smarter in the Library: Reaching Mobile Users with QR Code
Making Smartphones Smarter in the Library: Reaching Mobile Users with QR CodeMaking Smartphones Smarter in the Library: Reaching Mobile Users with QR Code
Making Smartphones Smarter in the Library: Reaching Mobile Users with QR Code
 
Review of Types and Analysis of Two Dimensional Bar Codes in Logistics and E-...
Review of Types and Analysis of Two Dimensional Bar Codes in Logistics and E-...Review of Types and Analysis of Two Dimensional Bar Codes in Logistics and E-...
Review of Types and Analysis of Two Dimensional Bar Codes in Logistics and E-...
 
Exploiting Quick Response Codes
Exploiting Quick Response CodesExploiting Quick Response Codes
Exploiting Quick Response Codes
 
Barcode technology ppt
Barcode technology pptBarcode technology ppt
Barcode technology ppt
 
Qr code ppt
Qr code pptQr code ppt
Qr code ppt
 
Telling Tales: QR Codes in UK Education
Telling Tales: QR Codes in UK EducationTelling Tales: QR Codes in UK Education
Telling Tales: QR Codes in UK Education
 
QR Presentation
QR Presentation QR Presentation
QR Presentation
 
Q rious about qr codes
Q rious about qr codesQ rious about qr codes
Q rious about qr codes
 
Qr code presentation
Qr code presentationQr code presentation
Qr code presentation
 
QR codes as a learning technology
QR codes as a learning technologyQR codes as a learning technology
QR codes as a learning technology
 
Qr codes
Qr codesQr codes
Qr codes
 
QR Codes
QR CodesQR Codes
QR Codes
 

More from MILab

画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習MILab
 
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習MILab
 
変形ARマーカの高速かつ高精度な姿勢推定
変形ARマーカの高速かつ高精度な姿勢推定変形ARマーカの高速かつ高精度な姿勢推定
変形ARマーカの高速かつ高精度な姿勢推定MILab
 
自己教師あり学習を導入したWavelet Vision TransformerによるDeepfake検出の高精度化
自己教師あり学習を導入したWavelet Vision TransformerによるDeepfake検出の高精度化自己教師あり学習を導入したWavelet Vision TransformerによるDeepfake検出の高精度化
自己教師あり学習を導入したWavelet Vision TransformerによるDeepfake検出の高精度化MILab
 
未来画像予測モデルと時間重み付けを導入した価値関数に基づく強化学習
未来画像予測モデルと時間重み付けを導入した価値関数に基づく強化学習 未来画像予測モデルと時間重み付けを導入した価値関数に基づく強化学習
未来画像予測モデルと時間重み付けを導入した価値関数に基づく強化学習 MILab
 
動的環境における動作計画のための C-space の予測
動的環境における動作計画のための C-space の予測動的環境における動作計画のための C-space の予測
動的環境における動作計画のための C-space の予測MILab
 
人の姿勢予測に基づいた協働ロボットの動作計画
人の姿勢予測に基づいた協働ロボットの動作計画人の姿勢予測に基づいた協働ロボットの動作計画
人の姿勢予測に基づいた協働ロボットの動作計画MILab
 
時系列予測モデルを導入した価値関数に基づく強化学習
時系列予測モデルを導入した価値関数に基づく強化学習時系列予測モデルを導入した価値関数に基づく強化学習
時系列予測モデルを導入した価値関数に基づく強化学習MILab
 
エッジコンピューティングのための圧縮画像認識
エッジコンピューティングのための圧縮画像認識エッジコンピューティングのための圧縮画像認識
エッジコンピューティングのための圧縮画像認識MILab
 
Vox2C-space:動作計画のための機械学習に基づくC-spaceの生成
Vox2C-space:動作計画のための機械学習に基づくC-spaceの生成Vox2C-space:動作計画のための機械学習に基づくC-spaceの生成
Vox2C-space:動作計画のための機械学習に基づくC-spaceの生成MILab
 
機械学習に基づく経路計画, 電子情報通信学会総合大会, 2022
機械学習に基づく経路計画, 電子情報通信学会総合大会, 2022機械学習に基づく経路計画, 電子情報通信学会総合大会, 2022
機械学習に基づく経路計画, 電子情報通信学会総合大会, 2022MILab
 

More from MILab (11)

画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
 
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
画像の圧縮・復元モデルと認識モデルのEnd-to-End学習
 
変形ARマーカの高速かつ高精度な姿勢推定
変形ARマーカの高速かつ高精度な姿勢推定変形ARマーカの高速かつ高精度な姿勢推定
変形ARマーカの高速かつ高精度な姿勢推定
 
自己教師あり学習を導入したWavelet Vision TransformerによるDeepfake検出の高精度化
自己教師あり学習を導入したWavelet Vision TransformerによるDeepfake検出の高精度化自己教師あり学習を導入したWavelet Vision TransformerによるDeepfake検出の高精度化
自己教師あり学習を導入したWavelet Vision TransformerによるDeepfake検出の高精度化
 
未来画像予測モデルと時間重み付けを導入した価値関数に基づく強化学習
未来画像予測モデルと時間重み付けを導入した価値関数に基づく強化学習 未来画像予測モデルと時間重み付けを導入した価値関数に基づく強化学習
未来画像予測モデルと時間重み付けを導入した価値関数に基づく強化学習
 
動的環境における動作計画のための C-space の予測
動的環境における動作計画のための C-space の予測動的環境における動作計画のための C-space の予測
動的環境における動作計画のための C-space の予測
 
人の姿勢予測に基づいた協働ロボットの動作計画
人の姿勢予測に基づいた協働ロボットの動作計画人の姿勢予測に基づいた協働ロボットの動作計画
人の姿勢予測に基づいた協働ロボットの動作計画
 
時系列予測モデルを導入した価値関数に基づく強化学習
時系列予測モデルを導入した価値関数に基づく強化学習時系列予測モデルを導入した価値関数に基づく強化学習
時系列予測モデルを導入した価値関数に基づく強化学習
 
エッジコンピューティングのための圧縮画像認識
エッジコンピューティングのための圧縮画像認識エッジコンピューティングのための圧縮画像認識
エッジコンピューティングのための圧縮画像認識
 
Vox2C-space:動作計画のための機械学習に基づくC-spaceの生成
Vox2C-space:動作計画のための機械学習に基づくC-spaceの生成Vox2C-space:動作計画のための機械学習に基づくC-spaceの生成
Vox2C-space:動作計画のための機械学習に基づくC-spaceの生成
 
機械学習に基づく経路計画, 電子情報通信学会総合大会, 2022
機械学習に基づく経路計画, 電子情報通信学会総合大会, 2022機械学習に基づく経路計画, 電子情報通信学会総合大会, 2022
機械学習に基づく経路計画, 電子情報通信学会総合大会, 2022
 

Recently uploaded

ĐỀ THAM KHẢO KÌ THI TUYỂN SINH VÀO LỚP 10 MÔN TIẾNG ANH FORM 50 CÂU TRẮC NGHI...
ĐỀ THAM KHẢO KÌ THI TUYỂN SINH VÀO LỚP 10 MÔN TIẾNG ANH FORM 50 CÂU TRẮC NGHI...ĐỀ THAM KHẢO KÌ THI TUYỂN SINH VÀO LỚP 10 MÔN TIẾNG ANH FORM 50 CÂU TRẮC NGHI...
ĐỀ THAM KHẢO KÌ THI TUYỂN SINH VÀO LỚP 10 MÔN TIẾNG ANH FORM 50 CÂU TRẮC NGHI...Nguyen Thanh Tu Collection
 
demyelinated disorder: multiple sclerosis.pptx
demyelinated disorder: multiple sclerosis.pptxdemyelinated disorder: multiple sclerosis.pptx
demyelinated disorder: multiple sclerosis.pptxMohamed Rizk Khodair
 
The Last Leaf, a short story by O. Henry
The Last Leaf, a short story by O. HenryThe Last Leaf, a short story by O. Henry
The Last Leaf, a short story by O. HenryEugene Lysak
 
II BIOSENSOR PRINCIPLE APPLICATIONS AND WORKING II
II BIOSENSOR PRINCIPLE APPLICATIONS AND WORKING IIII BIOSENSOR PRINCIPLE APPLICATIONS AND WORKING II
II BIOSENSOR PRINCIPLE APPLICATIONS AND WORKING IIagpharmacy11
 
MichaelStarkes_UncutGemsProjectSummary.pdf
MichaelStarkes_UncutGemsProjectSummary.pdfMichaelStarkes_UncutGemsProjectSummary.pdf
MichaelStarkes_UncutGemsProjectSummary.pdfmstarkes24
 
會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽
會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽
會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽中 央社
 
Software testing for project report .pdf
Software testing for project report .pdfSoftware testing for project report .pdf
Software testing for project report .pdfKamal Acharya
 
Incoming and Outgoing Shipments in 2 STEPS Using Odoo 17
Incoming and Outgoing Shipments in 2 STEPS Using Odoo 17Incoming and Outgoing Shipments in 2 STEPS Using Odoo 17
Incoming and Outgoing Shipments in 2 STEPS Using Odoo 17Celine George
 
UChicago CMSC 23320 - The Best Commit Messages of 2024
UChicago CMSC 23320 - The Best Commit Messages of 2024UChicago CMSC 23320 - The Best Commit Messages of 2024
UChicago CMSC 23320 - The Best Commit Messages of 2024Borja Sotomayor
 
HVAC System | Audit of HVAC System | Audit and regulatory Comploance.pptx
HVAC System | Audit of HVAC System | Audit and regulatory Comploance.pptxHVAC System | Audit of HVAC System | Audit and regulatory Comploance.pptx
HVAC System | Audit of HVAC System | Audit and regulatory Comploance.pptxKunal10679
 
Capitol Tech Univ Doctoral Presentation -May 2024
Capitol Tech Univ Doctoral Presentation -May 2024Capitol Tech Univ Doctoral Presentation -May 2024
Capitol Tech Univ Doctoral Presentation -May 2024CapitolTechU
 
Removal Strategy _ FEFO _ Working with Perishable Products in Odoo 17
Removal Strategy _ FEFO _ Working with Perishable Products in Odoo 17Removal Strategy _ FEFO _ Working with Perishable Products in Odoo 17
Removal Strategy _ FEFO _ Working with Perishable Products in Odoo 17Celine George
 
ANTI PARKISON DRUGS.pptx
ANTI         PARKISON          DRUGS.pptxANTI         PARKISON          DRUGS.pptx
ANTI PARKISON DRUGS.pptxPoojaSen20
 
會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文
會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文
會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文中 央社
 
BỘ LUYỆN NGHE TIẾNG ANH 8 GLOBAL SUCCESS CẢ NĂM (GỒM 12 UNITS, MỖI UNIT GỒM 3...
BỘ LUYỆN NGHE TIẾNG ANH 8 GLOBAL SUCCESS CẢ NĂM (GỒM 12 UNITS, MỖI UNIT GỒM 3...BỘ LUYỆN NGHE TIẾNG ANH 8 GLOBAL SUCCESS CẢ NĂM (GỒM 12 UNITS, MỖI UNIT GỒM 3...
BỘ LUYỆN NGHE TIẾNG ANH 8 GLOBAL SUCCESS CẢ NĂM (GỒM 12 UNITS, MỖI UNIT GỒM 3...Nguyen Thanh Tu Collection
 
An overview of the various scriptures in Hinduism
An overview of the various scriptures in HinduismAn overview of the various scriptures in Hinduism
An overview of the various scriptures in HinduismDabee Kamal
 
MSc Ag Genetics & Plant Breeding: Insights from Previous Year JNKVV Entrance ...
MSc Ag Genetics & Plant Breeding: Insights from Previous Year JNKVV Entrance ...MSc Ag Genetics & Plant Breeding: Insights from Previous Year JNKVV Entrance ...
MSc Ag Genetics & Plant Breeding: Insights from Previous Year JNKVV Entrance ...Krashi Coaching
 

Recently uploaded (20)

Word Stress rules esl .pptx
Word Stress rules esl               .pptxWord Stress rules esl               .pptx
Word Stress rules esl .pptx
 
ĐỀ THAM KHẢO KÌ THI TUYỂN SINH VÀO LỚP 10 MÔN TIẾNG ANH FORM 50 CÂU TRẮC NGHI...
ĐỀ THAM KHẢO KÌ THI TUYỂN SINH VÀO LỚP 10 MÔN TIẾNG ANH FORM 50 CÂU TRẮC NGHI...ĐỀ THAM KHẢO KÌ THI TUYỂN SINH VÀO LỚP 10 MÔN TIẾNG ANH FORM 50 CÂU TRẮC NGHI...
ĐỀ THAM KHẢO KÌ THI TUYỂN SINH VÀO LỚP 10 MÔN TIẾNG ANH FORM 50 CÂU TRẮC NGHI...
 
demyelinated disorder: multiple sclerosis.pptx
demyelinated disorder: multiple sclerosis.pptxdemyelinated disorder: multiple sclerosis.pptx
demyelinated disorder: multiple sclerosis.pptx
 
The Last Leaf, a short story by O. Henry
The Last Leaf, a short story by O. HenryThe Last Leaf, a short story by O. Henry
The Last Leaf, a short story by O. Henry
 
II BIOSENSOR PRINCIPLE APPLICATIONS AND WORKING II
II BIOSENSOR PRINCIPLE APPLICATIONS AND WORKING IIII BIOSENSOR PRINCIPLE APPLICATIONS AND WORKING II
II BIOSENSOR PRINCIPLE APPLICATIONS AND WORKING II
 
MichaelStarkes_UncutGemsProjectSummary.pdf
MichaelStarkes_UncutGemsProjectSummary.pdfMichaelStarkes_UncutGemsProjectSummary.pdf
MichaelStarkes_UncutGemsProjectSummary.pdf
 
Operations Management - Book1.p - Dr. Abdulfatah A. Salem
Operations Management - Book1.p  - Dr. Abdulfatah A. SalemOperations Management - Book1.p  - Dr. Abdulfatah A. Salem
Operations Management - Book1.p - Dr. Abdulfatah A. Salem
 
會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽
會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽
會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽會考英聽
 
Software testing for project report .pdf
Software testing for project report .pdfSoftware testing for project report .pdf
Software testing for project report .pdf
 
Incoming and Outgoing Shipments in 2 STEPS Using Odoo 17
Incoming and Outgoing Shipments in 2 STEPS Using Odoo 17Incoming and Outgoing Shipments in 2 STEPS Using Odoo 17
Incoming and Outgoing Shipments in 2 STEPS Using Odoo 17
 
UChicago CMSC 23320 - The Best Commit Messages of 2024
UChicago CMSC 23320 - The Best Commit Messages of 2024UChicago CMSC 23320 - The Best Commit Messages of 2024
UChicago CMSC 23320 - The Best Commit Messages of 2024
 
HVAC System | Audit of HVAC System | Audit and regulatory Comploance.pptx
HVAC System | Audit of HVAC System | Audit and regulatory Comploance.pptxHVAC System | Audit of HVAC System | Audit and regulatory Comploance.pptx
HVAC System | Audit of HVAC System | Audit and regulatory Comploance.pptx
 
Capitol Tech Univ Doctoral Presentation -May 2024
Capitol Tech Univ Doctoral Presentation -May 2024Capitol Tech Univ Doctoral Presentation -May 2024
Capitol Tech Univ Doctoral Presentation -May 2024
 
Removal Strategy _ FEFO _ Working with Perishable Products in Odoo 17
Removal Strategy _ FEFO _ Working with Perishable Products in Odoo 17Removal Strategy _ FEFO _ Working with Perishable Products in Odoo 17
Removal Strategy _ FEFO _ Working with Perishable Products in Odoo 17
 
ANTI PARKISON DRUGS.pptx
ANTI         PARKISON          DRUGS.pptxANTI         PARKISON          DRUGS.pptx
ANTI PARKISON DRUGS.pptx
 
會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文
會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文
會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文會考英文
 
BỘ LUYỆN NGHE TIẾNG ANH 8 GLOBAL SUCCESS CẢ NĂM (GỒM 12 UNITS, MỖI UNIT GỒM 3...
BỘ LUYỆN NGHE TIẾNG ANH 8 GLOBAL SUCCESS CẢ NĂM (GỒM 12 UNITS, MỖI UNIT GỒM 3...BỘ LUYỆN NGHE TIẾNG ANH 8 GLOBAL SUCCESS CẢ NĂM (GỒM 12 UNITS, MỖI UNIT GỒM 3...
BỘ LUYỆN NGHE TIẾNG ANH 8 GLOBAL SUCCESS CẢ NĂM (GỒM 12 UNITS, MỖI UNIT GỒM 3...
 
IPL Online Quiz by Pragya; Question Set.
IPL Online Quiz by Pragya; Question Set.IPL Online Quiz by Pragya; Question Set.
IPL Online Quiz by Pragya; Question Set.
 
An overview of the various scriptures in Hinduism
An overview of the various scriptures in HinduismAn overview of the various scriptures in Hinduism
An overview of the various scriptures in Hinduism
 
MSc Ag Genetics & Plant Breeding: Insights from Previous Year JNKVV Entrance ...
MSc Ag Genetics & Plant Breeding: Insights from Previous Year JNKVV Entrance ...MSc Ag Genetics & Plant Breeding: Insights from Previous Year JNKVV Entrance ...
MSc Ag Genetics & Plant Breeding: Insights from Previous Year JNKVV Entrance ...
 

機械学習による変形ARマーカの位置・姿勢推定, 電気・電子・情報関係学会東海支部連合大会, 2021

Editor's Notes

  1. 機械学習による変形AR マーカの位置・姿勢推定と題して中部大学の榎元洋平が発表します。
  2. 近年2次元コードが普及しキャッシュレス決済や物品管理、広告、ロボットの認識など様々な場所で2次元コードが活用されています。
  3. 代表的な2次元コードにQRコードとARマーカがあります。 2次元コードはURL埋め込み、ID分類、位置・姿勢推定が可能です。 問題点として、これらの2次元コードは平面に貼る事を前提としているため、角や曲面に貼られ変形すると正しく認識できません。 https://news.yahoo.co.jp/byline/moriimasakatsu/20180905-00095675
  4. そこで、本研究の研究目的は、変形した2次元コードの検出、3次元姿勢の推定です。 アプローチとしてSSDでARマーカの検出、 AAEによるARマーカの姿勢推定の2段階に分かれます。
  5. まず、SSDよるARマーカの検出の説明をします。
  6. SSDは深層学習ベースの物体検出アルゴリズムです。 SSDはクラス分類と物体検出を同時に行い、高速かつ高精度に物体検出が可能です。 この様に四角で囲み物体検出し、人や車を分類してします。 このSSDを用いてARマーカの検出を行います。
  7. 次にAAEによる姿勢推定の説明をします。
  8. まずAAEはノイズを含む入力画像から、ノイズを除去し姿勢情報を含む画像を生成する手法です. 訓練データの変形ARマーカを変形のないARマーカに復元する様にエンコーダーとデコーダーを学習します。 エンコーダーにより圧縮された物体の特徴量である潜在変数zを取得します。
  9. AAEの学習方法です。 ・訓練データに姿勢が対応する教師データを用意します。 ・訓練データだけをエンコーダーに入力し得られた潜在変数zをデコータに通して画像を復元します。 ・教師データxiと出力データx’iの損失誤差が小さくなるようにエンコーダーとデコーダーを学習します。 ・これによって変形ARマーカから変形のないARマーカを復元できる様学習しました。 ・この時(アニメ)エンコーダーから得られる潜在変数より姿勢推定を行います。 (・これによって姿勢推定を行うための潜在変数zをエンコーダより取得する事ができます。 このエンコーダーを用いて次のページから説明する姿勢推定やDBを作成します。)
  10. 前ページで説明した、姿勢推定を行うための潜在変数zを取得できるエンコーダーを学習します。(前ページのことだよ説明) 次に、学習済みのエンコーダによって姿勢情報データベース(DB)を作成します。 そして、学習済みエンコーダを用いてテストデータの潜在変数を取得します。 最後に、step3で得られた潜在変数とDB内の潜在変数をコサイン類似度によって照合し、 最も類似度が高い潜在変数をテストデータの姿勢と推定をします。
  11. データベースの作成方法を説明します。 記載されている範囲内かつ分解能3°で変形ARマーカの姿勢を変化させ撮影します。 撮影した画像264124枚を学習済みエンコーダーに入力し、潜在変数zを獲得します。 撮影した画像全ての潜在変数を取得しDBを作成します。 一枚当たりにかかる時間 どうやってやったら短くできるか 限界の時の図見え方
  12. 次に学習データの作成方法の説明をします。
  13. 本研究の検出対象はARマーカです。 ロボット分野で利用されるROSのar_track_alvarを使用しました。 ID0~9の10種類、大きさは縦横50mmです。
  14. 図の様に半径20~50mmの5mm間隔の大きさで円柱を用意しARマーカを貼り付けることでARマーカを変形させました。
  15. SSDには大量の学習データが必要です。 しかし、実世界で大量の学習データを収集することは困難なため、 ロボットシミュレーターGazeboによってARマーカを自動生成し学習データを作成しました。
  16. 学習データの例です。 実空間でも検出できる様に背景画像を追加しました。
  17. 提案手法の有効性を確認するために評価実験を行いました。 まず、SSDによるARマーカの検出及びIDの分類精度の評価を行いました。
  18. 下記の2つの実験を行いました。 カメラとARマーカの距離の違いによる検出精度の比較 円柱の半径の違いによる検出精度の比較 比較手法は、提案手法のSSDと従来法のar_track_alvarです。 ar_track_alvarは、ROSで利用可能なオープンソースでARマーカの生成や姿勢推定が可能です。 評価指標は、mAPとIoUです。
  19. カメラとARマーカの距離による検出精度の違いをar_track_alvarと比較しました。 ar_track_alvarはIoUを出力できないため、mAPのみを評価します。
  20. 画像は評価データの例です。 一定の精度でARマーカの認識できましたが0.7m以降はARマーカの検出精度は低下しました。 しかし、提案手法はar_track_alvarより2倍以上の精度で検出できました。 Ssd0.76 ar_track_alvar0.70
  21. 次にARマーカの半径による検出精度の違いをar_track_alvarと比較しました。 ARマーカが貼付された各半径の円柱の画像を100枚ずつ用意しました。 ar_track_alvarは半径30mm以下はARマーカを検出できませんでしたが、 提案手法ではどの変形度合いでも検出できました。 結果より機械学習によって変形を吸収し、変形度合いが大きいARマーカでも高精度に検出できました。
  22. 検出結果の例です。 提案手法によって変形したARマーカの検出が確認できました。
  23. 次に、AAEによる姿勢推定精度の評価を行いました。
  24. 下記の2つの実験を行いました。 ARマーカの姿勢[roll, pitch, yaw]の推定精度の検証 画像中央から位置ずれを想定した姿勢の推定精度の検証 評価指標に平均絶対誤差(MAE)と,平均平方二乗誤差(RMSE)を用います。
  25. 実験に使用するデータの説明をします. 学習データは1種類あたり1500枚撮影し「訓練データ・教師データ」の60種類,合計90,000枚用意しました。 評価データはSSDより検出された半径20, 30, 40[mm]の変形ARマーカ、各100枚の画像です。 以下が評価データの例です。 okナ例とngな例の画像欲しい
  26. ARマーカの姿勢の推定精度と画像の復元精度は表の様になりました。 AAEによって2,3°の誤差がありましたが姿勢推定をする事ができました。 また、変形の小さいモデルほど復元精度が向上し、それに伴って姿勢推定の精度が上がることが分かります。 この結果より復元精度も姿勢推定に影響があることが分かります。 (yawは角度が少ない)
  27. 評価実験2 AAEを用いた変形ARマーカの復元精度(RMSE)は表の様になりました。 高精度に復元できている事が分かりました。
  28. 画像の中央からの位置ずれを想定した姿勢の推定精度を検証しました。 マーカの中心から各割合でずらした画像で姿勢推定を行いました。 ※AAEに入力する際にバウンディングボックスを調整し128x128ピクセルにします. したがって10%の場合は13ピクセル,20%の場合は26ベクトルずらしています.
  29. ズレが大きいほど復元精度と、姿勢推定の精度が低下しました。 この結果からSSDによる位置推定のズレが姿勢推定の結果に大きく影響を及ぼすことが分かります。 理由 p30のずれとは? SSDで物体検出する際のバウンドディングボックスのズレを想定しています。 DBではカメラの中心にARマーカがくる様に撮影しています。 DBの潜在変数と推定対象の潜在変数を比較して姿勢推定を行います。 その際にDBはカメラの中央にARマーカがくる様に撮影しています。 中央にある画像の潜在変数と右側にズレている画像の潜在変数は大きく異なってします為誤差が生じます。
  30. 本研究では機械学習によって変形ARマーカの位置、姿勢推定法を提案しました。 SSDを用いて変形ARマーカを認識し、変形度合いが大きいARマーカでも検出可能である事を確認しました。 また、AAEによって変形したARマーカでもの変形を除去した画像の潜在変数によって姿勢を推定可能である事が確認できました。 今後の課題は実環境下での評価、3次元位置の推定、あらゆる変形に対応したARマーカの検出及び姿勢推定法の検討を行います。 あらゆる変形とは? 今回は円柱にARマーカを張り付けて均一な変形させましたが, 今後はARマーカを布のようなものに張り付け,均一ではない変形でもARマーカを検出できるようにしたいです.
  31. 1枚処理するのにかかる時間は? 1枚当たり、5.9秒。 早くなりそう? 5.9秒の内、5.5秒は推定対象の画像の潜在変数とDBの潜在変数の照合です。 現在、潜在変数は128次元あり、照合はコサイン類似度によって計算しています。 潜在変数を二値化しルックアップテーブルを用いて、ハミング距離によって照合を行うことで時間短縮可能だと考えます。
  32. なぜARマーカの姿勢推定が必要か? ロボットで物体をつかむタスクがある場合、ARマーカを基準にその物体をつかむ。 その際ARマーカの姿勢が分かれば、ロボットハンドの角度やアームの位置の持って行く時に利用。