没入コミュニケーションに使用する
3次元仮想キャラクタの半自動生成
京都大学 西田研究室
柴 優季
2012年2月9日木曜日
背景
• グローバル化が進み遠隔地での
コミュニケーションの機会が増
えた
- 対面:コスト×、円滑○
- テレビ電話:コスト○、円滑×
• これまでの手法では、コストと
円滑さの両方を満たすことが出
来ない
• 解決策:3次元仮想空間内で
現...
現実の情報を反映できるキャラクタ
• 顔表情の伝達
➡ これまで様々な手法が提案
• 現実の人物の色や形状を反映
• 手振りなどの比較的大きめなジェスチャの伝達
➡ 上の二つを実現するには、商用ボディスキャナで形状取得し、手動で骨格を入れる方法...
Kinectによる骨格付キャラクタ作成システム
2012年2月9日木曜日
Kinectによる骨格付キャラクタ作成システム
2012年2月9日木曜日
Kinectによる骨格付キャラクタ作成システム
2012年2月9日木曜日
人物データ取得法
• 取得する情報は以下の三つ
- 人物表面三次元位置データ → ポリゴン復元用
- 人物画像データ      → テクスチャマッピング用
- 人物関節データ      → 関節対応付け用
2012年2月9日木曜日
人物データ取得法
• 人物表面データに必要な情報はKinect
を動かしながら取得
- 大量の深度+画像データを取得し、
ポリゴン復元に使える形に統合
2012年2月9日木曜日
人物データ取得法
• 人物画像・関節データに必要な
情報は前後のKinectが取得
- 画像:人物領域+画像
- 関節:関節推定情報
2012年2月9日木曜日
取得したデータのポリゴン復元
• 低コストな方法でも、体や足
などの大きな部分に関しては人
物の情報を反映可能に
- 本手法:コスト15万円程度
- ボディスキャナ:コスト700万円程度
• 手先や顔など、細かい部分の反
映法を考える必要性があ...
ポリゴンと関節の自動的な統合
• 対応付けを行う関節は14点
• ポリゴン上のそれぞれの点に対し、
以下の流れで処理
2012年2月9日木曜日
対応付け結果
• 自動でも、比較的大きいジェスチャを反映可能な程度に対応付けできた
• 自動のため、手間がかからない(1秒以内)
• 首と胴体の接続部分など対応付けに違和感が残る部分もある
対象(性別:身長) 一致度(%)
A(男性:162cm...
まとめ・今後の課題
• 最終目標:遠隔地コミュニケーションの一つの手段として、3次元仮
想空間内で現実と同程度にコミュニケーション可能にする
• 本研究の目的:現実の人物の色や形状を反映し、比較的大きなジェス
チャが可能なキャラクタを低コストか...
2012年2月9日木曜日
2012年2月9日木曜日
関連研究
• 人物静止モデルの作成(Home 3D Body Scans from Noisy Image and Range Data)
- 動作できないのでコミュニケーション不可
• 顔表情の伝達(Automatic reconstruct...
2012年2月9日木曜日
人物のリアルタイム投影
• 問題点
- 表示のずれが起きる
- Kinectから見えてないとこ
ろは投影できない
2012年2月9日木曜日
2012年2月9日木曜日
2種類のデータ取得法
• 静止した4点からのデータ取得
• 周囲からの表面データ+前後からの画像・関節データ
2012年2月9日木曜日
静止した4点からのデータ取得
✤ Kinectを利用し、全ての情報を静止
した4点から取得する
✤ 表面:深度データ+人物領域
✤ 画像:画像データ+人物領域
✤ 関節:関節推定データ
✤ 取得した情報は世界座標系に変換
2012年2月9日木曜日
ポリゴン復元結果
2012年2月9日木曜日
2012年2月9日木曜日
3種類の関節対応付け法
• 最近関節点マッチング : 関節点に対して一番近いポリゴンモデル
の点を対応付ける。
• 最近中点マッチング:関節の点と点をつないだ線の中点に対して、
一番近いポリゴンモデルの点を対応付ける。
• 最近線マッチング:関...
それぞれのマッチング結果
最近関節点 最近中点 最近線
2012年2月9日木曜日
マッチングの一致度
対象(性別:身長) 最近関節点(%) 最近中点(%) 最近線(%)
A(男性:162cm) 48.94 83.00 86.06
B(男性:177cm) 51.90 82.74 86.94
C(男性:172cm) 49.18 ...
2012年2月9日木曜日
今後の課題
• 今回の目標に対して
- 手先や顔などの細かい部分の形状を反映
- 関節の対応付けをさらに現実に近く
• 現実と変わらないコミュニケーションに対して
- 顔表情の伝達
- 細かいジェスチャの反映
2012年2月9日木曜日
Upcoming SlideShare
Loading in …5
×

没入コミュニケーションに利用する3次元仮想キャラクタの半自動生成

1,672
-1

Published on

Published in: Education
1 Comment
0 Likes
Statistics
Notes
  • Be the first to like this

No Downloads
Views
Total Views
1,672
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
1
Comments
1
Likes
0
Embeds 0
No embeds

No notes for slide

没入コミュニケーションに利用する3次元仮想キャラクタの半自動生成

  1. 1. 没入コミュニケーションに使用する 3次元仮想キャラクタの半自動生成 京都大学 西田研究室 柴 優季 2012年2月9日木曜日
  2. 2. 背景 • グローバル化が進み遠隔地での コミュニケーションの機会が増 えた - 対面:コスト×、円滑○ - テレビ電話:コスト○、円滑× • これまでの手法では、コストと 円滑さの両方を満たすことが出 来ない • 解決策:3次元仮想空間内で 現実と変わらない没入コミュ ニケーション - 現実の情報を反映できるキャラ クタ - 現実と同じような空間 - 現実と同じような物体 2012年2月9日木曜日
  3. 3. 現実の情報を反映できるキャラクタ • 顔表情の伝達 ➡ これまで様々な手法が提案 • 現実の人物の色や形状を反映 • 手振りなどの比較的大きめなジェスチャの伝達 ➡ 上の二つを実現するには、商用ボディスキャナで形状取得し、手動で骨格を入れる方法が 存在。しかしコストが数百万程度かかり、手間もかかる。 • 現実の人物に基づき、比較的大きなジェスチャが可能なキャラク タを低コストかつ簡便に作成したい。 ➡ 低コストかつ簡便でなければ一般ユーザが利用不可 2012年2月9日木曜日
  4. 4. Kinectによる骨格付キャラクタ作成システム 2012年2月9日木曜日
  5. 5. Kinectによる骨格付キャラクタ作成システム 2012年2月9日木曜日
  6. 6. Kinectによる骨格付キャラクタ作成システム 2012年2月9日木曜日
  7. 7. 人物データ取得法 • 取得する情報は以下の三つ - 人物表面三次元位置データ → ポリゴン復元用 - 人物画像データ      → テクスチャマッピング用 - 人物関節データ      → 関節対応付け用 2012年2月9日木曜日
  8. 8. 人物データ取得法 • 人物表面データに必要な情報はKinect を動かしながら取得 - 大量の深度+画像データを取得し、 ポリゴン復元に使える形に統合 2012年2月9日木曜日
  9. 9. 人物データ取得法 • 人物画像・関節データに必要な 情報は前後のKinectが取得 - 画像:人物領域+画像 - 関節:関節推定情報 2012年2月9日木曜日
  10. 10. 取得したデータのポリゴン復元 • 低コストな方法でも、体や足 などの大きな部分に関しては人 物の情報を反映可能に - 本手法:コスト15万円程度 - ボディスキャナ:コスト700万円程度 • 手先や顔など、細かい部分の反 映法を考える必要性がある Poisson Reconstructionによる復元 2012年2月9日木曜日
  11. 11. ポリゴンと関節の自動的な統合 • 対応付けを行う関節は14点 • ポリゴン上のそれぞれの点に対し、 以下の流れで処理 2012年2月9日木曜日
  12. 12. 対応付け結果 • 自動でも、比較的大きいジェスチャを反映可能な程度に対応付けできた • 自動のため、手間がかからない(1秒以内) • 首と胴体の接続部分など対応付けに違和感が残る部分もある 対象(性別:身長) 一致度(%) A(男性:162cm) B(男性:177cm) C(男性:172cm) D(男性:176cm) E(男性:170cm) F(女性:158cm) G(男性:168cm) H(男性:174cm) 平均 86.06 86.94 84.81 86.80 85.33 82.80 87.93 83.41 85.51 表:手動での対応付けとの一致度図:対応付け結果 参考: 手動による対応付け 2012年2月9日木曜日
  13. 13. まとめ・今後の課題 • 最終目標:遠隔地コミュニケーションの一つの手段として、3次元仮 想空間内で現実と同程度にコミュニケーション可能にする • 本研究の目的:現実の人物の色や形状を反映し、比較的大きなジェス チャが可能なキャラクタを低コストかつ簡便に作成する方法の実現 • 成果:人物の大きい部分の形状を反映し、比較的大きいジェスチャが 可能なキャラクタを低コストかつ簡便に作成可能に • 今後の課題 - 手先や顔などの細かい部分の形状を反映 - 関節の対応付けをさらに現実に近く 2012年2月9日木曜日
  14. 14. 2012年2月9日木曜日
  15. 15. 2012年2月9日木曜日
  16. 16. 関連研究 • 人物静止モデルの作成(Home 3D Body Scans from Noisy Image and Range Data) - 動作できないのでコミュニケーション不可 • 顔表情の伝達(Automatic reconstruction of personalized avatars from 3D face scans) - これのみでは円滑なコミュニケーションにならない • 3次元空間のリアルタイムマッピング(KinectFusion: Real-Time Dynamic 3D Surface Reconstruction and Interaction) - 復元に2秒程度かかるため、リアルタイムコミュニケーションに向かない 2012年2月9日木曜日
  17. 17. 2012年2月9日木曜日
  18. 18. 人物のリアルタイム投影 • 問題点 - 表示のずれが起きる - Kinectから見えてないとこ ろは投影できない 2012年2月9日木曜日
  19. 19. 2012年2月9日木曜日
  20. 20. 2種類のデータ取得法 • 静止した4点からのデータ取得 • 周囲からの表面データ+前後からの画像・関節データ 2012年2月9日木曜日
  21. 21. 静止した4点からのデータ取得 ✤ Kinectを利用し、全ての情報を静止 した4点から取得する ✤ 表面:深度データ+人物領域 ✤ 画像:画像データ+人物領域 ✤ 関節:関節推定データ ✤ 取得した情報は世界座標系に変換 2012年2月9日木曜日
  22. 22. ポリゴン復元結果 2012年2月9日木曜日
  23. 23. 2012年2月9日木曜日
  24. 24. 3種類の関節対応付け法 • 最近関節点マッチング : 関節点に対して一番近いポリゴンモデル の点を対応付ける。 • 最近中点マッチング:関節の点と点をつないだ線の中点に対して、 一番近いポリゴンモデルの点を対応付ける。 • 最近線マッチング:関節の点と点をつないだ線に対して一番近いポ リゴンモデルの点であり、さらにその点から線に引いた垂線の交 点が線の内部にあるものを対応付ける。 2012年2月9日木曜日
  25. 25. それぞれのマッチング結果 最近関節点 最近中点 最近線 2012年2月9日木曜日
  26. 26. マッチングの一致度 対象(性別:身長) 最近関節点(%) 最近中点(%) 最近線(%) A(男性:162cm) 48.94 83.00 86.06 B(男性:177cm) 51.90 82.74 86.94 C(男性:172cm) 49.18 80.32 84.81 D(男性:176cm) 48.98 81.55 86.80 E(男性:170cm) 46.07 80.01 85.33 F(女性:158cm) 48.67 78.22 82.80 G(男性:168cm) 49.95 84.24 87.93 H(男性:174cm) 45.28 78.01 83.41 平均 48.62 81.01 85.51 2012年2月9日木曜日
  27. 27. 2012年2月9日木曜日
  28. 28. 今後の課題 • 今回の目標に対して - 手先や顔などの細かい部分の形状を反映 - 関節の対応付けをさらに現実に近く • 現実と変わらないコミュニケーションに対して - 顔表情の伝達 - 細かいジェスチャの反映 2012年2月9日木曜日

×