0
モーションコントロールコンテンツの
実装から見えて来た事
Naoji Taniguchi
自己紹介

谷口 直嗣
フリーランスで	

インタラクティブコンテンツ、	

スマートフォンアプリ、	

の企画、ディレクション、開発をしております。

目指す所はIT界のマイルス・デイビス	

方向を決め、仲間を集め、コードを書いてプレイ
ヤーとなり、セッションのよ...
最近の仕事の紹介
Ricoh Thetaのプロモーション展示、CES&NY
最近の仕事の紹介
最近の仕事の紹介
最近の仕事の紹介
最近の仕事の紹介
最近の仕事の紹介
モーションコントロール
と私
2007年、とっと塔
http://www.nicolabo.com/jp/specials_v.htm
加速度センサーが搭載されたゲームコントローラー
を振っておさるのキャラクターをジャンプさせる
ゲーム、Central East Tokyo...
2008~2010年	

Wiiのダンスゲーム	

!

コントローラーを持って画面のキャラクターにあ
わせて踊るだけのシンプルなゲーム
企画+ディレクションだったが、プロジェクト前半
はどんなダンスの動きがゲームに使えるかをダン
サーと検証しながら、振り付けを考えてた。

その間はキーボード触らずにコリオグラファー	

状態でした。
2012年	

未来の車のUIプロト#1	

!

某自動車メーカーのITの研究所でのプロジェクト
写真&ムービーは出せないので
2013年	

未来の車の	

UI/UXプロト#2	

!

某自動車メーカーのITの研究所でのプロジェクト
写真&ムービーは出せないので
2013年	

ABC Cooking Studio	

実証実験
http://www.youtube.com/watch?v=3e_-TiaZqsI
ABC Cooking Studio のタブレットを使った	

新しいスタイルの実証実験の為の	

アプリケーション。	

!

料理のビデオ教材を、	

ジ...
2013年	

Ricoh Theta 	

ショールーム用デモ
http://www.youtube.com/watch?v=ELVNLbUNzb0

Thetaの全天球イメージをLeap Motionを使って指先
の動きでぐりぐり回せるデモ
2013年	

Intel PerC デモ
http://www.youtube.com/watch?v=mRquso-LDlc

Intel PerCで手の動き、手の形を認識して操作する
写真ビューワー、Intel Software Innovation Forum 	

にて展示
!

モーションコントロール
コンテンツの構造
!

Image, 	

Depth Image, 	

Acceleration,	

Gyroscopic....

Data
!

Position of finger, 	

Bone, 	

Direction..

Model / Vector
!

Rotate,	

Stop, Forward,	

Next Page

Command
UI / Interaction
!

Animation,	

Icon,	

Sound,	

Feedback
UX / Contents

!

Cooking Video,	

Game,	

Demo
UX / Contents
UI / Interaction
Command
Model / Vector
Data
!

このモデルの上下を行ったり来たりし
ながら作っています。
モーションコントロール
あるある
遠心力振り切り問題
振る動作をすると遠心力で簡単に	

加速度センサーの計測範囲を	

超えてしまう
そうなったらどっち向きかも取得不能
握り方問題
握り方も人それぞれ、握り方によって	

加速度の向きは変わってくる
トラッキング待ち問題
トラッキング開始に少し時間がかかる

Kinectの骨格、PerCのハンドサイン
準備動作問題
右への動きをする場合に一度左に手が動く	

マウスだったら浮かせればいいが、	

モーションコントロールだどっちのモードか	

判定がつかない
さらにこれをハンドサインとかでモードコントロール
すると、ハンドサインの認識にも時間がかかりドツボ
ライティング問題
赤外線使ったデバイスは	

ライティングの熱に弱い
腕しんどい問題
腕を上げたままにするので、	

長時間の操作は疲れる。
操作系確立されてない	

問題
デモを触ってもらうと各人のそれぞれの脳内
のジェスチャーで動かそうとする 

実装してないのに、	

ピンチアウトをやってるとか。
ガングロ問題
あまりに色が黒いと画像ベースの	

顔認識が効かない
オレだけ世界一問題
操作系考えた
実装した
ばっちり動いた!
他の人に触ってもらった
まるで操作できなかった!
使って気持ちのいいUI
1の入力で5~10ぐらいの反応をする

反応も緩急をつける
フィードバックは派手目に

入力に応じた音+アニメーション
とにかく反応させる

人様のコンテンツですが、	

カグラは手を動かすと、	

どこかの楽器が即座に鳴る
センサーの特性を理解しつつ、操作系
もデザインしながら、コンテンツのベ
ストマッチが大切
これからの個人的	

NUIキーワード
ラスト30cm
ちょっと移動すれば手が届くけど	

めんどくさい	

!

ご飯食べながらPC、タブレット	

使うとか。
プロジェクション
大きくプロジェクションされた	

コンテンツは画面の中に入る	

感覚があるのでジェスチャーコントロー
ルがしっくり来る。
タイルから1画面へ
ジェスチャーでタイルを選ぶのは、あ
んまり気持ちがよくない。	

!

ジェスチャーコントロールに合わせた
さらに操作単位の大雑把なコンテンツ
レイアウト
Robotics
巨人達の動き
Intel PerC
Microsoft Kinect V2
Sport X Sensor
スポーツのビデオゲーム化、データ化が進みそうな予感。	

記録したデータを元にコンピューターで対戦とか、Google Glass的なウェ
アラブルデバイスと組み合わせて、過去の自分や仮想の相手と対戦とか。	

!

サッカーボールにセンサーを仕...
Tokyo Motion Control Network
アイデアソンやります!
神戸大学杉本さんを招いて、医療の世界でのセンサー
活用事例、問題となっている事をヒアリング、	

!

Tokyo Motion Control Networkでアイデアソンやりま
す。実現可能そうなアイデアはハッカソンに繋げます。
Thank You!
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
モーションコントロールコンテンツの実装から見えて来た事
Upcoming SlideShare
Loading in...5
×

モーションコントロールコンテンツの実装から見えて来た事

1,751

Published on

2014のデベロッパーサミットで登壇した際に使ったスライドをSlide Share用にモディファイしたものです。

加速度センサー、タブレットのカメラ、Intel PerC等のセンサーを使ってコントロールするアプリケーションの企画、開発をしてきた経験から見えて来た事です。

Published in: Technology
0 Comments
14 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
1,751
On Slideshare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
25
Comments
0
Likes
14
Embeds 0
No embeds

No notes for slide

Transcript of "モーションコントロールコンテンツの実装から見えて来た事"

  1. 1. モーションコントロールコンテンツの 実装から見えて来た事 Naoji Taniguchi
  2. 2. 自己紹介 谷口 直嗣
  3. 3. フリーランスで インタラクティブコンテンツ、 スマートフォンアプリ、 の企画、ディレクション、開発をしております。 目指す所はIT界のマイルス・デイビス 方向を決め、仲間を集め、コードを書いてプレイ ヤーとなり、セッションのように仕事をする。
  4. 4. 最近の仕事の紹介 Ricoh Thetaのプロモーション展示、CES&NY
  5. 5. 最近の仕事の紹介
  6. 6. 最近の仕事の紹介
  7. 7. 最近の仕事の紹介
  8. 8. 最近の仕事の紹介
  9. 9. 最近の仕事の紹介
  10. 10. モーションコントロール と私
  11. 11. 2007年、とっと塔 http://www.nicolabo.com/jp/specials_v.htm 加速度センサーが搭載されたゲームコントローラー を振っておさるのキャラクターをジャンプさせる ゲーム、Central East Tokyoで、プロジェクションさ せてゲームをプレイしてもらう展示をした。
  12. 12. 2008~2010年 Wiiのダンスゲーム ! コントローラーを持って画面のキャラクターにあ わせて踊るだけのシンプルなゲーム
  13. 13. 企画+ディレクションだったが、プロジェクト前半 はどんなダンスの動きがゲームに使えるかをダン サーと検証しながら、振り付けを考えてた。 その間はキーボード触らずにコリオグラファー 状態でした。
  14. 14. 2012年 未来の車のUIプロト#1 ! 某自動車メーカーのITの研究所でのプロジェクト
  15. 15. 写真&ムービーは出せないので
  16. 16. 2013年 未来の車の UI/UXプロト#2 ! 某自動車メーカーのITの研究所でのプロジェクト
  17. 17. 写真&ムービーは出せないので
  18. 18. 2013年 ABC Cooking Studio 実証実験
  19. 19. http://www.youtube.com/watch?v=3e_-TiaZqsI ABC Cooking Studio のタブレットを使った 新しいスタイルの実証実験の為の アプリケーション。 ! 料理のビデオ教材を、 ジェスチャーコントロールで操作。
  20. 20. 2013年 Ricoh Theta ショールーム用デモ
  21. 21. http://www.youtube.com/watch?v=ELVNLbUNzb0 Thetaの全天球イメージをLeap Motionを使って指先 の動きでぐりぐり回せるデモ
  22. 22. 2013年 Intel PerC デモ
  23. 23. http://www.youtube.com/watch?v=mRquso-LDlc Intel PerCで手の動き、手の形を認識して操作する 写真ビューワー、Intel Software Innovation Forum にて展示
  24. 24. ! モーションコントロール コンテンツの構造
  25. 25. ! Image, Depth Image, Acceleration, Gyroscopic.... Data
  26. 26. ! Position of finger, Bone, Direction.. Model / Vector
  27. 27. ! Rotate, Stop, Forward, Next Page Command
  28. 28. UI / Interaction ! Animation, Icon, Sound, Feedback
  29. 29. UX / Contents ! Cooking Video, Game, Demo
  30. 30. UX / Contents UI / Interaction Command Model / Vector Data
  31. 31. ! このモデルの上下を行ったり来たりし ながら作っています。
  32. 32. モーションコントロール あるある
  33. 33. 遠心力振り切り問題
  34. 34. 振る動作をすると遠心力で簡単に 加速度センサーの計測範囲を 超えてしまう そうなったらどっち向きかも取得不能
  35. 35. 握り方問題
  36. 36. 握り方も人それぞれ、握り方によって 加速度の向きは変わってくる
  37. 37. トラッキング待ち問題
  38. 38. トラッキング開始に少し時間がかかる Kinectの骨格、PerCのハンドサイン
  39. 39. 準備動作問題
  40. 40. 右への動きをする場合に一度左に手が動く マウスだったら浮かせればいいが、 モーションコントロールだどっちのモードか 判定がつかない さらにこれをハンドサインとかでモードコントロール すると、ハンドサインの認識にも時間がかかりドツボ
  41. 41. ライティング問題
  42. 42. 赤外線使ったデバイスは ライティングの熱に弱い
  43. 43. 腕しんどい問題
  44. 44. 腕を上げたままにするので、 長時間の操作は疲れる。
  45. 45. 操作系確立されてない 問題
  46. 46. デモを触ってもらうと各人のそれぞれの脳内 のジェスチャーで動かそうとする  実装してないのに、 ピンチアウトをやってるとか。
  47. 47. ガングロ問題
  48. 48. あまりに色が黒いと画像ベースの 顔認識が効かない
  49. 49. オレだけ世界一問題
  50. 50. 操作系考えた 実装した ばっちり動いた! 他の人に触ってもらった まるで操作できなかった!
  51. 51. 使って気持ちのいいUI
  52. 52. 1の入力で5~10ぐらいの反応をする 反応も緩急をつける
  53. 53. フィードバックは派手目に 入力に応じた音+アニメーション
  54. 54. とにかく反応させる 人様のコンテンツですが、 カグラは手を動かすと、 どこかの楽器が即座に鳴る
  55. 55. センサーの特性を理解しつつ、操作系 もデザインしながら、コンテンツのベ ストマッチが大切
  56. 56. これからの個人的 NUIキーワード
  57. 57. ラスト30cm
  58. 58. ちょっと移動すれば手が届くけど めんどくさい ! ご飯食べながらPC、タブレット 使うとか。
  59. 59. プロジェクション
  60. 60. 大きくプロジェクションされた コンテンツは画面の中に入る 感覚があるのでジェスチャーコントロー ルがしっくり来る。
  61. 61. タイルから1画面へ
  62. 62. ジェスチャーでタイルを選ぶのは、あ んまり気持ちがよくない。 ! ジェスチャーコントロールに合わせた さらに操作単位の大雑把なコンテンツ レイアウト
  63. 63. Robotics
  64. 64. 巨人達の動き
  65. 65. Intel PerC
  66. 66. Microsoft Kinect V2
  67. 67. Sport X Sensor
  68. 68. スポーツのビデオゲーム化、データ化が進みそうな予感。 記録したデータを元にコンピューターで対戦とか、Google Glass的なウェ アラブルデバイスと組み合わせて、過去の自分や仮想の相手と対戦とか。 ! サッカーボールにセンサーを仕込んで、選手のスパイクにセンサーを仕込 んで、ユニフォームにセンサーを仕込んでサッカーの試合のデータを蓄積、 それを元にリアルの試合データからゲームにフィードバック、試合のデー タを解析すると、コンピューター上で試合のシミュレーションなんかも今 後可能になりそう。
  69. 69. Tokyo Motion Control Network
  70. 70. アイデアソンやります!
  71. 71. 神戸大学杉本さんを招いて、医療の世界でのセンサー 活用事例、問題となっている事をヒアリング、 ! Tokyo Motion Control Networkでアイデアソンやりま す。実現可能そうなアイデアはハッカソンに繋げます。
  72. 72. Thank You!
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×