モーションコントロールコンテンツの実装から見えて来た事

2,959 views

Published on

2014のデベロッパーサミットで登壇した際に使ったスライドをSlide Share用にモディファイしたものです。

加速度センサー、タブレットのカメラ、Intel PerC等のセンサーを使ってコントロールするアプリケーションの企画、開発をしてきた経験から見えて来た事です。

Published in: Technology

モーションコントロールコンテンツの実装から見えて来た事

  1. 1. モーションコントロールコンテンツの 実装から見えて来た事 Naoji Taniguchi
  2. 2. 自己紹介 谷口 直嗣
  3. 3. フリーランスで インタラクティブコンテンツ、 スマートフォンアプリ、 の企画、ディレクション、開発をしております。 目指す所はIT界のマイルス・デイビス 方向を決め、仲間を集め、コードを書いてプレイ ヤーとなり、セッションのように仕事をする。
  4. 4. 最近の仕事の紹介 Ricoh Thetaのプロモーション展示、CES&NY
  5. 5. 最近の仕事の紹介
  6. 6. 最近の仕事の紹介
  7. 7. 最近の仕事の紹介
  8. 8. 最近の仕事の紹介
  9. 9. 最近の仕事の紹介
  10. 10. モーションコントロール と私
  11. 11. 2007年、とっと塔 http://www.nicolabo.com/jp/specials_v.htm 加速度センサーが搭載されたゲームコントローラー を振っておさるのキャラクターをジャンプさせる ゲーム、Central East Tokyoで、プロジェクションさ せてゲームをプレイしてもらう展示をした。
  12. 12. 2008~2010年 Wiiのダンスゲーム ! コントローラーを持って画面のキャラクターにあ わせて踊るだけのシンプルなゲーム
  13. 13. 企画+ディレクションだったが、プロジェクト前半 はどんなダンスの動きがゲームに使えるかをダン サーと検証しながら、振り付けを考えてた。 その間はキーボード触らずにコリオグラファー 状態でした。
  14. 14. 2012年 未来の車のUIプロト#1 ! 某自動車メーカーのITの研究所でのプロジェクト
  15. 15. 写真&ムービーは出せないので
  16. 16. 2013年 未来の車の UI/UXプロト#2 ! 某自動車メーカーのITの研究所でのプロジェクト
  17. 17. 写真&ムービーは出せないので
  18. 18. 2013年 ABC Cooking Studio 実証実験
  19. 19. http://www.youtube.com/watch?v=3e_-TiaZqsI ABC Cooking Studio のタブレットを使った 新しいスタイルの実証実験の為の アプリケーション。 ! 料理のビデオ教材を、 ジェスチャーコントロールで操作。
  20. 20. 2013年 Ricoh Theta ショールーム用デモ
  21. 21. http://www.youtube.com/watch?v=ELVNLbUNzb0 Thetaの全天球イメージをLeap Motionを使って指先 の動きでぐりぐり回せるデモ
  22. 22. 2013年 Intel PerC デモ
  23. 23. http://www.youtube.com/watch?v=mRquso-LDlc Intel PerCで手の動き、手の形を認識して操作する 写真ビューワー、Intel Software Innovation Forum にて展示
  24. 24. ! モーションコントロール コンテンツの構造
  25. 25. ! Image, Depth Image, Acceleration, Gyroscopic.... Data
  26. 26. ! Position of finger, Bone, Direction.. Model / Vector
  27. 27. ! Rotate, Stop, Forward, Next Page Command
  28. 28. UI / Interaction ! Animation, Icon, Sound, Feedback
  29. 29. UX / Contents ! Cooking Video, Game, Demo
  30. 30. UX / Contents UI / Interaction Command Model / Vector Data
  31. 31. ! このモデルの上下を行ったり来たりし ながら作っています。
  32. 32. モーションコントロール あるある
  33. 33. 遠心力振り切り問題
  34. 34. 振る動作をすると遠心力で簡単に 加速度センサーの計測範囲を 超えてしまう そうなったらどっち向きかも取得不能
  35. 35. 握り方問題
  36. 36. 握り方も人それぞれ、握り方によって 加速度の向きは変わってくる
  37. 37. トラッキング待ち問題
  38. 38. トラッキング開始に少し時間がかかる Kinectの骨格、PerCのハンドサイン
  39. 39. 準備動作問題
  40. 40. 右への動きをする場合に一度左に手が動く マウスだったら浮かせればいいが、 モーションコントロールだどっちのモードか 判定がつかない さらにこれをハンドサインとかでモードコントロール すると、ハンドサインの認識にも時間がかかりドツボ
  41. 41. ライティング問題
  42. 42. 赤外線使ったデバイスは ライティングの熱に弱い
  43. 43. 腕しんどい問題
  44. 44. 腕を上げたままにするので、 長時間の操作は疲れる。
  45. 45. 操作系確立されてない 問題
  46. 46. デモを触ってもらうと各人のそれぞれの脳内 のジェスチャーで動かそうとする  実装してないのに、 ピンチアウトをやってるとか。
  47. 47. ガングロ問題
  48. 48. あまりに色が黒いと画像ベースの 顔認識が効かない
  49. 49. オレだけ世界一問題
  50. 50. 操作系考えた 実装した ばっちり動いた! 他の人に触ってもらった まるで操作できなかった!
  51. 51. 使って気持ちのいいUI
  52. 52. 1の入力で5~10ぐらいの反応をする 反応も緩急をつける
  53. 53. フィードバックは派手目に 入力に応じた音+アニメーション
  54. 54. とにかく反応させる 人様のコンテンツですが、 カグラは手を動かすと、 どこかの楽器が即座に鳴る
  55. 55. センサーの特性を理解しつつ、操作系 もデザインしながら、コンテンツのベ ストマッチが大切
  56. 56. これからの個人的 NUIキーワード
  57. 57. ラスト30cm
  58. 58. ちょっと移動すれば手が届くけど めんどくさい ! ご飯食べながらPC、タブレット 使うとか。
  59. 59. プロジェクション
  60. 60. 大きくプロジェクションされた コンテンツは画面の中に入る 感覚があるのでジェスチャーコントロー ルがしっくり来る。
  61. 61. タイルから1画面へ
  62. 62. ジェスチャーでタイルを選ぶのは、あ んまり気持ちがよくない。 ! ジェスチャーコントロールに合わせた さらに操作単位の大雑把なコンテンツ レイアウト
  63. 63. Robotics
  64. 64. 巨人達の動き
  65. 65. Intel PerC
  66. 66. Microsoft Kinect V2
  67. 67. Sport X Sensor
  68. 68. スポーツのビデオゲーム化、データ化が進みそうな予感。 記録したデータを元にコンピューターで対戦とか、Google Glass的なウェ アラブルデバイスと組み合わせて、過去の自分や仮想の相手と対戦とか。 ! サッカーボールにセンサーを仕込んで、選手のスパイクにセンサーを仕込 んで、ユニフォームにセンサーを仕込んでサッカーの試合のデータを蓄積、 それを元にリアルの試合データからゲームにフィードバック、試合のデー タを解析すると、コンピューター上で試合のシミュレーションなんかも今 後可能になりそう。
  69. 69. Tokyo Motion Control Network
  70. 70. アイデアソンやります!
  71. 71. 神戸大学杉本さんを招いて、医療の世界でのセンサー 活用事例、問題となっている事をヒアリング、 ! Tokyo Motion Control Networkでアイデアソンやりま す。実現可能そうなアイデアはハッカソンに繋げます。
  72. 72. Thank You!

×