Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
2016/02/26
アイティアクセス(株)
江 天
世界初? 無線を使わない、
CGキャラクタとのARダンスレッスン
1
会社概要
会社名:アイティアクセス株式会社
所在地: 本社 〒222-8545
神奈川県横浜市港北区新横浜3-17-6
TEL:045-474-9095 / FAX:045-474-8823
大阪営業所 〒541-0054
大阪府大阪市中央...
• 特に画像表示関連製品の仕事が多いです
Digital PianoKARAOKEGame
FA Controller
Navigation OA
Handy Multimedia
IP 伝送装置
IC card
TV / Internet T...
2013年~AR向け各種ミドルウェアを移植・販売
– Vuzix M100, EPSON BT-200, Telepathy Jumper …
• コンテンツ開発ツール・Engine
– SEGA Acroarts
• 画像認識ライブラリ
– ...
• センサAPI、ARマーカとの連動合成
• 双方向動画通信
• 顔認識
– いずれもM100上にて移植動作
4
• 福井県主催
– 2015年11月~
– 鯖江の眼鏡産業
– 2018年福井国体
5
• 福井国体でのARコンテンツ化を見据えてマスコット
キャラクタ「はぴりゅう」を3DCGキャラクタ化する
• 実際に踊る「はぴねすダンス」とCGキャラによるダ
ンスを連動させることで、大会アピールにつなげる
• 両手が使えて、どの方向からでも画...
• あらかじめ電子透かしデータを入れた音楽(はぴねすダンス)を流す
→ HMDに表示されたCGキャラクタ(はぴりゅう)が音楽に連動して踊る
7
はぴねすダンスの音楽をかけてみると…
はぴりゅうが踊り出すから、合わせて踊ってみよう
はぴりゅうが見...
• 動画だと単にCGとダンスを同時再生しているだけに見えるが、
実際は「鳴っている音に反応してダンス」している
8
• 音声透かし技術とタイムコード
– ダンスの曲内にタイムコードの透かし情報を埋め込む
• 透かし情報は人間の耳には聞こえない
– HMDまたはタブレットのマイクが音を拾い解析 →タイムコード取得
• ベース技術
– Civolution社 S...
• PCスピーカからサウンドを鳴らし、M100を付けて踊ってもらう
• 総勢400名程度が実験に参加
• 周囲の雑音がかなり大きくても認識は良好
• M100の携帯性はダンス向き
• 小さい子供への利用は課題が多い(非透過、装着性、視認性)
•...
• 体育館のスピーカーでのテスト
– 音楽CD(電子透かし埋め込み済)を再生
– 問題なく認識成功
– ダンス同期も問題なし
11
• ダンスゲームのようにミラー反転すべきだった?
• ダンスの振付に適したキャラクタではないので・・・
• 無音では透かし情報が埋め込められない
• タイムコード取得には数秒を要する
– ので、いきなりダンスが開始されると厳しい
12
「バーチャルキャラクタ模範演技」
• 音楽が開始されると、バーチャルキャラクタが音楽に合わせて模範演技を行う
• 持ち込んだHMDもしくはタブレットにてアプリを起動するだけでOK
動画との違い:
• 実際に鳴る音楽とキャラクタの再生タイミングが...
タブレット/スマホ VR-HMD AR-HMD
普及率 ◎ △ ×
コスト ◎ △ △
堅牢さ ○ ○ △
没入感 × ◎ ○
携帯性 ○ × △
作業性(両手がつかえるか) × ○ ◎
操作性 ○ ○
別デバイス
×
• 混同されがちだが、A...
• コンテンツ開発ツール/Engine
– Unity / UnReal ・・・ 無償版あり
• 画像認識ライブラリ
– OpenCV、Google Cloud Vision等 ・・・ 無償
• 動画双方向通信
– WebRTC ・・・ OS付...
• 求められるもの
– 情報の視覚への投影
• 網膜走査型(富士通レーザーアイウェア)
• 究極的には視神経への直接接続が理想?
– 電子的情報の付加
• 情報量は取捨選択され、質が高いほど良い
– 「ウェアラブル」による携帯性
• 常に身に着...
• 今回用いたCivolution社の音声・映像透かし技術
SyncNow 以外でも
• Sassor社 「Abis」
– IoT向けビッグデータ分析エンジン
• モルフォ 「Scene Classifier」
– 「Deep Learning...
アイティアクセス株式会社
江 kou@itaccess.co.jp まで
以上、
ご清聴ありがとうございました。
何かお手伝いできることがありましたら、
いつでも下記宛にご連絡ください。
18
Upcoming SlideShare
Loading in …5
×

【VDC6】世界初?無線を使わない、CGキャラクターとのARダンスレッスン

959 views

Published on

アイティアクセス株式会社 江氏

Published in: Software
  • Be the first to comment

  • Be the first to like this

【VDC6】世界初?無線を使わない、CGキャラクターとのARダンスレッスン

  1. 1. 2016/02/26 アイティアクセス(株) 江 天 世界初? 無線を使わない、 CGキャラクタとのARダンスレッスン
  2. 2. 1 会社概要 会社名:アイティアクセス株式会社 所在地: 本社 〒222-8545 神奈川県横浜市港北区新横浜3-17-6 TEL:045-474-9095 / FAX:045-474-8823 大阪営業所 〒541-0054 大阪府大阪市中央区南本町2-6-12 サンマリオンNBFタワー 16階 TEL:06-6121-8005 / FAX:06-6121-8038 E-mail: info@itaccess.co.jp URL: http://www.itaccess.co.jp/ 設立:2000年4月25日 資本金:2億円 主要株主:イノテック株式会社 85% 株式会社ACCESS 15% 役員: 代表取締役社長 高橋 尚 取締役 高木 敏宏 取締役 澤村 宗仁 従業員数:62名(2015年3月31日現在、役員除く) 取引先銀行:みずほ銀行/新横浜支店/りそな銀行/ 新横浜支店/横浜銀行/新横浜支店 会社概要 横浜本社(イノテックビル) 大阪営業所(サンマリオンNBFタワー)
  3. 3. • 特に画像表示関連製品の仕事が多いです Digital PianoKARAOKEGame FA Controller Navigation OA Handy Multimedia IP 伝送装置 IC card TV / Internet TV Digital Camera STB L-mode Recorder 2
  4. 4. 2013年~AR向け各種ミドルウェアを移植・販売 – Vuzix M100, EPSON BT-200, Telepathy Jumper … • コンテンツ開発ツール・Engine – SEGA Acroarts • 画像認識ライブラリ – モルフォ • 動画双方向通信 – ACCESS NetFront VideoTalk • マーカ認識 – Qualcomm Vuforia 3
  5. 5. • センサAPI、ARマーカとの連動合成 • 双方向動画通信 • 顔認識 – いずれもM100上にて移植動作 4
  6. 6. • 福井県主催 – 2015年11月~ – 鯖江の眼鏡産業 – 2018年福井国体 5
  7. 7. • 福井国体でのARコンテンツ化を見据えてマスコット キャラクタ「はぴりゅう」を3DCGキャラクタ化する • 実際に踊る「はぴねすダンス」とCGキャラによるダ ンスを連動させることで、大会アピールにつなげる • 両手が使えて、どの方向からでも画像が確認できる、 HMD「ならでは」のメリットを生かす 6
  8. 8. • あらかじめ電子透かしデータを入れた音楽(はぴねすダンス)を流す → HMDに表示されたCGキャラクタ(はぴりゅう)が音楽に連動して踊る 7 はぴねすダンスの音楽をかけてみると… はぴりゅうが踊り出すから、合わせて踊ってみよう はぴりゅうが見えるかな? まずスマートグラスをかけてみよう 映っているものがみえるように調整してね ※WiFiなどは一切接続していません。 音楽のみで連動動作します。
  9. 9. • 動画だと単にCGとダンスを同時再生しているだけに見えるが、 実際は「鳴っている音に反応してダンス」している 8
  10. 10. • 音声透かし技術とタイムコード – ダンスの曲内にタイムコードの透かし情報を埋め込む • 透かし情報は人間の耳には聞こえない – HMDまたはタブレットのマイクが音を拾い解析 →タイムコード取得 • ベース技術 – Civolution社 SYNCNOWを使用 → NexGuard社に分社、コンテンツ保護に • メリット – WiFiなどの設定は一切不要。マイクのみでOK – 1対多で接続数制限がない – 時間軸で連動させることができる – タブレットやスマホでも同様のことが可能(ただしかざす必要がある) 9
  11. 11. • PCスピーカからサウンドを鳴らし、M100を付けて踊ってもらう • 総勢400名程度が実験に参加 • 周囲の雑音がかなり大きくても認識は良好 • M100の携帯性はダンス向き • 小さい子供への利用は課題が多い(非透過、装着性、視認性) • やはり消費電力が課題 10
  12. 12. • 体育館のスピーカーでのテスト – 音楽CD(電子透かし埋め込み済)を再生 – 問題なく認識成功 – ダンス同期も問題なし 11
  13. 13. • ダンスゲームのようにミラー反転すべきだった? • ダンスの振付に適したキャラクタではないので・・・ • 無音では透かし情報が埋め込められない • タイムコード取得には数秒を要する – ので、いきなりダンスが開始されると厳しい 12
  14. 14. 「バーチャルキャラクタ模範演技」 • 音楽が開始されると、バーチャルキャラクタが音楽に合わせて模範演技を行う • 持ち込んだHMDもしくはタブレットにてアプリを起動するだけでOK 動画との違い: • 実際に鳴る音楽とキャラクタの再生タイミングが自動的に合わせられる • 実演技とCG演技を比較して同時に見ることができる 2018年福井国体、2020年オリンピックに!! とするには、もう一捻りアイデアがないと・・・ 13
  15. 15. タブレット/スマホ VR-HMD AR-HMD 普及率 ◎ △ × コスト ◎ △ △ 堅牢さ ○ ○ △ 没入感 × ◎ ○ 携帯性 ○ × △ 作業性(両手がつかえるか) × ○ ◎ 操作性 ○ ○ 別デバイス × • 混同されがちだが、ARとVRは目指す方向性が全く逆 • タブレットや腕時計で済む用途なら、あえてHMDでやる意味は 無い → AR-HMD「ならでは」の利点を生かしたキラーアプリが必要 14
  16. 16. • コンテンツ開発ツール/Engine – Unity / UnReal ・・・ 無償版あり • 画像認識ライブラリ – OpenCV、Google Cloud Vision等 ・・・ 無償 • 動画双方向通信 – WebRTC ・・・ OS付属 • マーカ認識 – Vuforia、ARToolKit ・・・ 無償版あり ⇒ 今後はほとんどのツール・ライブラリが無償になり、 サービスやコンテンツのアイデアが中心になる 15
  17. 17. • 求められるもの – 情報の視覚への投影 • 網膜走査型(富士通レーザーアイウェア) • 究極的には視神経への直接接続が理想? – 電子的情報の付加 • 情報量は取捨選択され、質が高いほど良い – 「ウェアラブル」による携帯性 • 常に身に着けることによるメリット • 両手が使えること 視線追尾も? → つまり、「いつでも」「欲しい情報を」 「視界を妨げず」「操作せず」取れること 常時接続にて機械学習型画像認識、AIエンジンのアシストとか 16
  18. 18. • 今回用いたCivolution社の音声・映像透かし技術 SyncNow 以外でも • Sassor社 「Abis」 – IoT向けビッグデータ分析エンジン • モルフォ 「Scene Classifier」 – 「Deep Learning」を用いた画像認識組み込みソフト ウェア などなど、様々なソフトウェアの組み合わせをベースに、 顧客の求めるサービスに沿った形でトータル提案をしていきます 17
  19. 19. アイティアクセス株式会社 江 kou@itaccess.co.jp まで 以上、 ご清聴ありがとうございました。 何かお手伝いできることがありましたら、 いつでも下記宛にご連絡ください。 18

×