VR EXPO Shibuya　LT資料

1. 現実化する美樹さやか
海行（うみゆき）
2016年1月24日
Unity VR EXPO Shibuya LT

2. 自己紹介
海行（うみゆき）です
詳細はtwitterで
OculusRiftCV1プレオーダー
しました
@_darger
@_kaigyoPG

3. 美樹さやかプロジェクト
某アニメの某さやかさんを題材にした
アプリケーション群
昔からキャラが実在しない事に不満
さやかさんのアプリを作ってるうちに、
現実化させる方向を向き始めた
さやかさんに関して何の権利も持って
ない。二次創作の範疇
オフィシャルのコンテンツ制作は是非
やってみたい

4. 何故美樹さやかなのか？
求心力がある
かわいい
誰でも知ってる
何をさせても面白い
ショートヘア

5. １．ルミナスライブ壁紙
 2013年6月 Unity製
 Androidライブ壁紙
GooglePlayで公開中
 まどかちゃんとほむらちゃんが壁紙
の中でルミナスし続ける
 弱点：常時３Ｄキャラがアニメー
ションしてるため、非常に電池消耗
が激しい
 知見：電力を消耗しないリアルフィ
ギュアは偉大だった

6. ２．さやか温泉
 2013年12月 Unity製
 Androidアプリ GooglePlayで公開中
 温泉に入ったさやかさんと会話できる。音
声認識＆人口無脳＆音声スピーチ
 弱点：人口無脳が賢くなくて会話が成り立
たない
 知見：好きなキャラでも単に雑談するモチ
ベーションは思ったより高まらない。目的
が無ければ何度もアプリを起動してもらう
のは難しい

7. ３．水withさやか
2014年2月 Unity製
Webプレイヤーで公開中
水が入ったビーカーに水を
こぼさないように小さいさ
やかさんを投入していく
見どころはメタボールによ
る流体表現。メッシュとの
インタラクション

8. ４．アイアムさやか
 2014年2月 Unity製
 Windowsアプリとして公開中
 Webカメラに映った人の顔がさ
やかさんに置き換わる。ランダ
ムに表情変化。リップシンク有
り
 弱点：Windowsにしか対応して
いない
 感想：みんなさやかさんになれ
ばいいのにと思った

9. ５．さやコイン
2014年3月 C++製
ソースコードはGitHubに
LiteCoinベースの仮想通貨。
かなりマイナーなコインだ
がブロックチェーンは順調
に伸びてる
仮想通貨の仕組みを色々学
んだ

10. ６．まだだめよＶＲ
2015年5月 Unity+GearVR
諸事情で非公開
映画のワンシーンを再現
さやかさん達でＶＲ
弱点：ストアに並べてもらう
のは非常に難しいと思われ、
野良アプリもSigロックされて
るため配布手段がほぼ無い

11. ７．魔法少女ナレルンダー
 2015年7月 Unity+KinectV2
 未完成
 鏡に見立てたディスプレイに写ってる
のはさやかさんKinectによるリアルタ
イムモーションキャプチャ
 仮面ライダーナレルンダーにインスパ
イア
 弱点：仮面ライダーナレルンダーは
kinectとプレイヤーの位置が筐体で固
定されてるが、これが不定という事に
なると位置のキャリブレーションが難
しい

12. ８．さやカメラ
2015年12月 Unity
公開中
アイアムさやかが待望のス
マホアプリ化。MMDモデル
からLive2Dに変更
顔を伏せて自撮りしたい時
などに利用することを想定
弱点：顔の角度、表情が反
映されない

13. ９．さやカメラforHMD
2016年1月 Unity
今回展示
さやカメラをVRHMDから
利用できるように改修。1
眼用、２眼用を切り替え
可能
ついにみんなさやかさん
になってしまう

14. 美樹さやかプロジェクトの意義
二次創作なので直接的利益にはならない
今はモチーフをさやかさんに絞っているが、
あらゆるキャラクターに知見を転用可能
VR/ARの発展とともにキャラクターの表現は
リアル化する方向へ向かうはず
どのようなアプローチが一番納得がいく物に
なるのか、今後も追求していきたい

15. 今後の展望
 さやカメラの発展
→顔の角度、向き、表情を反映できるようにする
→任意のLive2Dキャラを使えるように汎用化
→スマホ版FaceRig&Live2Dを実現
→顔認識技術は全天球写真撮影で意図せずして写ってし
まった人たちの顔を処理する事などにも利用可能かも
 キャラクターの現実化の追求
→魔法少女ナレルンダーのＶＲ対応
→Unity用ボイスチェンジャープラグインの開発

16. キャラクターの現実化のアプ
ローチについて
人称の軸
→キャラクターを目の前に出現させる
→自分がキャラクターになる
世界の軸
→現実世界において
→仮想世界において

17. 現実世界においてキャラクターを目の前に
出現させるパターン
 フィギュアを買う
→動いてほしい
 誰かにコスプレしてなりきってもらう
→頼める人がいない
 ロボットやスマートドールを作る
→ボークスの動くドールなど
→難しい
 ＡＲでキャラクターを表示
→みくちゃ、ユニティちゃんARなど
 ホログラム的なもので表示
→初音ミクライブ
→Gatebox

18. 仮想世界においてキャラクターを目の前に
出現させるパターン
 夢に出てきてもらう
→夢を制御できない
 ＶＲ
→ロートデジアイ×ミク、VRユニティちゃんCRSライブなど
→触れたい
 ＶＲ＋ハプティック
→MikuMikuAkushu、Hashilusなど
 ＶＲ＋人
→目の前に実際に人がいるんだけどＶＲではお互い可愛いキャラに見えて
実際に触れあえるコンテンツ…？

19. 現実世界において自分がキャラクターにな
るパターン
コスプレする
ＡＲを用いる
→アイアムさやか、さやカメラなどのアプ
ローチ

20. 仮想世界において自分がキャラクターにな
るパターン
アバター
→MMOなどのアバター
→FaceRig+Live2D
鏡型
→仮面ライダーナレルンダー

21. まとめ
よってさやかさんは現実化する！
ご清聴ありがとうございました！