2018/03/01 ARCANA Meetup#34

1. 無料で始めるVTuber
2018/03/01
第34回社内勉強会
スタジオアルカナ
遠藤勝也

2. VTuberとは

3. 必要な環境とその価格
ハードウェア
VIVEトラッカー: 1万円くらい
Kinect: 1 ~ 4万円くらい
etc.
ソフトウェア
Unity: ライセンスによっては無料
Blender: 無料
etc.

4. YouTubeなんだから
もっと気軽にできてもいい

5. OSSを活用して手軽にできる
環境を作る
(今回の「手軽」は開発者から
見た手軽です)

6. 環境
Unity
uOSC
UFaceOSC
Webカメラ
FaceOSC
Live2D

7. 選定理由
Unity
ユーザ層にあってそうだから
FaceOSC
OSSだから
Live2D
3Dモデルを作るよりイラストベースの方が手軽
だと思ったから

8. デモ

9. 解説

10. FaceOSCとは
顔をトラッキングして各頂点の情報や、
ジェスチャをOSC通信で飛ばすアプリケーション

11. UnityでOSCの受信
uOSCを使用
受信したデータのパース用にUFaceOSCという
Unityパッケージを作成

12. public class main : MonoBehaviour {
private UFaceOSC.Parser faceOscParser;
void Start() {
faceOscParser = new UFaceOSC.Parser();
// 受信時のコールバック関数を設定
var server = GetComponent <uOscServer>();
server.onDataReceived.AddListener(OnDataReceived);
}
void OnDataReceived(Message message) {
// パーサクラスにOSCアドレスとOSCメッセージを渡す
faceOscParser
.SetData(message.address, message.values);
if(faceOscParser.found == 1) {
// FaceOSCから受信した顔の頂点情報を取得
float[] raw = faceOscParser.raw;
// FaceOSCから受信した口の高さを取得
Debug.Log(faceOscParser.gesture.mouth.height);
}
}
}

13. UnityでLive2Dモデルを使う

14. インポートはUnityで最新のLive2Dを使ってみる
（Cubism SDK 3.0)を参考にした
カメラの設定に注意が必要
(サンプルのカメラを参考にする)
スクリプトからは下記のように制御できる
パラメータは配列なのでUnityに表示される
Cubism Parameters Inspectorを確認して上から
数えて何番目かで指定
CubismModel model = GameObject
.Find("MODEL_NAME")
.GetComponent<CubismModel>();
model.Parameters[0].Value = 0.5;

15. OSCの受信と
モデルの制御を合わせる
void OnDataReceived(Message message) {
faceOscParser
.SetData(message.address, message.values);
if(faceOscParser.found == 1) {
float[] raw = faceOscParser.raw;
model.Parameters[0].Value
= faceOscParser.gesture.mouth.height;
}
}

16. おわり