Downloaded 165 times
![#ue4fest#ue4fest
Plugins フォルダに以下のフォルダをコピー
• "LipSync¥UnrealPlugin¥OVRLipSyncDemo¥Plugins¥OVRLipSync"
Config¥DefaultEngine.iniにマイクを有効にする行を追加
• [Voice]
bEnabled=True
付録：自身のプロジェクトで使うには？](https://image.slidesharecdn.com/kawaii-181015155048/75/UE4-VTuber-82-2048.jpg)
Uploaded byエピック・ゲームズ・ジャパン Epic Games Japan
かわいい女の子になりたいんや！ UE4の最新機能を使ってVTuberしてみた！
講演動画：https://t.co/mriwEJNdc3 2018年10月14日に行われた「UNREAL FEST EAST 2018」で登壇した際に使用した資料です。 ●公式サイト https://unrealengine.jp/unrealfest/ ＝＝＝ 「UE4でVTuberするにはどうすればいいの？」という声をよく聞きます。そこで、UE4と各種デバイスを用いて、個人でも簡単にVTuberになれる方法について解説します。さらに、ただVTuberになるだけでなく、UE4.20における新機能を中心に各機能を活かした表現・フローもお見せできればと思います。（VTuberに限定した内容ではなく、ゲームや映像製作にも役に立つ内容にする予定です。）
More Related Content
![[UE4]マテリアルの注意すべきこと！～テクスチャロードとSwitch～](https://cdn.slidesharecdn.com/ss_thumbnails/ue4materialcaution-190309153116-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to かわいい女の子になりたいんや！ UE4の最新機能を使ってVTuberしてみた！
![[GTMF2019]Unreal Engine 4の2019年上半期 アップデート情報まとめ](https://cdn.slidesharecdn.com/ss_thumbnails/tokyogtmf2019sawada-190718080113-thumbnail.jpg?width=640&height=640&fit=bounds)
かわいい女の子になりたいんや！ UE4の最新機能を使ってVTuberしてみた！
- 1.
- 2.
- 3.
- 4.
- 5.
- 6. #ue4fest#ue4fest 1. UE4を使った国内外のVTuber事例 2. 個人がUE４を使ってVTuberになる方法について 3.個人レベルの限界を目指してみた！ 本日のお品書き
- 7. #ue4fest#ue4fest VTuber専門配信プラットフォーム「REALITY」 • 株式会社Wright FlyerLive Entertainment 社 • ほぼ毎日21:00から生配信！ 国内におけるUE４を使ったVTuber事例
- 8. #ue4fest#ue4fest モーションキャプチャとの親和性 • IKINEMA LiveAction,Orion 親会社であるGREE社にてUE4を採用する流れ なぜ「REALITY」はUE4を採用したのか聞いてきました
- 9.
- 10. #ue4fest#ue4fest • デジタルヒューマン Siren •BEBYLON: BATTLE ROYALE • SIGGRAPH 2018「Real Time Live!」最優秀賞作品 海外におけるUE４を使ったVTuber事例
- 11.
- 12. #ue4fest#ue4fest 1. UE4を使った国内外のVTuber事例 2. 個人がUE４を使ってVTuberになる方法について 3.個人レベルの限界を目指してみた！ 本日のお品書き
- 13. #ue4fest#ue4fest 以下の2パターンが主流 • FaceRig +Live2D • VRHMD + モーションコントローラで 3DCGキャラクタの上半身を動かす方式 個人レベルでVTuberになる場合…
- 14.
- 15. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3.配信用の画面作りについて 4. 動画出力について 目次
- 16. #ue4fest#ue4fest Oculus Rift +Touch HTC Vive + Viveコントローラ Windows MR (UE4.21でネイティブサポート追加) 使える情報は 頭と両手の位置・向きのみ 使用するデバイス
- 17.
- 18.
- 19.
- 20. #ue4fest#ue4fest 1. 頭と手の位置・傾きを キャラクタの動きを制御する AnimationBP に渡す 基本的な使い方の流れ 頭 左手 右手
- 21. #ue4fest#ue4fest 2. IK制御用のノードを Animation BPのAnim Graph に配置 3. 制御するボーンの名前と どの位置・向きに 制御するかを指定 基本的な使い方の流れ
- 22.
- 23. #ue4fest#ue4fest • FABRIK • TwoBone IK • Spline IK • Leg IK • 足の調整に最適化されたIK • Hand IK Retargeting • 体型が違う場合の手の補正機能 公式ドキュメントへのリンク UE4標準のIK機能
- 24.
- 25. #ue4fest#ue4fest Effector Transform Space •指定するTransformの座標系 Tip Bone • 制御対象の 先端 のボーン Root Bone • 制御対象の 根本 のボーン 付録：FABRIKノード の設定 頭から腰のボーンを制御する場合
- 26.
- 27. #ue4fest#ue4fest メリット • 設定・制御が最も手軽で簡単！ • 制御するボーンの数に制限がない！ デメリット •挙動を制御する上での制限が少ないため 曲がってはいけない方向に曲がる可能性がある FABRIKノード のメリット・デメリット
- 28. #ue4fest#ue4fest 手足の制御に適した簡易的なIK • ２つのボーン( 3つのジョイント)の制御に特化 公式ドキュメント「Two Bone IK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/SkeletalControls/TwoBoneIK/ Two Bone IKノード
- 29. #ue4fest#ue4fest IKBone • 制御する手足の先端のボーン Effector Location •先端ボーンをどの位置に制御するか Joint Target Location • 肘・膝の制御ポイントの位置 付録：Two Bone IKノードの設定
- 30. #ue4fest#ue4fest メリット • FABRIKではできなかった肘・膝の制御が可能！ • FABRIKよりも計算コストが少ない デメリット •制御できるボーン数が2個のみ Two Bone IKノードのメリット・デメリット
- 31. #ue4fest#ue4fest 足の制御に適したIK • 足の制御に最適化された Two BoneIKとFABRIKのどちらかを使用する形式 公式ドキュメントはまだありませんが 配布されているParagonのアセットが 使用例として参考になります！ 付録：Leg IKノード
- 32. #ue4fest#ue4fest IKFoot Bone • Effectorとして使用するボーン FKFootBone • 制御する足のボーン Num Bone in Limb • 制御するボーン数( 基本は2で問題なし) Enable Knee Twist Correction • 肘のヒネリを入れるか否か 付録：Leg IKノードの設定
- 33. #ue4fest#ue4fest メリット • 特に調整しなくても、いい感じに足が動く！ • ボーンの回転に関する調整が可能 •Enable Rotation Angle • Enable Knee Twist Correction デメリット • 細かい調整はあまりできない • 「内股ぎみに」などの補正をする場合は Two Bone IKを使った方が調整しやすい 付録：Leg IKノードのメリット・デメリット
- 34. #ue4fest#ue4fest Leg IKはボーンでEffectorを制御する仕組み IK用のボーンが用意されていない場合は Virtual Bone機能を活用する！ エディタ上で スケルトンに仮想ボーンを追加する機能 公式ドキュメント「Virtual Bones」 https://docs.unrealengine.com/en-US/ Engine/Animation/Persona/VirtualBones 付録：Virtual Bone
- 35.
- 36. #ue4fest#ue4fest Two Bone IKも VirtualBoneをEffectorとして 使用することが可能 位置・向きの制御や調整が 値を直接指定するよりも やりやすい 付録：Virtual BoneとTwo Bone IK
- 37. #ue4fest#ue4fest 公式ドキュメント「IK設定」 http://api.unrealengine.com/JPN/Engine/Animation/IKSetu ps/ • Two BoneIKを使った説明ですが、 Leg IKを使う場合も十分に参考になります！ 付録：IKを使って 足の位置を地面の高さに合わせるチュートリアル
- 38. #ue4fest#ue4fest Two Bone IK •制御するボーンが2 かつ “a.AnimNode.LegIK.EnableTwoBone” が 1なら TwoBoneIK FABRIK • 上記の条件を満たさない場合 • ちなみに、LegIKのEnable Rotation Limit, Min Rotation Angle設定は FABRIKで動作するときのみ有効 付録：LegIKノードがTwoBoneIK, FABRIKの どちらを使用するかの判断基準
- 39. #ue4fest#ue4fest スプラインを使って複数のボーンを制御するIK • 背骨や鎖などの 複数のボーンで構成されている箇所に使用 • スプラインによる制御をする際 ボーンの階層構造は無視される 公式ドキュメント「SplineIK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/SkeletalControls/SplineIK/ Spline IKノード
- 40. #ue4fest#ue4fest Start Bone • 制御対象の根本 のボーン End Bone • 制御対象の 先端 のボーン Roll, Twist Start / End • 各ボーンのヒネリ度合いの調整 付録：Spline IKノードの設定 頭から腰のボーンを制御する場合
- 41. #ue4fest#ue4fest メリット • ボーン間の階層関係を意識しなくていいので より直感的にポーズを制御できる • 胴体に頭にかけて 徐々にヒネリ度合いを増やす処理を簡単にできる！ デメリット •動的に各スプラインポイントを制御するのは大変 Spline IKノードのメリット・デメリット
- 42. #ue4fest#ue4fest FABRIK • 2個以上のボーンを制御可能 Two BoneIK • 手足の制御に最適 Spline IK • 階層構造を意識せずに 直感的に制御可能 今回紹介したIK機能
- 43. #ue4fest#ue4fest Two Bone IKがオススメ！ •FABRIKに比べて制限があるため、動作が安定している • 肘の位置に関する制御がしやすい！ 腕の制御はどれがオススメ？
- 44. #ue4fest#ue4fest 一般的に、肘の位置を内側（ = 脇をしめる）にすると 女の子らしさが出ると言われている •男の場合は外側に 肘の位置は 女の子らしさ を出す上で重要！
- 45.
- 46. #ue4fest#ue4fest 頭（ head ）から腰 ( spine_01 )を FABRIK で制御するのが最も手軽 かつ 動きが良かった！ 頭 ～ 腰の制御はどれがオススメ？
- 47. #ue4fest#ue4fest Two Bone IK •制御可能なボーン数が少ないため、 上半身を大きく使う動きができない Spline IK • 動的に各ポイントを制御するのは大変… 他のIK機能との比較
- 48.
- 49.
- 50.
- 51.
- 52.
- 53. #ue4fest#ue4fest 引用元「男舞/女舞 日舞のモーション的解説 https://togetter.com/li/929420」 男性と女性の「見る」の違い 男性： 首しか使わない 女性： 肩を傾けるなど全身を使う
- 54.
- 55.
- 56.
- 57. #ue4fest#ue4fest UE4には複数のIK機能が用意されている • FABRIK, TwoBone IK,, Spline IK, Leg IK, Hand IK Retargeting 手と腕はTwo Bone IK, 頭から腰はFABRIKがオススメ ちょっとした工夫で女の子らしさがアップするので、 色々試してみましょう！ ここまでのまとめ
- 58. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3.配信用の画面作りについて 4. 動画出力について 目次
- 59.
- 60.
- 61. #ue4fest#ue4fest Set Morph Targetノード • Actor側から制御する場合 Modify Curve ノード • Animation BP の Anim Graphで制御する場合 • アニメーションエディタ上で 確認・調整しやすいのでオススメ！ 表情(モーフターゲット)の変更方法
- 62.
- 63.
- 64.
- 65.
- 66. #ue4fest#ue4fest 各指の骨のTransformを Animation BPのAnim Graphで制御 BlendSpaceアセットで制御 • 複数のアニメーションをブレンド • バリエーションが増えるほど 対応・調整コストが増大 付録：Pose アセットがないとき…
- 67. #ue4fest#ue4fest Modify CurveノードでPose アセットが持つカーブを制御 あとは使用するPoseアセットを通すだけ 既存のPose アセットに アニメーションの追加可能なので バリエーション対応も楽 Pose アセットでブレンド処理を簡単実装！
- 68. #ue4fest#ue4fest アニメーションシーケンスから作成可能 • Current Pose： 現在のフレーム内容からPoseアセットに作成 • Current Animation： 各フレーム毎の制御用カーブを持つ Pose アセットを作成 • Insert Pose： 現在のフレーム内容を既存Pose アセットに追加 Pose アセットの作り方
- 69. #ue4fest#ue4fest Animation Pose アセット •http://api.unrealengine.com/JPN/Engine/Animation/AnimPose/ Pose アセットを作成する • http://api.unrealengine.com/JPN/Engine/Animation/AnimHowTo/Creat ePoseAsset/index.html Modify Curve • http://api.unrealengine.com/JPN/Engine/Animation/NodeReference/S keletalControls/ModifyCurve/ Pose Assetに関する公式ドキュメント
- 70. #ue4fest#ue4fest デフォルト設定では アニメーションが上書きされるので Additive を有効にしてブレンドされるように！ 公式ドキュメント「加算 vs.フルボディ」 http://api.unrealengine.com/JPN/Engine/Animation/ AnimPose/AdditivePA/index.html 付録：Pose AssetのAdditive設定
- 71.
- 72.
- 73.
- 74.
- 75. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3.配信用の画面作りについて 4. 動画出力について 目次
- 76. #ue4fest#ue4fest 音声解析を使用する手法 • フォルマントを解析して母音を推定 • マイク以外のデバイス不要 口の動きを画像解析する手法 •カメラなどを使って、顔や口の動きを検出 • 上記の機能をサポートしたデバイスが必要 リップシンク（口パク）をリアルタイムで制御する場合
- 77.
- 78. #ue4fest#ue4fest Oculus LipSync (OVRLipSync)がオススメ！ • Oculus社が公開しているリップシンクライブラリ • 先日リリースされた v1.30でUE4に対応 公式サイト https://developer.oculus.com/documentation/ audiosdk/latest/concepts/ book-audio-ovrlipsync-unreal/ UE4で音声からリップシンクを推定するには
- 79.
- 80. #ue4fest#ue4fest OVRLipSync コンポーネント • マイク音声からの解析 サンプル：LiveCaptureBlueprint OVRLipSyncPlaybackコンポーネント • Sound Waveアセットからの解析 サンプル：PlaybackBlueprint 用意されているコンポーネント
- 81.
- 82. #ue4fest#ue4fest Plugins フォルダに以下のフォルダをコピー • "LipSync¥UnrealPlugin¥OVRLipSyncDemo¥Plugins¥OVRLipSync" Config¥DefaultEngine.iniにマイクを有効にする行を追加 •[Voice] bEnabled=True 付録：自身のプロジェクトで使うには？
- 83.
- 84.
- 85. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3.配信用の画面作りについて 4. 動画出力について 目次
- 86.
- 87.
- 88.
- 89. #ue4fest#ue4fest VR Spectator Screen機能を使う •PSVRにおけるソーシャルスクリーン機能 • 指定したテクスチャをPCモニターで表示可能 3人称視点カメラの映像をモニターに出すためには VRHMDの画面 モニターの画面
- 90.
- 91. #ue4fest#ue4fest Scene Capture Component2D を使って 3人称視点カメラからの映像からテクスチャを作成可能 モニタに表示するテクスチャの作成方法
- 92. #ue4fest#ue4fest Scene Capture Component2Dの Show Only Actorsを使うことで、キャラクタだけを表示可能！ 表示するオブジェクトを制限する方法
- 93. #ue4fest#ue4fest • 緑色の板をキャラクタの後ろに置く <お手軽！> •ポストプロセスで表示対象か否かを判定 <調整楽！> キャラクタ以外を緑で塗りつぶす方法
- 94.
- 95.
- 96.
- 97.
- 98.
- 99. #ue4fest#ue4fest VR Spectator Screen機能と Scene Capture Component 2Dを併用することで OBSで配信するための画面を簡単に作れる！ ここまでのまとめ
- 100.
- 101. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3.配信用の画面作りについて 4. 動画出力について 目次
- 102.
- 103. #ue4fest#ue4fest よりリッチなグラフィック・表現を追加可能！ • UE4の性能をフルに活かせる！ 高解像度の動画を作成可能！ • 4K+ 60fpsの動画も夢じゃない！ 連番画像で出力できる！ • 動画編集ソフトを使う上で色々と便利！ どんなメリットがあるの？
- 104.
- 105.
- 106.
- 107.
- 108.
- 109.
- 110.
- 111.
- 112.
- 113.
- 114.
- 115. #ue4fest#ue4fest 1. UE4を使った国内外のVTuber事例 2. 個人がUE４を使ってVTuberになる方法について 3.個人レベルの限界を目指してみた！ 本日のお品書き
- 116.
- 117.
- 118.
- 119.
- 120.
- 121. #ue4fest#ue4fest 1. UE4 とフェイシャル（表情） キャプチャ 2. UE4 と フィンガー（指） キャプチャ 3. UE4 と 全身モーション キャプチャ 残りの時間で話す内容
- 122.
- 123.
- 124.
- 125. #ue4fest#ue4fest Face AR Sample •Epic Games Launcherより無料でDL可能！ 公式ドキュメント https://docs.unrealengine.com/enus/Platforms/ AR/HandheldAR/FaceARSample 以前に書いたブログ記事 http://pafuhana1213.hatenablog.com/ entry/2018/07/27/214314 iPhoneXがあれば簡単に試せる！
- 126.
- 127.
- 128.
- 129.
- 130. #ue4fest#ue4fest 不気味の谷現象の回避 • 得た情報をそのまま使うのではなく、 キャラクタのことを考慮した取捨選択・補正が大事！ アニメ寄りの表現の場合は特に注意 • キャプチャ情報は少しの味付けぐらいがいいのかも？ •メリハリ効かせたり、フレームレート間引いたりなどが重要 キャラクタの見た目・方向性と要ご相談
- 131. #ue4fest#ue4fest 1. UE4 とフェイシャル（表情） キャプチャ 2. UE4 と フィンガー（指） キャプチャ 3. UE4 と 全身モーション キャプチャ 残りの時間で話す内容
- 132. #ue4fest#ue4fest Leap Motion • 手と指の動きをトラッキング •赤外線センサ Hi5 VR Glove • 指の動きをトラッキング • 慣性センサ LeapMotion と Hi5 VR Glove
- 133. #ue4fest#ue4fest Leap motion もちろん、どちらもUE4に対応済み！ Hi5 VRGlove (Live Linkに対応して欲しい…)
- 134.
- 135. #ue4fest#ue4fest 手のモーションを簡単に作成可能！ • DCCツールを使わずに UE4 xデバイス x 自分の指で作成 Live Linkと アニメーション録画機能を活用！ • アニメーションエディタの録画ボタン • シーケンスレコーダー フィンガートラッキング系のデバイスを使うことで
- 136. #ue4fest#ue4fest 1. UE4 とフェイシャル（表情） キャプチャ 2. UE4 と フィンガー（指） キャプチャ 3. UE4 と 全身モーション キャプチャ 残りの時間で話す内容
- 137. #ue4fest#ue4fest Vive, Viveコントローラ, ViveTrackerによる 6点 or 8点のトラッキングポイントを用いた モーションキャプチャシステム IKinema Orion
- 138.
- 139.
- 140. #ue4fest#ue4fest かなりの精度で演者の動きを再現！ • オッサンっぽい動きも再現するので 女の子の気持ちになって動こう！ さらに • 手頃なお値段 •お手軽セットアップ • 広いスペースを必要としない IKinema Orion は素晴らしい！
- 141.
- 142.
- 143.
- 144.
- 145.
- 146.