Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

かわいい女の子になりたいんや! UE4の最新機能を使ってVTuberしてみた!

9,600 views

Published on

講演動画:https://t.co/mriwEJNdc3

2018年10月14日に行われた「UNREAL FEST EAST 2018」で登壇した際に使用した資料です。
●公式サイト
https://unrealengine.jp/unrealfest/
===
「UE4でVTuberするにはどうすればいいの?」という声をよく聞きます。そこで、UE4と各種デバイスを用いて、個人でも簡単にVTuberになれる方法について解説します。さらに、ただVTuberになるだけでなく、UE4.20における新機能を中心に各機能を活かした表現・フローもお見せできればと思います。(VTuberに限定した内容ではなく、ゲームや映像製作にも役に立つ内容にする予定です。)

Published in: Engineering
  • Be the first to comment

かわいい女の子になりたいんや! UE4の最新機能を使ってVTuberしてみた!

  1. 1. #ue4fest#ue4fest かわいい女の子になりたいんや! UE4の最新機能を使ってVTuberしてみた! Epic Games Japan サポートエンジニア 岡田 和也
  2. 2. #ue4fest#ue4fest 自称 UE4エバンジェリスト系VTuber 水瀬ツバキ (@Tsubaki_VTuber)
  3. 3. #ue4fest#ue4fest 今日は誰でも簡単に UE4を使ってVTuberになる方法をご紹介!
  4. 4. #ue4fest#ue4fest バーチャルYouTuberは、 YouTuberとして動画配信・投稿を行うバーチャルアイドル。 YouTube以外のサービスを利用する際などに YouTubeという特定のサービス名を使用することを避けるため、 単にVTuber、またはバーチャルライバーと呼称することがある そもそもVTuberとは? (Wikipediaより)
  5. 5. #ue4fest#ue4fest VRHMDなどのデバイスを用いて 人間の操作・動き・表情をリアルタイムで反映している バーチャルアイドル のこと 本講演におけるVTuberの定義
  6. 6. #ue4fest#ue4fest 1. UE4を使った国内外のVTuber事例 2. 個人がUE4を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた! 本日のお品書き
  7. 7. #ue4fest#ue4fest VTuber専門配信プラットフォーム「REALITY」 • 株式会社Wright Flyer Live Entertainment 社 • ほぼ毎日21:00から生配信! 国内におけるUE4を使ったVTuber事例
  8. 8. #ue4fest#ue4fest モーションキャプチャとの親和性 • IKINEMA LiveAction, Orion 親会社であるGREE社にてUE4を採用する流れ なぜ「REALITY」はUE4を採用したのか聞いてきました
  9. 9. #ue4fest#ue4fest ノードベースのプログラミング言語Blueprint • 量産時に非エンジニアが実装可能に エディタが日本語化されている ソースコードが公開されている などなど なぜ「REALITY」はUE4を採用したのか聞いてきました
  10. 10. #ue4fest#ue4fest • デジタルヒューマン Siren • BEBYLON: BATTLE ROYALE • SIGGRAPH 2018「Real Time Live!」最優秀賞作品 海外におけるUE4を使ったVTuber事例
  11. 11. #ue4fest#ue4fest 各プロジェクトからのフィードバックを受けて、 モーションキャプチャとの連携が強化! 標準機能と各デバイスが提供している機能だけで 個人でもモーションキャプチャシステムを構築可能! • もちろんデバイスは必要ですが… 最近のUE4のアップデート状況
  12. 12. #ue4fest#ue4fest 1. UE4を使った国内外のVTuber事例 2. 個人がUE4を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた! 本日のお品書き
  13. 13. #ue4fest#ue4fest 以下の2パターンが主流 • FaceRig + Live2D • VRHMD + モーションコントローラで 3DCGキャラクタの上半身を動かす方式 個人レベルでVTuberになる場合…
  14. 14. #ue4fest#ue4fest サンプルプロジェクトを公開しました! https://github.com/pafuhana1213/VTuberWithUE4 実装の詳細に関しては、そちらをご確認ください!
  15. 15. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について 目次
  16. 16. #ue4fest#ue4fest Oculus Rift + Touch HTC Vive + Viveコントローラ Windows MR (UE4.21でネイティブサポート追加) 使える情報は 頭と両手の位置・向きのみ 使用するデバイス
  17. 17. #ue4fest#ue4fest
  18. 18. #ue4fest#ue4fest 足りない部分のボーンの位置・向きを どう制御するか? IK(Inverse Kinematics, 逆運動学)を使う!
  19. 19. #ue4fest#ue4fest 対象ジョイントの最終的な位置・向きが先に決まっていて、 それを満たすために各ボーンを制御する手法 IKについて FK(Forward Kinematics) IK
  20. 20. #ue4fest#ue4fest 1. 頭と手の位置・傾きを キャラクタの動きを制御する Animation BP に渡す 基本的な使い方の流れ 頭 左手 右手
  21. 21. #ue4fest#ue4fest 2. IK制御用のノードを Animation BPの Anim Graph に配置 3. 制御するボーンの名前と どの位置・向きに 制御するかを指定 基本的な使い方の流れ
  22. 22. #ue4fest#ue4fest IKの計算結果によっては 非常に違和感のある動きになる可能性がある • 曲がってはいけない方向に曲がったり… 適した手法を選択した上で 挙動を制御するために制限をかけることが大事 IKによる制御の注意点
  23. 23. #ue4fest#ue4fest • FABRIK • Two Bone IK • Spline IK • Leg IK • 足の調整に最適化されたIK • Hand IK Retargeting • 体型が違う場合の手の補正機能 公式ドキュメントへのリンク UE4標準のIK機能
  24. 24. #ue4fest#ue4fest UE4の中だと最も手軽に使えるIK • 制御するボーンの先端・根本と、 どの位置・向きに制御するか指定するだけ! 公式ドキュメント「FABRIK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/Fabrik/ FABRIKノード (Forward And Backward Reaching Inverse Kinematics)
  25. 25. #ue4fest#ue4fest Effector Transform Space • 指定するTransformの座標系 Tip Bone • 制御対象の 先端 のボーン Root Bone • 制御対象の 根本 のボーン 付録:FABRIKノード の設定 頭から腰のボーンを制御する場合
  26. 26. #ue4fest#ue4fest End Effector Tip Bone Root Bone
  27. 27. #ue4fest#ue4fest メリット • 設定・制御が最も手軽で簡単! • 制御するボーンの数に制限がない! デメリット • 挙動を制御する上での制限が少ないため 曲がってはいけない方向に曲がる可能性がある FABRIKノード のメリット・デメリット
  28. 28. #ue4fest#ue4fest 手足の制御に適した簡易的なIK • 2つのボーン( 3つのジョイント )の制御に特化 公式ドキュメント「Two Bone IK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/SkeletalControls/TwoBoneIK/ Two Bone IKノード
  29. 29. #ue4fest#ue4fest IKBone • 制御する手足の先端のボーン Effector Location • 先端ボーンをどの位置に制御するか Joint Target Location • 肘・膝の制御ポイントの位置 付録:Two Bone IKノードの設定
  30. 30. #ue4fest#ue4fest メリット • FABRIKではできなかった肘・膝の制御が可能! • FABRIKよりも計算コストが少ない デメリット • 制御できるボーン数が2個のみ Two Bone IKノードのメリット・デメリット
  31. 31. #ue4fest#ue4fest 足の制御に適したIK • 足の制御に最適化された Two Bone IKとFABRIKのどちらかを使用する形式 公式ドキュメントはまだありませんが 配布されているParagonのアセットが 使用例として参考になります! 付録:Leg IKノード
  32. 32. #ue4fest#ue4fest IKFoot Bone • Effectorとして使用するボーン FKFoot Bone • 制御する足のボーン Num Bone in Limb • 制御するボーン数( 基本は2で問題なし) Enable Knee Twist Correction • 肘のヒネリを入れるか否か 付録:Leg IKノードの設定
  33. 33. #ue4fest#ue4fest メリット • 特に調整しなくても、いい感じに足が動く! • ボーンの回転に関する調整が可能 • Enable Rotation Angle • Enable Knee Twist Correction デメリット • 細かい調整はあまりできない • 「内股ぎみに」などの補正をする場合は Two Bone IKを使った方が調整しやすい 付録:Leg IKノードのメリット・デメリット
  34. 34. #ue4fest#ue4fest Leg IKはボーンでEffectorを制御する仕組み IK用のボーンが用意されていない場合は Virtual Bone 機能を活用する! エディタ上で スケルトンに仮想ボーンを追加する機能 公式ドキュメント「Virtual Bones」 https://docs.unrealengine.com/en-US/ Engine/Animation/Persona/VirtualBones 付録:Virtual Bone
  35. 35. #ue4fest#ue4fest
  36. 36. #ue4fest#ue4fest Two Bone IKも Virtual BoneをEffectorとして 使用することが可能 位置・向きの制御や調整が 値を直接指定するよりも やりやすい 付録:Virtual BoneとTwo Bone IK
  37. 37. #ue4fest#ue4fest 公式ドキュメント「IK設定」 http://api.unrealengine.com/JPN/Engine/Animation/IKSetu ps/ • Two Bone IKを使った説明ですが、 Leg IKを使う場合も十分に参考になります! 付録:IKを使って 足の位置を地面の高さに合わせるチュートリアル
  38. 38. #ue4fest#ue4fest Two Bone IK • 制御するボーンが2 かつ “a.AnimNode.LegIK.EnableTwoBone” が 1なら TwoBoneIK FABRIK • 上記の条件を満たさない場合 • ちなみに、LegIKのEnable Rotation Limit, Min Rotation Angle設定は FABRIKで動作するときのみ有効 付録:LegIKノードがTwoBoneIK, FABRIKの どちらを使用するかの判断基準
  39. 39. #ue4fest#ue4fest スプラインを使って複数のボーンを制御するIK • 背骨や鎖などの 複数のボーンで構成されている箇所に使用 • スプラインによる制御をする際 ボーンの階層構造は無視される 公式ドキュメント「Spline IK」 http://api.unrealengine.com/JPN/Engine/Animation/ NodeReference/SkeletalControls/SplineIK/ Spline IKノード
  40. 40. #ue4fest#ue4fest Start Bone • 制御対象の 根本 のボーン End Bone • 制御対象の 先端 のボーン Roll, Twist Start / End • 各ボーンのヒネリ度合いの調整 付録:Spline IKノードの設定 頭から腰のボーンを制御する場合
  41. 41. #ue4fest#ue4fest メリット • ボーン間の階層関係を意識しなくていいので より直感的にポーズを制御できる • 胴体に頭にかけて 徐々にヒネリ度合いを増やす処理を簡単にできる! デメリット • 動的に各スプラインポイントを制御するのは大変 Spline IKノードのメリット・デメリット
  42. 42. #ue4fest#ue4fest FABRIK • 2個以上のボーンを制御可能 Two Bone IK • 手足の制御に最適 Spline IK • 階層構造を意識せずに 直感的に制御可能 今回紹介したIK機能
  43. 43. #ue4fest#ue4fest Two Bone IKがオススメ! • FABRIKに比べて制限があるため、動作が安定している • 肘の位置に関する制御がしやすい! 腕の制御はどれがオススメ?
  44. 44. #ue4fest#ue4fest 一般的に、肘の位置を内側( = 脇をしめる)にすると 女の子らしさが出ると言われている • 男の場合は外側に 肘の位置は 女の子らしさ を出す上で重要!
  45. 45. #ue4fest#ue4fest 肘の制御ポイント(Joint Target Location)を 脇辺りに指定しておくといい感じに! 手を前に持ってきたときに 脇がしまっているか確認! Two Bone IKの調整
  46. 46. #ue4fest#ue4fest 頭( head )から 腰 ( spine_01 )を FABRIK で制御するのが最も手軽 かつ 動きが良かった! 頭 ~ 腰の制御はどれがオススメ?
  47. 47. #ue4fest#ue4fest Two Bone IK • 制御可能なボーン数が少ないため、 上半身を大きく使う動きができない Spline IK • 動的に各ポイントを制御するのは大変… 他のIK機能との比較
  48. 48. #ue4fest#ue4fest ここまで紹介した機能だけで、ここまでできちゃう!
  49. 49. #ue4fest#ue4fest
  50. 50. #ue4fest#ue4fest せっかくなので 少しの工夫で よりかわいくなりましょう!
  51. 51. #ue4fest#ue4fest 少しの ヒネリ で女の子らしさを出そう!
  52. 52. #ue4fest#ue4fest 少しの ヒネリ で女の子らしさを出そう!
  53. 53. #ue4fest#ue4fest 引用元「男舞/女舞 日舞のモーション的解説 https://togetter.com/li/929420 」 男性と女性の「見る」の違い 男性: 首しか使わない 女性: 肩を傾けるなど全身を使う
  54. 54. #ue4fest#ue4fest 今回試してみたこと 頭の向きに応じて 肩の傾きと上半身のヒネリを調整 ボーンの階層構造を無視する Spline IKノードを使えば調整簡単!
  55. 55. #ue4fest#ue4fest 頭の向きによって、肩の傾きと上半身のヒネリを調整
  56. 56. #ue4fest#ue4fest かわいいは作れる!
  57. 57. #ue4fest#ue4fest UE4には複数のIK機能が用意されている • FABRIK, Two Bone IK,, Spline IK, Leg IK, Hand IK Retargeting 手と腕はTwo Bone IK, 頭から腰はFABRIKがオススメ ちょっとした工夫で女の子らしさがアップするので、 色々試してみましょう! ここまでのまとめ
  58. 58. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について 目次
  59. 59. #ue4fest#ue4fest モーションコントローラやゲームパッドなどを使って 切り替える手法が一般的 表情・指の制御について
  60. 60. #ue4fest#ue4fest メッシュに用意された モーフターゲット の値を調整 モデルによっては 目玉の向きをボーンで制御したり テクスチャの変更で表現する場合も 表情の制御について
  61. 61. #ue4fest#ue4fest Set Morph Target ノード • Actor側から制御する場合 Modify Curve ノード • Animation BP の Anim Graphで制御する場合 • アニメーションエディタ上で 確認・調整しやすいのでオススメ! 表情(モーフターゲット)の変更方法
  62. 62. #ue4fest#ue4fest アニメーションシーケンス上で モーフターゲットを制御することが可能 Curvesからカーブで制御するか、 固定値(1)を入れるかを編集する方式 付録:アニメーションに表情変化を仕込む
  63. 63. #ue4fest#ue4fest
  64. 64. #ue4fest#ue4fest 公式ドキュメント 「FBX モーフターゲットのパイプライン」 http://api.unrealengine.com/JPN/Engine/ Content/FBX/MorphTargets/index.html 付録:モーフターゲットの作成・インポート
  65. 65. #ue4fest#ue4fest Pose アセットを使った実装がおすすめ! 単一フレームのアニメーションを アニメーションカーブを使ってブレンド可能 モーフターゲットと 同じ感覚で編集・確認することが可能 指の制御について
  66. 66. #ue4fest#ue4fest 各指の骨のTransformを Animation BPのAnim Graphで制御 BlendSpace アセットで制御 • 複数のアニメーションをブレンド • バリエーションが増えるほど 対応・調整コストが増大 付録:Pose アセットがないとき…
  67. 67. #ue4fest#ue4fest Modify CurveノードでPose アセットが持つカーブを制御 あとは使用するPose アセットを通すだけ 既存のPose アセットに アニメーションの追加可能なので バリエーション対応も楽 Pose アセットでブレンド処理を簡単実装!
  68. 68. #ue4fest#ue4fest アニメーションシーケンスから作成可能 • Current Pose: 現在のフレーム内容からPose アセットに作成 • Current Animation: 各フレーム毎の制御用カーブを持つ Pose アセットを作成 • Insert Pose: 現在のフレーム内容を既存Pose アセットに追加 Pose アセットの作り方
  69. 69. #ue4fest#ue4fest Animation Pose アセット • http://api.unrealengine.com/JPN/Engine/Animation/AnimPose/ Pose アセットを作成する • http://api.unrealengine.com/JPN/Engine/Animation/AnimHowTo/Creat ePoseAsset/index.html Modify Curve • http://api.unrealengine.com/JPN/Engine/Animation/NodeReference/S keletalControls/ModifyCurve/ Pose Assetに関する公式ドキュメント
  70. 70. #ue4fest#ue4fest デフォルト設定では アニメーションが上書きされるので Additive を有効にしてブレンドされるように! 公式ドキュメント「加算 vs. フルボディ」 http://api.unrealengine.com/JPN/Engine/Animation/ AnimPose/AdditivePA/index.html 付録:Pose AssetのAdditive設定
  71. 71. #ue4fest#ue4fest Pose Assetを使い始めると メッシュが持つアニメーションカーブが どんどん増える! Anim Graphにてカーブを扱う際に ヒューマンエラーが発生する可能性が高くなる 付録:アニメーションカーブの管理に注意!
  72. 72. #ue4fest#ue4fest カーブの命名規則はちゃんとつけましょう! 不要になったアニメーションカーブは削除しましょう! • Pose Assetを削除しても 使用していたカーブは残り続けるので明示的に削除する必要あり 付録:アニメーションカーブの管理に注意!
  73. 73. #ue4fest#ue4fest 付録:アニメーションカーブの削除方法
  74. 74. #ue4fest#ue4fest Pose Assetを使うことで、 ブレンド用のアニメーションの管理・確認・調整が楽に! 是非ご活用ください!
  75. 75. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について 目次
  76. 76. #ue4fest#ue4fest 音声解析を使用する手法 • フォルマントを解析して母音を推定 • マイク以外のデバイス不要 口の動きを画像解析する手法 • カメラなどを使って、顔や口の動きを検出 • 上記の機能をサポートしたデバイスが必要 リップシンク(口パク)をリアルタイムで制御する場合
  77. 77. #ue4fest#ue4fest 簡単にVTuberになれるというコンセプトなので 音声解析の手法について紹介
  78. 78. #ue4fest#ue4fest Oculus LipSync (OVRLipSync) がオススメ! • Oculus社が公開しているリップシンクライブラリ • 先日リリースされた v1.30でUE4に対応 公式サイト https://developer.oculus.com/documentation/ audiosdk/latest/concepts/ book-audio-ovrlipsync-unreal/ UE4で音声からリップシンクを推定するには
  79. 79. #ue4fest#ue4fest 音声から唇の形状を分類した口形素(Visemes)を解析し、 その結果をモーフターゲットに適用 Viseme Reference https://developer.oculus.com/documentation/ audiosdk/latest/concepts/ audio-ovrlipsync-viseme-reference/ サンプルプロジェクト OVRLipSyncDemo
  80. 80. #ue4fest#ue4fest OVRLipSync コンポーネント • マイク音声からの解析 サンプル:LiveCaptureBlueprint OVRLipSyncPlayback コンポーネント • Sound Waveアセットからの解析 サンプル:PlaybackBlueprint 用意されているコンポーネント
  81. 81. #ue4fest#ue4fest
  82. 82. #ue4fest#ue4fest Plugins フォルダに以下のフォルダをコピー • "LipSync¥UnrealPlugin¥OVRLipSyncDemo¥Plugins¥OVRLipSync" Config¥DefaultEngine.iniにマイクを有効にする行を追加 • [Voice] bEnabled=True 付録:自身のプロジェクトで使うには?
  83. 83. #ue4fest#ue4fest 音声を受け取ってから解析処理が始まるため モデルに反映されるまでに遅延が発生 • 検証環境では マイク入力+解析処理で約100msの遅延 OBSで配信する場合は、 マイクの同期オフセットを 100 に設定するといい感じ 付録:遅延対策
  84. 84. #ue4fest#ue4fest 表情・指はコントローラによる制御、 リップシンクはOVRLipSyncによる解析を使うのが VTuberでは一般的 複数の単一フレームアニメーションを使用する場合は Pose アセットを使えば実装や調整に便利! ここまでのまとめ
  85. 85. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について 目次
  86. 86. #ue4fest#ue4fest 配信で使用するソフトはOBS • VTuberさんの大半が使用している無料の配信用ソフト • 選択したウィンドウなどを取り込んで配信 • クロマキー合成機能がある 前提条件
  87. 87. #ue4fest#ue4fest UE4側で必要なこと • 配信に流したい画面をモニター上に表示 • 抜きたい箇所は緑で塗りつぶす 前提条件
  88. 88. #ue4fest#ue4fest VRHMD, モーションコントローラを使うために VRPreviewで実行する必要がある VRHMDに映る画面が PCモニターに表示されてしまう… VRPreview時のPCモニターの画面
  89. 89. #ue4fest#ue4fest VR Spectator Screen機能を使う • PSVRにおけるソーシャルスクリーン機能 • 指定したテクスチャをPCモニターで表示可能 3人称視点カメラの映像をモニターに出すためには VRHMDの画面 モニターの画面
  90. 90. #ue4fest#ue4fest http://api.unrealengine.com/JPN/Platforms/VR/ VRSpectatorScreen/ 公式ドキュメント「VR Spectator Screen 機能」
  91. 91. #ue4fest#ue4fest Scene Capture Component 2D を使って 3人称視点カメラからの映像からテクスチャを作成可能 モニタに表示するテクスチャの作成方法
  92. 92. #ue4fest#ue4fest Scene Capture Component 2Dの Show Only Actorsを使うことで、キャラクタだけを表示可能! 表示するオブジェクトを制限する方法
  93. 93. #ue4fest#ue4fest • 緑色の板をキャラクタの後ろに置く <お手軽!> • ポストプロセスで表示対象か否かを判定 <調整楽!> キャラクタ以外を緑で塗りつぶす方法
  94. 94. #ue4fest#ue4fest
  95. 95. #ue4fest#ue4fest VR+SceneCaptureで3回レンダリングすることになるので、 油断するとすぐフレームレート下がります… • 動画の印象に影響するのもありますが、 物理挙動にも影響するので注意する必要があります SceneCapturecomponent2Dには、 描画に関する要素毎にONOFFできる機能があるので活用! 処理負荷に関する注意
  96. 96. #ue4fest#ue4fest
  97. 97. #ue4fest#ue4fest SceneCaptureComponent2Dを使って 生成・更新したテクスチャを表示するメッシュを配置 • テクスチャを表示するマテリアルを適用した 平面のメッシュを置くだけ! VR内でも配信画面を確認できるように
  98. 98. #ue4fest#ue4fest 左右反転しないと演技が大変になります! • つまり、鏡にしないといけない • テクスチャに渡すUV座標のX座標を反転するか、 平面モデルなら裏向きにすればいい 演者が確認する画面についての注意
  99. 99. #ue4fest#ue4fest VR Spectator Screen 機能と Scene Capture Component 2Dを併用することで OBSで配信するための画面を簡単に作れる! ここまでのまとめ
  100. 100. #ue4fest#ue4fest VTuberとして動画配信する準備が ついに整いました! 標準機能とBlueprintしか使ってないので 誰でも簡単にできちゃいます!
  101. 101. #ue4fest#ue4fest 1. VRHMD、モーションコントローラを用いて 上半身を動かす方法について 2. 表情・指・リップシンク対応について 3. 配信用の画面作りについて 4. 動画出力について 目次
  102. 102. #ue4fest#ue4fest 配信用の画面を そのまま録画する手もあるけど… UE4のシーケンスレコーダー機能や シーケンサーの動画出力機能を活用すれば、 色んなメリットを得られます! 動画作成もVTuberの重要な活動の一つ!
  103. 103. #ue4fest#ue4fest よりリッチなグラフィック・表現を追加可能! • UE4の性能をフルに活かせる! 高解像度の動画を作成可能! • 4K + 60fpsの動画も夢じゃない! 連番画像で出力できる! • 動画編集ソフトを使う上で色々と便利! どんなメリットがあるの?
  104. 104. #ue4fest#ue4fest 使うしかないっしょ!
  105. 105. #ue4fest#ue4fest 録画開始から終了までの キャラクタのアニメーション、パラメータ変更などを 全て記録したカットシーンを作成する機能 シーケンスレコーダー
  106. 106. #ue4fest#ue4fest カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる! シーケンスレコーダーの良い所
  107. 107. #ue4fest#ue4fest カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる! シーケンスレコーダーの良い所 カメラの角度 変えてみようか!
  108. 108. #ue4fest#ue4fest カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる! シーケンスレコーダーの良い所 カメラの角度 変えてみようか! やっぱり 帽子はいるよね!
  109. 109. #ue4fest#ue4fest カットシーン製作用のツールである シーケンサーで録画内容をすぐ確認・調整できる! シーケンスレコーダーの良い所 カメラの角度 変えてみようか! やっぱり 帽子はいるよね! 芸術は爆発だ!
  110. 110. #ue4fest#ue4fest 物理やフェイシャルの変化も含めた アニメーションアセットを作成してくれる! アセット化することで用途が広がる! • 例:ライブ配信のVRアーカイブ シーケンスレコーダーの良い所
  111. 111. #ue4fest#ue4fest シーケンサの機能から 動画・連番画像をすぐ出力できる! シーケンスレコーダーの良い所
  112. 112. #ue4fest#ue4fest 左上にあるRecordボタンを押すか、 録画開始/終了用のコマンドを使う • RecordSequence • StopRecordSequence 公式ドキュメント「シーケンスレコーダー」 http://api.unrealengine.com/JPN/Engine/ Sequencer/Workflow/SequenceRecorder/ シーケンスレコーダーによる録画の開始/停止
  113. 113. #ue4fest#ue4fest UE4の標準機能だけで、 VTuberとして活動する上で必要な要素・機能を実装可能! キャラクタに魂を入れるための一工夫や 差をつける為のクオリティアップも、 UE4が持つ様々な機能が手助けしてくれる! ここまでのまとめ
  114. 114. #ue4fest#ue4fest サンプルプロジェクトを公開しました! https://github.com/pafuhana1213/VTuberWithUE4 実装の詳細に関しては、そちらをご確認ください!
  115. 115. #ue4fest#ue4fest 1. UE4を使った国内外のVTuber事例 2. 個人がUE4を使ってVTuberになる方法について 3. 個人レベルの限界を目指してみた! 本日のお品書き
  116. 116. #ue4fest#ue4fest 思ってたよりも VTuberに必要な要素を簡単に作れてしまった… 講演時間 70分… どうやって時間埋めよう…うーん… 個人レベルの限界を目指すに至った経緯
  117. 117. #ue4fest#ue4fest ちょうど偶然 Vive Trackerを5台ほど持ってるし 行ける所まで行っちゃうか! 個人レベルの限界を目指すに至った経緯
  118. 118. #ue4fest#ue4fest 2週間後・・・
  119. 119. #ue4fest#ue4fest
  120. 120. #ue4fest#ue4fest \どうしてこうなった/
  121. 121. #ue4fest#ue4fest 1. UE4 と フェイシャル(表情) キャプチャ 2. UE4 と フィンガー(指) キャプチャ 3. UE4 と 全身モーション キャプチャ 残りの時間で話す内容
  122. 122. #ue4fest#ue4fest Appleが販売している 高性能なフェイシャル(表情)キャプチャを行えるデバイス すまーと…ふぉん…? なにそれおいしいの? iPhoneX
  123. 123. #ue4fest#ue4fest iPhoneXで検出した表情データが Wifi経由でエディタに送信される仕組み 追加するノードは1個だけ! iPhoneXとUE4の連携
  124. 124. #ue4fest#ue4fest 外部ソフト・デバイスから送信されたアニメーションデータを エディタ上でリアルタイムに確認できる機能 公式ドキュメント「Live Link Plugin」 https://docs.unrealengine.com/en-us/Engine/ Animation/Live-Link-Plugin Live Linkについて
  125. 125. #ue4fest#ue4fest Face AR Sample • Epic Games Launcherより無料でDL可能! 公式ドキュメント https://docs.unrealengine.com/enus/Platforms/ AR/HandheldAR/FaceARSample 以前に書いたブログ記事 http://pafuhana1213.hatenablog.com/ entry/2018/07/27/214314 iPhoneXがあれば簡単に試せる!
  126. 126. #ue4fest#ue4fest 検出情報に対応すればするほど キャラクタの方向性に合わないケースがある • 不気味の谷現象が起きる可能性も 使用する検出情報を 取捨選択することが大事! • ツバキちゃんの場合 口、目(開閉、目線)、眉のみ使用 ぷち考察 1 「全ての検出情報に対応する必要はない!」
  127. 127. #ue4fest#ue4fest 極端な細目はかわいくない! 一定値を超えたら、閉じるように補正するとかわいくなる! ぷち考察 2 「キャラクタに合う形で誇張、補正すべし」
  128. 128. #ue4fest#ue4fest 目や表情の演技が反映されると キャラクタが生きてる感がぐっと上がります! コントローラによる切り替えや 自動制御では難しい 細かな感情表現が可能! ぷち考察 3 「目と表情の細かい動きによる感情表現」
  129. 129. #ue4fest#ue4fest 表情による演技・表現の幅がぐっと引き上がります! さらに「コントローラによる表情切り替え」 や 「OVRLipSyncによるリップシンク」 と併用して、互いの弱点を補間!
  130. 130. #ue4fest#ue4fest 不気味の谷現象の回避 • 得た情報をそのまま使うのではなく、 キャラクタのことを考慮した取捨選択・補正が大事! アニメ寄りの表現の場合は特に注意 • キャプチャ情報は少しの味付けぐらいがいいのかも? • メリハリ効かせたり、フレームレート間引いたりなどが重要 キャラクタの見た目・方向性と要ご相談
  131. 131. #ue4fest#ue4fest 1. UE4 と フェイシャル(表情) キャプチャ 2. UE4 と フィンガー(指) キャプチャ 3. UE4 と 全身モーション キャプチャ 残りの時間で話す内容
  132. 132. #ue4fest#ue4fest Leap Motion • 手と指の動きをトラッキング • 赤外線センサ Hi5 VR Glove • 指の動きをトラッキング • 慣性センサ LeapMotion と Hi5 VR Glove
  133. 133. #ue4fest#ue4fest Leap motion もちろん、どちらもUE4に対応済み! Hi5 VR Glove (Live Linkに対応して欲しい…)
  134. 134. #ue4fest#ue4fest 演者の動きがより反映されるため、 キャラクタの表現の幅がぐっと引き上がる! • プリセットの切り替え・ブレンドでは難しい フィンガートラッキング系のデバイスを使うことで
  135. 135. #ue4fest#ue4fest 手のモーションを簡単に作成可能! • DCCツールを使わずに UE4 x デバイス x 自分の指で作成 Live Linkと アニメーション録画機能を活用! • アニメーションエディタの録画ボタン • シーケンスレコーダー フィンガートラッキング系のデバイスを使うことで
  136. 136. #ue4fest#ue4fest 1. UE4 と フェイシャル(表情) キャプチャ 2. UE4 と フィンガー(指) キャプチャ 3. UE4 と 全身モーション キャプチャ 残りの時間で話す内容
  137. 137. #ue4fest#ue4fest Vive, Viveコントローラ, Vive Trackerによる 6点 or 8点のトラッキングポイントを用いた モーションキャプチャシステム IKinema Orion
  138. 138. #ue4fest#ue4fest 足 肘 腰
  139. 139. #ue4fest#ue4fest じゃーん
  140. 140. #ue4fest#ue4fest かなりの精度で演者の動きを再現! • オッサンっぽい動きも再現するので 女の子の気持ちになって動こう! さらに • 手頃なお値段 • お手軽セットアップ • 広いスペースを必要としない IKinema Orion は素晴らしい!
  141. 141. #ue4fest#ue4fest 追加するノードは一つだけ! Live Linkにも対応済み! IKinema 公式ドキュメント https://ikinema.com/index.php? mod=documentation&show=317 IKinema OrionとUE4の連携
  142. 142. #ue4fest#ue4fest Composure機能 キャラクタの影を落とすAR おまけ: UE4のとある機能と併用してみた Virtual Camera機能 iPhone, iPadが手持ちカメラに!
  143. 143. #ue4fest#ue4fest (ギリギリ)個人レベルでも手に入る モーション・フェイシャルキャプチャ用のデバイスを紹介 既存のUE4プロジェクトへの 対応コストはほんの僅か!すぐ試すことができる! UE4には他にも色んな機能があります! それらと組み合わせれば可能性は無限大! ここまでのまとめ
  144. 144. #ue4fest#ue4fest VTuberをこれから始めてみたいという方へ UE4の標準機能だけで実現可能です! クオリティを追求したい方へ UE4の様々な強力な機能がお助けします! デバイスで色々してみたい方へ 沼へようこそ! 少ない導入コストですぐ試すことができますよ! 最後のまとめ
  145. 145. #ue4fest#ue4fest ツバキちゃんのモデルは 株式会社Indie-us Games様より アセットをお借りしました マーケットプレイスにて 販売予定ですのでお楽しみに! 本当の本当の最後に
  146. 146. #ue4fest#ue4fest 自称 UE4エバンジェリスト系VTuber 水瀬ツバキ (@Tsubaki_Vtuber) 質問などありましたら、彼女へどうぞ! ご清聴ありがとうございました!

×