More Related Content
Similar to DoMCN VTuber Study
Similar to DoMCN VTuber Study (20)
Recently uploaded
Recently uploaded (14)
DoMCN VTuber Study
- 2. 自己紹介 jojomon 2 xRをこよなく愛する。体験するのも作るのも好き。 普段はECパッケージ、業務システムの開発・保守など。 DoMCNというコミュニティでxR関連のイベントを札幌で開催中。
- 3. 本日話すこと • VTuberハッカソン概要説明 • 各大会最優秀賞作品の紹介 • VTuber動画作成工程 • VTuberハッカソン所感 • 終わり 3
- 4. 2018/4/14 HoloMagicians / xMCN 4 VTuberハッカソン2018北海道大会 12月1、2日のプレミアム大会を目指して、札幌で の地方大会を開催。（全国14か所以上で実施） バーチャルキャラの動画を生み出すお祭り。 ▼主催：DoMCN 総合主催：PANORA 共同主催・運営：SVVR Japan ゴールドスポンサー：バーチャルキャスト 開催協力：北海道情報専門学校 日程：11月10～11日の土日 会場：北海道情報専門学校 募集：40名
- 7. 各大会最優秀賞作品の紹介 【第1回】音楽室の偉人が美少女になってみた！ （1:54） https://youtu.be/ZrERVB3otPk 【福岡】はじめてのバビ☆カツ （2:11） https://youtu.be/0T1oEKa26oM 【大阪】シャルとロッテのLIVESTAGE！ （2:32） https://youtu.be/MhAH3dFj8Ug 【島根】バーチャル俳人の恋言(れごん)です！秋の季語を紹介します。 （2:06）https://youtu.be/tSViZtkQVaM 【岡山】はじめまして！あけびです。 （2:09） https://youtu.be/MRWcCJqxkNg 7
- 8. VTuber動画作成工程 1. 企画 2. 脚本づくり 3. アバター作成 4. モーション作成 8 5. 声当て（アテレコ） 6. 素材集め、作成（音楽、 効果音、小物などなど） 7. 動画・音声編集 8. 動画出力・アップロード
- 9. チーム編成イメージ • アクター • 3Dモデリング・動画編集 • システム・Unity作業 • キャラデザイン • 企画・音声 9 チームに一人いないと困るが 後半割と手が空くUnityエンジニア
- 10. 2018/4/14 HoloMagicians / xMCN 10 チームDoMCNの紹介 じゅーいち 発案 開発 miyamo 英 涼太 甘粕どんどん jojomon @Q1J011 @omochi91219@DMiyamo3 @RyotaHanabusa @jojomonvr 開発 モデル改変 動画 サウンド 企画 アクター 発案 開発 札幌から完全リモート参加
- 14. 絵コンテ例１ 14 ※横須賀大会
- 15. 絵コンテ例２ 15※横須賀大会
- 16. 絵コンテ テンプレート 16
- 17. 字コンテ例 17
- 18. 字コンテ例 18
- 20. ３．アバター作成 ② VRoid Studio（https://vroid.pixiv.net/） VRM出力無料、短時間にクオリティの高いアバターを作成可能 ⇒ VRMなのでバーチャルキャストにも取り込み容易 服のパターンが少ない ③ Vカツ（ https://vkatsu.jp/） VRM出力有料（5,000円）、短時間にクオリティの高いアバターを作成可能 ⇒ VRM変換はニコニ立体及び、バーチャルキャスト専用でローカル保存不可 服のパターンが豊富 20
- 21. ３．アバター作成 ④ ダウンロード 1. Unity Asset Store （ https://assetstore.unity.com/ ） 2. ニコニコ立体 （ https://3d.nicovideo.jp/ ） 3. ３Dモデル検索 （ https://www.yobi3d.com/ ） ※3Dモデルが無料,フリーでダウンロードできるサイト25選！CG素材 | ART （ https://artjuku.com/3d-cg-free-model/ ） 番外編 カスタムキャスト（ https://www.moguravr.com/vtuber-customcast-review/ ） スマホでモデルの作成からニコキャス配信 ※バーチャルキャストとの連携は今のところできない 21
- 26. ４．モーション作成 概要 HTC VIVE + VIVE Tracker、 Perception Neuronなどを利用して モーションを作成 ※HTC VIVE + VIVE Tracker、 Perception Neuronは当日貸出可能 26 3D • HTC VIVE + VIVE Tracker • OculusRift + Touch • Perception Neuron • バーチャルキャスト 2D • FaceRig + LIVE2D
- 27. ４．モーション作成 ① VR HMD（HTC VIVE、Oculus Rift） ② Perception Neuron（事前モーション作成） ③ Perception Neuron（Unity内モーション作成） ④ バーチャルキャスト ＋ VR HMD（HTC VIVE、Oculus Rift） 27
- 29. ４．モーション作成 VR HMD（HTC VIVE、Oculus Rift） 1. アバターの配置（ファイル形式により配置方法は異なる） 2. モーショントラッキング（Final IK or SAFullBodyIK ） 3. マイク入力ベースのリップシンク（ OVRLipsync ） 4. ボイスチェンジャー（Voice Changer Filter） ← アテレコなら不要 5. 背景の設定 • クロマキー合成用のグリーンバック • 全天球画像の取り込み 6. Windowsの標準機能でシーンごとに分割して録画（Windowsボタン + G） 29 Final IKを持っている人がチームに いると難易度低いが。。。
- 30. 北海道ちゃんのモーション 30
- 31. ４．モーション作成 Perception Neuron（事前モーション作成） 1. Perception NeuronとAxis Neuron（ソフト）でモーションファイル（FBX）作成 2. アバターの配置 3. モーションファイルとアバターをUnityで合成 4. マイク入力ベースのリップシンク（ OVRLipsync ） ← 口パクさせる 5. ボイスチェンジャー（Voice Changer Filter） ← アテレコなら不要 6. 背景の設定 • クロマキー合成用のグリーンバック • 全天球画像の取り込み 7. Windowsの標準機能でシーンごとに分割して録画（Windowsボタン + G） 31 １，３ともに難易度低い
- 34. Unityでモーション取り込み 34 ① UnityにFBXファイルを取り込んで、Animation Type を Humanoid に設定してApplyボタンクリック ② Motionに設定する ① ②
- 35. ４．モーション作成 Perception Neuron（Unity内モーション作成） 1. アバターの配置 2. Perception NeuronのSDKをインポート 3. Axis NeuronとUnity側で設定 4. マイク入力ベースのリップシンク（ OVRLipsync ）← 口パクさせる 5. ボイスチェンジャー（Voice Changer Filter） ← アテレコなら不要 6. 背景の設定 • クロマキー合成用のグリーンバック • 全天球画像の取り込み 7. Windowsの標準機能でシーンごとに分割して録画（Windowsボタン + G） 35 ３が結構大変。 参考リンクは後半に記載
- 36. ４．モーション作成 バーチャルキャスト ＋ VR HMD（HTC VIVE、Oculus Rift） 1. アバターの配置 （ニコニコ立体にアップロード、設定ファイルの編集） 2. 背景の設定 （各自で画像をアップロード、設定ファイルの編集） • クロマキー合成用のグリーンバック • 全天球画像の取り込み 3. Windowsの標準機能でシーンごとに分割して録画 （Windowsボタン + G） 36 基本アップロードして、設定ファイ ルいじるだけで利用可能
- 37. バーチャルキャスト設定方法 ① ニコニコ立体にアップロードしたモデルのIDを確認 ② VritualCastフォルダ直下にconfig.jsonファイルを作成 ③ モデルのIDをconfig.jsonに記載 37 ① ② ③ 背景を変更したい場合は自前のファイルサーバ にアップした画像ファイルのパスを下記に記載
- 39. ４．モーション作成（参考） お役たちアセットなど • Final IK（Unity） ※90ドル • SAFullBodyIK （Unity）※フリー • Download → https://github.com/Stereoarts/SAFullBodyIK • 使い方 → http://onoty3d.hatenablog.com/entry/2015/06/05/194010 • Orion（Unity、UE4）※年間400ポンド（約6万円） 39
- 40. ４．モーション作成（参考） 参考 • Unity＋Vive＋MMD＋VRIKで、キズナアイちゃんになりきりVR https://qiita.com/halne369/items/daadf0e00330a1019830 • 【Unity道場スペシャル 2017札幌】おっさんでも美少女になれる？！VRアイドルの作 り方 https://www.slideshare.net/UnityTechnologiesJapan/unity-2017vr • Perception Neuron MocapとUnityで通常の3Dモデルキャラを動かす方法 https://www.baku-dreameater.net/archives/5741#problemdef • なりたいあなたになれる！バーチャルキャストで VRM モデルのインポートが可能 に！ https://www.infiniteloop.co.jp/blog/2018/04/virtualcast-matsui/ • バーチャルキャストの背景設定方法 https://www.infiniteloop.co.jp/blog/2018/05/virtualcast-panorama/ 40
- 41. RADiCAL Motion • スマホで撮った動画をアプロード するだけ • FBXに出力可能 • フリー版は20秒の時間制限 41
- 43. ５．声当て（アテレコ） ソフト ２．テキストから音声読み上げ VOICEROID2 結月ゆかり/紲星あかり https://www.ah-soft.com/voiceroid/yukari/ ハード TASCAM MiNiSTUDIO CREATOR https://tascam.jp/jp/special/ministudio 43※上記2点は当日貸出可能
- 45. ６．素材集め、作成 概要 音楽、効果音、小物、背景、シーンなどをサイトからダウンロード もしくは自作する 音楽・効果音 • PANORA VTuberMusic（http://panora.tokyo/vtuber-music/） • FREE BGM DOVA-SYNDROME（https://dova-s.jp/） • 無料効果音で遊ぼう！（http://taira-komori.jpn.org/） • 効果音ラボ（https://soundeffect-lab.info/） 45
- 46. ６．素材集め、作成 小物・小道具 • Unity Asset Store（https://assetstore.unity.com/） • ３Dモデル検索（https://www.yobi3d.com/） • Googleの3Dモデル配布サイト「Poly」（https://poly.google.com/） ※Poly toolkit for unity使った。 http://bibinbaleo.hatenablog.com/entry/2017/12/01/100555 46
- 47. ６．素材集め、作成 背景 • 写真（動画編集時にクロマキー合成） • 全天球画像 Unity覚え書き（全天球画像を球体に貼り付ける） http://hirotaka-hachiya.hatenablog.com/entry/2016/07/03/191858 47 Googleで「360 panorama image」 をキーワードに検索
- 48. ６．素材集め、作成 シーン • STYLY（https://styly.cc/ja/） クラウド上でVR空間を制作し、配信することを可能にするプラットフォーム STYLYで作成したVR空間をHMDで体験する方法 | STYLY https://styly.cc/ja/manual/styly-vrviewer-vivewinmr/ 二人場織琴葉姉妹日記 https://drive.google.com/file/d/1y1FO8Gi03TfwE-OzrBL74Yr0WwsbMmr2/view 48
- 49. ７．動画・音声編集 概要 • クロマキー合成して背景作成（グリーンバックで事前に動画を用意） • クロマキー合成して複数のアバターを表示 • シーンごとに用意した動画のつなぎ合わせ、不要な部分のカット • 字幕を入れる • BGM、音声をはめる 49
- 50. ７．動画・音声編集 無料 • iMovie • AviUtl（http://spring-fragrance.mints.ne.jp/aviutl/） 【AviUtl】動画への字幕(テロップ)の入れ方【テキスト】 http://aviutl.info/zimaku-tekisuto/ • OBS Studio（https://www18.atwiki.jp/live2ch/pages/491.html） OBS Studioの詳しい使い方（1） https://www18.atwiki.jp/live2ch/pages/491.html 【OBS Studio】美しいテロップ・テキストを入れる方法。 https://vip-jikkyo.net/obs-studio-text 50
- 51. ７．動画編集 有料 • Adobe Premiere Pro 2018 • Filmora（フィモーラ） https://filmora.wondershare.jp/ 音声編集 • Audacity 音声ファイルのカット Audacityの簡単な使い方と導入方法を解説 http://aviutl.info/audacity/ 51
- 54. VTuberハッカソン所感 1. 企画 2. 脚本づくり 3. 3Dモデル作成 4. モーション作成 5. 声当て 6. 素材集め、作成（音楽、効果音、小物などなど） 7. 動画編集 8. 全体を通して所感など 9. その他（リモートでの打合せなどなど） 54
- 55. １．企画 • 北海道の紹介とDoMCNのキャラクターのお陰で割とスムーズに決まった印 象。miyamoさんがキャラクターのモデルを早い段階で出してくれたのでイ メージがし易かった。 • この部分はほとんど皆さんにお任せしていたと思います。皆さんアイデアポ ンポン出してすごいなー、と思いながらみてました。 • 前日のにくにく会で内容についてあーでもないこーでもないと喋っていたら、 Domcnちゃんが北海道のことを紹介するという方向性に決まった。しかし、 具体的に何を紹介するのかということがなかなか決まらずハッカソンの1日 目の半分以上を使ってしまったのがもったいなかったかもしれない。このへ んの打ち合わせはチャット上では難しいので対面でしておきたかった。 ２．脚本づくり • 脚本担当が要るというのは、心強かった。最初に出て来たものの印象が強く て最後まで引きづったが、方向性はあれで大体決まった気がするw 55
- 56. ３．3Dモデル作成 • VRoid様々。 • 北海道ちゃん：最初じゅーいちさんから「北海道の擬人化」という言葉から 江口さんが書いたような頭が北海道のイメージができて、髪の毛がリアルな モデルをざっくり作りました。が、リアル北海道髪路線だと可愛くなかった ので、北海道を抽象化して、「でかい」「緑」「北海道っぽい形」の三つを 意識して制作しました。VRoid、いいタイミングでリリースされて良かった。 ４．モーション作成 • DoMCNちゃん：元のロゴ画像がきれいだったので、Blenderのモディファイ アで平面画像から押し上げるだけでモデルを作れて短い時間で3Dモデルを作 れて良かったです。ただ、そのままボーン入れてアニメーションをつけよう としたら色々崩壊したので、ポリゴン数の調整やウェイトの調整に時間がか かりました。 • 初めてVTuberアクターとして北海道ちゃんに動きを付けたが、DoMCNちゃ んとの掛け合いとなるため左右が難しかった（画面で見ると立ち位置が逆に なるため）。特に「北海道のポーズ」に気を使ったｗ 56
- 57. ５．声当て • お任せでした。良いツールが見つかったようで、良い声になっていて よかった。 • 声変換アプリ（サイト？）は良いものでしたが、複数回の音声を変換 するのは大変そうでしたし、編集もつらいものになったと思います。 ある程度長めに一発撮りが基本なのかなーと思いましたが、２キャラ いるとそれができない...どうやるのがベストだったのかなー。 ６．素材集め、作成（音楽、効果音、小物などなど） • 動画の合間に挟めるような書割を幾つか作ったが使われなくて悲し かった。。 • 動画の雰囲気が1日目の終盤になるまで決まらなかったのでどんな BGMが良いのか想像するのが難しかった。装飾的な素材集めは2日目 にやった方が良かったかもしれない（ただ、2日目は私が参加できな かったので今回は仕方がありませんが）。 57
- 58. ７．動画編集 • 編集ソフトの検証は一日目にして、そこである程度ワークフローを固めていく判断 をすれば良かったのかなーと思いました、2日目は慌てていて検証する時間が少な かったので。 • こちらもお任せでした。ただ最終的に作るものが「動画」である以上、特に出来に 大きくかかわる部分で早いうちに調査しておくべきだった。VTuberハッカソンに参 加される方は、ひとつは使える動画編集ソフトを提案できるようなっておくことを おススメします。ワークフロー的にもここを抑えておくとスムーズに作業がすすめ られるハズ！ ８．全体を通して所感など • 素材やシナリオは良かったのに、最終的に間に合わなくて残念でした！ • VRoidを使ったりBlender使ったりしてモデル・モーションなど作ってましたが、楽 しかったです。Unityで素材の出力もしていましたが、無駄に時間がかかっていた気 がするので、もっと勉強しないといけないなー。自分のできないことがわかる良い 機会でした。 • 音声通話だけを通して企画を練るのは難しいと分かりました。企画段階では他のメ ンバーに自分の案の良さを説得するという要素が重要なため、対面か少なくともビ デオ通話をするべきだと思った。リモートで作業するのは各メンバーの担当タスク が明確になった後が良いかと思いました。 58
- 60. 2018/4/14 HoloMagicians / xMCN 日程：2018年10月27日（土） 時間：14:00～19:00（13:30開場） 会場：ウフル札幌（札幌市中央区北1条東1丁目6） 主催：HoloMagicians / DoMCN / TMCN https://hololens.connpass.com/event/102311/ 60 札幌 HoloLens MeetUp Vol.3 ~秋編~
- 61. 2018/4/14 HoloMagicians / xMCN 「バーチャルキャストはこうして生まれた」 「VRで音楽フェスティバルを開いてみた 」 「VRと教育のミライ」 「VRハーベスタ進捗報告（仮）」 「VTuber コンテンツの編集方法と注意点」 61 VR関連登壇内容