プラネタリウムでリアルタイム映像
•Download as PPTX, PDF•
1 like•4,238 views
Unityで作成したリアルタイム映像を使ってプラネタリウムでコンサートを行ってきました
Recommended
More Related Content
More from Tsuyoshi Misawa
プラネタリウムでリアルタイム映像
- 3. なぜリアルタイム？ • コンサートの曲にあわせて映像を投影したい →即興演奏があるので尺がきっちり決まっていない • 演奏者の演奏をダイレクトに映像化したい → MIDIで演奏信号を拾えるので活用したい • ナレーター、観客との掛け合いで映像を変化させたい →ムービーより自由度の高い演出がしたい
- 5. プラネタリウムで投影できるもの(2) (施設によって異なります) 全天球フレーム(非リアルタイム) • Dome Master形式のPNG画 像 • ～4K • アルファ抜き可能 • 基本的には固定で使用
- 6. プラネタリウムで投影できるもの(3) (施設によって異なります) 全天球フレーム(非リアルタイム) • Equirectangular形式のPNG 画像 • ～4K • アルファ抜き可能 • 左右回転可能
- 7. プラネタリウムで投影できるもの(3) (施設によって異なります) パーツ(非リアルタイム) • 適当なサイズの.png画像 • アルファ抜き可能 • プラネタリウム施設の機能 （スクリプト）を用いて、 テクスチャに張り付けて雪 のように降らせたりするこ とが可能
- 8. リアルタイム映像は？ • プラネタリウムの設備ではHDMI出力 をそのまま投影できなかったので、持 ち込みプロジェクター＋ワイドコン バージョンレンズで投影 • プロジェクターは民生用のプロジェク ター（プラネタリウム自体が暗いので 業務用の輝度は不要） • 映像は画角60°程度の通常映像、また は一部ドームマスターに変換した映像 を使用 Projector Planetarium
- 9. 音声との同期、映像出力はUnityで • 音声はMIDIおよびマイク入力 • リアルタイム入力要素としてキー入力を使 用（bluetooth キーボード可） • 全天球映像用にシェーダーを作成 • ４K映像用にキャプチャスクリプトを作成 • キャプチャ画像のムービー化にはFFmpeg を使用 • フレーム画像はカメラの背景を透明にして キャプチャ
- 10. 全体構成 • プラネタリウム設備側と歩調を 合わせて投影 • キーボード・ドラムからは MIDI信号を直接入力して映像 に反映 • ベースはピックアップマイク経 由で得た音をFFT解析して映像 に反映 • ナレーションや観客の反応に合 わせてキー入力を行い映像に反 映 MIDI MIC ムービー再生 フレーム表示 ナレーション進行 星座表示等（スクリプト） プラネタリウム施設側 キー入力 周波数解析(FFT) 映像出力 持ち込み機材側
- 11. 開演 • 事前に用意した進行表に合わせ て進行 • 演奏は時間が若干前後するので 星の解説ナレーション等で調節 • プラネタリウム（光学）投影時 は持ち込みプロジェクターを暗 転させていても光が漏れるので 都度シャッターOFF
- 12. 演奏と同期 • ピアノ奏者の指の動 きと映像のキーボー ドの動きが同期 • ドラム奏者の演奏と 映像のドラムが同期 • ベース奏者の演奏 (音程)と映像が同期
- 13. 演奏と同期 • イントロで海を表示 • Aパート開始で後方 から帆船出現 • 演奏曲目（ドルフィ ンダンス）開始でイ ルカ出現
- 14. ナレーション/観客と同期 • 「おや、おサルさん が何かを探している みたいですよ？」で キョロキョロ • 左右の観客の「バナ ナ投げてー！」の声 に合わせてバナナを 左右に投げる（キー 入力）
- 16. まとめ • プラネタリウムでリアルタイム映像を投影できた • 生演奏や観客の反応に合わせてリアルタイムに映像を 変化、投影できた • 提案からテスト、開催にいたるまで、プラネタリウム 施設側のご尽力のおかげです。とても良い経験ができ ました。
- 17. ありがとうございました！