Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

HoloLensによるライブ演出 現場はMRやばい

741 views

Published on

20180727 xRLT vol.2
https://www.youtube.com/watch?v=Mg4VATSrlJM

Published in: Entertainment & Humor
  • Be the first to comment

  • Be the first to like this

HoloLensによるライブ演出 現場はMRやばい

  1. 1. JP @JP_Kob 根本慧 @nemotokei 小井手有里 HoloLensによるライブ演出  2018. 7. 27xRLT vol.2@TECH PLAY SHIBUYA 現場はMRやばい
  2. 2. JP @JP_Kob 根本慧 @nemotokei 小井手有里 現場はMRやばい マジでリアルに  2018. 7. 27xRLT vol.2@TECH PLAY SHIBUYA
  3. 3. 自己紹介&本日の主旨  JP/@JP_Kob 惑星の研究 → 某メーカーで営業 → 新規事業 → マーケティング 当時は防犯カメラ×画像解析の調査/企画/営業/実装/運用 週末ジャズミュージシャン  根本慧 /@nemotokei 大学で工業デザイン専攻 → メーカーで開発 → 営業 → 新規事業企画 照明や食品や、百貨店の催事まで企画/デザイン/営業/運営/マーケ 最近VRChatにて自作アバターをアップできるようになって嬉しい  小井手有里(こゆり)(欠席) 某IT企業でPepperアプリエンジニア チーム最年少 主旨:初心者の方のきっかけ作り&エンタメ現場での課題を共有
  4. 4. 何をしたか  ビルボードジャパン主催のLIVE HACKASONGに出てきた   テーマ:エンターテインメントの拡張   メンター:Nest+Visualさん 2017/11/11(土) アイディアソン(顔合わせ) ↓ 2017/12/10(日) ハッカソン(中間発表) ↓ 2018/1/30(火) 最終発表@ビルボード Live TOKYOのステージ  やったこと:HoloLensを使ったライブ空間演出の拡張   結果:3位
  5. 5. 当日の動画 https://www.youtube.com/watch?v=Mg4VATSrlJM
  6. 6. 当日の配置 HoloLensを かけた司会者 HoloLensをかけた審査員 MR Jockey (JP) アーティスト プロジェクター(一般客用) 壇上 1F 一般客席 2F 審査員席 HoloLensのない一般客 LINE LIVEでも 配信
  7. 7. 実装したこと ・MIDIメッセージをキーボード入力に変換 ・UDPでブロードキャストアドレスに送信 ・入力を基にコンテンツの出し分け めちゃくちゃシンプル★ PC iPhone 6S (テザリング) MIDIコン (AKAI MPD218) HoloLens ×3
  8. 8. じゃあ何が マジで リアルに ヤバかったかって?
  9. 9. 序盤のやばかったこと3つ 全員はじめまして (スキルセット不明)  → ひとまず演出担当1人、   開発担当2人に分けた  → なるべくオフラインで   活動 @Yahoo Lodge
  10. 10. 開発経験がない → Nest+Visualさんに教わった コンテンツで手を動かして学ぶ Git周りは唯一わかるメンバーから教わる ? ? Visual studio ? C#? 序盤のやばかったこと3つ ?
  11. 11. 開発環境もない 全員Macで HoloLensもない → Nest+Visualさんに   Windows PCと HoloLensを1台ずつ 借りて作業 序盤のやばかったこと3つ
  12. 12. 中間発表時 なんとか動いた★
  13. 13. 中盤のやばかったこと2つ  → 動くもののカクカク  → 負荷がかかるものは排除   個数やエフェクトを調整し   軽くて見栄えの良いものへ アプリめっちゃ 重い問題 動け動け動け動け動け動け 動け動け動け動いてよーーー!
  14. 14. 中盤のやばかったこと2つ UDPムズカシイ問題  →先人たちの記事を読んで実装しようとするも上手くいかない  →本番1週間前で未実装。このままではBluetoothキーボードで1 : 1操作に… 圧倒的アナログ感
  15. 15. 解決 ※発表当日深夜のSlack 気合の徹夜で奇跡的に解決 参考にさせていただいたみなさま(勝手にspecial thanks) http://knasa.hateblo.jp/entry/2017/07/07/034834 http://tips.hecomi.com/entry/2017/04/19/011320 https://qiita.com/egplnt/items/39f4794504fc27823bb4 https://azure-recipe.kc-cloud.jp/2017/12/hololens-スマートフォンとのocs通信/ https://azure-recipe.kc-cloud.jp/2017/12/hololens-websocketを利用した双方向通信サーバーからメッセ/
  16. 16. 平面図pdfから3Dモデルを 作成し、Unityで開発 当日のやばかったこと 現場環境  → 事前の現地調査が短時間、目的と手段を十分議論できていなかった  → 当日の舞台照明・配置が事前調査時とちがう  → 照明との兼ね合いやオブジェクトの位置合わせは全て当日調整 2度の事前現地調査と 本番当日の調整 現場が重要だ! (当日の)
  17. 17. 位置合わせ=オクルージョン問題  → 演者の前をオブジェクトが横切ると没入感がなくなる(アーティストは聖域)  → 演者はステージを駆け回ることはなく、審査員席も2Fで動くことはなかったので、 機材の隙間に配置したり軌道の調整などを行ったりして回避 当日のやばかったこと 重なると奥行き感がなくなる 現場でオブジェクト再配置 Vo. Dr. Ky.
  18. 18. 当日一番の失敗 ・プロジェクターで司会者の視界を見せてしまった  → 審査員5名でHoloLens2台を回して使う  → リアルタイムでの演出を一般客にも見せたい。入替がない司会の視野を共有  → 司会はステージ上にいた。2Fの審査員席から見る前提で作っていたので プロジェクターには分かりにくい内容が投影された  → それでも2位と僅差の3位。見せ方次第では勝っていたかも…  → 例えばリハで撮った映像を流すべきだった HoloLensを かけた司会者 プロジェクター (一般客用) → UXの考えが足りなかった → 全員分HoloLensがあれば…
  19. 19. 当日一番の失敗 ・プロジェクターで司会者の視界を見せてしまった  → 審査員5名でHoloLens2台を回して使う  → リアルタイムでの演出を一般客にも見せたい。入替がない司会の視野を共有  → 司会はステージ上にいた。2Fの審査員席から見る前提で作っていたので プロジェクターには分かりにくい内容が投影された  → それでも2位と僅差の3位。見せ方次第では勝っていたかも…  → 例えばリハで撮った映像を流すべきだった HoloLensを かけた司会者 プロジェクター (一般客用) → UXの考えが足りなかった → 全員分HoloLensがあれば…
  20. 20. 今後 AR/MRデバイスが普及すれば ライブ演出に必ず使われる   - Video JockeyがMR Jockeyに   - 今回のやばかった点を解決したアプリが必要    - ハコに合わせた事前調整    - 当日の現地調整    - ライブ中のオペレーション などなど… というか自分がそういう未来を実現したい!   - 開発環境とHoloLensを買ってコツコツ勉強・製作   - 自分の演奏活動の中で少しずつユースケース構築中   - ライブで試す時の仲間募集中(HoloLens1個しかない)
  21. 21. 告知 出展 します  おそらくこの辺   一緒に遊びましょう!

×