Tokyo MotionControl Network vol.08 Project DAFTY のご報告セッションで利用したスライドです。 システム構成やFUNNY VILLAGEイベントでの裏側の苦労お伝えします。

1. Project DAFTY
Dafty Live System α

2. モーションを音と映像へ反映するライブシステム（αバージョン）
https://www.youtube.com/playlist?list=PLXYYxTi9FpNkGoFdG_RhjYdNljoY-Gqui

3. Funny Village ライブ時のシステム構成
PC B（Mac)
Max / MSP
N.O.R.K
國本玲さん開発
Kinect V1 Sensor
KORG
Kaossilator Pro+
PC A（Windows)
Unity Application
SystemFriend
NUI Framework
Unity MIDI bridge
Kinectでセンスした腕の動きをMIDIコマンドに変換してカオシレーターのタッチパッドをリモートコントロール。
Kinectでセンスした人物のDepth映像にシェーダーで効果をつけつつ表示。
PC Bでは入力されたビートアタック音をMax/MSPでオーディオ信号→映像エフェクトへ変換。
SF NUI FWはKinectV1、V2を透過的に扱えるSystemFriend社内ライブラリ。KinectV2をUnity Freeでも使える。
Unity MIDI bridge はこちら。 http://keijiro.github.io/posts/unity_midi_bridge/
DJ
Beat! Beat!
Video
Mixer
PA
Screen
Speaker

4. 演奏空間
Front Side
Upper Touch Pad (SE1)
Side Touch Pad (SE2) Side Touch Pad (SE2)
Front Touch Pad
Front Touch Pad
Note OFF Note ON

5. 演奏空間
Side
DEMO

6. 演奏空間
Side
Funny Village ライブの裏側
22：00
DAFTYリハーサル開始
機材設置が押して時間がない。
緊迫した中取り乱すことなく冷静にリハを進めるDAFTY。
KINECTパートの動作確認はすんなりOK。
しかし致命的な不具合が発覚。
VJに映し出される映像が観客からみると左右反転している。
これまではPCの画面に対して演者が向いてショーを行ていたが、本番で
は映像に背を向けて演ずるので。

7. 演奏空間
Side
Funny Village ライブの裏側
23:00
現場リカバリー開始。
ハードウェア的にVJのミキサーで映像の左右反転ができないか確認→それは不可能
WindowsのOS機能やその他ソフトウェアに左右反転ができないか→機能がないま
たはパフォーマンス的に無理そう
Unityのカメラのプロジェクション設定で左右反転→トライ
いけるはずなのにしかしこの方法はなぜかうまくいかず原因がわからない
落ち着いてかかれば原因がわかるかもしれないがこの作業環境で時間が差し迫っ
ている状況では難しい。
ここでviviさんお弁当差し入れ（地獄に仏とはこのこと）

8. 演奏空間
Side
Funny Village ライブの裏側
23:00
現場リカバリー開始。
ハードウェア的にVJのミキサーで映像の左右反転ができないか確認→それは不可能
WindowsのOS機能やその他ソフトウェアに左右反転ができないか→機能がないま
たはパフォーマンス的に無理そう
Unityのカメラのプロジェクション設定で左右反転→トライ
いけるはずなのにしかしこの方法はなぜかうまくいかず原因がわからない
落ち着いてかかれば原因がわかるかもしれないがこの作業環境で時間が差し迫っ
ている状況では難しい。
ここでviviさんお弁当差し入れ（地獄に仏とはこのこと）
ライブ開発ルーム

9. 演奏空間
Side
Funny Village ライブの裏側
24:00
Fanny Village開演
爆音のなるメインスピーカー裏のステージ袖、とても狭い空間で武内さん（巨体）が床
に座ってプログラミング実施
Unity Pro限定のシェーダーをかけることで左右反転に成功（武内さんMacにて）
Kinect用WindowsPCにはUnity Freeしかはいっていない
→急きょProのトライアルライセンスを取得して対応（会場e-mobileの電波入りにくくて
かなり時間を食う。精神的によくないｗ）
exe書き出し
→トライアルなので右下に「TRIAL」の文字が強制的に表示されてしまう！！！

10. 演奏空間
Side
Funny Village ライブの裏側
25:00
弊社の社内PCでUnity PROのライセンスを使っていたので社内PCにリモートログイ
ン
→リモートデスクトップでなぜかUnityのメニューが開けずライセンスの開放ができない
→最終手段。武内さんPCのUnity Proライセンスを解放→一時的にライセンスを借用
→exe書き出し
→なぜかexe起動してもうまく動かない（Unityはライセンス変更するとそれまで動いて
いたプロジェクトがうまく動かないことがあるよう）
→もう本番まで時間がない。プレビュー画面では動くのプレビュー画面をスクリーン
いっぱいに広げて本番へ利用する強硬策発動
しかしウィンドウ枠が表示されてしまう
→映像ミキサーの設定で画面を少し拡大して画面枠をはみ出させて表示してもらえる
よう國本さんに特急対応してもらった
ここで26:00 本番直前

11. 演奏空間
Side
Funny Village ライブの裏側
26:00
最後の難関、デバッグのためステージ脇に持ち込んでいたセンサー、
これをアプリを起動したままDAFTYのステージが始まるときにステージ
センターまでもっていく必要がある
→床をはいつくばって持ち出すときにUSBケーブルや電源ケーブルが
からまらないようにもつれを解いていった。
ケーブルをさわるとあれでもセンサーとPCの接続が切れてしまってア
プリが止まると大打撃。爆弾を解体するような精神力が必要とされた。

12. 演奏空間
Side
Funny Village ライブの裏側
26:20
DAFTYステージスタート
武内さんにセンサーを運んでもらう（１回目）
→設置位置は良かったが微妙にセンサー自体がななめを向いている
武内さんにセンサーの向きを調整してもらう（２回目）
→もうちょっと微妙に位置調整がいりそう
武内さんにセンサーの向きを調整してもらう（３回目） これで代替行けそう
な雰囲気。ただし確信はないｗ→TMCNで2足歩行のキネクトセンサース
タンド作りませんか？
→TMCNで2足歩行のキネクトセンサースタンド作りませんか？

13. 演奏空間
Side
Funny Village ライブの裏側
26:50
KINECTショー開始
viviさんがステージ中央に立つ、、、、しっかりセンサー中央にとらえた。ス
テージ脇で武内さんとハイタッチ。
センサーもシステムも動作しているがふと会場の巨大スクリーンを見るとノ
イズが乗ったような表示なっていて焦る
→おそらくミキサー設定とPA卓設定がずれたためか？
でもなんか結果的にカッコイイエフェクトになっていたので幸運の神の降臨
をマジ感じた。マジリスペクト。

14. 演奏空間
Side
これからのProject DAFTY
あらゆる現場の最悪を乗り越えて、大きなステージで実績
を残すことができました。
• まず打ち上げが来週ありますｗ
• 「新しい楽器を創る」このテーマをさらに追求します。
• 新曲の制作とリンクしたプロモーション映像作品の制
作が始まろうとしています。
これからも応援してください！