Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
「アナグラのうた〜消えた博士と残された装置」  Max/MSPを利用したサウンドシステム   株式会社ブレインストーム・同化p         中村隆之
「アナグラのうた〜消えた博士と残された装置」とは• 日本科学未来館に2011年8月にオープンした• 空間情報科学に関する展示• 以後5年間にわたり展示される予定• サウンド制御にMax/MSPを利用
「アナグラのうた〜消えた博士と残された装置」とは • 文化庁メディア芸術祭にて、優秀賞を頂き  ました。
中村隆之 自己紹介• 1967年生まれ• 東京都出身• ビデオゲーム向けの音楽 効果音制作会社経営。
略歴 • 1990年 セガ入社 • 1991年 「F1エキゾーストノート」 • 1992年 「アウトランナーズ」 • 1993年 「バーチャファイター」 • 1994年 「バーチャファイター2」 • 1996年 セガ退社、ドリームファクトリー入...
1990年当時のセガ• アーケードゲームが盛ん• メガドライブ発売直後• サウンドクリエイターもプログラムを書く。• 曲と効果音のデータはアセンブラのマクロで書 かれていた。
当時、私のプログラム経験• 大学時代、ポケコンでBASIC自作プログラム• 秋葉原のヤマギワ電気でパソコン販売員• 1990年入社後サウンドプログラムを教わる• Z80,68000アセンブラを習得
当時の曲データ
プログラムをかけるようになって,• 曲のデータを、アセンブラマクロを使い手入力しな くてはいけないことに不満を持っていた。(MML)• ゲーム基板で、SMFがそのまま読めるプログラム開発 を考える。• 当時のセガの開発基盤にはMIDI I/Fを...
VirtuaFighterModel1ゲーム基板
アーケードゲームのサウンドプログラム(1990初頭)MIDIでゲームサウンドを制御できるようになり, •   VirtuaFighterの様なゲーム基板とサウンド基板が分離している筐     体は、MIDI通信でやり取りしていた。 •   テス...
「アナグラのうた」の サウンドシステム
1000            !                                          !       !                      !                              !...
まずはビデオをご覧くだ    さい。
スピーカーの配置
サウンドPC
他のPCとの通信• UDPによる通信• コンテンツPC,映像PC• 曲のリクエスト、歌詞の表示,パーティクルの表示
アナグラにある3つのモード✴ 通常時のサウンド✴ アナグラのうた     ✴ お客さんの体験に基づいて流れる歌✴ まつりのうた     ✴ 特定の条件でながれる歌
Max/MSPを使い制御したこと
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール•   複数曲の連続再生と、「まつり」発生条件の制御
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール•   複数曲の連続再生と、「まつり」発生条件の制御• ...
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール•   複数曲の連続再生と、「まつり」発生条件の制御• ...
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール•   複数曲の連続再生と、「まつり」発生条件の制御• ...
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール•   複数曲の連続再生と、「まつり」発生条件の制御• ...
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール•   複数曲の連続再生と、「まつり」発生条件の制御• ...
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール•   複数曲の連続再生と、「まつり」発生条件の制御• ...
Max/MSPを使い制御したこと•   「通常サウンド」「アナグラの歌」「まつりの歌」の3つの    モードを一つのプログラムで実行。•   11個のSP、1個のウーハーの音量コントロール•   複数曲の連続再生と、「まつり」発生条件の制御• ...
!                                             vsqID   !                          WAV                          WAV         ...
今日のお話• 通常時のサウンド• 歌詞と歌の自動生成• アナグラ・曲の再生 •   シーケンスファイルによるパラメータのコントロール• 効果音の再生• その他
通常時のサウンド
通常時のサウンド(歌が流れいない状態)
通常時のサウンド(歌が流れいない状態)• 1000年後、人類のいない、コンピュータ だけの世界、そのアンビエントを表現
通常時のサウンド(歌が流れいない状態)• 1000年後、人類のいない、コンピュータ だけの世界、そのアンビエントを表現• 開発開始直後の震災
通常時のサウンド(歌が流れいない状態)• 1000年後、人類のいない、コンピュータ だけの世界、そのアンビエントを表現• 開発開始直後の震災• Nagiの誕生
Nagiの誕生• 震災直後の人を癒やしたいという衝動• 音のフィードバック&ディレイと、サイン 波の融合というアイディア• 約一ヶ月で3000ダウンロード
「Nagi」と「アナグラ通常サウンド」の違い。• アナグラには会場のマイク入力がないので、 現場の音をフィードバックさせていない。• ライブハウスモードという、隣のライブハウ スから聞こえてくるようなバスドラ風の低音 をプラス。• 11ch+1...
ここまでのサウンドはNagiによる物でした。
ここからは、アナグラのサウンドを体験していた   だきます。
iPhone版 Nagi
歌詞と歌の自動生成
オーダー• 歌は、YAMAHA VOCALOID VY1を使う。• 体験者の情報をリアルタイムに歌にして欲しい。• 複数パターンの曲を用意して欲しい。(10パターン)• 曲はダンスミュージックであって欲しい。
体験者の情報をリアルタイムに歌にしてほしい
体験者の情報をリアルタイムに歌にしてほしい      歌詞を自動生成
体験者の情報をリアルタイムに歌にしてほしい       歌詞を自動生成     しかし、10種類の違った曲
体験者の情報をリアルタイムに歌にしてほしい           歌詞を自動生成         しかし、10種類の違った曲 •   すべての曲のメロディの音符数をそろえる。
体験者の情報をリアルタイムに歌にしてほしい           歌詞を自動生成         しかし、10種類の違った曲 •   すべての曲のメロディの音符数をそろえる。 •   それにより、歌詞を全曲で共通化できる。
体験者の情報をリアルタイムに歌にしてほしい           歌詞を自動生成         しかし、10種類の違った曲 •   すべての曲のメロディの音符数をそろえる。 •   それにより、歌詞を全曲で共通化できる。 •   体験者の行動に...
体験者の情報をリアルタイムに歌にしてほしい             歌詞を自動生成           しかし、10種類の違った曲 •   すべての曲のメロディの音符数をそろえる。 •   それにより、歌詞を全曲で共通化できる。 •   体験者...
PC                                                            !                                                           ...
このパート毎に歌のwaveファイルを作られる歌詞パターン表
歌の生成は、専用プログラム
歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成
歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成
歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成   VSQ(VOCALOID用)のファイル変換
歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成   VSQ(VOCALOID用)のファイル変換
歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成   VSQ(VOCALOID用)のファイル変換   VSQファイルをWAVファイル変換
歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成   VSQ(VOCALOID用)のファイル変換   VSQファイルをWAVファイル変換 というプロセスを経て,ボーカルのWAV ファイルを用意する。
実際に聞いて見よう• 同一歌詞、別メロディの10曲
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1    パターン2   パターン3 パターン4    パターン5   パターン6 パターン7    パターン8   パターン9 パターン10
アナグラ・曲の再生
アナグラ・曲の再生• 伴奏WAVEファイルと、歌WAVEファイルの 同期再生
アナグラ・曲の再生• 伴奏WAVEファイルと、歌WAVEファイルの 同期再生• TEXTシーケンスファイルによる制御。
実演してみましょう
テンポ                   伴奏用TEXTファイル名                    体験者の声の録音ファイル名   再生ファイル名             小節数再生終了記号
スピーカーとディレイ制御• 12のスピーカーのボリューム制御• 12のスピーカーのディレイ制御• シーケンスファイルにより曲毎に,曲のテンポに合わせ,ディレイタイム、設定を変更出来る。
テンポに対する倍率(ディレイ)
映像制御• 映像表示は,全て映像PCによるもの• Maxからはタイミングデータの送信• 歌詞表示用のタイミングデータ • 小節数を送信• パーティクルサイズのコントロール
テンポに対する倍率(ディレイ)              パーティクルのグループ              パーティクルの種類Lineに入れる値
• テキストを使った制御はゲームサウンド制作経験からの知恵
効果音の再生• 体験者毎の効果音• アナグラ全体の効果音
効果音• 体験者のいる座標から最も近いスピーカーから音を再生する。• 座標データから各スピーカーまでの距離をリアルタイムに計算、ボリューム値を決定する。
このスピーカーから再生
効果音の座標 11chスピーカーの座標位置                   スピーカーまでの距離を計算ボリューム値を丸める
以上がサウンドシステムの特徴でした。
まとめ
開発概要• 期間 • 3月から8月までの5ヶ月間• Max/MSPプログラムと音楽効果音制作 • 一名
オーディオインターフェイスROLAND OCTA-CAPTURE     を3台使用
Max/MSPを利用したメリット• 本職プログラマでない私でも制作可能• 大規模なサウンドシステムのプログラムを,比較的短期間で制作出来た。• 同時に複数の制御するシステムを作れる。• タイミング制御のプログラムが容易
Max/MSP開発中の不安点• 長期間,長時間の運用に耐えうるか。 • 1日6時間以上,5年間の連続運用• 短期間で仕様通りのプログラムを完成させられる か。
Max/MSP開発の問題点• シビアなオーディオ同期、ファイルのリードライト 処理、エラーを返さない。• pipeを使ってタイミングを調整• オブジェクトに値を入れてから反映されるまでのタ イムラグ• トリガーを飛ばしてしまう。• 複数の条件分...
実は・・・
8月末のオープン以降、Maxを使ったシス テムに大きな問題は起きていません
御質問がありました  ら、どうぞ
以上,ありがとうございました。            中村 隆之・同化p          nakataka@nakataka.net                       nakataka                     tak...
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
アナグラのうた、サウンドシステム
Upcoming SlideShare
Loading in …5
×

アナグラのうた、サウンドシステム

2,073 views

Published on

日本科学未来館「アナグラのうた〜消えた博士と残された装置〜」のMax/MSPを利用したサウンドシステムのプレゼンテーション

Published in: Entertainment & Humor
  • Be the first to comment

アナグラのうた、サウンドシステム

  1. 1. 「アナグラのうた〜消えた博士と残された装置」 Max/MSPを利用したサウンドシステム 株式会社ブレインストーム・同化p 中村隆之
  2. 2. 「アナグラのうた〜消えた博士と残された装置」とは• 日本科学未来館に2011年8月にオープンした• 空間情報科学に関する展示• 以後5年間にわたり展示される予定• サウンド制御にMax/MSPを利用
  3. 3. 「アナグラのうた〜消えた博士と残された装置」とは • 文化庁メディア芸術祭にて、優秀賞を頂き ました。
  4. 4. 中村隆之 自己紹介• 1967年生まれ• 東京都出身• ビデオゲーム向けの音楽 効果音制作会社経営。
  5. 5. 略歴 • 1990年 セガ入社 • 1991年 「F1エキゾーストノート」 • 1992年 「アウトランナーズ」 • 1993年 「バーチャファイター」 • 1994年 「バーチャファイター2」 • 1996年 セガ退社、ドリームファクトリー入社 • 1996年 「トバル2」 • 1998年 「エアガイツ」 • 1999年 独立、ブレインストーム設立 • 2000年 「剣豪」 • 2004年 「ルミネス」 • 2005年 「メテオス」 • 2006年 「NINETY-NINE NIGHTS」 • 2007年 「ルミネス2」 • 2009年 「スティッチDS オハナとリズムで大冒険」 • 2011年 「アナグラのうた」、ゲームサウンド制作 多数
  6. 6. 1990年当時のセガ• アーケードゲームが盛ん• メガドライブ発売直後• サウンドクリエイターもプログラムを書く。• 曲と効果音のデータはアセンブラのマクロで書 かれていた。
  7. 7. 当時、私のプログラム経験• 大学時代、ポケコンでBASIC自作プログラム• 秋葉原のヤマギワ電気でパソコン販売員• 1990年入社後サウンドプログラムを教わる• Z80,68000アセンブラを習得
  8. 8. 当時の曲データ
  9. 9. プログラムをかけるようになって,• 曲のデータを、アセンブラマクロを使い手入力しな くてはいけないことに不満を持っていた。(MML)• ゲーム基板で、SMFがそのまま読めるプログラム開発 を考える。• 当時のセガの開発基盤にはMIDI I/Fをつけられた。
  10. 10. VirtuaFighterModel1ゲーム基板
  11. 11. アーケードゲームのサウンドプログラム(1990初頭)MIDIでゲームサウンドを制御できるようになり, • VirtuaFighterの様なゲーム基板とサウンド基板が分離している筐 体は、MIDI通信でやり取りしていた。 • テストプログラムには、Max/OPCODEを利用した。 • これが、私のMaxを使い始めたきっかけ。当時、Maxはサウンドプログラムの開発に非常に有効でした。
  12. 12. 「アナグラのうた」の サウンドシステム
  13. 13. 1000 ! ! ! ! ! ! ! ! ! ! ! !1000 ! 2011 ! !
  14. 14. まずはビデオをご覧くだ さい。
  15. 15. スピーカーの配置
  16. 16. サウンドPC
  17. 17. 他のPCとの通信• UDPによる通信• コンテンツPC,映像PC• 曲のリクエスト、歌詞の表示,パーティクルの表示
  18. 18. アナグラにある3つのモード✴ 通常時のサウンド✴ アナグラのうた ✴ お客さんの体験に基づいて流れる歌✴ まつりのうた ✴ 特定の条件でながれる歌
  19. 19. Max/MSPを使い制御したこと
  20. 20. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。
  21. 21. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール
  22. 22. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール• 複数曲の連続再生と、「まつり」発生条件の制御
  23. 23. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール• 複数曲の連続再生と、「まつり」発生条件の制御• 体験者の動作に応じた効果音の再生、座標計算
  24. 24. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール• 複数曲の連続再生と、「まつり」発生条件の制御• 体験者の動作に応じた効果音の再生、座標計算• プロジェクターに現れるオブジェクト(動物)の効果音制御
  25. 25. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール• 複数曲の連続再生と、「まつり」発生条件の制御• 体験者の動作に応じた効果音の再生、座標計算• プロジェクターに現れるオブジェクト(動物)の効果音制御• サウンドエフェクト,ディレイのコントロール
  26. 26. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール• 複数曲の連続再生と、「まつり」発生条件の制御• 体験者の動作に応じた効果音の再生、座標計算• プロジェクターに現れるオブジェクト(動物)の効果音制御• サウンドエフェクト,ディレイのコントロール• 映像PCへのタイミング信号の送信(歌詞とパーティクル)
  27. 27. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール• 複数曲の連続再生と、「まつり」発生条件の制御• 体験者の動作に応じた効果音の再生、座標計算• プロジェクターに現れるオブジェクト(動物)の効果音制御• サウンドエフェクト,ディレイのコントロール• 映像PCへのタイミング信号の送信(歌詞とパーティクル)• イキトイキでの、音声の録音とその音の曲への反映
  28. 28. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール• 複数曲の連続再生と、「まつり」発生条件の制御• 体験者の動作に応じた効果音の再生、座標計算• プロジェクターに現れるオブジェクト(動物)の効果音制御• サウンドエフェクト,ディレイのコントロール• 映像PCへのタイミング信号の送信(歌詞とパーティクル)• イキトイキでの、音声の録音とその音の曲への反映• 体験内容に応じた,歌詞と歌の自動生成と再生
  29. 29. Max/MSPを使い制御したこと• 「通常サウンド」「アナグラの歌」「まつりの歌」の3つの モードを一つのプログラムで実行。• 11個のSP、1個のウーハーの音量コントロール• 複数曲の連続再生と、「まつり」発生条件の制御• 体験者の動作に応じた効果音の再生、座標計算• プロジェクターに現れるオブジェクト(動物)の効果音制御• サウンドエフェクト,ディレイのコントロール• 映像PCへのタイミング信号の送信(歌詞とパーティクル)• イキトイキでの、音声の録音とその音の曲への反映• 体験内容に応じた,歌詞と歌の自動生成と再生(データ制作は専用プログラムにて)
  30. 30. ! vsqID ! WAV WAV vsq wav PC WAV WAV / ! WAV WAV WAV
  31. 31. 今日のお話• 通常時のサウンド• 歌詞と歌の自動生成• アナグラ・曲の再生 • シーケンスファイルによるパラメータのコントロール• 効果音の再生• その他
  32. 32. 通常時のサウンド
  33. 33. 通常時のサウンド(歌が流れいない状態)
  34. 34. 通常時のサウンド(歌が流れいない状態)• 1000年後、人類のいない、コンピュータ だけの世界、そのアンビエントを表現
  35. 35. 通常時のサウンド(歌が流れいない状態)• 1000年後、人類のいない、コンピュータ だけの世界、そのアンビエントを表現• 開発開始直後の震災
  36. 36. 通常時のサウンド(歌が流れいない状態)• 1000年後、人類のいない、コンピュータ だけの世界、そのアンビエントを表現• 開発開始直後の震災• Nagiの誕生
  37. 37. Nagiの誕生• 震災直後の人を癒やしたいという衝動• 音のフィードバック&ディレイと、サイン 波の融合というアイディア• 約一ヶ月で3000ダウンロード
  38. 38. 「Nagi」と「アナグラ通常サウンド」の違い。• アナグラには会場のマイク入力がないので、 現場の音をフィードバックさせていない。• ライブハウスモードという、隣のライブハウ スから聞こえてくるようなバスドラ風の低音 をプラス。• 11ch+1chのスピーカーから出力
  39. 39. ここまでのサウンドはNagiによる物でした。
  40. 40. ここからは、アナグラのサウンドを体験していた だきます。
  41. 41. iPhone版 Nagi
  42. 42. 歌詞と歌の自動生成
  43. 43. オーダー• 歌は、YAMAHA VOCALOID VY1を使う。• 体験者の情報をリアルタイムに歌にして欲しい。• 複数パターンの曲を用意して欲しい。(10パターン)• 曲はダンスミュージックであって欲しい。
  44. 44. 体験者の情報をリアルタイムに歌にしてほしい
  45. 45. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成
  46. 46. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲
  47. 47. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲 • すべての曲のメロディの音符数をそろえる。
  48. 48. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲 • すべての曲のメロディの音符数をそろえる。 • それにより、歌詞を全曲で共通化できる。
  49. 49. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲 • すべての曲のメロディの音符数をそろえる。 • それにより、歌詞を全曲で共通化できる。 • 体験者の行動により、テンプレートから歌詞の断片を選 び出し、新しい歌詞を作り出す。
  50. 50. 体験者の情報をリアルタイムに歌にしてほしい 歌詞を自動生成 しかし、10種類の違った曲 • すべての曲のメロディの音符数をそろえる。 • それにより、歌詞を全曲で共通化できる。 • 体験者の行動により、テンプレートから歌詞の断片を選 び出し、新しい歌詞を作り出す。 • さらに体験者の名前を頭2文字だけ抜き出し、歌詞に入 れる。
  51. 51. PC ! ! ! ! ! ! ! ! !CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC!CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! XXXCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! ××CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! →CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC!CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! X XX XXXCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC! CUE XXA QR X XXB CCCCCCCC!CCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCCC
  52. 52. このパート毎に歌のwaveファイルを作られる歌詞パターン表
  53. 53. 歌の生成は、専用プログラム
  54. 54. 歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成
  55. 55. 歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成
  56. 56. 歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成 VSQ(VOCALOID用)のファイル変換
  57. 57. 歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成 VSQ(VOCALOID用)のファイル変換
  58. 58. 歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成 VSQ(VOCALOID用)のファイル変換 VSQファイルをWAVファイル変換
  59. 59. 歌の生成は、専用プログラム体験に基づいた歌詞を組み合わせてTXTを生成 VSQ(VOCALOID用)のファイル変換 VSQファイルをWAVファイル変換 というプロセスを経て,ボーカルのWAV ファイルを用意する。
  60. 60. 実際に聞いて見よう• 同一歌詞、別メロディの10曲
  61. 61. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  62. 62. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  63. 63. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  64. 64. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  65. 65. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  66. 66. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  67. 67. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  68. 68. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  69. 69. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  70. 70. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  71. 71. 「待っていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン10
  72. 72. アナグラ・曲の再生
  73. 73. アナグラ・曲の再生• 伴奏WAVEファイルと、歌WAVEファイルの 同期再生
  74. 74. アナグラ・曲の再生• 伴奏WAVEファイルと、歌WAVEファイルの 同期再生• TEXTシーケンスファイルによる制御。
  75. 75. 実演してみましょう
  76. 76. テンポ 伴奏用TEXTファイル名 体験者の声の録音ファイル名 再生ファイル名 小節数再生終了記号
  77. 77. スピーカーとディレイ制御• 12のスピーカーのボリューム制御• 12のスピーカーのディレイ制御• シーケンスファイルにより曲毎に,曲のテンポに合わせ,ディレイタイム、設定を変更出来る。
  78. 78. テンポに対する倍率(ディレイ)
  79. 79. 映像制御• 映像表示は,全て映像PCによるもの• Maxからはタイミングデータの送信• 歌詞表示用のタイミングデータ • 小節数を送信• パーティクルサイズのコントロール
  80. 80. テンポに対する倍率(ディレイ) パーティクルのグループ パーティクルの種類Lineに入れる値
  81. 81. • テキストを使った制御はゲームサウンド制作経験からの知恵
  82. 82. 効果音の再生• 体験者毎の効果音• アナグラ全体の効果音
  83. 83. 効果音• 体験者のいる座標から最も近いスピーカーから音を再生する。• 座標データから各スピーカーまでの距離をリアルタイムに計算、ボリューム値を決定する。
  84. 84. このスピーカーから再生
  85. 85. 効果音の座標 11chスピーカーの座標位置 スピーカーまでの距離を計算ボリューム値を丸める
  86. 86. 以上がサウンドシステムの特徴でした。
  87. 87. まとめ
  88. 88. 開発概要• 期間 • 3月から8月までの5ヶ月間• Max/MSPプログラムと音楽効果音制作 • 一名
  89. 89. オーディオインターフェイスROLAND OCTA-CAPTURE を3台使用
  90. 90. Max/MSPを利用したメリット• 本職プログラマでない私でも制作可能• 大規模なサウンドシステムのプログラムを,比較的短期間で制作出来た。• 同時に複数の制御するシステムを作れる。• タイミング制御のプログラムが容易
  91. 91. Max/MSP開発中の不安点• 長期間,長時間の運用に耐えうるか。 • 1日6時間以上,5年間の連続運用• 短期間で仕様通りのプログラムを完成させられる か。
  92. 92. Max/MSP開発の問題点• シビアなオーディオ同期、ファイルのリードライト 処理、エラーを返さない。• pipeを使ってタイミングを調整• オブジェクトに値を入れてから反映されるまでのタ イムラグ• トリガーを飛ばしてしまう。• 複数の条件分岐が苦手,• 処理の順番がシビアなプログラムが苦手
  93. 93. 実は・・・
  94. 94. 8月末のオープン以降、Maxを使ったシス テムに大きな問題は起きていません
  95. 95. 御質問がありました ら、どうぞ
  96. 96. 以上,ありがとうございました。 中村 隆之・同化p nakataka@nakataka.net nakataka takayukina

×