アナグラプレゼン資料 Cedec

937 views

Published on

  • Be the first to comment

アナグラプレゼン資料 Cedec

  1. 1. 『未来館常設展示「アナグラのうた」にみるゲーミフィケーションの事例/情報科学とコンピューターゲームが協力して描きだした未来の「シアワセ」インタラクティブセッション サウンド編 株式会社ブレインストーム 中村隆之2012年 8月 19日 日曜日
  2. 2. 「アナグラのうた」とは • 延床面積:150㎡ • レーザーセンサー:20基 • プロジェクター:24基 • スピーカー:11個+ウーファー1個 • 日本科学未来館に2011年8月にオープンした • 空間情報科学に関する常設展示 • ボーカロイドが歌う • サウンド制御にMax/MSPを利用2012年 8月 19日 日曜日
  3. 3. 「アナグラのうた」とは • 文化庁メディア芸術祭にて、優秀賞を頂き ました。2012年 8月 19日 日曜日
  4. 4. このプレゼンのハイライトは? • プレイヤーの体験内容によって歌を自動生成(ボーカ ロイドを使用) • 11.1chのスピーカーをリアルタイムにコントロール • 大型施設の展示のサウンドコントロールににMax/MSP を利用 • ここから、サウンドの技術的な話になります。2012年 8月 19日 日曜日
  5. 5. プレゼンター中村隆之 自己紹介 • 1967年生まれ • 東京都出身 • ビデオゲーム向けの音楽 効果音制作会社 経営。 • 作曲、サウンドプログラムなどが職業2012年 8月 19日 日曜日
  6. 6. 略歴 • 1990年 セガ入社 • 1991年 「F1エキゾーストノート」 • 1992年 「アウトランナーズ」 • 1993年 「バーチャファイター」 • 1994年 「バーチャファイター2」 • 1996年 セガ退社、ドリームファクトリー入社 • 1996年 「トバル2」 • 1998年 「エアガイツ」 • 1999年 独立、ブレインストーム設立 • 2000年 「剣豪」 • 2004年 「ルミネス」 • 2005年 「メテオス」 • 2006年 「NINETY-NINE NIGHTS」 • 2007年 「ルミネス2」 • 2009年 「スティッチDS オハナとリズムで大冒険」 • 2011年 「アナグラのうた」、ゲームサウンド制作 多数2012年 8月 19日 日曜日
  7. 7. 2012年 8月 19日 日曜日
  8. 8. 1990年当時のセガ • アーケードゲームが盛ん • メガドライブ発売直後 • サウンドクリエイターもプログラムを書く。 • 曲と効果音のデータはアセンブラのマクロで 書かれていた。2012年 8月 19日 日曜日
  9. 9. 当時、私のプログラム経験 • 大学時代、ポケコンでBASIC自作プログラム • 秋葉原ヤマギワテクニカでパソコン販売員 • セガに入社後サウンドプログラムを教わる • Z80,68000アセンブラを習得2012年 8月 19日 日曜日
  10. 10. 当時の曲データ2012年 8月 19日 日曜日
  11. 11. プログラムをかけるようになって, • アセンブラマクロで曲データを手入力しなくてはい けないことに不満を持った。(MML) • 当時のセガの開発基盤にはMIDI I/Fをつけられた。 • ゲーム基板でStandard MIDI Fileがそのまま読めるプロ グラムを開発2012年 8月 19日 日曜日
  12. 12. VirtuaFighter Model1ゲーム基板2012年 8月 19日 日曜日
  13. 13. アーケードゲームのサウンドプログラム (1992年頃) • MIDIでゲームサウンドを制御できるようになり, • VirtuaFighterの様なメイン基板とサウンド基板が分離してい る筐体は、MIDIでやり取りしていた。 • テストプログラムには、MAX/OPCODEを利用した。 • これが、私のMaxを使い始めたきっかけ。 • 当時、MaxをMIDIのテストツールとして利用した。2012年 8月 19日 日曜日
  14. 14. とういう背景2012年 8月 19日 日曜日
  15. 15. そんな私が「アナグラのうた」のサウンド システムを作りました。 アナグラのサウンドシステムは、 Max/MSPによって動いています。2012年 8月 19日 日曜日
  16. 16. 「アナグラのうた」の サウンドシステム2012年 8月 19日 日曜日
  17. 17. まずはビデオをご覧くだ さい。2012年 8月 19日 日曜日
  18. 18. スピーカーの配置2012年 8月 19日 日曜日
  19. 19. 2012年 8月 19日 日曜日
  20. 20. Max/MSPとは? Max Max (マックス)は、サンフランシスコのソフトウェア企業Cycling 74が開発・保守している音楽とマルチメディア向 けのグラフィカルな統合開発環境(ビジュアルプログラミング言語)である。作曲家やメディアアーティストらに20年 以上使われ続けている。 Max/MSP 前バージョンまではDSPの追加機能を備えたMax/MSP(マックス・エムエスピー)という名で発売されており、それに 追加モジュールとして映像を取り扱うJitter(ジッター)が別売りで販売されていた。 ヴァージョン5からは全てのMaxにJitterが含まれ、MaxとMSPとJitterは一つのパッケージとして販売されるようになっ た。これにより名称は再びMaxに戻った。 モジュール化 Maxは非常にモジュール性が高く、ほとんどのルーチンは共有ライブラリの形で存在している。APIによってサードパー ティーが(external objectsと呼ばれる)新たなルーチンを開発可能である。結果として、多くのMaxユーザーが商用か 否かに関わらず、拡張を行っている。拡張性とグラフィカルなユーザインタフェースにより、Maxはインタラクティブ な音楽パフォーマンスソフトウェア開発におけるリングワ・フランカともいうべき存在になっている。 (Wikipediaより)2012年 8月 19日 日曜日
  21. 21. Max/MSPを使い制御したこと その1 • 「通常サウンド」「アナグラの歌」「まつりの歌」 の3つのモードを一つのプログラムで実行。 • 体験者の動作に応じた効果音の再生 • プロジェクターの現れるオブジェクト(動物)の効 果音制御 • イキトイキでの、音声の録音とその音の曲への反映2012年 8月 19日 日曜日
  22. 22. 通常時のサウンド(歌が流れいない状態) • 1000年後、人類のいない、コンピュータ だけの世界、そのアンビエントを表現 • 開発開始直後の震災 • テストプログラム開発中だった。 • そして、Nagiの誕生2012年 8月 19日 日曜日
  23. 23. Nagiの誕生 • 震災直後の人を癒やしたいという衝動 • 音のフィードバック&ディレイとサイン波 の融合というアイディア • 同化pのメンバーの後押し • 約一ヶ月で3000ダウンロード2012年 8月 19日 日曜日
  24. 24. 2012年 8月 19日 日曜日
  25. 25. コンテンツPC 通常状態 効果音の制御 ME01 イキ・トイキ録音 効果音再生信号 録音開始・終了要求 イキ・トイキ録音した後にロスト した場合について要検討 ※軌跡ID変わるので ME05 ・効果音ファイル名 軌跡ID ・スピーカー座標 or 表示制御音楽 QRコード データ受信・送信 サウンドPC ME11 ・効果音ファイル名 音声録音 ・スピーカー座標 ・効果音ファイル名 表示PC ・スピーカー座標 生成 効果音再生信号 イキ・トイキ収録 ファイル(.wav) ME10 音響再生制御 MAX/MSP 効果音 参照 ファイル(.wav) 出力 音2012年 8月 19日 日曜日
  26. 26. Max/MSPを使い制御したこと その2 • 複数曲の連続再生と、「まつり」発生条件の制御 • 11個のSP、1個のウーハーの音量コントロール • エフェクト,ディレイのコントロール • 映像PCへのタイミング信号の送信 • イキトイキでの、音声の録音とその音の曲への反映2012年 8月 19日 日曜日
  27. 27. コンテンツPC 履歴PC アナグラのうた プレイヤーデータ 歌の生成と映像の制御 ME01 (軌跡ID) 過去体験 (QRコード) データ (軌跡データ) 再生QUE送信 (全員分のデータ) 参照 歌終了信号 ME02 歌詞テキスト生成 ME05 歌詞データ (軌跡ID) 表示制御音楽 (物語番号) データ受信・送信 (体験パターン) (曲パターン) 軌跡ID (.vsq) 軌跡ID サウンドPC パーティクル ME08 軌跡ID生成 制御信号 wav生成 生成 可変ボーカル 歌詞番号 .vsq生成 ファイル(.vsq) 参照 表示PC 生成完了信号送信 ME09 歌合成 歌詞テキスト 歌詞番号 .vsqから.wav を生成 生成 データ受け取り 生成 データ解析 軌跡ID パーティクル (.txt) 可変ボーカル パーティクル 制御信号 参照 ファイル(.wav) アニメーション 参照 既存ボーカル ME10 参照 ファイル(.wav) 音響再生制御 MAX/MSP 参照 伴奏 歌詞表示 ダンス表示 ファイル(.wav) 出力 参照 イキ・トイキ収録 ファイル(.wav) 音2012年 8月 19日 日曜日
  28. 28. コンテンツPC まつり状態 歌の再生と映像の制御 ME01 状態判定 (手をつないだか) ME05 祭り開始信号 表示制御音楽 データ受信・送信 サウンドPC 歌詞番号 歌終了信号 パーティクル 制御信号 表示PC 歌終了信号 祭り待機状態信号 歌詞番号 パーティクル 状態判定 制御信号 (QUEが何人 データ受け取り たまっているか) データ解析 ME10 パーティクル 音響再生制御 アニメーション MAX/MSP 祭り曲 参照 ファイル(.wav) 歌詞表示 ダンス表示 出力 音2012年 8月 19日 日曜日
  29. 29. 歌詞と歌の自動生成2012年 8月 19日 日曜日
  30. 30. 要望 • 歌にYAMAHA VOCALOID VY-1を使う。 • 体験者の情報をリアルタイムに歌にして欲しい。 • 複数パターンの曲を用意して欲しい。(10パターン) • さらにダンスミュージックであって欲しい。2012年 8月 19日 日曜日
  31. 31. 体験者の情報をリアルタイムに歌にしてほしい 課題:歌詞の自動生成 • アナグラでの体験を元に歌詞を自動的につくる • 名前 • 体験した装置 • 録音した音声 • アナグラの物語 • これらの情報が反映した歌詞をつくる。 • どうやって?2012年 8月 19日 日曜日
  32. 32. 歌詞のテンプレートをつくる パーツの組み合わせで1曲分の歌詞にする • 体験者の名前を頭2文字だけ抜き出し歌詞に入れる。 • 名前の文字数が固定数である必要があった。 • 体験者の行動から歌詞パーツを組み合わせ、体験内容に合った歌詞をリ アルタイムで生成。 • さらに! • すべての曲のメロディの音符数をそろえる。 • それにより、全曲で歌詞を共通化できる。2012年 8月 19日 日曜日
  33. 33. 歌詞パーツパターン表2012年 8月 19日 日曜日
  34. 34. 歌の生成は、専用プログラム 歌詞の自動組み合わせでTEXTを生成 VSQ(VOCALOID)用のファイル変換 VSQファイルをWAVファイル変換 というプロセスを経て,ボーカルのWAVフ ァイルを用意する。2012年 8月 19日 日曜日
  35. 35. 実際に聞いて見よう • 同一歌詞、別メロディの10曲2012年 8月 19日 日曜日
  36. 36. 「まっていたんだ まおちゃんを」 10パターンの曲,歌の冒頭部分を聞き比べ パターン1 パターン2 パターン3 パターン4 パターン5 パターン6 パターン7 パターン8 パターン9 パターン102012年 8月 19日 日曜日
  37. 37. 曲の再生の問題点 • 伴奏WAVデータと歌WAVデータの同期再生 • さらに10パターンの違う曲 • ボーカロイドの歌へのエフェクト処理(デ ィレイなど曲毎の対応)2012年 8月 19日 日曜日
  38. 38. 歌曲の構造 歌のwaveファイルを準備 歌A 歌B 歌C 再生順を記述したシーケンスTEXTを作る シーケンスファイルに沿って再生 伴奏Intro 伴奏A 伴奏B 伴奏C 歌A 歌B 歌C 再生のタイミングを細かくコントロールすることによって、同期に失敗しない2012年 8月 19日 日曜日
  39. 39. テンポ 伴奏用TEXTファイル名 体験者の声の録音ファイル名 再生ファイル名 小節数 再生終了記号号2012年 8月 19日 日曜日
  40. 40. なぜリアルタイム再生しないのか? • VSTiなどを利用すれば、Waveファイルの 作成はいらないのでは? • マシンが安定して同期することを最優先2012年 8月 19日 日曜日
  41. 41. 歌毎のスピーカーとディレイ制御 • 12のスピーカーのボリューム制御 • 12のスピーカーのディレイ制御 • シーケンスファイルにより曲毎に,曲のテンポ に合わせ,ディレイタイム、設定を変更出来 る。2012年 8月 19日 日曜日
  42. 42. 曲の制御と同様にボリューム、ディレイも テキストファイルにシーケンス情報として 記述しました。2012年 8月 19日 日曜日
  43. 43. テンポに対する倍率(ディレイ)2012年 8月 19日 日曜日
  44. 44. 映像制御 • 映像表示は,全て映像PCによるもの • Maxからはタイミングデータの送信 • 歌詞の表示タイミング • パーティクルサイズのコントロール2012年 8月 19日 日曜日
  45. 45. テンポに対する倍率(ディレイ) パーティクルのグループ パーティクルの種類 Lineに入れる値2012年 8月 19日 日曜日
  46. 46. 映像への制御も同様にシーケンスファイル で。2012年 8月 19日 日曜日
  47. 47. Max/MSPを利用するメリット2012年 8月 19日 日曜日
  48. 48. • 開発期間に関して • 3月から8月までの6ヶ月間の内、実質の 開発期間2ヶ月間程度 • 11曲の制作と効果音、そしてMax/MSPの プログラムをほぼ一人で。2012年 8月 19日 日曜日
  49. 49. • Max/MSPに用意されているモジュール • タイミング制御が容易、テンポの設定の みで小節数、拍数で制御 • オーディオ信号の同時処理のプログラム が書ける。2012年 8月 19日 日曜日
  50. 50. 時間があれば実演 ライブ・プログラミング2012年 8月 19日 日曜日
  51. 51. Q&A2012年 8月 19日 日曜日

×