Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

130622-gcs2013-presentation-c

1,997 views

Published on

GCS2013 Interactive Music Lab. Presentation Slide

Published in: Technology
  • Be the first to comment

130622-gcs2013-presentation-c

  1. 1. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 1あなたの音楽にゲームが同期する!-リアルタイムビート解析を使った新しい音ゲーの可能性-株式会社CRI・ミドルウェアエンターテインメント事業推進室増野 宏之masuno@cri-mw.co.jp
  2. 2. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 2自己紹介(その1)• 増野 宏之 (Hiroyuki Masuno)– 広島県呉市出身・札幌在住・新横浜単身赴任– 1964年10月8日生まれ, 48歳(業界27年目)– 1986年からKEMCO->コンパイル->ズーム->サイクロンゼロ->アークシステムワークス– 今年の4月からCRIミドルウェアに勤務– 作曲・プログラム・オーディオプログラム– 海外渉外・宴会部長・FORTRAN真理教教祖
  3. 3. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 3自己紹介(その2)• コンタクト情報(主にFacebookで活動)– Facebook :http://www.facebook.com/hiroyuki.masuno.7– Twitter : @HiroyukiMasuno– 3DS/PSN等すべて実名登録– ノーガード戦法
  4. 4. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 4自己紹介(その3)• CEDEC2013運営– オーディオ分野・副担当• SIG-Audio運営• Interactive Music研究会運営
  5. 5. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 5Dejavu, Shadowgate, Uninvited (FC)• KEMCOアドベンチャーシリーズ3部作• 原作はICOM Simulationsがリリースしていたもの• 作曲を担当。ファミコン音源で本格ジャズに挑戦• ShadowgateはZojoiがKickstarterでリメーク中
  6. 6. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 6Drakkhen (SFC)• 家庭用ゲーム機初の本格3DポリゴンRPG• 原作はInfogrames(ATARI)がAmigaでリリースしたもの• 音楽とポリゴンドライバーおよび海外渉外を担当
  7. 7. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 7ファーストサムライ (SFC)• 伝説のアホゲー• 理解不能な世界観• 城みちるの主題歌• この作品での仕事– 海外渉外• 日本+SFCに持ってきたのは私です。– 作曲• 私の曲の中で唯一のJASRAC管理曲
  8. 8. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 8Top Gear 3部作 (SFC)• サウンドドライバー提供と海外外注管理を担当• 開発はGremlin Graphics、現在のSumo Digital• 海外で大ヒット。当時技術部長だったJames NorthHearnは、現在はFoundation 9の会長。
  9. 9. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 9ぷよぷよ 3,4 (SFC, Dreamcast)• ぷよぷよSUN– 圧縮処理提供• ぷよぷよーん– プロデューサーとメインプログラマーを担当– コンパイルは負債70億円を抱え和議申請し、非常に苦しい時代。
  10. 10. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 10蚊2 –レッツゴーハワイ- (PS2)• プロジェクトがデスマーチになっており、ヘルプを求められたので参戦。立場上はアシスタントプログラマー。• オブジェクト志向の有効性に多大な疑問を持った作品。
  11. 11. .Hiroyuki Masunoサウンドの仕事はモテますか?• モテるに決まってます!!– ゲームの音楽作っているんだけど– あの作品も、この作品も、スタッフとして参加したよ– 今、(総勢1名なので)部門を束ねているんだけど– 飲み屋のお姉さん大感激– 今度私の書いた絵を見てください– 後日お持ち帰り確定(笑)CRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 11
  12. 12. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 12本題のまえに用語集(1)• BPM(Beat Per Minute)– 音楽の早さを示す数値。• 「1分あたり何ビートか」を数字で表す。• 値が大きくなると早い曲、小さくなると遅い曲。• 行進曲の場合1分あたり120ビート。(120bpm)• 4拍子の曲の場合、1小節は4ビート。• 上記の行進曲の場合、1分あたり30小節。
  13. 13. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 13本題のまえに用語集(2)• 高速フーリエ変換(FFT)– 左図:一般的に知られている音の波。• 横軸が時間で、縦軸が振幅。(時間領域)– 右図:カーナビ等に搭載されているもの。• 横軸が周波数で、縦軸が利得。(周波数領域)– この2つの情報は同じ(数学用語で[直交])• この2つの領域を相互に変換する手法がフーリエ変換(FT)
  14. 14. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 14ビート解析手法研究のきっかけ• ユーザーの音楽にあわせたプロシージャルなゲームが作りたい。– 自分の好きな音楽で「音ゲー」を遊びたい!!• ユーザーがゲームを通じて、音楽との一体感を感じるのは、自分のアクションが音楽のビートと一致しているとき。– 手拍子をする、ヘッドバンギングをする、音楽のビートと共鳴した動作をする
  15. 15. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 15自分の好きな音楽で「音ゲー」を!!• 「音ゲー」を実装する以上、外部音楽からのビートの検出(BPM解析)の実装は不可欠– 周波数領域の特性は、ビジュアライザーを描画するときにはかっこいい。• スペクトラムアナライザー– でも、ゲームに組み込むことは難しいし、ユーザーが音楽との一体感を感じにくい。
  16. 16. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 16BPM解析法の超概要(A4-BPM)• リズムを非常に振幅の遅い低周波と考える– 60bpmなら1.0Hz, 240bpmなら4.0Hz– すなわち任意の音楽から1.0Hz~4.0Hzの周波数成分を取り出すFFT(もどき)を実装する。– 超低周波解析なので、分析区間は広大。• 10秒程度の超広大窓+リングバッファを用いたVLW(Very Large Window)法で分析。
  17. 17. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 17解析中の画面の紹介• 左端が約60bpmで、右端が250bpm– スペクトラムアナライザーのように、「確からしいBPM値」のところにピークが出現する。
  18. 18. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 18A4-BPMの特長(1)• 超高速!!– 7年前からWindows→Xbox360→PlayStation Vitaと改良を重ね、速度は当初の200倍以上に。– 4分程度の曲だと、最新のPCや次世代機では、1秒以下で結果がでる。• もはや音楽ファイルの読み込みのほうが遅い。• 1拍目の正確な認識!!– BPMだけでなく、1拍目を正確に検出できる。
  19. 19. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 19A4-BPMの特長(2)• 高精度!!– 0.01bpmの単位まで計測可能。• 高い正答率!!– 平均80%以上の正答率。• テンポチェンジにも対応!!– ある一定のカーブでテンポが変わる曲なら、最小自乗法により追従可能。– ただし不安定な曲の場合は追従困難。
  20. 20. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 20メリット• 自分の音楽で音ゲーができる!!• DJ気分も簡単に味わえる!!– 1, 1/2, 1/4ビート分の波形が簡単に切り出せる。– スクラッチノイズ生成や、ビートに同期した任意ループ、タイムストレッチ等も容易に実現できる。• 何を作っても「世界初」になる!!– 世界初、あなたの音楽で楽しめる○○○
  21. 21. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 21Every Extend Extra Extreme (XBLA)• Q Entertainment社発売。• 任意の音楽に同期する独自オーディオエンジン搭載1作目(A4-DSP Engine 2.0)
  22. 22. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 220D Beat Drop (XBLA)• アークシステムワークス発売• 任意の音楽に同期する独自オーディオエンジン搭載2作目(A4-DSP Engine 3.0)
  23. 23. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 23NAX Music Player (PS Vita)• アークシステムワークス発売• 任意の音楽に同期する独自オーディオエンジン搭載3作目(A4-DSP Engine 5.1)
  24. 24. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 24ランキング画面の工夫プレイした音楽がランキング画面に表示される
  25. 25. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 25Interactive Music次世代音楽ゲームの演出• 音楽に演出が同期する手法が、近年盛んに用いられるようになった。– 風ノ旅ビト(Journey)– Child of eden• 今年のE3では、「ユーザーの操作で音楽を動的に変える音ゲー」も紹介された。
  26. 26. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 26FANTASIA: Music Evolved• Harmonix Music Systemsが制作– Xbox360/KinectのDance Central– Guitar Hero, Rock Bandで有名• Xbox ONEでリリース予定。• Kinectセンサーを使用し、手を振ったりすることで、任意のビート操作も可能。• 自分の音楽が使えるのかは、不明。
  27. 27. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 27A4-DSP Engine Version 7• 高速・高精度のBPM解析エンジン搭載– ユーザーの任意の楽曲にゲームが同期• 波形データの高次解析技術– ダンスゲームの譜面データを自動生成• 複素空間調和振動解析(CVS-HA)– 「耳に心地よい音」という概念の定量化– ボーカル成分の抽出・削除技術
  28. 28. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 28CEDEC 2013• 8/21~8/23にパシフィコ横浜で開催。• 今年のテーマは “Be Bold!‰– 強烈な自己主張をもって、大胆かつ、果敢に!• 私も講演します!!是非お越しください!!
  29. 29. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 29CEDEC 2013俺の、俺の、俺の歌を聴け。5フレームだけでいい。-BPM解析システムを援用した--高速ボーカル抽出プラグイン作成への挑戦-http://cedec.cesa.or.jp/2013/program/SND/2879.html
  30. 30. .Hiroyuki MasunoCRI Middleware Co., Ltd.Game Community Summit 2013Introduction of real-time beat trackingPage 30御静聴ありがとうございました!PSVitaのNAX Music Playerをお持ちしました。体験したい方はご自由に呼び止めてください。

×