130622-gcs2013-presentation-c
•
1 like•2,460 views
GCS2013 Interactive Music Lab. Presentation Slide
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to 130622-gcs2013-presentation-c
Similar to 130622-gcs2013-presentation-c (20)
Recently uploaded
Recently uploaded (9)
130622-gcs2013-presentation-c
- 1. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 1 あなたの音楽にゲームが同期する！ -リアルタイムビート解析を使った新しい音ゲーの可能性- 株式会社CRI・ミドルウェア エンターテインメント事業推進室 増野 宏之 masuno@cri-mw.co.jp
- 2. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 2 自己紹介(その1) • 増野 宏之 (Hiroyuki Masuno) – 広島県呉市出身・札幌在住・新横浜単身赴任 – 1964年10月8日生まれ, 48歳(業界27年目) – 1986年からKEMCO->コンパイル->ズーム-> サイクロンゼロ->アークシステムワークス – 今年の4月からCRIミドルウェアに勤務 – 作曲・プログラム・オーディオプログラム – 海外渉外・宴会部長・FORTRAN真理教教祖
- 3. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 3 自己紹介(その2) • コンタクト情報(主にFacebookで活動) – Facebook : http://www.facebook.com/hiroyuki.masuno.7 – Twitter : @HiroyukiMasuno – 3DS/PSN等すべて実名登録 – ノーガード戦法
- 4. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 4 自己紹介(その3) • CEDEC2013運営 – オーディオ分野・副担当 • SIG-Audio運営 • Interactive Music研究会運営
- 5. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 5 Dejavu, Shadowgate, Uninvited (FC) • KEMCOアドベンチャーシリーズ3部作 • 原作はICOM Simulationsがリリースしていたもの • 作曲を担当。ファミコン音源で本格ジャズに挑戦 • ShadowgateはZojoiがKickstarterでリメーク中
- 6. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 6 Drakkhen (SFC) • 家庭用ゲーム機初の本格3DポリゴンRPG • 原作はInfogrames(ATARI)がAmigaでリリースしたもの • 音楽とポリゴンドライバーおよび海外渉外を担当
- 7. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 7 ファーストサムライ (SFC) • 伝説のアホゲー • 理解不能な世界観 • 城みちるの主題歌 • この作品での仕事 – 海外渉外 • 日本+SFCに持ってき たのは私です。 – 作曲 • 私の曲の中で唯一の JASRAC管理曲
- 8. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 8 Top Gear 3部作 (SFC) • サウンドドライバー提供と海外外注管理を担当 • 開発はGremlin Graphics、現在のSumo Digital • 海外で大ヒット。当時技術部長だったJames North Hearnは、現在はFoundation 9の会長。
- 9. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 9 ぷよぷよ 3,4 (SFC, Dreamcast) • ぷよぷよSUN – 圧縮処理提供 • ぷよぷよーん – プロデューサーとメインプログラマーを担当 – コンパイルは負債70億円を抱え和議申請し、非常に苦しい時代。
- 10. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 10 蚊2 –レッツゴーハワイ- (PS2) • プロジェクトがデスマーチになっており、ヘルプを求められた ので参戦。立場上はアシスタントプログラマー。 • オブジェクト志向の有効性に多大な疑問を持った作品。
- 11. . Hiroyuki Masuno サウンドの仕事はモテますか? • モテるに決まってます!! – ゲームの音楽作っているんだけど – あの作品も、この作品も、スタッフ として参加したよ – 今、(総勢1名なので)部門を束ねてい るんだけど – 飲み屋のお姉さん大感激 – 今度私の書いた絵を見てください – 後日お持ち帰り確定(笑) CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 11
- 12. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 12 本題のまえに用語集(1) • BPM(Beat Per Minute) – 音楽の早さを示す数値。 • 「1分あたり何ビートか」を数字で表す。 • 値が大きくなると早い曲、小さくなると遅い曲。 • 行進曲の場合1分あたり120ビート。(120bpm) • 4拍子の曲の場合、1小節は4ビート。 • 上記の行進曲の場合、1分あたり30小節。
- 13. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 13 本題のまえに用語集(2) • 高速フーリエ変換(FFT) – 左図：一般的に知られている音の波。 • 横軸が時間で、縦軸が振幅。(時間領域) – 右図：カーナビ等に搭載されているもの。 • 横軸が周波数で、縦軸が利得。(周波数領域) – この2つの情報は同じ(数学用語で[直交]) • この2つの領域を相互に変換する手法がフーリエ変換(FT)
- 14. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 14 ビート解析手法研究のきっかけ • ユーザーの音楽にあわせたプロシージャル なゲームが作りたい。 – 自分の好きな音楽で「音ゲー」を遊びたい!! • ユーザーがゲームを通じて、音楽との一体感 を感じるのは、自分のアクションが音楽の ビートと一致しているとき。 – 手拍子をする、ヘッドバンギングをする、音 楽のビートと共鳴した動作をする
- 15. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 15 自分の好きな音楽で「音ゲー」を!! • 「音ゲー」を実装する以上、外部音楽からの ビートの検出(BPM解析)の実装は不可欠 – 周波数領域の特性は、ビジュアライザーを描 画するときにはかっこいい。 • スペクトラムアナライザー – でも、ゲームに組み込むことは難しいし、 ユーザーが音楽との一体感を感じにくい。
- 16. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 16 BPM解析法の超概要(A4-BPM) • リズムを非常に振幅の遅い低周波と考える – 60bpmなら1.0Hz, 240bpmなら4.0Hz – すなわち任意の音楽から1.0Hz～4.0Hzの周波 数成分を取り出すFFT(もどき)を実装する。 – 超低周波解析なので、分析区間は広大。 • 10秒程度の超広大窓+リングバッファを用いた VLW(Very Large Window)法で分析。
- 17. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 17 解析中の画面の紹介 • 左端が約60bpmで、右端が250bpm – スペクトラムアナライザーのように、「確か らしいBPM値」のところにピークが出現する。
- 18. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 18 A4-BPMの特長(1) • 超高速!! – 7年前からWindows→Xbox360→PlayStation Vita と改良を重ね、速度は当初の200倍以上に。 – 4分程度の曲だと、最新のPCや次世代機では、 1秒以下で結果がでる。 • もはや音楽ファイルの読み込みのほうが遅い。 • 1拍目の正確な認識!! – BPMだけでなく、1拍目を正確に検出できる。
- 19. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 19 A4-BPMの特長(2) • 高精度!! – 0.01bpmの単位まで計測可能。 • 高い正答率!! – 平均80%以上の正答率。 • テンポチェンジにも対応!! – ある一定のカーブでテンポが変わる曲なら、 最小自乗法により追従可能。 – ただし不安定な曲の場合は追従困難。
- 20. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 20 メリット • 自分の音楽で音ゲーができる!! • DJ気分も簡単に味わえる!! – 1, 1/2, 1/4ビート分の波形が簡単に切り出せる。 – スクラッチノイズ生成や、ビートに同期した 任意ループ、タイムストレッチ等も容易に実 現できる。 • 何を作っても「世界初」になる!! – 世界初、あなたの音楽で楽しめる○○○
- 21. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 21 Every Extend Extra Extreme (XBLA) • Q Entertainment社発売。 • 任意の音楽に同期する独自オーディオエンジン搭載1作目 (A4-DSP Engine 2.0)
- 22. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 22 0D Beat Drop (XBLA) • アークシステムワークス発売 • 任意の音楽に同期する独自オーディオエンジン搭載2作目 (A4-DSP Engine 3.0)
- 23. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 23 NAX Music Player (PS Vita) • アークシステムワークス発売 • 任意の音楽に同期する独自オーディオエンジン搭載3作目 (A4-DSP Engine 5.1)
- 24. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 24 ランキング画面の工夫 プレイした音楽がランキング画面に表示される
- 25. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 25 Interactive Music 次世代音楽ゲームの演出 • 音楽に演出が同期する手法が、近年盛んに 用いられるようになった。 – 風ノ旅ビト(Journey) – Child of eden • 今年のE3では、「ユーザーの操作で音楽を 動的に変える音ゲー」も紹介された。
- 26. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 26 FANTASIA: Music Evolved • Harmonix Music Systemsが制作 – Xbox360/KinectのDance Central – Guitar Hero, Rock Bandで有名 • Xbox ONEでリリース予定。 • Kinectセンサーを使用し、手を振ったりする ことで、任意のビート操作も可能。 • 自分の音楽が使えるのかは、不明。
- 27. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 27 A4-DSP Engine Version 7 • 高速・高精度のBPM解析エンジン搭載 – ユーザーの任意の楽曲にゲームが同期 • 波形データの高次解析技術 – ダンスゲームの譜面データを自動生成 • 複素空間調和振動解析(CVS-HA) – 「耳に心地よい音」という概念の定量化 – ボーカル成分の抽出・削除技術
- 28. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 28 CEDEC 2013 • 8/21～8/23にパシフィコ横浜で開催。 • 今年のテーマは “Be Bold!‰ – 強烈な自己主張をもって、大胆かつ、果敢に! • 私も講演します!!是非お越しください!!
- 29. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 29 CEDEC 2013 俺の、俺の、俺の歌を聴け。5フレームだけでいい。 -BPM解析システムを援用した- -高速ボーカル抽出プラグイン作成への挑戦- http://cedec.cesa.or.jp/2013/program/SND/2879.html
- 30. . Hiroyuki Masuno CRI Middleware Co., Ltd. Game Community Summit 2013 Introduction of real-time beat tracking Page 30 御静聴ありがとうございました! PSVitaのNAX Music Playerをお持ちしました。 体験したい方はご自由に呼び止めてください。