Copyright ©CRI Middleware Co., Ltd.
音にこだわる!
ネイティブアプリだからできる
快適なサウンド演出
2015年5月16日
株式会社CRI・ミドルウェア
一條 貴彰
Copyright ©CRI Middleware Co., Ltd.
このロゴの会社です
Copyright ©CRI Middleware Co., Ltd.
(株)CRI・ミドルウェア
1990年 人工知能・CD・音声・映像技術の研究開発
FM-Towns・メガCDなど
1995年 セガサターン用ADXのリリース 50タイトル
2015年 iPhone・Android・PS4・Xbox One・Wii U
PS Vita・3DS・PSP・PS3・Xbox360・Wii
Windows・NDS・PS2・Xbox・GC用 3000タイトル
(2015/4/1)
Copyright ©CRI Middleware Co., Ltd.
サウンドミドルウェア
Copyright ©CRI Middleware Co., Ltd.
ゲームサウンドに求められるもの
Copyright ©CRI Middleware Co., Ltd.
サウンドに求められるもの1
● データサイズを小さく!(3つの評価軸)
● メモリ使用量を小さく!
圧縮すれば、メモリ常駐のサイズは減る。
ストレージからのストリーム再生にすれば、メモリ常駐は不要。
圧縮して、ストリーム再生を増やせば、メモリ使用量は減る。
圧縮 音質
再生のCPU負荷
音質のチェック
同時に何本再生?
Copyright ©CRI Middleware Co., Ltd.
サウンドに求められるもの2
● 気持ちのいいサウンド
楽曲や効果音だけでなく、切り替え時の滑らかさなど。
● ゲーム情報としてのサウンド
操作SEや、ジングル、警告音など、ユーザーへの通知をわかりやすく。
● キャラや世界の表現
ボイスのバリエーションや、しっかり聞き取れる音声。
環境音や賑やかさの表現など。
Copyright ©CRI Middleware Co., Ltd.
サウンド演出の有無
● サウンド再生比較
単に音が鳴っているのと、ちょっとした演出を入れた場合の違い
- クロスフェード
- ランダム再生
- パラメータのランダマイズ
- ダッキング
- 発音数制御
→ 自然さ、聞き心地の良さ、ゲーム的な強調。
Copyright ©CRI Middleware Co., Ltd.
デモ
Copyright ©CRI Middleware Co., Ltd.
実装だ!
Copyright ©CRI Middleware Co., Ltd.
iOS:よい
Copyright ©CRI Middleware Co., Ltd.
Android:大変
Copyright ©CRI Middleware Co., Ltd.
Android たいへん
• サウンド再生が遅い
– OSの問題で、根幹解決は難しい
• 特定の端末で不具合
– シーク再生が変
– ストリーミング再生がだんだんズレる
– Android 5.0 (Lolipop)でうまく動かない
– アプリがバックグラウンドに入ると、音周りが挙動不審に
• データの保護は期待できない
– SDカードからさくっとoggデータが抜かれる
Copyright ©CRI Middleware Co., Ltd.
サウンドミドルウェア
Copyright ©CRI Middleware Co., Ltd.
ADX2の場合
● ADX2が解決するポイント
- 大量データ調整・圧縮後の音質チェック
- イントロ付きループ再生
- サウンド再生時のCPU負荷軽減
- サウンドデザイナが設定可能な演出
- スマホ実機で動いているゲームで直接サウンド調整
- 再生遅延対策
など。
Copyright ©CRI Middleware Co., Ltd.
「ADX2」セット内容
• 専用サウンドツール「CRI Atom Craft」
– ゲーム内での音の鳴り方を管理・設定するツール
• サウンドライブラリ
– サウンド演出の実装がラクに
– オリジナルの圧縮コーデックで小さく
– 動的なサウンドエフェクト適用がラクに
• ピッチチェンジ、リバーブなど各種エフェクト
• 複数の音を時系列に配置して再生
– インタラクティブな音作り
Copyright ©CRI Middleware Co., Ltd.
■ プログラマとサウンドデザイナの分業
パラメータ制御や再生タイミング、発音数制御などは、データ側に設定。
→プログラム側は単純な再生制御だけでOK。
ADX2の基本コンセプト
プログラマ
ADX2オーサリングツール
!
サウンドデザイナー
Copyright ©CRI Middleware Co., Ltd.
オーサリングツール
■ CRI Atom Craft
- 音量調整
- 圧縮設定
- ストリーム再生設定
- 圧縮後の音質チェック
- パックファイルの分け方
- ランダム再生等の演出設定
- インタラクティブミュージック
など
Copyright ©CRI Middleware Co., Ltd. 19
音素材を時系列に並べる
ボリュームやピッチの
変化などグラフで加工
エフェクトの設定
キュー
(音の単位)
キューの中身CRI Atom Craftのツール構成
Copyright ©CRI Middleware Co., Ltd.
ADX2の「キュー」という概念
名前:「Shot1」
※この名称で
プログラムから呼ぶ
• 同時再生の上限値:3
プログラムからコールされまくっても大丈夫
• カテゴリー:SE
カテゴリーごとのボリューム変更などに使う
• プライオリティー:5
カテゴリー内で優先度をつける。
波形データと再生位置
キューの設定欄
(一部)
Copyright ©CRI Middleware Co., Ltd.
ADX2の独自コーデック
• HCA / HCA-MX コーデック
– 圧縮率はmp3 / Oggと同程度(人の声の圧縮に多少強い)
– CPU負荷低め、大量にリクエストしても急に負荷が上がらない
– さらにデコード処理負荷を大幅に抑える特別な仕組み
Copyright ©CRI Middleware Co., Ltd.
HCA-MXコーデックの特長
• 音を同時再生する際のCPU負荷が軽くなります。
• 従来wavで鳴らしていた素材も圧縮できるようになり、
ディスク容量とメモリ使用量が節約できます。
• 制限事項
– HCA-MXでは音ごとのピッチ変更、フィルタ変更などができません。
– サンプリングレートを統一する必要があります。(デフォルトは32KHz)
Copyright ©CRI Middleware Co., Ltd.
イントロ付きループ
■ 途切れず、綺麗にループするBGM
- ループポイント付き波形の圧縮・再生に対応
- イントロ付きループBGMをプログラムの工夫無しで実現
Copyright ©CRI Middleware Co., Ltd.
サウンドごとの音量調整
■ ADX2のオーサリングツール上で調整
- BGMやSEの音量はADX2ツール上で調整。素材波形の変更不要。
- BGMカテゴリを作って、BGMの一括音量調整。
- アプリからの動的な音量調整ももちろん可能。
Copyright ©CRI Middleware Co., Ltd.
ダッキングとカテゴリ
■ カテゴリ指定によるダッキング
- 音声再生中はBGMの音量を下げるような処理をデータ側のみで設定。
- サウンドをカテゴリにわけて、まとめてボリューム調整するなどの利用も可能。
M01
音楽カテゴリ (変化)
M02 M03S01
セリフカテゴリ (トリガ)
S02 S03
ダッキング指示
変化
カテゴリ
トリガ
カテゴリ
Copyright ©CRI Middleware Co., Ltd.
[Android] 再生レイテンシ
■ Android用の低レイテンシ再生モード
- ネイティブサウンドレンダラという低レイテンシ再生モードあり。
Copyright ©CRI Middleware Co., Ltd.
[Android] 遅延推測機能β版
■ 端末のサウンド再生遅延時間をライブラリで推測
プログラムによる再生指示
スピーカーからの発音
ここにかかる時間が「再生遅延時間」。??? ミリ秒。
● Android の場合
- 遅い!
- 機種によって差が激しい!遅いと 200msec以上。
- 誰も教えてくれない!
ADX2に遅延時間推測関数を追加。
※β版です。現在はUnityのみ。
Copyright ©CRI Middleware Co., Ltd.
インゲームプレビュー機能
■ スマートフォン実機と通信
- スマートフォンで実行中のゲームと CRI Atom Craft でWiFi接続。
→ ゲームで実際に色々な音が重なる状況で聞こえ方を調整可能。
音量、エフェクト、メモリ再生の波形などを直接変更。
- CRI Atom Craft で作成中のサウンドをPCではなくスマホから鳴らす事も。
(ターゲットプレビュー機能)
Copyright ©CRI Middleware Co., Ltd.
「ADX2」導入メリット
• 音声圧縮&再生負荷を軽減
– 多重再生時に重くならないモードがある独自コーデック。
圧縮やクオリティはmp3/Ogg同等ながら、再生負荷が低い。
– イントロ付きループBGMが使える。(任意ポイントでのループ)
音質アップと容量削減が両立できます。
• ツールによるサウンド演出設計
– 大量音声データの管理がラクに。
– プログラムを触らずに音量やエフェクトの調節ができる。
サウンド周りのコーディング量が大幅に減ります。
Copyright ©CRI Middleware Co., Ltd.
ご注意
• ブラウザゲーム出力に非対応
– ネイティブライブラリを動かせるブラウザがChromeしか無いため
• Windows Phone 7/8に非対応
– 端末…
– 10は不明。PCと共通で行ける?
30
Copyright ©CRI Middleware Co., Ltd.
個人アプリ開発者・インディーゲーム向けサウンドツール
無料
ツール機能制限なし
Copyright ©CRI Middleware Co., Ltd.
「ADX2 LE」とは
• 無償版サウンドエンジン+オーサリングツール
– 個人のインディーゲーム開発、ゲームジャム向け
• 無償で利用可能(有料で頒布するゲームに使ってもOK)
• ゲーム販売の売上1,000万円以下まで
• 二次創作は自己責任だぞい
公式サイト
http://www.adx2le.com/
からSDKダウンロード
Copyright ©CRI Middleware Co., Ltd.
アプリ事例
Copyright ©CRI Middleware Co., Ltd.
「ADX2 LE」の使用条件
• 前年度年商が1,000万円以下の会社または団体・個人であること
• コンテンツの配信元が自身であること
※販売権を自身で持ち、パブリッシャーを介さず自分でApp Storeなどに登録する。
• コンテンツの売上が1,000万円以内であること
「ADX2 LE」を使用したコンテンツ配信の条件
(コンテンツの無償/有償に関わらず)
“本コンテンツには、(株)CRI・ミドルウェアの
「CRI ADX2 (TM) LE」が使用されています。”
• 著作権表記
Copyright ©CRI Middleware Co., Ltd.
関連書籍 続々発刊!
Copyright ©CRI Middleware Co., Ltd.
おまけ:アルファムービー演出
(法人専用)
Copyright ©CRI Middleware Co., Ltd.
Sofdec2のキーポイント
■ 動画をテクスチャとして使う
- ムービーテクスチャ を実現。動画を貼り付ける。描画はアプリの自由。
- 透過情報 を入れたアルファムービーが利用可能。 演出の幅が大きくアップ。
- 柔軟でリッチな再生機能 にも対応。
(例: シームレスループ/連結再生、複数再生、タイミング情報埋め込み)
Copyright ©CRI Middleware Co., Ltd.
Sofdec2 for cocos2d-x
ムービー
■ ムービースプライトクラス(サンプル)
- スプライトにムービーを貼ることができます。
- cocos2d-x ならではの、クリッピングノードやアクションの機能も利用可能。
Copyright ©CRI Middleware Co., Ltd.
Android版デモのダウンロード
■ アルファムービデモのAndroid版
- http://crimw.me/alphamovie
- 「提供元不明のアプリ」のインストールを許可してください。
- 容量 約23MByte
<動作環境>
ARMv7対応のCPU
Copyright ©CRI Middleware Co., Ltd.
…
http://www.cri-mw.co.jp/contact

音にこだわる! ネイティブアプリだからできる 快適なサウンド演出

  • 1.
    Copyright ©CRI MiddlewareCo., Ltd. 音にこだわる! ネイティブアプリだからできる 快適なサウンド演出 2015年5月16日 株式会社CRI・ミドルウェア 一條 貴彰
  • 2.
    Copyright ©CRI MiddlewareCo., Ltd. このロゴの会社です
  • 3.
    Copyright ©CRI MiddlewareCo., Ltd. (株)CRI・ミドルウェア 1990年 人工知能・CD・音声・映像技術の研究開発 FM-Towns・メガCDなど 1995年 セガサターン用ADXのリリース 50タイトル 2015年 iPhone・Android・PS4・Xbox One・Wii U PS Vita・3DS・PSP・PS3・Xbox360・Wii Windows・NDS・PS2・Xbox・GC用 3000タイトル (2015/4/1)
  • 4.
    Copyright ©CRI MiddlewareCo., Ltd. サウンドミドルウェア
  • 5.
    Copyright ©CRI MiddlewareCo., Ltd. ゲームサウンドに求められるもの
  • 6.
    Copyright ©CRI MiddlewareCo., Ltd. サウンドに求められるもの1 ● データサイズを小さく!(3つの評価軸) ● メモリ使用量を小さく! 圧縮すれば、メモリ常駐のサイズは減る。 ストレージからのストリーム再生にすれば、メモリ常駐は不要。 圧縮して、ストリーム再生を増やせば、メモリ使用量は減る。 圧縮 音質 再生のCPU負荷 音質のチェック 同時に何本再生?
  • 7.
    Copyright ©CRI MiddlewareCo., Ltd. サウンドに求められるもの2 ● 気持ちのいいサウンド 楽曲や効果音だけでなく、切り替え時の滑らかさなど。 ● ゲーム情報としてのサウンド 操作SEや、ジングル、警告音など、ユーザーへの通知をわかりやすく。 ● キャラや世界の表現 ボイスのバリエーションや、しっかり聞き取れる音声。 環境音や賑やかさの表現など。
  • 8.
    Copyright ©CRI MiddlewareCo., Ltd. サウンド演出の有無 ● サウンド再生比較 単に音が鳴っているのと、ちょっとした演出を入れた場合の違い - クロスフェード - ランダム再生 - パラメータのランダマイズ - ダッキング - 発音数制御 → 自然さ、聞き心地の良さ、ゲーム的な強調。
  • 9.
  • 10.
    Copyright ©CRI MiddlewareCo., Ltd. 実装だ!
  • 11.
    Copyright ©CRI MiddlewareCo., Ltd. iOS:よい
  • 12.
    Copyright ©CRI MiddlewareCo., Ltd. Android:大変
  • 13.
    Copyright ©CRI MiddlewareCo., Ltd. Android たいへん • サウンド再生が遅い – OSの問題で、根幹解決は難しい • 特定の端末で不具合 – シーク再生が変 – ストリーミング再生がだんだんズレる – Android 5.0 (Lolipop)でうまく動かない – アプリがバックグラウンドに入ると、音周りが挙動不審に • データの保護は期待できない – SDカードからさくっとoggデータが抜かれる
  • 14.
    Copyright ©CRI MiddlewareCo., Ltd. サウンドミドルウェア
  • 15.
    Copyright ©CRI MiddlewareCo., Ltd. ADX2の場合 ● ADX2が解決するポイント - 大量データ調整・圧縮後の音質チェック - イントロ付きループ再生 - サウンド再生時のCPU負荷軽減 - サウンドデザイナが設定可能な演出 - スマホ実機で動いているゲームで直接サウンド調整 - 再生遅延対策 など。
  • 16.
    Copyright ©CRI MiddlewareCo., Ltd. 「ADX2」セット内容 • 専用サウンドツール「CRI Atom Craft」 – ゲーム内での音の鳴り方を管理・設定するツール • サウンドライブラリ – サウンド演出の実装がラクに – オリジナルの圧縮コーデックで小さく – 動的なサウンドエフェクト適用がラクに • ピッチチェンジ、リバーブなど各種エフェクト • 複数の音を時系列に配置して再生 – インタラクティブな音作り
  • 17.
    Copyright ©CRI MiddlewareCo., Ltd. ■ プログラマとサウンドデザイナの分業 パラメータ制御や再生タイミング、発音数制御などは、データ側に設定。 →プログラム側は単純な再生制御だけでOK。 ADX2の基本コンセプト プログラマ ADX2オーサリングツール ! サウンドデザイナー
  • 18.
    Copyright ©CRI MiddlewareCo., Ltd. オーサリングツール ■ CRI Atom Craft - 音量調整 - 圧縮設定 - ストリーム再生設定 - 圧縮後の音質チェック - パックファイルの分け方 - ランダム再生等の演出設定 - インタラクティブミュージック など
  • 19.
    Copyright ©CRI MiddlewareCo., Ltd. 19 音素材を時系列に並べる ボリュームやピッチの 変化などグラフで加工 エフェクトの設定 キュー (音の単位) キューの中身CRI Atom Craftのツール構成
  • 20.
    Copyright ©CRI MiddlewareCo., Ltd. ADX2の「キュー」という概念 名前:「Shot1」 ※この名称で プログラムから呼ぶ • 同時再生の上限値:3 プログラムからコールされまくっても大丈夫 • カテゴリー:SE カテゴリーごとのボリューム変更などに使う • プライオリティー:5 カテゴリー内で優先度をつける。 波形データと再生位置 キューの設定欄 (一部)
  • 21.
    Copyright ©CRI MiddlewareCo., Ltd. ADX2の独自コーデック • HCA / HCA-MX コーデック – 圧縮率はmp3 / Oggと同程度(人の声の圧縮に多少強い) – CPU負荷低め、大量にリクエストしても急に負荷が上がらない – さらにデコード処理負荷を大幅に抑える特別な仕組み
  • 22.
    Copyright ©CRI MiddlewareCo., Ltd. HCA-MXコーデックの特長 • 音を同時再生する際のCPU負荷が軽くなります。 • 従来wavで鳴らしていた素材も圧縮できるようになり、 ディスク容量とメモリ使用量が節約できます。 • 制限事項 – HCA-MXでは音ごとのピッチ変更、フィルタ変更などができません。 – サンプリングレートを統一する必要があります。(デフォルトは32KHz)
  • 23.
    Copyright ©CRI MiddlewareCo., Ltd. イントロ付きループ ■ 途切れず、綺麗にループするBGM - ループポイント付き波形の圧縮・再生に対応 - イントロ付きループBGMをプログラムの工夫無しで実現
  • 24.
    Copyright ©CRI MiddlewareCo., Ltd. サウンドごとの音量調整 ■ ADX2のオーサリングツール上で調整 - BGMやSEの音量はADX2ツール上で調整。素材波形の変更不要。 - BGMカテゴリを作って、BGMの一括音量調整。 - アプリからの動的な音量調整ももちろん可能。
  • 25.
    Copyright ©CRI MiddlewareCo., Ltd. ダッキングとカテゴリ ■ カテゴリ指定によるダッキング - 音声再生中はBGMの音量を下げるような処理をデータ側のみで設定。 - サウンドをカテゴリにわけて、まとめてボリューム調整するなどの利用も可能。 M01 音楽カテゴリ (変化) M02 M03S01 セリフカテゴリ (トリガ) S02 S03 ダッキング指示 変化 カテゴリ トリガ カテゴリ
  • 26.
    Copyright ©CRI MiddlewareCo., Ltd. [Android] 再生レイテンシ ■ Android用の低レイテンシ再生モード - ネイティブサウンドレンダラという低レイテンシ再生モードあり。
  • 27.
    Copyright ©CRI MiddlewareCo., Ltd. [Android] 遅延推測機能β版 ■ 端末のサウンド再生遅延時間をライブラリで推測 プログラムによる再生指示 スピーカーからの発音 ここにかかる時間が「再生遅延時間」。??? ミリ秒。 ● Android の場合 - 遅い! - 機種によって差が激しい!遅いと 200msec以上。 - 誰も教えてくれない! ADX2に遅延時間推測関数を追加。 ※β版です。現在はUnityのみ。
  • 28.
    Copyright ©CRI MiddlewareCo., Ltd. インゲームプレビュー機能 ■ スマートフォン実機と通信 - スマートフォンで実行中のゲームと CRI Atom Craft でWiFi接続。 → ゲームで実際に色々な音が重なる状況で聞こえ方を調整可能。 音量、エフェクト、メモリ再生の波形などを直接変更。 - CRI Atom Craft で作成中のサウンドをPCではなくスマホから鳴らす事も。 (ターゲットプレビュー機能)
  • 29.
    Copyright ©CRI MiddlewareCo., Ltd. 「ADX2」導入メリット • 音声圧縮&再生負荷を軽減 – 多重再生時に重くならないモードがある独自コーデック。 圧縮やクオリティはmp3/Ogg同等ながら、再生負荷が低い。 – イントロ付きループBGMが使える。(任意ポイントでのループ) 音質アップと容量削減が両立できます。 • ツールによるサウンド演出設計 – 大量音声データの管理がラクに。 – プログラムを触らずに音量やエフェクトの調節ができる。 サウンド周りのコーディング量が大幅に減ります。
  • 30.
    Copyright ©CRI MiddlewareCo., Ltd. ご注意 • ブラウザゲーム出力に非対応 – ネイティブライブラリを動かせるブラウザがChromeしか無いため • Windows Phone 7/8に非対応 – 端末… – 10は不明。PCと共通で行ける? 30
  • 31.
    Copyright ©CRI MiddlewareCo., Ltd. 個人アプリ開発者・インディーゲーム向けサウンドツール 無料 ツール機能制限なし
  • 32.
    Copyright ©CRI MiddlewareCo., Ltd. 「ADX2 LE」とは • 無償版サウンドエンジン+オーサリングツール – 個人のインディーゲーム開発、ゲームジャム向け • 無償で利用可能(有料で頒布するゲームに使ってもOK) • ゲーム販売の売上1,000万円以下まで • 二次創作は自己責任だぞい 公式サイト http://www.adx2le.com/ からSDKダウンロード
  • 33.
    Copyright ©CRI MiddlewareCo., Ltd. アプリ事例
  • 34.
    Copyright ©CRI MiddlewareCo., Ltd. 「ADX2 LE」の使用条件 • 前年度年商が1,000万円以下の会社または団体・個人であること • コンテンツの配信元が自身であること ※販売権を自身で持ち、パブリッシャーを介さず自分でApp Storeなどに登録する。 • コンテンツの売上が1,000万円以内であること 「ADX2 LE」を使用したコンテンツ配信の条件 (コンテンツの無償/有償に関わらず) “本コンテンツには、(株)CRI・ミドルウェアの 「CRI ADX2 (TM) LE」が使用されています。” • 著作権表記
  • 35.
    Copyright ©CRI MiddlewareCo., Ltd. 関連書籍 続々発刊!
  • 36.
    Copyright ©CRI MiddlewareCo., Ltd. おまけ:アルファムービー演出 (法人専用)
  • 37.
    Copyright ©CRI MiddlewareCo., Ltd. Sofdec2のキーポイント ■ 動画をテクスチャとして使う - ムービーテクスチャ を実現。動画を貼り付ける。描画はアプリの自由。 - 透過情報 を入れたアルファムービーが利用可能。 演出の幅が大きくアップ。 - 柔軟でリッチな再生機能 にも対応。 (例: シームレスループ/連結再生、複数再生、タイミング情報埋め込み)
  • 38.
    Copyright ©CRI MiddlewareCo., Ltd. Sofdec2 for cocos2d-x ムービー ■ ムービースプライトクラス(サンプル) - スプライトにムービーを貼ることができます。 - cocos2d-x ならではの、クリッピングノードやアクションの機能も利用可能。
  • 39.
    Copyright ©CRI MiddlewareCo., Ltd. Android版デモのダウンロード ■ アルファムービデモのAndroid版 - http://crimw.me/alphamovie - 「提供元不明のアプリ」のインストールを許可してください。 - 容量 約23MByte <動作環境> ARMv7対応のCPU
  • 40.
    Copyright ©CRI MiddlewareCo., Ltd. … http://www.cri-mw.co.jp/contact