1.
1
聴衆の知覚音量バランス推定と可視化による
ドラム練習支援手法
明治大学大学院 M2
細谷美月
中村聡史（明治大学） 森勢将雅（明治大学） 吉井和佳（京都大学）

2.
研究概要
個人練習が難しいドラムの音量バランス練習を
聴衆の知覚音量バランスリアルタイム可視化システムで支援
2

3.
システムイメージ
3

4.
• プロトタイプシステムを実装、評価実験を行い改善点を明らかに
• フィードバックをふまえ、システムを改善
…聴衆の知覚を加味した音量バランス推定手法を提案
…可視化手法を改善
• 改善後のシステムで評価実験を行い、有用性を検証
研究概要
4
*1,2
*1…細谷 美月, 中村 聡史, 森勢 将雅, 吉井 和佳. ドラム演奏の音量バランス習得に向けた音源分離を用いたリアルタイム叩打音量可視化
システムの提案, 情報処理学会 研究報告エンタテインメントコンピューティング（EC）, Vol.2021-EC-59, No.27, pp.1-8, 2021.
*2…Mitsuki Hosoya, Masanori Morise, Satoshi Nakamura, Kazuyoshi Yoshii. A Real-time Drum-wise Volume Visualization System
for Learning Volume-Balanced Drum Performance, 20th IFIP TC14 International Conference on Entertainment Computing (IFIP
ICEC 2021), Vol.LNCS 13056, pp.154-166, 2021.

5.
ドラム上達において、
リズム・音色・音量など様々な技術の習得が重要
背景：ドラム上達に必要なこと
テンポ（速さ）を
一定に保つ
複数楽器間の
音量バランス
様々な種類の
音色の叩き分け
リズム 音色 音量
複雑なリズムの
習得
音色を安定させる
音量に差をつけて
演奏する

6.
ドラムは手軽に・見様見真似で演奏でき、自力で練習する人が多い
背景：ドラム上達に必要なこと
ドラムスティックがあれば
始められる
演奏してみたや、
教則の動画で学べる

7.
背景：ドラム上達に必要なこと
テンポ（速さ）を
一定に保つ
複数楽器間の
音量バランス
様々な種類の
音色の叩き分け
リズム 音色 音量
複雑なリズムの
習得
音色を安定させる
音量に差をつけて
演奏する
自身の演奏を自分で評価できない音量バランスは個人練習が難しく、
ドラマーはつまずきがち・練習を後回しにしがち

8.
自身の演奏を自分で評価できない音量バランスは個人練習が難しく、
ドラマーはつまずきがち・練習を後回しにしがち
背景：ドラム上達に必要なこと
テンポ（速さ）を
一定に保つ
複数楽器間の
音量バランス
様々な種類の
音色の叩き分け
リズム 音色 音量
複雑なリズムの
習得
音色を安定させる
音量に差をつけて
演奏する
音量バランスの練習支援に着目

9.
• 基本リズムにおける HI・SD・BD の音量の大小関係
• BD>SD>HIに“聴衆が知覚するように”演奏する が理想
• 曲やジャンル、好みによって目標とする音量バランスは異なる
背景：音量バランスとは
大
中
スネアドラム
（SD）
バスドラム
（BD）
ハイハット
（HI） 小
10

10.
• 基本リズムにおける HI・SD・BD の音量の大小関係
• BD>SD>HIに“聴衆が知覚するように”演奏する が理想
• 曲やジャンル、好みによって目標とする音量バランスは異なる
背景：音量バランスとは
大
中
スネアドラム
（SD）
バスドラム
（BD）
ハイハット
（HI） 小
11

11.
• 基本リズムにおける HI・SD・BD の音量の大小関係
• BD>SD>HIに“聴衆が知覚するように”演奏する が理想
• 曲やジャンル、好みによって目標とする音量バランスは異なる
背景：音量バランスとは
大
中
スネアドラム
（SD）
バスドラム
（BD）
ハイハット
（HI） 小 まとまりのある
いい演奏だ！
12

12.
• 基本リズムにおける HI・SD・BD の音量の大小関係
• BD>SD>HIに“聴衆が知覚するように”演奏する が理想
• 曲やジャンル、好みによって目標とする音量バランスは異なる
背景：音量バランスとは
大
中
スネアドラム
（SD）
バスドラム
（BD）
ハイハット
（HI） 小 まとまりのある
いい演奏だ！
13

13.
• 基本リズムにおける HI・SD・BD の音量の大小関係
• BD>SD>HIに“聴衆が知覚するように”演奏する が理想
• 曲やジャンル、好みによって目標とする音量バランスは異なる
背景：音量バランスとは
大
中
スネアドラム
（SD）
バスドラム
（BD）
ハイハット
（HI） 小 まとまりのある
いい演奏だ！
14

14.
• 基本リズムにおける HI・SD・BD の音量の大小関係
• BD>SD>HIに“聴衆が知覚するように”演奏する が理想
• 曲やジャンル、好みによって目標とする音量バランスは異なる
背景：音量バランスとは
大
中
スネアドラム
（SD）
バスドラム
（BD）
ハイハット
（HI） 小 まとまりのある
いい演奏だ！
15

15.
• 基本リズムにおける HI・SD・BD の音量の大小関係
• BD>SD>HIに“聴衆が知覚するように”演奏する が理想
• 曲やジャンル、好みによって目標とする音量バランスは異なる
背景：音量バランスとは
ロックやメタル ジャズ
BD=SD>HI HI>SD>BD
16

16.
• 基本リズムにおける HI・SD・BD の音量の大小関係
• BD>SD>HIに“聴衆が知覚するように”演奏する が理想
• 曲やジャンル、好みによって目標とする音量バランスは異なる
背景：音量バランスとは
ロックやメタル ジャズ
BD=SD>HI HI>SD>BD
17
それぞれ目標の音量バランスを目指して練習するが、
音量バランスを個人で練習することは難しい

17.
理由①：聴衆が知覚する音量バランスをドラマーは把握できない
• ドラマーと聴衆で、音の聴こえ方が異なる
• 演奏するリズムによって、音量バランスの聴こえ方が異なる
背景：個人での音量バランス練習は難しい
ドラマー 聴衆
知覚する
音量バランスの差
18

18.
理由①：聴衆が知覚する音量バランスをドラマーは把握できない
• ドラマーと聴衆で、音の聴こえ方が異なる
• 演奏するリズムによって、音量バランスの聴こえ方が異なる
背景：個人での音量バランス練習は難しい
HI
SD
BD
HI
SD
BD
8ビート 16ビート
いい感じ！
BD＞SD＞HI BD＞SD＞HI
HIが大きい
19

19.
理由②：演奏を録音し確認する方法は、時間や手間がかかる
背景：個人での音量バランス練習は難しい
各楽器にマイクを設置し、
収録された波形を見ながら演奏
スマートフォンなどで
演奏を録音→聴く→反省→演奏…
BD
大きくしよう
20

20.
ドラム練習支援の研究は様々あるが、
音量バランスに着目したものは少ない
• Kinectを利用した演奏動作検出によるドラム練習支援システム[越智 2017]
• 聴覚フィードバックでスネアのタイミングやストロークを制御し
演奏動作を矯正するシステム[池之上 2012]
• 両手首足首に装着したデバイスからの触覚フィードバックで
複雑なリズムパターンを習得するシステム[Simon 2010]
関連研究
21

21.
目的
ドラマー個人での音量バランス練習を
容易で効率的にできるよう支援する
22

22.
どうすれば支援できる？
演奏に対して聴衆が知覚する音量バランスを
ドラマーが演奏しながらリアルタイムに確認できる
ドラマー個人での音量バランス練習を
容易で効率的にできるよう支援する
23

23.
提案システム
１本のマイクで入力したドラム演奏から
聴衆が知覚する音量バランスをリアルタイム推定し
可視化してドラマーへフィードバックするシステム
24

24.
システム実現に向けた問題
マイク入力した演奏を
３楽器に分離
各楽器の音源から
聴衆が知覚する
音量バランスを推定
音量バランスを
可視化して提示
25

25.
プロトタイプシステム[EC59]：音源分離
HI
SD
BD
H
I
S
D
B
D
マイク入力した
ドラム演奏データ
音源分離
SSNMF
（非負値行列因子分解）
各楽器の叩打音を基底とし
音源分離が可能
演奏を３楽器に分離
聴衆の知覚
音量バランス推定
音量バランスの
可視化
26

26.
プロトタイプシステム[EC59] ：推定
HI
SD
BD
H
I
S
D
B
D
音源分離 音声特徴量
RMS
RMS
RMS
聴衆が知覚する
音量バランス
0.14
0.02
0.03
推定
RMSを聴衆の知覚へ
筆者の主観で
チューニング
（HI 5倍・SD 1倍・BD 0.8倍）
演奏を３楽器に分離
聴衆の知覚
音量バランス推定
音量バランスの
可視化
27
音量

27.
演奏を３楽器に分離
聴衆の知覚
音量バランス推定
音量バランスの
可視化
プロトタイプシステム[EC59] ：可視化
結果の可視化
19％
34%
47%
聴衆が知覚する
音量バランス
0.25
0.47
0.67
割合へ
28

28.
プロトタイプシステム[EC59] ：評価実験
フィードバックを目的とし評価実験を行った結果…
改善点①
音量バランス推定精度が低い
改善点②
結果可視化方法がわかりづらい
BDほとんど
音出してないのに
おかしいな…
HI下げて
BD上げる？
SD上げて
BDさらに上げる？
どこの演奏に
対する結果？
29

29.
プロトタイプシステム[EC59]：問題
演奏を３楽器に分離
聴衆の知覚
音量バランス推定
音量バランスの
可視化
聴衆の知覚が
加味されていなかった
割合表示や
結果更新頻度が
適切でなかった
30

30.
演奏を３楽器に分離
聴衆の知覚
音量バランス推定
音量バランスの
可視化
聴衆の知覚が
加味されていなかった
割合表示や
結果更新頻度が
適切でなかった
31
聴衆の知覚を加味した
音量バランス推定手法を提案
可視化方法を
改善
プロトタイプシステム[EC59]：問題

31.
演奏を３楽器に分離
聴衆の知覚
音量バランス推定
音量バランスの
可視化
割合表示や
結果更新頻度が
適切でなかった
32
可視化方法を
改善
聴衆の知覚が
加味されていなかった
聴衆の知覚を加味した
音量バランス推定手法を提案
プロトタイプシステム[EC59]：問題

32.
聴衆の知覚を加味した音量バランス推定手法
ドラム演奏の各楽器の音源から得られる4種類の特徴量から
音量評価値（聴衆が知覚する音量）を推定可能とする回帰式
H
I
S
D
B
D
0.51
1.23
1.97
RMS 振幅
ゼロ
交差数
スペクトル
重心
RMS 振幅
ゼロ
交差数
スペクトル
重心
RMS 振幅
ゼロ
交差数
スペクトル
重心
33
音量
音量評価値
音声特徴量
分離音源

33.
聴衆の知覚を加味した音量バランス推定手法
ドラム演奏の各楽器の音源から得られる4種類の特徴量から
音量評価値（聴衆が知覚する音量）を推定可能とする回帰式
H
I
S
D
B
D
0.51
1.23
1.97
RMS 振幅
ゼロ
交差数
スペクトル
重心
RMS 振幅
ゼロ
交差数
スペクトル
重心
RMS 振幅
ゼロ
交差数
スペクトル
重心
34
音量 音の大きさ
無声区間か
有声区間か
音の明るさ
（周波数）
音量評価値
音声特徴量
分離音源

34.
様々なリズム・音量バランスで作成した
256パターンのドラム演奏音源の音量バランス評価によって
聴衆の知覚音量バランスの正解データセット構築を行った
協力者：
ドラムorDTM（MIX）経験者の
大学生〜大学院生12名
聴衆の知覚音量バランスの正解データセット構築
35

35.
• ドラム音源を聴取し音量が小さい順に3楽器の順序を回答
• 音源はランダムな順番で提示
例：
• BD>SD>HIの場合
→HI=1 SD=2 BD=3
• BD=SD>HIの場合
→HI=1 SD=2 BD=2
HI SD BD 評価式
1 1 1 HI=SD=BD
1 1 2 BD>HI=SD
1 2 1 SD>HI=BD
1 2 2 SD=BD>HI
1 2 3 BD>SD>HI
1 3 2 SD>BD>HI
2 1 1 HI>SD=BD
2 1 2 HI=BD>SD
2 1 3 BD>HI>SD
2 2 1 HI=SD>BD
2 3 1 SD>HI>BD
3 1 2 HI>BD>SD
3 2 1 HI>SD>BD
聴衆の知覚音量バランスの正解データセット構築
：評価方法
36

36.
• 全256パターンの音源へ対する音量バランス評価データが
6セット分（1人128パターン評価×12人分）得られた
• 評価にかかった時間は1時間〜1時間15分
音源
番号
データセット
A B C D E F
1 HI=SD=BD HI=BD>SD HI>SD=BD HI=SD=BD BD>HI>SD HI=BD>SD
2 BD>HI=SD BD>HI=SD BD>HI=SD BD>HI>SD BD>HI>SD BD>HI>SD
…
…
…
…
…
…
…
255 HI=SD=BD HI=SD=BD HI=SD>BD SD=BD>HI SD>HI=BD HI=SD=BD
256 HI>SD=BD HI=SD>BD HI=SD=BD HI=SD=BD SD>HI>BD HI>SD>BD
聴衆の知覚音量バランスの正解データセット構築
：結果
37

37.
256パターンの音源の各楽器について
音量評価値（聴衆が知覚する音量）の正解データを定義
音源番号 HI SD BD
1 0.58 0.37 0.55
2 0.44 0.31 1.50
3 0.46 0.29 2.25
4 0.42 0.33 3.00
5 0.40 1.20 0.50
…
…
…
…
255 1.85 2.30 1.39
256 2.40 2.15 1.45
聴衆の知覚音量バランスの正解データセット構築
：正解データの定義
38
詳しくは論文を
ご覧ください

38.
聴衆の知覚を加味した音量バランス推定手法
ドラム演奏の各楽器の音源から得られる4種類の特徴量から
音量評価値（聴衆が知覚する音量）を推定可能とする回帰式
H
I
S
D
B
D
音量評価値
0.51
1.23
1.97
RMS 振幅
ゼロ
交差数
スペクトル
重心
RMS 振幅
ゼロ
交差数
スペクトル
重心
RMS 振幅
ゼロ
交差数
スペクトル
重心
音声特徴量
39
分離音源

39.
聴衆の知覚を加味した音量バランス推定手法
ドラム演奏の各楽器の音源から得られる4種類の特徴量から
音量評価値（聴衆が知覚する音量）を推定可能とする回帰式
H
I
S
D
B
D
音量評価値
0.51
1.23
1.97
RMS 振幅
ゼロ
交差数
スペクトル
重心
RMS 振幅
ゼロ
交差数
スペクトル
重心
RMS 振幅
ゼロ
交差数
スペクトル
重心
音声特徴量
40
分離音源

40.
聴衆の知覚を加味した音量バランス推定手法
システムで使用する音源分離は完全でない
→完璧な分離ができた状態を想定し回帰式定義する必要あり 41
ドラム演奏
H
I
S
D
B
D
分離
分離音源

41.
音量評価値𝑯𝑰＝423.431 × 𝑅𝑀𝑆𝐻𝐼 + 2.521 × 𝐴𝑚𝑝𝑇𝐻𝐼 − 0.001 × 𝑆𝑝𝑒𝑐𝑡𝑟𝑎𝑙𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑𝑠𝐻𝐼 + 0.000
× 𝑍𝑒𝑟𝑜𝐶𝑟𝑜𝑠𝑠𝑖𝑛𝑔𝐻𝐼 + 6.323
音量評価値𝑺𝑫＝117.051 × 𝑅𝑀𝑆𝑆𝐷 + 0.281 × 𝐴𝑚𝑝𝑇𝑆𝐷 − 0.281 × 𝑆𝑝𝑒𝑐𝑡𝑟𝑎𝑙𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑𝑠𝑆𝐷 − 0.006
× 𝑍𝑒𝑟𝑜𝐶𝑟𝑜𝑠𝑠𝑖𝑛𝑔𝑆𝐷 + 9.566
音量評価値𝑩𝑫＝28.619 × 𝑅𝑀𝑆𝐵𝐷 + 6.857 × 𝐴𝑚𝑝𝑇𝐵𝐷 + 0.000 × 𝑆𝑝𝑒𝑐𝑡𝑟𝑎𝑙𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑𝑠𝐵𝐷 + 0.000
× 𝑍𝑒𝑟𝑜𝐶𝑟𝑜𝑠𝑠𝑖𝑛𝑔𝐵𝐷 − 0.678
聴衆の知覚を加味した音量バランス推定手法
完璧な分離ができた状態を想定し回帰式定義する必要あり
→ピュアデータ（ドラム演奏音源のMIX前の3楽器の音源）を
正解データとし、重回帰分析によって
音声特徴量から音量評価値を推定可能な回帰式を定義
42

42.
正解データにおいて、
2楽器ずつの組み合わせ（HIとSD・SDとBD・HIとBD）の間に
音量の差があると聴衆が知覚しているものについて、
回帰式でも同様にその組み合わせを推定できているかで評価
→ピュアデータをテストデータとした結果、
87.4%の精度で聴衆の知覚音量バランスを推定可能！
→音源分離後のデータをテストデータとした結果、
47.0％と低い精度
聴衆の知覚を加味した音量バランス推定手法：精度
43
詳しくは論文を
ご覧ください

43.
聴衆の知覚を加味した音量バランス推定手法
：システム版
システム実装にあたり
分離後の各楽器の音源を用いて再度回帰式の定義を行った
• プロトタイプシステムと同様、音源分離はSSNMFを使用
• 回帰式算出後、
影響が少ないかつ計算に時間がかかる特徴量について削除
音量評価値𝐻𝐼＝843.896 × 𝑅𝑀𝑆𝐻𝐼 − 0.149
音量評価値𝑆𝐷＝349.734 × 𝑅𝑀𝑆𝑆𝐷 + 0.001 × 𝑆𝑝𝑒𝑐𝑡𝑟𝑎𝑙𝐶𝑒𝑛𝑡𝑟𝑜𝑖𝑑𝑠𝑆𝐷
− 2.899
音量評価値𝐵𝐷＝70.811 × 𝑅𝑀𝑆𝐵𝐷 + 10.930 × 𝐴𝑚𝑝𝑇𝐵𝐷 − 0.088
44

44.
演奏を３楽器に分離
聴衆の知覚
音量バランス推定
割合表示や
結果更新頻度が
適切でなかった
45
可視化方法を
改善
聴衆の知覚を加味した
音量バランス推定手法を提案
聴衆の知覚が
加味されていなかった
音量バランスの
可視化
プロトタイプシステムの問題

45.
改善：結果の可視化方法（表示形式）
聴衆が知覚する各楽器の音量（音量評価値）を可視化
46

46.
改善：結果の可視化方法（更新頻度）
いつの演奏の結果か
わかりやすい
演奏の変化が
わかりやすい 47
更新頻度低：システムA 更新頻度高：システムB

47.
システム評価実験
システムを使用しながら音量バランス練習する実験
指定したリズムで指定した目標の音量バランスを目指し演奏し、
目標に到達したと判断した後4小節演奏して演奏を終了するタスクを
複数回行ってもらう
タスク終了後に演奏の終盤の録音を聴きアンケートに回答
• 練習環境条件：
結果更新頻度の低いシステムA・高いシステムB・システムなし
• 実験協力者：ドラム経験者6名
48

48.
システム評価実験：アンケート
内容
Q1 システムor自分は聴衆が知覚する音量バランスを推定できていたと思うか
Q2
自身の演奏の音量バランスの可視化を見ながら演奏することで
音量バランス練習はしやすかったか
Q3 結果が切り替わる頻度は適切だったか
Q4 結果表示方法はわかりやすかったか
Q5
音量バランスを変化させたとき
システムにその結果が反映されていた感じがしたか
Q6 今後このシステムを使って練習したいか
Q7 自分の音量バランスに自信をもって練習できたか
Q8
システムA・B・システムなしについて
練習しやすかった順に1〜3の番号を回答してください
Q9 システムや実験についての感想 49

49.
システム評価実験：アンケート
内容
Q1 システムor自分は聴衆が知覚する音量バランスを推定できていたと思うか
Q2
自身の演奏の音量バランスの可視化を見ながら演奏することで
音量バランス練習はしやすかったか
Q3 結果が切り替わる頻度は適切だったか
Q4 結果表示方法はわかりやすかったか
Q5
音量バランスを変化させたとき
システムにその結果が反映されていた感じがしたか
Q6 今後このシステムを使って練習したいか
Q7 自分の音量バランスに自信をもって練習できたか
Q8
システムA・B・システムなしについて
練習しやすかった順に1〜3の番号を回答してください
Q9 システムや実験についての感想
各練習環境条件において、
練習しやすさ・可視化のわかりやすさ・
音量バランス推定精度などを評価
50

50.
システム評価実験：明らかにしたいこと
• システムが音量バランス練習を支援できるか
→システムあり・システムなしを比較
• 結果更新頻度の違いによる練習のしやすさ
→結果更新頻度が低いシステムA・頻度が高いシステムBを比較
• 音量バランス推定手法の精度
51

51.
考察：提案手法による音量バランス練習支援効果
システムあり条件の方が練習しやすさの評価が高かった
システムなし「自分の感覚で叩いていたので，不安が多かった」
システムあり「自身の演奏を客観的に確認することを実現でき良い」
→聴衆が知覚する音量バランスを確認しながらの練習により
納得感をもって練習できる
提案システムによって音量バランス練習を支援可能
52

52.
考察：推定結果の更新頻度による練習しやすさ
可視化方法や練習しやすさに関する質問に対する評価が
実験協力者によって様々であった
更新頻度の低いシステムは「曲の一部分の練習」
更新頻度の高いシステムは「一定の音量バランスを保つ練習」
に使用したいといった意見も
人や状況によって結果の更新頻度を切り替えることで、
さらに音量バランス練習を支援できる
53

53.
考察：聴衆の知覚する音量バランス推定精度
54
SDにBDの結果が混同しているといった回答が多かった
→周波数帯域が似ているため、
音源分離の際にSDにBDの音が競合してしまった
ドラム演奏 HI
SD
BD
分離

54.
考察：聴衆の知覚する音量バランス推定精度
55
SDにBDの結果が混同しているといった回答が多かった
→周波数帯域が似ているため、
音源分離の際にSDにBDの音が競合してしまった
音源分離の精度を高める必要がある
（他の分離手法の検討・SSNMFの適切な学習回数をみつける
等）

55.
• 聴衆が知覚する音量バランスを確認しながら演奏することによって
音量バランス練習を支援可能
• 人や状況によって結果の更新頻度を切り替えることでさらに支援
• 音量バランス推定精度を高めるため、音源分離の精度の改善が必要
結果まとめ
56

56.
• 音量バランス推定手法について、精度向上・幅広い演奏へ対応
• 練習したい内容によって
音量バランス推定の可視化方法を切り替える機能を追加
展望
より容易で効率的な音量バランス練習を支援可能に
57

57.
背景：個人での音量バランス練習難しい
目的：個人での音量バランス練習を容易・効率的にしたい
提案システム：
マイク入力した演奏から聴衆の知覚音量バランスを推定し可視化
音量バランス推定手法：
音源分離し、各楽器の特徴量から聴衆が知覚する音量バランスを推定
システム評価実験の結果：
システムにより音量バランス練習を支援可能
結果の更新頻度を変化させることで様々な練習を支援できる可能性
まとめ
58