Music×Analytics Meetup Vol.4のLTでの発表資料です。 音声を聴きたい場合はこちらのGoogle Presentationをご覧ください。 https://docs.google.com/presentation/d/1vnHCGMY0QRACA2jlyl1ZoMvsN4G3pxjKmW7xWbYrv24/edit#slide=id.p

1. プロの音に近づくための研究と練習
2021/02/26
Music×Analytics Meetup Vol.4 LT
SKUE

2. 自己紹介
● 名前
○ SKUE ( Mr_Sakaue )
● バックグラウンド
○ 大学・大学院で経済学・統計学
● 仕事
○ レバレジーズ株式会社の分析部門のマネジャー兼データサイエンティスト
■ https://melev.leverages.jp/entry/2020/09/15/100000
● スキル
○ Python, R, SQL
● 趣味
○ トランペット, ブログ作成, 料理
2
http://kamonohashiperry.com/

3. 研究動機
3

4. 研究動機
● トランペットを10年ぶりに再開し、その間に得たデータ分析関連の技術などを用
いて、良い音は何かを明らかにし、より効率的に音質の向上を目指したいと思っ
た。
4

5. トランペットの音が出る仕組み
● マウスピース
○ 口から振動を伝える
○ 振動の速い遅いで調整
■ 高い音→振動が速い
■ 低い音→振動が遅い
● ピストン
○ 押すことで管の長さが変わる
○ 3つのピストンだけなので、
8通りしかない
■ 振動でコントロールして
40種類くらい音階を
操れる。
● ベル
○ 振動を音に変えて前方に飛ばす役割
5

6. 先行研究
6

7. 先行研究
● 山崎・伊藤 (2020), “参照音源の奏法特徴を
考慮した模倣評価による管楽器奏者のため
の練習支援システム ”, 情報処理学会第82回
大会
● サックスの特殊奏法の出来不出来を スペクト
ログラムを用いて判定するシステムの提案。
○ プロの音源との類似度を見ている。
7
横軸が周波数で
縦軸が信号成分
の強さ

8. スペクトログラムについて
8

9. スペクトログラムについて
● 横軸に時間、縦軸に周波数、色の濃淡で信
号成分の強さを表したグラフ。
○ 動物の鳴き声の分析などにも使われる。
● 音をフーリエ変換し、時間で積分したものの
二乗をパワースペクトルと呼び、それを可視
化したものをスペクトログラムと呼ぶ。
○ フーリエ変換は音を、色々な周波数の波の重
なりあった和で表現にする手法。
9
時間
周波数
信号成分の強さ

10. スペクトログラムについて
● 周波数が突出しているものをフォルマントと
呼び、周波数の低いほうから第 1フォルマン
ト、第2フォルマントと呼ぶ。
10
時間
周波数
信号成分の強さ
第1フォルマント
第2フォルマント
第3フォルマント

11. 研究概要
11

12. 研究概要
● プロプレイヤーの音源と自分の音源のスペクトログラムを可視化し、プロと自分
との違いを明らかにし、違いがある場合、どのような奏法による工夫をすれば違
いを埋めれるのかも検証したい。
○ プロプレイヤーの音は Youtubeで楽器の音のみが録音されたファイルを集め、音楽を流し PCの
マイクで録音することで用意した。（追記）
12

13. 研究計画
13

14. 研究計画
● Pythonでトランペットの音を録音
● 音源をwavファイルに変換
● フーリエ変換をしてスペクトログラムを描く
● プロと自分の演奏のスペクトログラムを比較
● 奏法の工夫でスペクトログラムがどう変化するか比較
14

15. Pythonでトランペットの音を録音
15

16. Pythonでトランペットの音を録音
● ffmpegをインストール
● ipywebrtcをpipでインストール
● jupyterの拡張機能を有効にする
16
sudo apt install ffmpeg
pip install ipywebrtc notebook
jupyter nbextension enable --py widgetsnbextension

17. Pythonでトランペットの音を録音
● ipywebrtc
○ AudioRecoderとCameraStreamのaudioだけ
を用いる。
● jupyter notebookに表示される丸ボタンを押
せば録音を開始でき、再び押せば録音が終
了する。
○ その場で再生もできる。
17

18. Pythonでトランペットの音を録音
● 録音したファイルを保存
● 録音したファイルをffmpegで16000ヘルツの
wavファイルに変換
● scipyのwavfileで変換したwavファイルを読
み込み、信号成分とサンプルレートを返す。
18

19. Pythonでトランペットの音を録音
● 録音環境
○ 場所
■ 貸しスタジオ
○ 機材
■ MacBook Proの内蔵マイク
○ 楽器
■ Bach 180ML37SP
19

20. フーリエ変換をして
スペクトログラムを描く
20

21. フーリエ変換をしてスペクトログラムを描く
● librosa（リブロサ）
○ 音楽などの分析向けのライブラリ
■ 信号処理に必要なものがある程度
揃っている。
21

22. フーリエ変換をしてスペクトログラムを描く
● 正規化
○ 音声データを-1から1の間に変換
● フレーム
○ 有限サンプリングデータの単位のこと
● フレーム長
○ １つのフレームに含まれるサンプリングデータ
の個数
● オーバラップ
○ 細かいとスペクトログラムの測定をしやすくす
る。
22

23. フーリエ変換をしてスペクトログラムを描く
23

24. プロと自分の演奏の
スペクトログラムを比較
24

25. プロと自分の演奏のスペクトログラムを比較1
● プロの演奏 ● 自分の演奏
25

26. プロと自分の演奏のスペクトログラムを比較1
● プロの演奏 ● 自分の演奏
26
第4フォルマントの信号の強さが足
りていない。

27. プロと自分の演奏のスペクトログラムを比較2
● プロの演奏 ● 自分の演奏
27

28. プロと自分の演奏のスペクトログラムを比較2
● プロの演奏 ● 自分の演奏
28
第4フォルマントの信号の強さが足
りていない。
第6フォルマントの信号の強さが足
りていない。

29. 奏法の工夫でスペクトログラムが
どう変化するか比較
29

30. 奏法の工夫でスペクトログラムが
どう変化するか比較
プロと自分とでは強い信号成分のフォルマントの数
に違いがあることがわかった。
どうすれば強い信号成分を出すことができるだろう
か？
30

31. 奏法の工夫でスペクトログラムが
どう変化するか比較
● 音質向上につながりそうな奏法
○ お腹に力をいれる
○ 息の吸う量を変える
31

32. お腹の力
● 強い ● 弱い
32

33. お腹の力
● 強い ● 弱い
33
弱いとフォルマントが 2つくらいになる
が、力を強めてもあまり 4つめのフォル
マントは赤くならない。

34. ● たくさん吸う
息の量
息をたくさん吸い、膨らました風船が徐々に萎むイ
メージで演奏してみた。
34
以前 今回

35. ● たくさん吸う
息の量
35
第4フォルマントが赤くなることがわかった。
要は、これまで息の量が十分ではなかった可能性
がある。

36. 息の量を増やすと良い？
36

37. 息の量を増やすと良い？
● 自分の演奏（改善前） ● 自分の演奏（改善後）
37

38. 考察
38

39. 考察1
● スペクトログラムに従い、プロと自分の音源を比較したところ、息の吸う量をより
多くすることで不足していた4つめのフォルマントなどの信号成分が強くなること
がわかった。
○ 息をたくさん吸うことは管楽器で重要だが、どれくらい吸えばいいのかを判断するのは難しかっ
たため、スペクトログラムでその程度をコントロールできるのは面白い。
39

40. 考察2
● 管楽器には音程を測るためのチューナーという装置があるが、スペクトログラム
も測れる装置があれば、音質の向上に役立つかもしれない。
○ そのような製品があれば管楽器奏者のスキル向上に寄与するかもしれない。
○ モバイルアプリとかがあればいいかも。
■ とうぶんはjupyterで頑張る。
40

41. ご清聴ありがとうございました！
41

42. 参考情報
● イラストで学ぶ 音声認識 (KS情報科学専門書)
● 参照音源の奏法特徴を考慮した演奏評価による管楽器奏者のための練習支援
システム
● 楽器音の分析とスペクトログラム (Julia Advent Calendar 2018)
● Librosa
● Record Audio in a Jupyter Notebook
● Installing jupyter_contrib_nbextensions
● Jupyter Widgets
42

43. [追記]懇親会でのFB
● 日によって調子が違うはずなので、サンプルを増やしていくと良いのではない
か。
● マイクやその位置によっても違いが生じるはずなので、条件を揃えるためにもう
少し色々やれるのではないか。
● プロと同じ楽器ではあるが、他にもプロの音源と録音の条件を揃えると良いので
はないか。マウスピースは同じものの方がいいのではないか。
43