2020/10/02 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
Automatic Composition of Guitar Tabs
by Transformers and Groove Modeling
Masahiro Nakamura

2. CONTENTS
• Bibliographic Information
• Summary
• Background
• Related Works
• Suggestion
• Experiments
• Roundup
• Closing Remark
2

3. Bibliographic Information
3
・Authors
Yu-Hua Chen, Yu-Hsiang Huang,
Wen-Yi Hsiao, and Yi-Hsuan Yang
・Belonging
全員Taiwan AI Labsに所属
・Proc. Int. Society for Music
Information Retrieval Conf. 2020
https://ailabs.tw/
https://ismir.net/

4. Summary
• 音楽×AI(人工知能)の研究であまり行われてこなかった「
タブ譜」に着目
• 音楽×AI(人工知能)の研究成果を応用してタブ譜を自動で
生成するモデルを構築
• 「弾く時の違和感」、「グルーヴ感」、「人間っぽさ」
の３つを検証することで精度の検証をした
4

5. Background:Why TAB?
• ディープラーニングを用いた楽曲の自動生成の発展は多
く見られる
• 一方、そういった楽曲はピアノやキーボードっぽいもの
に終始している
• 仮にギターっぽい曲ができても弾けるかまでは考慮され
てるか疑問が残る
• そもそもギターでよく使われる「タブ譜」は五線譜と全
くの別物なのに関連したモデルの話がほとんどない
5

6. Background：What’s TAB ?
• タブラチュアの略
• 五線譜（上）は音程を指定
• 対しタブ譜（下）では弦と
押さえるフレットを指定
• そのため演奏者は音程より
指の動かし方を読んでいる
ということになる
6

7. Related Works:Two Axes
• ギター×AI(人工知能)
• ギター向けの自動編曲
• テクニックの判別
• 自動作曲
• 例：音楽を言語と捉えRNNの導入
7

8. Suggestion
• Transformer-XLを基にタブ譜を自動生成するモデルを構
築(※ギターの指弾きのみ)
• 条件に合った楽譜333部を基にデータセットを作成
• Music Transformerという先行研究のデータ表現を修正
、上記のモデルがタブ譜生成に向け学習できるように
する
• 「弾く時の違和感」、「グルーヴ感」、「人間っぽさ」
の3点からクオリティを検証
8

9. 9
Experiments
On Fingering
On Groove
On Comparison with Real Tabs

10. Premise-Groove(1/2)
• グルーヴ…反復や変化によるリズム感や音楽に合
わせて体を動かしたくなる感覚のこと
• 音源や楽譜での明記はなく音楽の自然な流れから
生まれてくるもの
• Music Transformerに手を加えなくても自然にグル
ーヴ感のある楽曲を作れるのでは?
• その前提に立ったモデルをNo groovingとする
10

11. Premise-Groove(2/2)
• タブ譜は「イベント」の連続であるので何の手も加えてないNo groovingに
対し以下のモデル構築を行い意図的にグルーヴを入れる
• Hard grooving
• 各小節を16で区切り各箇所と音に対応した16次元のベクトルを作成
• 少なくとも１つは音の開始地点(オンセット)があるようにする
• Soft grooving
• Hard Groovingよりもオンセットを少なくしたもの
• Multi-resolution hard (or soft) grooving
• 上記の２つより次元を下げたり連結させたもの
11

12. 12
Experiments
On Fingering
On Groove
On Comparison with Real Tabs

13. On Fingering(1/3)
• テーマ：音の連続をランダムで
作らせ音に続きどれくらい自然
な形で弦の動きを見出せるか
• 右のテーブルは16小節のタブ譜
50部にて音と弦の繋がりで精度
の平均を計算したもの
• 6弦など低音域にいくほど低下が
見られる→右図の(a)
• これはNo grooving
• 原因不明だが注目事項が２つ
13

14. On Fingering(2/3)-Lack Of Data?
• (a)はローエンドでの誤差発生率
をピッチ毎に示したもの
• (b)はピッチ毎の音の数を示した
もの
• ピアソンの相関係数で見ると音
の数と誤差発生率の関連は薄い
14

15. On Fingering(3/3)-Neighboring Strings
• 右はOn Fingering(1/3)と同じもの
• (b)-(d)はピッチ毎で弦に関する出
現頻度
• 各ピッチで隣が隣り合っている
場合が多い
• (b)は6弦でないと出せないにも関
わらず5弦に流れている
15

16. 16
Experiments
On Fingering
On Groove
On Comparison with Real Tabs

17. On Groove(1/5)-Good or Bad?
• 下のタブ譜２つはHard groovingを基に生成させたもの
• でもクオリティがいいかはわからない…
• そこで新たに追加したGROOVING eventの与える影響をobjective, subjectiveから
検証
17

18. • 4つのグルーヴモデルから得た
GROOVING eventを交えて 訓
練したモデルを比較
• バリデーションのセットにある
タブ譜30部から最初の4小節に続
く16小節を生成させる
• No grooving, 本物のデータ、セッ
ト内で無作為に他の16小節を繋
ぎ合わせたものも検証対象
• 本物と無作為が精度で両極となる
18
On Groove(2/5)-Objective

19. • Hard accuracy
• Hard groovingのパターンとそ
の続きの類似性を指す
• Soft distance
• Soft groovingのパターンとその
続きの類似性を指す
19
On Groove(3/5)-Objective

20. • 意図的にグルーヴを入れたか否
かが精度での大きな差に繋がる
• また、グルーブを入れたモデル
の精度は無作為の方でなく本物
の方に近い傾向がある
• 一番できのいいモデルでできた
ものと本物のデータで中程度の
ギャップがある
20
On Groove(4/5)-Objective

21. • 各グルーヴにあたるモデルから
生成された楽譜をシンセサイザ
ーで演奏、一番気に入ったもの
を選んでもらう
• 協力者をギターの演奏レベルで
５つのグループに分割
• 手練れの人ほどモデル毎の違い
がわかった
• 意図的にグルーヴ感を入れた方
が好まれる傾向がある
21
On Groove(5/5)-Subjective

22. 22
Experiments
On Fingering
On Groove
On Comparison with Real Tabs

23. On Comparison with Real Tabs
• テーマ：楽譜を音楽として再生
し好きかどうかリッカート尺度
を基に五段階評価
• Real, No grooving, Hard
Groovingで比較をするとHard
Groovingであれば人間の楽譜と
評価が近くなる
23

24. Roundup
• Transformer-XLを応用すればタブ譜の生成を行うことは
できる
• 一方弾く弦の自然さやリズムの一貫性に改善の余地あり
• また、長いフレーズや様々な表現方法まで検証してない
ので継続的に研究を進めていく必要がある
24

25. Closing Remark
• 音楽×AI(人工知能)の研究で「楽譜」というアプローチを
考えたことがなかったので興味深かった
• 研究や開発の活用で特定のギタリスト風のタブ譜を生成
し雑誌の練習フレーズとして掲載したら面白いのではな
いかと思った
• 私事で三味線に打ち込んでいた時期があり楽譜がタブ譜
と少し似ているのでそういった他の楽器にも応用、新た
な研究や開発のテーマになりうるのではないかと思った
25