ICASSP2020読み会
•
0 likes•232 views
ICASSP2020読み会発表資料 (Transformer VAE: A Hierarchical Model for Structure-Aware and Interpretable Music Representation Learning)
Recommended
Recommended
More Related Content
Featured
Featured (20)
ICASSP2020読み会
- 1. 【論文紹介】 Transformer VAE: A Hierarchical Model for Structure-Aware and Interpretable Music Representation Learning 日本大学文理学部情報科学科 植村あい子 2020/06/19 ICASSP2020 読み会
- 2. 紹介論文 Transformer VAE: A Hierarchical Model for Structure-Aware and Interpretable Music Representation Learning 著者: J. Jiang, G. G. Xia, D. B. Carlton, C. N. Anderson, R. H. Miyakawa フレーズレベル（8小節）のメロディのMIDIデータを用いて、 Transformerで長期依存性、VAEで解釈可能な潜在表現を学習するモデルを 提案し、潜在表現の冗長性を低減しつつ、文脈に応じた表現を学習できた 研究でVAEを使っているし音楽生成系の論文であったため 2 概要 選んだ理由
- 3. 背景・目的 音楽生成モデルに望まれる2つの特性 • 構造認識性 • さまざまな階層での繰り返しやバリエーションを含み、長期的な依存性を 持った自然で一貫性のある音楽を生成できる可能性 • 解釈可能性 • 複雑な計算モデルをインタラクティブな音楽演奏や作編曲のための制 御可能なインターフェースに変える手がかり 3
- 4. 関連研究 • Music VAE [Roberts 2018] • VAEでモデルの解釈可能性を扱う → 時系列構造をうまく扱うことができず、長期的なフレーズレベルなどの音 楽では性能が著しく低下 • Music Transformer[Huang 2019]やMuseNet[Payne 2019] • Attentionを使って長期依存性を学習 → 潜在状態を人間が解釈可能ではない • T-cvae [Wang 2019] → 解釈可能性を目的としていない 4 構造認識性と解釈可能性を両立させるTransformer VAEを提案目的
- 5. エンコーダ • T小節のメロディデータ 𝑥1…𝑇 を入力 • Local Encoders (3層の全結合層)で小 節レベル表現ℎ1…𝑇 𝑒 の取得 モデルの概要 5 ℎ1…𝑇 𝑒 潜在情報にℎ𝑖 𝑒 だけでなく他の小節 からの文脈情報を含んでいる
- 6. デコーダ • 潜在表現と過去デコードされた小節レベ ルの表現が入力される Transformer [Vaswani 2017] との違い • デコーダへの入力前にエンコーダ出力 にガウスノイズを付与 • すべてMasked Attentionになっている モデルの概要 6 ℎ1…𝑇 𝑒 ※ ℎ0 𝑑 は音楽の開始のための埋め込み表現
- 11. 実験: データセット • HOOKTHEORY から 4/4 拍子の8小節分 16,142 メロディ を使 用 • 80%を学習、20%を評価 • -4半音から4半音の範囲内でデータオーギュメンテーション • 40～84(E2～C6) 以外の音は削除 • 1小節は16分音符ごとのトークンで表現 • 45のオンセット+サステイン+無音 (1-hot形式) 11
- 12. 実験: ハイパーパラメータ • Transformerのエンコーダ・デコーダはN = 3層 • 隠れ層: 256 • ローカルエンコーダ・デコーダは3層の全結合層 • バッチサイズ: 16 • エポック数: 60 • Adamを使って学習が進むにつれて学習率を変化させる • 損失関数 β-VAE(β=1) 12 ↑再構成の誤差 （平均交差エントロピー) ↑KLダイバージェンス
- 13. 比較手法 8小節のメロディを入力し、512次元の潜在表現を得る 13 手法 内容 Proposed+A Transformer VAE で全Attentionに上三角 マスクを使用 Proposed-A Transformer VAEでattentionが対角マスク (つまりAttentionなし) 1×8-bar LSTM (ベースライン) MusicVAE [Roberts 2018] で8小節のメロ ディを512次元の潜在表現に直接エンコード する階層的LSTM構造を使用 8×1-bar LSTM(ベースライン) MusicVAE [Roberts 2018] が並列に動作し、 それぞれが1小節のメロディとし、エンコード で64次元の潜在表現にする
- 14. 結果: 再構成の精度とKL Loss 提案法のKL lossは最小になった 再構成の精度では従来手法の方が上 14 ↑ 潜在表現の 冗長性を効果的に 低減できている
- 15. 結果: Attention有無の比較 小節ごとの平均KL Lossによる比較 15 attention あり attention なし 2小節目以降の情報が 格納できている
- 16. 生成結果 潜在表現の最初の1小節を入れ替える 16 原曲1 原曲2 • グローバルな構造を捉えられ、繰り返し構造がそのまま残っている • 𝑥 (1) は𝑥 (1) の 1 小節目のリズムパターンを模倣 • 𝑥 (2) のピッチレンジは𝑥 (1) よりも高くなっている 生成結果 生成結果 𝑥 (1) 𝑥 (2) 𝑥 (1) 𝑥 (2) 例: 𝑥 (1) = Decode (𝑧1 2 , 𝑧2 1 ⋯ , 𝑧 𝑇 1 )