【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
•Download as PPTX, PDF•
4 likes•5,852 views
This document summarizes a research paper on modeling long-range dependencies in sequence data using structured state space models and deep learning. The proposed S4 model (1) derives recurrent and convolutional representations of state space models, (2) improves long-term memory using HiPPO matrices, and (3) efficiently computes state space model convolution kernels. Experiments show S4 outperforms existing methods on various long-range dependency tasks, achieves fast and memory-efficient computation comparable to efficient Transformers, and performs competitively as a general sequence model.
![1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
“Efficiently Modeling Long Sequences with Structured State Spaces”
Naoki Nonaka
2021/12/3](https://image.slidesharecdn.com/211203nonakadl-211203021319/85/DL-Efficiently-Modeling-Long-Sequences-with-Structured-State-Spaces-1-320.jpg)
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
Similar to 【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces (20)
More from Deep Learning JP
More from Deep Learning JP (20)
Recently uploaded
Recently uploaded (20)
【DL輪読会】Efficiently Modeling Long Sequences with Structured State Spaces
- 1. 1 DEEP LEARNING JP [DL Papers] http://deeplearning.jp/ “Efficiently Modeling Long Sequences with Structured State Spaces” Naoki Nonaka 2021/12/3
- 2. 書誌情報 2021/12/3 2 • 会議：ICLR2022 投稿（評価: 8, 8, 8） （本スライドはArxivに投稿されている論文に基づいて作成） • 著者：
- 3. 概要 2021/12/3 3 長距離の依存関係を持つ系列データの問題に取り組んだ研究 SSM（状態空間モデル）x Deep Learningのアプローチを提案 ベンチマークにて既存手法を大幅に上回る性能を実現
- 4. 背景 2021/12/3 4 長距離の依存関係（Long-range dependencies: LRD） … 依存関係 T 実世界のデータでは，数万ステップでの推論が必要 （具体例としては，音声や言語情報など） LRDに取り組んだ深層学習による従来の手法としては， RNN, CNNやTransformerとその改良手法が提案されてきた
- 5. 背景 2021/12/3 5 O X RNN ステップごとの 計算量／ストレージが一定 学習に時間がかかる 最適化が難しい（Vanishing gradient） CNN 並列可能で高速に学習できる 逐次学習ではないので 推論時のコストが高い／扱える長さに制限 LRDに取り組んだ従来手法の利点と欠点 （Transformer系の手法もCNNとほぼ同じ）
- 6. 背景 2021/12/3 6 理想的な時系列モデル 各時刻における状態を保持し，推論が可能（recurrence） 並列計算による学習が可能（convolutional） 任意の時間軸適応（微分方程式の性質） 状態空間モデル（State Space Model; SSM）
- 7. 背景 2021/12/3 7 状態空間モデル 入力，出力，状態の3つの変数からなる数学的モデル 多くの数理モデルの基礎となっているモデル 状態空間モデル x 深層学習の手法は存在しなかった※ ※ 厳密には同一著者の先行研究[1]が不完全ながら取り組んでいる 図は[1]をもとに改変
- 8. 提案手法: S4 2021/12/3 8 S4: Structured State Space sequence model → 状態空間モデル x 深層学習の手法 1. SSMのRecurrent表現とConvolution表現の導出 2. HiPPO行列による連続時間記憶の問題の解決 ※ 3. SSM convolutionカーネル（後述）の計算の効率化 ※ 同一著者の先行研究[1]における工夫と同じ S4の導出過程
- 9. S4: Recurrent表現とConvolution表現の導出 2021/12/3 9 S4 (SSM): 再帰的な計算と並列学習が可能 連続時間SSM 離散時間SSM 畳み込み演算での表現 RNN様の再帰的な計算が可能に CNN様の並列計算が可能に
- 10. S4: Recurrent表現とConvolution表現の導出 2021/12/3 10 間隔Δで離散化 Bilinear法を使用 離散化により，離散的な入力データを扱えるようになる RNNと同じく再帰的な処理が可能になる 離散時間SSM
- 11. S4: Recurrent表現とConvolution表現の導出 2021/12/3 11 展開 畳み込み演算での表現 SSM convolution kernel (K) を定義 SSMの畳み込み演算
- 12. 提案手法: S4 2021/12/3 13 S4: Structured State Space sequence model → 状態空間モデル x 深層学習の手法 1. SSMのRecurrent表現とConvolution表現の導出 2. HiPPO行列による連続時間記憶の問題の解決 ※ 3. SSM convolutionカーネル（後述）の計算の効率化 ※ 同一著者の先行研究[1]における工夫と同じ S4の導出過程
- 13. S4: HiPPO行列による連続時間記憶 2021/12/3 14 直交多項式の重み付き和によって過去の系列を表現 RNNに組み込むと記憶性能が向上する HiPPO: High-order Polynomial Projection Operators 図は[2]より
- 14. 提案手法: S4 2021/12/3 19 S4: Structured State Space sequence model → 状態空間モデル x 深層学習の手法 1. SSMのRecurrent表現とConvolution表現の導出 2. HiPPO行列による連続時間記憶の問題の解決 ※ 3. SSM convolutionカーネル（後述）の計算の効率化 ※ 同一著者の先行研究[1]における工夫と同じ S4の導出過程
- 15. S4: SSM convolution kernelの計算 2021/12/3 20 SSMの学習の並列化 Aの冪乗計算が必要 連続時間記憶の改善 AはHiPPO行列である必要 HiPPO行列の冪乗計算が必要
- 16. S4: SSM convolution kernelの計算 2021/12/3 21 K の計算: 行列Aの冪乗計算を含むため工夫が必要 Aを，対角行列Λ + 低ランク行列 p, q (rank=1) 3つの計算工夫を導入
- 17. S4: SSM convolution kernelの計算 2021/12/3 22 1. FFTによる冪乗計算の回避 (詳細はAppendix C3) 𝑧におけるSSM母関数を定義 数列𝑎𝑛に対する母関数 𝑓 𝑥 = 𝑘=0 ∞ 𝑎𝑘𝑥𝑘 𝑧を1の冪根とすると， 1の冪根 𝜍 = exp 2𝜋𝑖 𝑛 ある𝑛に対して 𝑧𝑛 = 1を満たす𝑧 → 離散フーリエ変換と一致 SSM母関数で冪乗計算を逆行列計算化 + 逆FFTで K を得る
- 18. S4: SSM convolution kernelの計算 2021/12/3 23 2. 対角行列 + 低ランク行列の逆行列計算 Woodbury恒等式を利用 SSM母関数における逆行列計算を効率化 3. Cauchyカーネルによる計算 Aが対角行列のときSSM母関数の計算 = Cauchyカーネルの計算 Cauchyカーネルの計算アルゴリズムを利用
- 20. 実験 2021/12/3 25 計算効率 長距離の依存関係の学習 汎用系列モデルとしての性能
- 21. 実験: 計算効率 2021/12/3 26 LSSL（状態空間モデル系の先行研究）よりも高速・高メモリ効率 （Efficientな）Transformer系と同程度に高速・省メモリ
- 22. 実験: 長距離の依存関係の学習 2021/12/3 27 Long Range Arena (LRA) （主にTransformer系の手法を念頭にした） 長距離の依存関係のモデリング性能を評価するためのデータセット [] 6つのタスクで構成される Raw speech classification Speech Commandデータセット（35クラス，100,503件のサンプル） 話し言葉の音声データの中からキーワードを検出するタスク
- 23. 実験: 長距離の依存関係の学習 (LRA: 1/4) 2021/12/3 28 1. <LISTOPS> Long ListOps 複数の演算子（MAX, MEAN, MEDIAN, SUM_MOD）の階層構造で 表現された系列から出力となる数字を当てるタスク 2. <TEXT> Byte-level Text classification IMDbレビューをもとに作成されたデータセット byte/character-levelで分類
- 24. 実験: 長距離の依存関係の学習 (LRA: 2/4) 2021/12/3 29 3. <RETRIEVAL> Byte-level Document Retrieval 長い文章を短い表現に圧縮し，文章の類似度を評価するタスク 元データはIMDbのレビュー 系列長は4k（長いものはtruncate, 短いものはpadding） 4. <IMAGE> Image Classification on sequence of pixels Sequential MNISTのCIFAR-10版 系列長3072 (= 32 x 32 x 3) のサンプルを10クラスに分類
- 25. 実験: 長距離の依存関係の学習 (LRA: 3/4) 2021/12/3 30 3. <PATHFINDER> PathFinder 画像中の2点が破線でつながっているか判定 入力：32 x 32の画像の系列（=784） 出力：二値（2点がつながっているか） 4. <PATH-X> PathFinder-X PathFinderタスクを128 x 128に拡大した画像で実施
- 26. 実験: 長距離の依存関係の学習 (LRA: 1/4) 2021/12/3 31 6つのタスク全てで既存手法を大幅に上回る PathFinder-Xを解けた唯一のモデル
- 27. 実験: 長距離の依存関係の学習 2021/12/3 32 Long Range Arena (LRA) （主にTransformer系の手法を念頭にした） 長距離の依存関係のモデリング性能を評価するためのデータセット [] 6つのタスクで構成される Raw speech classification Speech Commandデータセット（35クラス，100,503件のサンプル） 話し言葉の音声データの中からキーワードを検出するタスク
- 28. 実験: 長距離の依存関係の学習（Speech: 1/1） 2021/12/3 33 MFCCによる前処理あり：先行研究と同程度の性能 Rawデータでの分類：WaveGANを上回る性能
- 29. 実験: 汎用系列モデルとしての性能 2021/12/3 34 大規模な生成モデルの学習 CIFAR-10における密度推定 WikiText-103における言語モデリング 自己回帰による推論 CIFAR-10およびWikiText-103での生成速度を比較
- 30. 実験: 汎用系列モデルとしての性能 2021/12/3 35 先行研究と同程度の性能を達成 自己回帰による推論の速度は60倍以上高速化 大規模な生成モデルの学習／自己回帰による推論
- 31. 実験: 汎用系列モデルとしての性能 2021/12/3 36 不規則にサンプリングされたデータの扱い Test時のみ周波数を0.5倍にして評価（右列） S4では，追加学習なしでも周波数の 変化に対して頑健になっている
- 32. 結論・まとめ 2021/12/3 37 状態空間モデルにDNNを取り込んだS4モデルを提案 LRAにて既存手法を大幅に上回る性能を実現 汎用系列モデルとしても優れた性能を示す
- 33. Reference 2021/12/3 38 1. Combining Recurrent, Convolutional, and Continuous-time Models with Linear State-Space Layers 2. HiPPO: Recurrent Memory with Optimal Polynomial Projections
Editor's Notes
- K を直接計算せず，母関数の計算 + 逆フーリエ変換に置換 → 行列の冪乗計算を逆行列の計算に変える 逆行列の計算をWoodburyの恒等式により行う Cauchyカーネルの計算に落とし込む
- K を直接計算せず，母関数の計算 + 逆フーリエ変換に置換 → 行列の冪乗計算を逆行列の計算に変える 逆行列の計算をWoodburyの恒等式により行う Cauchyカーネルの計算に落とし込む
- K を直接計算せず，母関数の計算 + 逆フーリエ変換に置換 → 行列の冪乗計算を逆行列の計算に変える 逆行列の計算をWoodburyの恒等式により行う Cauchyカーネルの計算に落とし込む