Deep Learning JP, profile picture
Uploaded byDeep Learning JP
PPTX, PDF928 views

【DL輪読会】WIRE: Wavelet Implicit Neural Representations

2023/1/20 Deep Learning JP http://deeplearning.jp/seminar-2/

Embed presentation

Downloaded 11 times
DEEP LEARNING JP [DL Papers] “WIRE: Wavelet Implicit Neural Representations” Presenter: Takahiro Maeda D2 (Toyota Technological Institute) http://deeplearning.jp/
目次 1. 書誌情報 2. 概要 3. 研究背景 4. 提案手法 5. 実験結果 6. 考察・所感 2
1. 書誌情報 紹介論文 タイトル: WIRE: Wavelet Implicit Neural Representations 出典: ArXiv (2023. 1) 著者: Vishwanath Saragadam et. al. 所属: Rice University 選書理由 NeRFなどのImplicit Neural Representation (INR) と， 活性化関数との相性について初見だったため ※引用は最後にまとめてあります．特に明示が無い場合は紹介論文から引用 3
2. 概要 4 WIRE • NeRFなどの画像用INRの活性化関数にWaveletを提案 • Waveletが画像表現に適しているため，正しい帰納バイアスを 獲得 • ノイズ除去，SR，任意視点生成などで精度向上
3. 研究背景 5 • Implicit Neural Representations （INR) 近年，INRの性能は， 活性化関数に大きく左右されるらしいと 判明 [1] • Grid-based 手法 • INR (NeRF) 𝜃 (座標） MLP 重み保持 グリッドデータ保持 • 保持すべきメモリが大き い • 解像度が限定される • コンパクトな重みのみを 保持 • 任意解像度で生成可 [2]
3. 研究背景 6 • 活性化関数とINRの性能 – ReLU (default NeRF) 処理重，精度悪，ノイズ耐性悪 – Sine波 (SIREN[3])，Gaussian[4] 処理軽，精度良，ノイズ耐性悪 • 直線で自然信号を近似するため，より層を重ねる必要 • 細部の再現には，positional encodingなどの追加の工夫必要 • 周期的な信号に強 い • 局所的な信号に強い • 曲線を持つため，少ない層数で自然信号を近似 可 • 表現力が高いため，ノイズ信号も近似してしま う
3. 研究背景 7 • 連続Wavelet変換 – 局所的な波の集合によって，信号を時間-周波数空間へ変換 – 非定常な信号（現実におけるほぼすべての信号）の解析によく用いられる – JPEGの上位互換であるJPEG2000でも用いられる [5] Wavelet
4. 提案手法 8 • WIRE: Wavelet Implicit Neural Representations – INRの活性化関数に Waveletを提案 – 局所的，周期的信号どちらにも対応可 – JPEG2000のようにWaveletが画像表現に適しているため， 正しい帰納バイアスを獲得できノイズへの頑健性向上 （これ以上の説明は無，デノイズでの精度向上で証明） – ネットワーク内部では，Waveletを複素数のまま処理する 処理軽，精度良，ノイズ耐性良
5. 実験結果 9 • パラメータ選択 sine波，Gaussian単体よりも高い性能
5. 実験結果 10 • denoising
5. 実験結果 11 • Super Resolution
12 • Occupancy
6. 考察・所感 13 • 所感 – タスクごとに，現状より適したモデルは存在するはず – INRの領域でも，モデル構造の最適化が進んでいる印象 – MLPが現段階では採用されているが，置き換わっていくのかもしれない
引用 14 [1] 図 http://www.sanko-shoko.net/note.php?id=js3z [2] Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis." Communications of the ACM 65.1 (2021): 99- 106. [3] Sitzmann, Vincent, et al. "Implicit neural representations with periodic activation functions." Advances in Neural Information Processing Systems 33 (2020): 7462-7473.
引用 15 [4] Ramasinghe, Sameera, and Simon Lucey. "Beyond periodicity: Towards a unifying framework for activations in coordinate- mlps." European Conference on Computer Vision. Springer, Cham, 2022. [5] https://friedrice- mushroom.hatenablog.com/entry/2019/08/31/113915

More Related Content

PPTX
深層学習の数理
byTaiji Suzuki
 
PPTX
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
byDeep Learning JP
 
PDF
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
byDeep Learning JP
 
PDF
全力解説！Transformer
byArithmer Inc.
 
PPTX
モデル高速化百選
byYusuke Uchida
 
PDF
自己教師学習（Self-Supervised Learning）
bycvpaper. challenge
 
PPTX
【DL輪読会】ViT + Self Supervised Learningまとめ
byDeep Learning JP
 
PDF
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
bySSII
 
深層学習の数理
byTaiji Suzuki
 
[DL輪読会]Learning Latent Dynamics for Planning from Pixels
byDeep Learning JP
 
【DL輪読会】Perceiver io a general architecture for structured inputs & outputs
byDeep Learning JP
 
全力解説！Transformer
byArithmer Inc.
 
モデル高速化百選
byYusuke Uchida
 
自己教師学習（Self-Supervised Learning）
bycvpaper. challenge
 
【DL輪読会】ViT + Self Supervised Learningまとめ
byDeep Learning JP
 
SSII2019OS: 深層学習にかかる時間を短くしてみませんか？ ～分散学習の勧め～
bySSII
 

What's hot

PDF
[DL輪読会]Deep Learning 第15章 表現学習
byDeep Learning JP
 
PDF
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
bySSII
 
PPTX
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
byDeep Learning JP
 
PDF
【メタサーベイ】数式ドリブン教師あり学習
bycvpaper. challenge
 
PDF
【DL輪読会】Scaling laws for single-agent reinforcement learning
byDeep Learning JP
 
PDF
動画認識サーベイv1（メタサーベイ ）
bycvpaper. challenge
 
PPTX
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
byDeep Learning JP
 
PDF
Transformer メタサーベイ
bycvpaper. challenge
 
PPTX
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
byDeep Learning JP
 
PPTX
Curriculum Learning （関東CV勉強会）
byYoshitaka Ushiku
 
PDF
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
byjoisino
 
PPTX
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
byDeep Learning JP
 
PPTX
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
byYusuke Uchida
 
PDF
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
PPTX
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
byYusuke Uchida
 
PDF
BERT入門
byKen'ichi Matsui
 
PDF
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
PDF
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
bySSII
 
PPTX
[DL輪読会]Flow-based Deep Generative Models
byDeep Learning JP
 
PDF
実装レベルで学ぶVQVAE
byぱんいち すみもと
 
[DL輪読会]Deep Learning 第15章 表現学習
byDeep Learning JP
 
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる？？ 〜​
bySSII
 
【DL輪読会】"Instant Neural Graphics Primitives with a Multiresolution Hash Encoding"
byDeep Learning JP
 
【メタサーベイ】数式ドリブン教師あり学習
bycvpaper. challenge
 
【DL輪読会】Scaling laws for single-agent reinforcement learning
byDeep Learning JP
 
動画認識サーベイv1（メタサーベイ ）
bycvpaper. challenge
 
[DL輪読会]Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets
byDeep Learning JP
 
Transformer メタサーベイ
bycvpaper. challenge
 
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
byDeep Learning JP
 
Curriculum Learning （関東CV勉強会）
byYoshitaka Ushiku
 
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
byjoisino
 
[DL輪読会]GLIDE: Guided Language to Image Diffusion for Generation and Editing
byDeep Learning JP
 
You Only Look One-level Featureの解説と見せかけた物体検出のよもやま話
byYusuke Uchida
 
SSII2022 [SS2] 少ないデータやラベルを効率的に活用する機械学習技術 〜 足りない情報をどのように補うか？〜
bySSII
 
Swin Transformer (ICCV'21 Best Paper) を完璧に理解する資料
byYusuke Uchida
 
BERT入門
byKen'ichi Matsui
 
強化学習と逆強化学習を組み合わせた模倣学習
byEiji Uchibe
 
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
bySSII
 
[DL輪読会]Flow-based Deep Generative Models
byDeep Learning JP
 
実装レベルで学ぶVQVAE
byぱんいち すみもと
 

More from Deep Learning JP

PPTX
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
byDeep Learning JP
 
PPTX
【DL輪読会】事前学習用データセットについて
byDeep Learning JP
 
PPTX
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
byDeep Learning JP
 
PPTX
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
byDeep Learning JP
 
PPTX
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
byDeep Learning JP
 
PPTX
【DL輪読会】マルチモーダル LLM
byDeep Learning JP
 
PDF
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
byDeep Learning JP
 
PPTX
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
byDeep Learning JP
 
PDF
【DL輪読会】Can Neural Network Memorization Be Localized?
byDeep Learning JP
 
PPTX
【DL輪読会】Hopfield network　関連研究について
byDeep Learning JP
 
PPTX
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
byDeep Learning JP
 
PDF
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
byDeep Learning JP
 
PDF
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
byDeep Learning JP
 
PPTX
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
byDeep Learning JP
 
PPTX
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
byDeep Learning JP
 
PDF
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
byDeep Learning JP
 
PPTX
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
byDeep Learning JP
 
PDF
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
byDeep Learning JP
 
PDF
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
byDeep Learning JP
 
PPTX
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
byDeep Learning JP
 
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
byDeep Learning JP
 
【DL輪読会】事前学習用データセットについて
byDeep Learning JP
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
byDeep Learning JP
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
byDeep Learning JP
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
byDeep Learning JP
 
【DL輪読会】マルチモーダル LLM
byDeep Learning JP
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
byDeep Learning JP
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
byDeep Learning JP
 
【DL輪読会】Can Neural Network Memorization Be Localized?
byDeep Learning JP
 
【DL輪読会】Hopfield network　関連研究について
byDeep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
byDeep Learning JP
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
byDeep Learning JP
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
byDeep Learning JP
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
byDeep Learning JP
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
byDeep Learning JP
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
byDeep Learning JP
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
byDeep Learning JP
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
byDeep Learning JP
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
byDeep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
byDeep Learning JP
 

【DL輪読会】WIRE: Wavelet Implicit Neural Representations

  • 1.
    DEEP LEARNING JP [DLPapers] “WIRE: Wavelet Implicit Neural Representations” Presenter: Takahiro Maeda D2 (Toyota Technological Institute) http://deeplearning.jp/
  • 2.
    目次 1. 書誌情報 2. 概要 3.研究背景 4. 提案手法 5. 実験結果 6. 考察・所感 2
  • 3.
    1. 書誌情報 紹介論文 タイトル: WIRE:Wavelet Implicit Neural Representations 出典: ArXiv (2023. 1) 著者: Vishwanath Saragadam et. al. 所属: Rice University 選書理由 NeRFなどのImplicit Neural Representation (INR) と， 活性化関数との相性について初見だったため ※引用は最後にまとめてあります．特に明示が無い場合は紹介論文から引用 3
  • 4.
    2. 概要 4 WIRE • NeRFなどの画像用INRの活性化関数にWaveletを提案 •Waveletが画像表現に適しているため，正しい帰納バイアスを 獲得 • ノイズ除去，SR，任意視点生成などで精度向上
  • 5.
    3. 研究背景 5 • ImplicitNeural Representations （INR) 近年，INRの性能は， 活性化関数に大きく左右されるらしいと 判明 [1] • Grid-based 手法 • INR (NeRF) 𝜃 (座標） MLP 重み保持 グリッドデータ保持 • 保持すべきメモリが大き い • 解像度が限定される • コンパクトな重みのみを 保持 • 任意解像度で生成可 [2]
  • 6.
    3. 研究背景 6 • 活性化関数とINRの性能 –ReLU (default NeRF) 処理重，精度悪，ノイズ耐性悪 – Sine波 (SIREN[3])，Gaussian[4] 処理軽，精度良，ノイズ耐性悪 • 直線で自然信号を近似するため，より層を重ねる必要 • 細部の再現には，positional encodingなどの追加の工夫必要 • 周期的な信号に強 い • 局所的な信号に強い • 曲線を持つため，少ない層数で自然信号を近似 可 • 表現力が高いため，ノイズ信号も近似してしま う
  • 7.
    3. 研究背景 7 • 連続Wavelet変換 –局所的な波の集合によって，信号を時間-周波数空間へ変換 – 非定常な信号（現実におけるほぼすべての信号）の解析によく用いられる – JPEGの上位互換であるJPEG2000でも用いられる [5] Wavelet
  • 8.
    4. 提案手法 8 • WIRE:Wavelet Implicit Neural Representations – INRの活性化関数に Waveletを提案 – 局所的，周期的信号どちらにも対応可 – JPEG2000のようにWaveletが画像表現に適しているため， 正しい帰納バイアスを獲得できノイズへの頑健性向上 （これ以上の説明は無，デノイズでの精度向上で証明） – ネットワーク内部では，Waveletを複素数のまま処理する 処理軽，精度良，ノイズ耐性良
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
    6. 考察・所感 13 • 所感 –タスクごとに，現状より適したモデルは存在するはず – INRの領域でも，モデル構造の最適化が進んでいる印象 – MLPが現段階では採用されているが，置き換わっていくのかもしれない
  • 14.
    引用 14 [1] 図 http://www.sanko-shoko.net/note.php?id=js3z [2]Mildenhall, Ben, et al. "Nerf: Representing scenes as neural radiance fields for view synthesis." Communications of the ACM 65.1 (2021): 99- 106. [3] Sitzmann, Vincent, et al. "Implicit neural representations with periodic activation functions." Advances in Neural Information Processing Systems 33 (2020): 7462-7473.
  • 15.
    引用 15 [4] Ramasinghe, Sameera,and Simon Lucey. "Beyond periodicity: Towards a unifying framework for activations in coordinate- mlps." European Conference on Computer Vision. Springer, Cham, 2022. [5] https://friedrice- mushroom.hatenablog.com/entry/2019/08/31/113915

Editor's Notes

  • #2 という論文を紹介します．
  • #4 まず，書誌情報です．