Super resolution survey 20180809

Confidential © Ecomott, Inc. ALL RIGHTS RESERVED
超解像技術の話
~arXiv:1808.03344v1を起点に~
エコモット株式会社庄内道博

従来のSISRの問題点
• 不明確な定義
• LR空間とHR空間の間で開発されるマッピング
• 非効率性
• 大量の生データを使った複雑な高次元マッピング
• 最近のDLベースSISR
• LR空間ーHR空間の効率的で高レベルな抽象化
• 定量的定性的な改善がみられる

焦点
• データ前処理・・・DataAugumentation
• モデルの訓練技術・・・Adam, PReLU
• NNアーキテクチャ
• 最適化

SISR
• 超解像とは
• 同じシーンの1つ以上の低解像度観測から高解像度画像を復元するタスク
• SISR（入力数が１）とMISR（入力数が2以上）
• SISRの方が難しい
• 1つの入力LRは複数のHR解の可能性がある
• 今までのSISRアルゴリズム
• 補間ベース・・・〇非常に高速・簡単 ×精度不足
• Bicubic補間、ランチョス再サンプリング
• 再構成ベース・・・〇柔軟で鋭い詳細を生成 ×倍率が上がると急速に性能低下
• 事前知識を用い解空間の可能性を制限
• 学習ベース・・・〇高速で性能がいい △最近DL手法が勝っている
• MarkemRandomField（MRF）
• 近傍埋め込み法
• スパースコーディング
• ランダムフォレスト

SISR用DLアーキテクチャ
• SRCNN・・・3層CNN（パッチ抽出、非線形マッピング、再構成）
• ロス関数・・・MSE

SRCNNの疑問点
• LRをBicubicして入力するため欠点がある
• スムージングが推定に悪影響を及ぼす可能性がある
• 補間する時間がかかる
• ダウンサンプリングのカーネルが未知の場合、生推定値として補間値を使うのは妥
当ではない。直接LRを入力するCNNアーキテクチャは設計できますか？
• 3層しかない・・・より複雑なCNNアーキテクチャによりよくなる可能性はあ
るか？あればどのように設計すればいいのか？
• SISRプロセスの特性をフレームや部品の設計に統合することはできる
か？またこれは効果的か？

直接LRを入力するCNNアーキテクチャは設計できますか？
• デコンボリューション・転置畳み込みによってアップサンプリング操作が可能
• FSRCNN
• ストライド畳み込みでは欠落情報の完全復元はできないけど
• 利点は2つ
• 最後で解像度を上げるので、計算量が削減される
• ダウンサンプリングカーネルが未知の場合、不正確な推定値を入力することで最終的な性能に
副作用がある

SRの分類

最近接補間の問題点
• アップサンプリングされた特徴が繰り返されるため冗長である
• ESPCN
• サブピクセルconv.
• 特徴マップを拡大させないで、並び替えで出力する
• 最近接補間より効率的

より複雑なCNNはどのように設計すればよいか？
• VDSR
• 20層VGG-net
• すべてのカーネルサイズが3×３
• 比較的大きな学習率・・・収束を加速
• 勾配クリッピング・・・勾配爆発の防止
• 複数のスケールに対して単一のモデル
• 残差学習・・・性能向上、収束加速

• DRCN
• VDSRと似ている
• パラメータを減らすために同じ畳み込みカーネルを再帰的に16回使う
• 16個の中間結果を融合することで結果を得る・・・融合時の重みの合計は１
• 欠点は2つ
• 訓練時の重みが異なる入力でも変化しない
• 中間結果の重みを合成するため画素ごとの差異を考慮しない

• SRResNet
• スキップ接続でより深くした（VGGのようなプレーンなアーキテクチャは深くし難い）
• 16個の残差ブロック（2つの非線形conv.と残差学習）
• 訓練の安定化のためにBNを使用

• DRRN
• 再構成ブロックを再帰的な残差ブロックにした

• EDSR
• フレーム全体に3つの改善でState-of-the-art
• 残差ブロックからBNを除去
• 残差スケーリングの導入
• 3倍、4倍の訓練時に2倍で訓練したパラメータで初期化

• MDSR
• マルチスケールアーキテクチャを採用
• 非線形マッピングは異なるスケールで共有

• SRDenseNet
• DenseNet
• スキップ接続を導入（ResNetは機能の再利用、DenseNetは機能の探索）
• Deconv.の前に異なるブロックからすべての特徴が連結されている

• Memnet
• 残差ブロックを再帰的に使用
• 再帰ユニット内は短期記憶、ブロック同士の接続は長期記憶

• RDN
• RDNブロック・・・高密度接続、ボトルネック層・・・ブロック全体で残差学習
• 再構成部分の前で、前ブロックからの特徴を高密度接続、残差学習で融合

• RDN・・・Residual Dense Network
• RDB（残差高密度ブロック）
• CM（連続メモリ）
• 局所特徴融合と大所特徴融合

SISRプロセスの特性をフレームや部品の設計に統合することはできるか？
• CSCN
• カスケード接続されたSCN
• スパース事前分布学習と深層学習の組み合わせ
• 学習済み反復収縮アルゴリズム（LISTA）
• 時間がかかるスパース符号化の近似推定をNNで行う

SISRプロセスの特性をフレームや部品の設計に統合することはできるか？
• DEGREE
• ResNetと従来のサブバンド再構成を組み合わせる
• サブバンド再構成は再帰的残差ブロックでシミュレート
• する

• LapSRN
• ラプラシアンピラミッド構造を用いHRを再構成
• 特徴抽出と画像再構成の２ブランチ

• DBPN
• 反復逆投影法をNNでシミュレートした
• DenseNetでパフォーマンスを向上させたDenseDBPNも提案

• PixelRNN,PixelCNN
• 指向性グラフィカルモデルにおける条件付き最尤推定を用いた自己回帰生成モデル
• 前に生成されたピクセルに基づいて徐々に高解像画像を生成する

• ZSSR
• 教師なしSR

• SRGAN
• 生成器SRResNet
• 識別器DCGAN・・・VGG19の中間特徴の差を最小化

• ESRGAN
• 生成器
• BNの排除
• 残差スケーリング
• Resブロック ⇒ ResInResDenseブロック（RRDB）
• 識別器
• 「真偽かどうか」ではなく、「一方が他方より現実的かどうか」
• VGGの特徴を活性化の前に使う

• EUSR
• 拡張拡大モジュール（EUM）
• 非線形演算
• スキップ接続

• 4PP-EUSR
• EUSRベース
• 識別器と2つの定性評価指標で学習

• DRN・・・二重再構成超解像
• GS（Gradient Sensitive）ロスを採用
• 勾配の大きさに基づきL成分,H成分を分離
• L成分の復元を犠牲にすることなく勾配に敏感な損失を与え、性能を上げるマスクを導入
• SRの二重性を調べることで、SR性能を改善する
• 関数P：X ⇒ Y
• 関数D：Y ⇒ X

• DTSN・・・Deterministic-STochastic Synthesis Network
• 決定論的成分と確率的成分に分離
• 決定論的成分・・・ダウンサンプリング画像内の低周波成分から復元可能
• 確率的成分・・・LRとの相関性がほとんどない
• 決定論的成分再構成・・・DNNの回帰問題
• 確率的成分再構成・・・GAN
• スタイル転送とテクスチャ合成に誘発された統合過程を採用
• 局所手統計的ロスを導入

DTSN

• RCAN・・・残差チャンネルアテンションネット
• どのチャンネルにも同じような低周波成分があるのでCNN表現力を阻害している
• RIRにより、低周波成分がスキップされるから高周波成分学習に集中できる
• チャンネルアテンション
• チャンネル間の依存関係を考慮しチャンネル単位の特徴を再スケーリング

• SRABA・・・超解像のためのアテンションベースアプローチ
• アテンションベースアプローチ
• アテンション生成ネットワーク
• 修復すべき高周波部分を見つける
• 特徴再構成ネットワーク
• HR画像を復元する
• 既存のSISRに組み込める

• MWCNN
• U-Net
• コントラクトサブネットワーク
• プーリングを離散ウェーブレット変換DWTに置換
• DWTは可逆なのでダウンサンプリングによってすべての情報が保存される
• 特徴マップの周波数と位置情報の両方を捕捉可能
• 逆ウェーブレット変換IWTでアップサンプリング
• 拡張サブネットワーク

• SRCliqueNet
• クリークブロック群でLRから特徴抽出
• クリークアップサンプリングモジュール
• ４つの高分解能ウェーブレット係数を予想するサブネット
• ２^J倍でアップサンプリング

• ORDSR 直交正規化深層SR
• 離散コサイン変換（DCT）におけるSR写像を学習
• DCTを畳み込み層CDCTとしてネットワークに組み込む
• CDCT層
• 入力画像のDCTキューブを生成
• D－CNN層
• 高周波スペクトルを回復させる

• WDSR
• 活性化前にアップスケーリングせずにアップスケーリングしてから活性化すると良い
• 線形低ランクConv.を導入

• LRFNet・・・ネットワークの受容野を直接拡大する
• 1次元の分離可能なカーネルとアトラス畳み込みを使用
• ベースは12resブロック
• アトラス畳み込みのみを行ったモノが８倍スケールでよかった

活性化関数編
• PLU: The Piecewise Linear Unit Activation Function
• ReLU・・・正は無制限、負は０、あらい
• Tanh・・・細かいけど、-1~1に制限されている

自己相似性学習
• KBLRSM
• カーネルレベル低ランクスパースモデル
• スパースコーディングの中ではいい感じになった

Super resolution survey 20180809

Recommended

Recommended

More Related Content

Similar to Super resolution survey 20180809

Similar to Super resolution survey 20180809 (20)

Super resolution survey 20180809