Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

RUTILEA社内勉強会第6回 「超解像」

66 views

Published on

RUTILEA社内で定期的に行っている勉強会の第6回です.
第6回のテーマは”超解像”です.

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

RUTILEA社内勉強会第6回 「超解像」

  1. 1. 超解像 2020/02/06 田中 達也
  2. 2. 超解像とは 画像の解像度を上げる画像処理技術 参照 http://www.togawa.cs.waseda.ac.jp/research/system/system.html
  3. 3. 超解像 画像を拡大させた時、間のデータを既知のデータから補間する https://qiita.com/jiny2001/items/e2175b52013bf655d617
  4. 4. 学習を用いない超解像技術 Nearest neighbor 最も近くの点を用いる Linear 近傍2点から線形に補間 する Cubic 近傍4点から、三次式で 補間する Bicubic interpolation - Wikipedia
  5. 5. 試した手法 • Bilinear • FCBI • RAISR • SRCNN 学習を用いない
  6. 6. 線形補間(Bilinear) 横方向に2画素の平均値で埋める 縦方向に2画素の平均値で埋める 1 3 5 3 1 2 3 5 4 3 1 2 3 3 3 3 5 4 3
  7. 7. 線形補間 5回繰り返し行った 画像がボケてしまう
  8. 8. FCBI エッジをなるべく残すように4つのうち2つを選択して、平均をとる。 手順 ① ピクセルを拡げる ② 斜め方向からピクセルを埋める ③ 縦横方向からピクセルを埋める 𝒍 𝟏 ③ 𝒍 𝟐 ③ ② ③ 𝒍 𝟑 ③ 𝒍 𝟒
  9. 9. FCBI 平均をとる2つ画素の選び方 エッジ判定を行う |𝒍 𝟏-𝒍 𝟒|<TM かつ|𝒍 𝟐-𝒍 𝟑|<TM かつ | (𝒍 𝟏+𝒍 𝟒)/2 - (𝒍 𝟐+𝒍 𝟑)/2 | < TM ならば 非エッジと判定 i) エッジの場合 その差の少ない2ピクセルを線形補間 ii) 非エッジの場合 補間したいピクセルの周辺の画素をh1とh2の重み付けで 計算を行い、h1 と h2 の大小で勾配の変化の小さい向き を判定. h1 h2 https://blog.awm.jp/2017/03/08/fcbi/ 𝒍 𝟏 ③ 𝒍 𝟐 ③ ② ③ 𝒍 𝟑 ③ 𝒍 𝟒
  10. 10. FCBI
  11. 11. 機械学習を用いた超解像 • RAISR Googleが出した論文 処理速度が速い ディープラーニングの手法を使っていない
  12. 12. RAISR 学習時 RAISR: Rapid and Accurate Image Super Resolution
  13. 13. RAISR: Rapid and Accurate Image Super Resolution 実行時 RAISR
  14. 14. 元画像 RAISR RAISR
  15. 15. 比較画像
  16. 16. RAISR 補正前 補正後
  17. 17. SRCNN ディープラーニングを超解像に応用した最初の例 𝑓1 = 5 𝑓2 = 1 𝑓3 = 9 𝑛1 = 64 𝑛2 = 32
  18. 18. • データセット Google Drive からダウンロード train : 90枚 val : 10枚 test : 10枚 入力画像Y(低解像度)・・・元画像を縮小し、Bicubic補間で戻す 教師画像X(高解像度)・・・元画像
  19. 19. パッチを抽出し、各バッチを高次元ベクトル(64次元)として表す。 各高次元ベクトル(64次元)を別の高次元ベクトル(32次元)にマッピング パッチごとの表現を集約し、高解像度画像を生成 1層目 2層目 3層目 𝑊1: 𝑐 × 𝑓1 × 𝑓1 × 𝑛1 𝑊2: 𝑐 × 𝑓2 × 𝑓2 × 𝑛2 𝐵1: 𝑛1 𝐵2: 𝑛2 SRCNNの各層の役割 𝑓1 = 5 𝑓2 = 1 𝑓3 = 9 𝑛1 = 64 𝑛2 = 32
  20. 20. 損失関数 最小二乗誤差(MSE) X : 高解像度画像 Y : 低解像度画像
  21. 21. 補正前 補正後 SRCNN
  22. 22. まとめ • RAISRは高速だが、ダイカストの画像に適応するには 性能が不十分かもしれない • CNNによる超解像が一番うまくいきそう • 今後、SRCNNの派生形(層を増やす、GANの適応)を試 していきたい

×