@Hi_king
ニコニコ超解像2015
超解像
• ノイジーな小さい画像を綺麗にする
• ニコニコ動画のサムネで学習しました
超解像(good)
超解像(bad)
使ったネットワーク
1. ノイズ画像から9x9のパッチを入力
2. 畳み込み1 -> 9x9x32
3. RELU
4. 畳み込み2 -> 9x9x64
5. RELU
6. 畳み込み3 -> 9x9x3
7. 全結合NN -> 1x1x3
8. きれいな方の画像の画素とユークリッド距離を比較
よくあるCNNとの違いは、
• プーリングを使わない
• 位置が大事だから
• 分類ではなく回帰
• 出力が画素値だから
上手くいかないところ
• 色
o R,G,Bのユークリッド距離が誤差関数なんだけど、人間にとっては色味が変わる
のはかなり大きい
• ちょっと平滑化が効きすぎる
o 全体的に平坦にしたほうがユークリッド距離の誤差小さくなるから。。。
大変だったこと
• Caffeで再帰やるの実はちょっと大変。チュートリアル
には分類問題しか無い
o How to regression? (issue) https://github.com/BVLC/caffe/issues/512
o “Caffeのデータレイヤで夢が広がる話”
http://www.slideshare.net/rezoolab/caffe
• きれいな画像の[r, g, b]というラベルだけのデータレイヤとノイジーな画像
のパッチというデータレイヤ2つ作った
• ネットワークの構造によって大分結果変わる
o Waifu2xを参考にしました https://github.com/nagadomi/waifu2x
o 元論文も http://mmlab.ie.cuhk.edu.hk/projects/SRCNN.html
• 入力パッチサイズによっても大分結果変わる
オリジナル
画素値半分 超解像

niconico cho kaizo