Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature
Similar to Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature (20)
More from tomoaki0705
More from tomoaki0705 (20)
Recently uploaded
Recently uploaded (9)
Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature
- 1. Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature 発表者: tomoaki_teshima tomoaki_teshima tomoaki0705 tomoaki_teshima tomoaki0705 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 2. Neural Global Shutter: Learn to Restore Video from a Rolling Shutter Camera with Global Reset Feature Zhixiang Wang1;2;3 Xiang Ji1 Jia-Bin Huang4 Shin’ichi Satoh3;1 Xiao Zhou5† Yinqiang Zheng1 † 1The University of Tokyo 2RIISE 3National Institute of Informatics 4University of Maryland College Park 5Hefei Normal University †Corresponding Author 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 3. Summary • Rolling Shutter Distortionの影響を減らすよ！ 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 4. Contribution • Problem • Optic system and dataset: we build an optic system that takes paired RSGR/GS videos • Algorithm 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 5. What is rolling shutter effect ? • 物体かカメラが動くと 直線成分が傾いたり 曲線に変わる 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 6. Difference of GS and RS 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編) センサ（ピクセル） バッファ フォトン/エネルギー A/D変換 プロセッサ/メモリ センサ（ピクセル） フォトン/エネルギー A/D変換 プロセッサ/メモリ 情報を蓄えておくバッファがない！ Global Shutter Rolling Shutter
- 7. Rolling Shutter Global Reset Feature 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編) [46] https://linx.jp/image/news/express/2014/linx_express_i14203.shtml 注：この例はあくまでGlobal Reset Featureの一例で本手法にはストロボを使うわけではない ストロボ 照明なし
- 8. Comparison of Global Shutter/Rolling Shutter 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編) Global Shutter Rolling Shutter Ideal shutter Distortion free? Yes No Yes Noise Higher Lower Lower Power consumption Higher Lower Lower Cost $$$$ $ $
- 9. Existing solutions 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編) HW based Computational based Summary Additional memory Correcting the distortion Pros Distortion free with RS Next page Cons Sensor size, cost and noise Next page
- 10. Computational method • Single input + Classical method • [12,25] 画像内の直線を仮定してmotion estimation • [22] Camera motion に特殊な制約を課してmotion estimation • Single input + Learning based method • [24,45] 画像内の前提を外す代わりにCamera motionに制約を 課してmotion estimation • Multi input • Classical method [43,44] でも Learning based method [16] でも motion estimation 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 11. Contribution • RSGRを使うことで、Motion Estimationの問題をDeblur-likeな問題 に落とし込んだ • Optic system and dataset: we build an optic system that takes paired RSGR/GS videos • Algorithm 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 12. Rolling Shutter Global Reset (RSGR) 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 15. Experiments • 大体Oursが圧勝 • そもそも入力がRSGRなんだから他の手法がうまくいくわけがない • それでも著者らは丁寧に評価している • 他の手法と比べるにしても、難しいシーン、簡単なシーン、評 価値をSSIM/PSNRと2種類使う、画面全体と画面一部での評価 • DNNのpre-trained weight だけ他の論文から借りてきて試す • 実際に他の手法の入力として使ってみる • 他のRSGRセンサも使ってみる 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 16. Experiment (Quantitative Evaluation) 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 17. Experiment (Qualitative Evaluation) 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 18. Contribution of each step • どのstepもContribute • Temporal aggregator だけは forward path だけで利用すると、 aggregatorを利用しない場合よ り性能が落ちる 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 20. Downstream Applications • FD: デプス推定 • FE : エッジ検出 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 21. Generalization Evaluation • 唐突な京王バス 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
- 22. Conclusion • Rolling Shutter Deformation の影響を減らした • 初めてRSGR機能を使った • RSGRとGlobal Shutterを対にしたデータセットを公開した • Rolling Shutter の問題をdeblur-likeな問題に置き換えた • HWの改造なしに、Rolling Shutter Deformation を復元できる 2022/8/21 第11回 全日本コンピュータビジョン勉強会 CVPR2022読み会(後編)
Editor's Notes
- Single か multiか Classical か Learning based か、と著者らは分けている。 Deformationは運動なので、１枚の画像からだと復元できない ill posed な問題 様々な制約を導入して motion estimation して、復元する Multi input では、動画が入力になるので、動きの情報を得られるので、Classical でも Learningでも motion estimation
- RSGR を使うと、RSともGSとも違う特徴が２点現れます。 １点目が前述の通りの「ブレ」「blur」 撮影があとの方の列は単純に露光時間が長くなるので、運動による影響をより大きく受ける そのため、画像中の行の違い、y座標の違いによってブレ度合いが変わってくる。 直線が三角形あるいは台形みたいな形に変形しているのが見える。
- で、２点目が文中のdiagramにあらわれています。 このdiagram の図中からGS と RSGRで撮影された同じシーンの画像があります。 ２点目がこのRSGRの画面下側が暗く見えることです。 各行ごとに露光時間が変わってくるため、先に撮影が終わる行、この場合は最下行になりますが、は暗く移り、最終行、最上部は明るく、グラデーションがかった画像になります。 なお、Rolling Shutterがどちらの方向にスキャンするかはセンサ次第なので、どちらでもありえますが、後述するように方向はどちらでも問題を引き起こさないのでご心配なく。 で、diagramにもどると、 AがRSとGSを同時に撮影する光学系。ハーフミラー（？）で光線を分岐、分割し、それぞれ同じ画像が撮影できるようにキャリブレーションしておく。 で、基本的にはRSとGSで撮影されたビデオのえらーをminimizeするようにトレーニングする
- ネットワークは主に３種類。空間的なencoderと、時間方向のaggregator 空間方向は当然。Y座標によって明るさが変わってくるので、１フレーム内で修正が必要。 EEとあるのはExposure Encoding これは各行の露光時間を情報として入力するため。 実際は各ピクセルに露光時間の情報をを埋め込んで、RGBと露光時間の情報がModelに突っ込まれます。 SAはSpatial Attentionの略。 EEとSAの２つを使うことで露光時間の違いを補正する 前後のフレームの情報を含めるために long term temporal aggregator , short term temporal aggregator が存在する。
- 全部紹介していると時間がなくなるぐらい丁寧に評価しているので、論文の評価結果の一部を紹介します。
- 他の手法との比較。 DeblurGANとか、入力画像より劣化してる GTがあるので、比較値で一発定量比較できるのは美しい。 Fが全画面、UがUpper、MがMiddle、LがLowerな部分に限った評価。２００行ずつ使った。 評価値はPSNRとSSIM。大きい数値のほうが好成績。 上から Unsupervised GS-image based deblur [11] Supervised GS-image based deblur [33] Supervised GS-video based deblur [8][32][20][40] Supervised RS correction/deblur [16][41]
- ボケが残ってたり、ディストーションが残ってたり、ノイズが増えてたりする STRCNN [8] DBN[32] は色のディストーションが起きている。
- どのステップ抜いてもダメだぜ。 T1がT2より悪い性能を示すってことは、forward path だけでラーニングすると、 Aggregator 自体を使わなかったときより性能がおちる。 Ablation Study Architecture ablation. EE Exposure Encoding SA Spatial Attention Long term aggregator (Back path) Long term Aggregator DCN to Convolution T4 (T3 and T2) T5 (T4 and DCN to Convolution) T6 T5 and no short-term temporal information
- どの損失関数使っても結局のところSSIMとperceptual loss の組み合わせがいい感じ SSIM 以外はへんてこなartifact が出る（とはいえ、Charbonnierとかなかなかぱっと見はわからんがな） Structure restoration に一番聴いたのは perceptual loss (ほんまかいな）
- Depth Estimation と Edge detection. Input Ours GTを見比べると、やはりRSの影響があるとDepth Estimation もEdge detectionも性能が劣る。 もとの画像が歪んでるんだからエッジはもいうまでもなし、Depth Estimation でも、改善する。 結構GTとOursの間に遜色ないレベルで復元できる。
- Trainingとは別のRSGRを使った結果。 トレーニングは下が暗くて上が明るい、下から上へのラスタスキャン、今回の左（入力画像）は上から下へのラスタスキャン それでも、RSの影響もボケの影響も減ってるので、センサ固有のトレーニングではなく、汎化性能（？）がある。
- Limitation として、静止したシーンに対してはRSを普通に使ったほうがいい（当然本手法も適用できる！、けどありがたみがない） それから最後のスキャンらいんがどうしても明るくなりすぎるので、露光時間を調節するのが大事。 もしかしたらdynamic range も上がるんちゃうう？（future work)