第55回 コンピュータビジョン勉強会＠関東　ICCV2019読み会 ※すいません，１５ページの表：画質評価結果に誤りがあります． 　誤）ＳＳＩＭ↓ ⇛ 正）ＳＳＩＭ↑ 　です．

1. 第55回 コンピュータビジョン勉強会＠関東 ICCV2019読み会
Copy-and-Paste Networks for Deep
Video Inpainting
@hasegawa_k35
1

2. 紹介する論文
Copy-and-Paste Networks for Deep Video Inpainting
• 著者：Sungho Lee, Seoung Wug Oh(Yonsei University),
DaeYeun Won(Hyundai MNSOFT), Seon Joo Kim(Yonsei University)
• 一言概要：Deep Learningを使ったVideo Inpainting
• 選んだ理由：昔似たようなことをやっていたため
今年になってDeep Learningを使ったVideo Inpaintingの研究がでてきたため
2

3. Video Inpainting
• Image inpainting：静止画像中の欠損領域の補間
• Video inpainting：動画像中の欠損領域の補間
3
「空間的」に一貫性が取れていればOK
「空間的」に加え，「時間的」にも一貫性が
取れている必要がある
Iizuka et. al. “Globally and Locally Consistent Image Completion”, SIGGRAPH 2017
Yu et. al. “Generative image inpainting with contextual attention”, CVPR 2018
Kim et. al. “Deep Video Inpainting”, CVPR 2018

4. 関連研究
4
Space-Time Video Completion (Wexler et. Al., CVPR/PAMI)
…全体および局所的な整合性計算，繰り返し処理による最適化をベースとしたVideo inpainting
2004
Background Inpainting for Videos with Dynamic Object and a Free-Moving Camera
(Granados et.al., ECCV)
…Homographyを用いて他フレームから欠損部分のピクセルを取得，
エネルギー計算を利用して調整
2012
Temporally Coherent Completion of Dynamic Video (Huang et. Al., SIGGRAPH ASIA/ToG)
…欠損領域の色とオプティカルフローを同時に推定することによる補間
2016
2019 Video Inpainting by Jointly Learning Temporal Structure and Spatial Details (Wang et. al., AAAI)
…Deep Learningを使った初のVideo Inpainting
時間的整合性と空間的整合性をそれぞれ取る2つのネットワークを作成
CVPR: Deep Video Inpainting[1] 他WS合わせて3本
ICCV: 本件他合わせて3本
今年だけでトップカンファレンスを
中心に10本以上のDeep Learningを
使ったVideo Inpaintingが登場
[1] Kim et.al., “Deep video inpainting”, CVPR 2019

5. 論文概要
• 既存手法の問題点
• 計算時間が長い（主にDeep Learning以前の手法）
• 大きな物体やゆっくり動く物体に対応できない
（主にDeep Learningベースの手法）
• オプティカルフローを使って欠損領域を埋めるべき
ピクセルを決めているものが多い
• 上記のような物体を埋めるには，ターゲットフレームから
離れたフレームからピクセルを持ってくる必要がある
⇒ オプティカルフローでは対応できない
• 論文のアイディア
• アフィン変換を利用
• 離れたフレームから，ターゲットフレームに合わせた
変換を行う ＝ 離れたフレームを利用可能
• 補間時に用いる各ピクセルに対する重みを保持する
マスクの作成
• 補間部分の空間的一貫性を向上させる
5
図：動きの遅いオブジェクトの処理例
図：提案手法のイメージ

6. 全体像
6
①全フレームを，
ターゲットフレーム
に合わせてアフィン
変換
②ターゲットフレームに貼る
べきピクセルを決める
③②の出力をデコード
してInpainting結果を
出力
④Inpainting結果で
入力フレームを更新

7. Alignment network
• 概要
• 全フレームをターゲットフレームに合わせる
• ステップ
1. Encoderで入力フレーム群から特徴を抽出
2. Regressorで各フレーム-ターゲットフレーム間の
Affine行列を算出
3. 2の出力を使って各フレームをターゲット
フレームに合うように変換
• ポイント
• 欠損領域が存在してもアフィン行列の計算を行えるネットワーク
⇒ 学習時に欠損部分を無視する形でロスℒ 𝑎𝑙𝑖𝑔𝑛を計算することで対応
7
𝑿 𝑡 :ターゲットフレーム
𝑿 𝑟→𝑡 :変換後のフレーム
𝑽 𝑡 :ターゲットフレームのVisibility map
𝑽 𝑟→𝑡 :変換後のフレームのVisibility map
図：Alignment networkの構造
(1)
(2)
図：Visibility mapの例

8. • 概要
• EncoderとContext Matching moduleを用いて，
Inpainting用のマスクと特徴量を出力
• ステップ
1. Encoderでターゲットフレームと
変換後フレームから特徴を抽出
2. 各変換後フレーム-ターゲットフレーム間の
類似度𝜃 𝑟,𝑡
を算出
Copy network
8
𝑭 𝑡 :ターゲットフレームの特徴 𝑭 𝑟→𝑡 :変換後のフレームの特徴
図：Context Matching moduleの詳細
(3)

9. Copy network
3. 類似度とVisibility mapからSaliency map 𝑪 𝒎𝒂𝒕𝒄𝒉を作成
4. Saliency map𝐶 𝑚𝑎𝑡𝑐ℎから，decoder用特徴量𝐶 𝑜𝑢𝑡と
不可視領域を示すマスク𝐶 𝑚𝑎𝑠𝑘を算出
9
ポイント
(4)
(5)
(6)
(7)

10. Copy network
• ポイント
• 補間時に用いる各ピクセルに対する重みを保持する
マスクの作成
• 前ページ式(4)，(5)より，重み ＝ フレーム同士の類似度
• 補間時は，このマスクを利用して各ピクセルの
softmaxを計算 ⇒ Masked softmax
• 似ているフレームのピクセルを優先することにより，
補間後の画像のきれいさ（≒空間的一貫性）を
向上させている．
• 単に対応するピクセルのsoftmaxを取るだけだと，
補間部分がぼやけることがある．
10
図：SoftmaxとMasked softmaxの比較
図：Masked softmaxの計算例

11. Paste network
• ターゲットフレームの特徴量，Decoder用特徴量𝐶 𝑜𝑢𝑡
不可視領域を示すマスク𝐶 𝑚𝑎𝑠𝑘をDecoderに入力し，
inpaintingされたフレームを出力
• 不可視領域はDecoder中で周囲のピクセルを膨張させ
埋めている（右図の緑色部分）
• 時間的一貫性の確保
• 順方向に処理した結果と，逆方向に処理した結果を合わせて
最終結果とする．
• Inpainting結果を入力フレームに上書きし，
その後のフレームの処理で使用
⇒ 出力のクオリティ/時間的一貫性の向上
11図：Paste networkの構造
(8)

12. 学習
12
• 以下の6つのロス関数を利用
• 欠損部分（visible）
• 欠損部分（invisible）
• 欠損部以外
• アフィン変換
• Perceptual
• スタイル変換
• Total-loss
Y𝑐𝑜𝑚𝑝 : 𝒀の欠損部分と𝑿 𝒕
の欠損部以外の
組み合わせ
𝜙 :ImageNetで学習したVGG-16の
pooling layerの出力
𝑝 :pooling index
ℒ 𝑡𝑣 :スムージングのための
total variation loss
(10)
(9)
(12)
(11)
(15)
(14)
(13)
𝐺 :Gram matrix

13. 学習
13
• 以下の6つのロス関数を利用
• 欠損部分（visible）
• 欠損部分（invisible）
• 欠損部以外
• アフィン変換
• Perceptual
• スタイル変換
• Total-loss
Y𝑐𝑜𝑚𝑝 : 𝒀の欠損部分と𝑿 𝒕
の欠損部以外の
組み合わせ
𝜙 :ImageNetで学習したVGG-16の
pooling layerの出力
𝑝 :pooling index
ℒ 𝑡𝑣 :スムージングのための
total variation loss
(10)
(9)
(12)
(11)
(15)
(14)
(13)
画像内を以下の3つに分けて別々に計算
• 補間対象部分だが，どこかのフレームでは見えている
• 補間対象部分で．どのフレームでも隠れている
• 常に見え続けている
結果画像のクオリティアップのために，
VGG-16のpooling layerとスタイル変換[1]をロスに利用
*[1]Johnson et.al., “Perceptual losses for real-time style transfer and super-resolution”, ECCV 2016

14. 学習データセット
• Video inpainting用のデータセット ⇒ ないから作った
• ベースとなるデータセットに，別のデータセットのマスクを重畳
• ベース
• Placeデータセット[1] ⇒ 1枚の画像をランダムにクロップ＋変形させて動きを付与
• Youtubeからクロール
• マスク
• MIT Saliency Benchmark[2]
• Pascal VOC 2012[3]
14図：データセットの例
[1]Zhou et.al., “Places: A 10 million image database
for scene recognition”, PAMI 2017
[2]Bylinski et.al. “MIT Saliency Benchmark”
[3]Everingham, “The pascal visual object classes
challenge: A retrospective”, IJCV 2015

15. 実験①
• 画質評価
• Huangらの手法（Temporally Coherent Completion of Dynamic Video[1]）と，
PSNRとSSIMを比較
• 対象データセットはDAVIS dataset[3][4]
• User study
• Huangらの手法[1]とDeep Video Inpainting(VINet)[2]と本手法で，DAVIS
dataset[3][4]を対象とした出力結果を40人が順位付けし，その平均で比較
• 処理速度も評価しているので，同時に記載
15
Method PSNR↑ SSIM↓
Huang et.al. [1] 28.14 0.859
本手法 28.37 0.851
Method 平均順位 処理速度（秒）
Huang et.at.[1] 1.74 952
VINet[2] 2.08 *
本手法 1.77 27.14
* VINetのpaperでは12.5fpsと記載あり
表：画質評価結果
表：User study結果
[1]Huang et.atl., “Temporally Coherent Completion of Dynamic Video”, ToG 2016
[2]Kim et.al., “Deep video inpainting”, CVPR 2019
[3]Perazzi et.al., “A benchmark dataset and evaluation methodology for video
object segmentation”, CVPR 2016
[4]Pont-Tuset et.al., “The 2017 davis challenge on video object
segmentation”, arXiv 2017

16. 実験結果
16
図：既存手法と提案手法の出力比較

17. 実験②
• アプリケーション
• 露出をミスしている画像を補正し，レーン検出を実施
17
入力 検出精度
元画像（露出ミス） 46.69%
補正後 83.00%
表：レーン検出精度
図：露出補正・レーン検出結果

18. まとめ
• DNNベースのvideo inpainting手法を提案
• 欠損領域を，離れたフレームの対応するピクセルでcopy-and-paste
することで補間
• 最適化ベースの手法よりも定評評価で優れており，
高速に処理できることを確認
• 露出補正にも利用可能，レーン検出の精度が向上することを確認
18

19. 感想
• 補間後のクオリティという点では，既存手法との優劣は何とも
つけづらいと感じた
• 一方，処理速度が向上するのは応用の幅が広がるため非常に有益
• クオリティを挙げるためには，例えばGANやVAE，LSTM等との組合せが
考えられるが，他の手法で取り入れられているため別の方法が必要か？
• 現在の評価手法だと明確な差がついたとは（少なくとも現状の
クオリティでは）主張しづらい ⇒ 実応用例が大事になるか？
19