Tamar Rott Shaham, Michael Gharbi, Richard Zhang, Eli Shechtman, Tomer Michaeli; Spatially-Adaptive Pixelwise Networks for Fast Image Translation, Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021, pp. 14882-14891 https://openaccess.thecvf.com/content/CVPR2021/html/Shaham_Spatially-Adaptive_Pixelwise_Networks_for_Fast_Image_Translation_CVPR_2021_paper.html

1. Spatially-Adaptive
Pixelwise Networks
for Fast Image Translation
Tamar Rott Shaham, Michael Gharbi, Richard Zhang, Eli
Shechtman, Tomer Michaeli, CVPR2021
杉浦大輝（名工大玉木研）
2022/04/15

2. 概要
◼Spatially-Adaptive Pixelwise Networks (ASAPNet)の提案
• 画像生成アーキテクチャ
• 従来より一桁以上高速化
代表的な手法と比べて，
同じ解像度でもランタイム
に大きく差が出ている

3. 関連研究
◼Convolutional image-to-image
translation
• 一般的な逐次畳み込み設計
• 複雑なモデル
• 計算コストの増加
• 実行速度の低下
◼Trainable efficient image
transformations
• イメージフィルタリングを効率的
に近似する
• HDRNet [Gharbi+, ACM TOG2017]
• 低解像度画像から一連の近似色
変換を予測
◼Functional image
representations
• Compositional Pattern Producing
Networks [Stanley, Genet Program
Evolvable Mach2007]
• 空間座標から画像色への連続的
な関数マッピングを行う

4. 提案手法
1
2
5
4
3

5. Predicting pixelwise network parameters
1. バイリニアダウンサンプリング
2. ダウンサンプリング後の画像を
入力
3. CNNによりMLP パラメータ 𝜙𝑝
のテンソルを取得
• 𝜙𝑝 はMLPの重みとバイアスに対応
するチャンネルを持つテンソル
4. 最近傍アップサンプリング
1
2
3
4

6. Spatially Adaptive Pixelwise Networks
◼各ピクセル単位の関数𝑓𝑝 (MLP)
• ピクセルの座標と色値を入力
• 𝜙𝑝はMLPの重みとバイアスを表す
• 各ピクセルが独立し，計算の並列化
が可能
◼高速な実行と良好な視覚的品質
• 5つの層
• 層あたり64チャンネル

7. 実験設定
◼評価項目
• 実行時間
• 定性的評価（ユーザ調査）
• 定量的評価
◼データセット
• CMP Facades
• [Tylecek & Sara, GCPR2013]
• Cityscapes
• [Cordts+, CVPR2016]
◼比較対象
• CC-FPSE [Liu+, NeurIPS2019]
• SPADE [Park+, CVPR2019]
• pix2pixHD [Wang+, CVPR2018]
• SIMS [Qi+, CVPR2018]
• CRN [Chen & Koltum, ICCV2017]
• pix2pix [Isola+, CVPR2017]

8. 実験結果 (実行時間)
◼推論時間のベンチマーク
• ASAPNetとの比較
• Pix2pixHDの最大6倍
• SPADEの最大10倍
• SIMSの最大18倍
• CRNの最大18倍
• CC-FPSEより高速化
• ASAPNetの実行時間の優位性
• 高解像度ほど顕著

9. 生成画像の比較

10. 生成画像の比較

11. 実験結果 (定性的評価)
◼ユーザー(50人)の知覚テスト
• 二者択一式で実施
• pix2pixHD
• SPADE
• CC-FPSE
• ほとんどの解像度,データセット，
ベースラインにおいて同等の評価

12. 実験結果 (定量的評価)
◼Frechet Inception Distance (FID) [Heusel+, NIPS2017]
• 実画像と生成画像の分布の類似度
• 値が低いほうがよい
◼Semantic segmentation score
1. 生成画像をsemantic segmentation network [Yu+, CVPR2017]に通す
2. 出力のマスクと入力マスクのpixelwise accuracy，mIoU
• 値が高いほうがよい

13. 実験結果 (定量的評価)
◼低ランタイム領域
• FID
• 値が小さく，最高のスコア
• Pixel accuracy,mIoU
• 値が大きく，最高のスコア
◼各スコア
• FID, Pixel accuracy,mIoU
• 各ベースラインと同等

14. まとめ
◼ASAPNetの提案
• フル解像度におけるピクセル単位のネットワークの利用
• 低い解像度での畳み込みネットワークによる，パラメータの予測
• 従来より一桁以上高速
• 同レベルの視覚的品質の維持

15. 補足資料

16. Training and implementation detail
◼Discriminator
• pix2pixHD [Wang+, CVPR2018]で提案されたマルチスケールパッチ識別器を用
いて生成モデルを敵対的に学習
◼Optimization
• SPADE [Park+, CVPR2019]と同様
• 敵対的ヒンジ損失[Wang+, arXiv2017]
• 知覚損失[Dosovitskiy & Brox, NIPS2016],
• 識別器特徴マッチング損失[Wang+, CVPR2018]
• 敵対的ヒンジ損失[Wang+, arXiv2017],知覚損失[Dosovitskiy & Brox, NIPS2016],
識別器特徴マッチング損失[Wang+, CVPR2018]を含むSPADE [Park+,
CVPR2019]の手順に従う