1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
Semi-Parametric Neural Image Synthesis
Takeru Oba, Ukita Lab

書誌情報
2
タイトル：Semi-Parametric Neural Image Synthesis
著者：Andreas Blattmann, Robin Rombach, Kaan Oktay, Jonas Müller, Björn Ommer
(LMU Munich, MCML & IWR, Heidelberg University, Germany )
会議：NeurIPS. 2022

概要
モチベ：
生成モデルの学習パラメータ数を減らしたい
アイデア：
NLPの分野では， RETROなどretrievalを利用した手法がモデルのパラメータと
計算コストを減らしつつ，SOTAと同等の精度を達成
本手法では，retrievalを利用して，データセットを学習しないパラメータとした
Semi-Parametricな画像生成モデルを提案
Retrievalによって類似画像を獲得し，それをヒントとすることでモデルの学習パ
ラメータを減らし，計算コストを削減
3

概要
Given:
• 学習データセット
• 検索用データセット
• 距離関数(CLIP)
– CLIPで得た特徴量間のCosine Similarity
• 検索方法
– 距離が近い𝑘個のサンプルを検索用データセット𝐷から選ぶ
Target:
• 生成モデル
尤度を最大化するようにパラメータ𝜃を最適化
4
学習データとは異なると仮定
推論時に変更することも可能
学習せずに固定
学習データ𝑥に近い𝑘個の
サンプルからxを生成
• Diffusion
• Autoregressive Model

提案モデル
5

提案モデル
6
学習手順
1. 学習データの画像𝑥 をサンプリング
2. 検索用データセット𝐷𝑡𝑟𝑎𝑖𝑛
から検索方法
あ に従って画像x に近い
データ を得る
3. 検索したデータ をエン
コーダー𝜙から特徴量ベクトルを得る
4. 得られた特徴量ベクトルを入力として
画像𝑥 を復元するようにモデル𝑝𝜃を
学習

提案モデル
7
推論方法
Class Condition：
クラスに対応するデータをランダムサンプリング
した後，その近傍データを検索
Unconditional Sampling：
データセットからランダムサンプリングした後，
近傍データを検索（少し工夫しているので論文を
参考にしてください）
Text Condition：
CLIPを利用しているため，言語をエンコードした
ベクトルから直接検索できる

実験結果（画像生成）
8
Unconditionalで検索した画像からの生成結果
検索
結果
生成
結果
学習データの近傍画像とは異なる画像が生成できている
学習
データ
の近傍
画像

実験結果（検索数と速度）
9
検索にはScaNNを使用．20の近傍データの検索時間は約0.95 ms
検索するデータの数を増やすとrecallが上がってprecisionが下がると
いう結果が得られた．

実験結果（検索数と速度）
10
RecallとPrecisionのイメージ
𝑃
𝑔が生成された画像の分布で𝑃𝑟がデータセットの分布
(参考：Improved Precision and Recall Metric forAssessing Generative Models
https://arxiv.org/pdf/1904.06991.pdf)
生成した画像がどれだけ実
データの分布の中にあるか
実データの画像がどれだけ生
成画像の分布にあるか

実験結果（定量評価）
Image Net (IN)の実験結果．
RDM-OIは学習検索データをOpen Imagesにした結果
RDM-INは学習検索データもImage Netにした結果
ADMは比較手法でDiffusion base
IC-GANはGANベース 11

実験結果（定量評価）
ADMに比べてパラメータ数を減らしつつ様々な指標で高精度を達成
ただし，GANよりはパラメータ数が多い
12

実験結果（データセットの複雑さによる変化）
13
データセットが複雑になると精度がどのように変化するかの検証
Dogs→Mammals→Animalsの順に複雑さを上げる
丸●が提案のsemi-parametricで四角■が従来のfull-parametric
同じ色の丸と四角を比較すると多くの場合において差が広がっている
→semi-parametricの効果が大きい

まとめ
まとめ
データセットを学習しないパラメータとして利用する
Semi-parametricな生成モデルを提案した．
これにより，従来の手法よりも学習パラメータを少なくすることで計算コス
トを削減
また，推論時の検索方法を変更することでクラスでの条件付けなどの
様々なサンプリングが可能であることを示した．
14