2023/3/17 Deep Learning JP http://deeplearning.jp/seminar-2/

1. 1
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
SDEdit: Guided Image Synthesis and Editing with
Stochastic Differential Equations
Takeru Oba, Ukita Lab

2. 書誌情報
2
タイトル：SDEdit: Guided Image Synthesis and Editing with
Stochastic Differential Equations
著者：Chenlin Meng Yutong He Yang Song Jiaming Song
Jiajun Wu Jun-Yan Zhu Stefano Ermon
会議：ICLR. 2022

3. 概要
タスク：人のスケッチなどのガイドに基づいた画像編集
3
例：スケッチから画像に
入力 出力1 出力2 元画像 眼鏡を
貼り付け
（入力）
出力
例：合成画像を綺麗に
従来の問題：編集の種類ごとに再学習をする必要がある
提案手法：stochastic differential equations model(SDEs)やDiffusionを利用
して再学習なしに，様々な編集を実現

4. 関連研究（SDEs, Diffusion)
SDEsやDiffusionとは（ざっくり）：
ガウシアンノイズから徐々にノイズを除去することで綺麗な画像を生成するモ
デル．SDEsは𝑡が連続，Diffusionは𝑡が離散．
4
𝑥0
𝑥𝑡 𝑥𝑡−1
𝑥𝑇
ノイズ除去
(Reverse Diffusion Process)
ノイズ除去をモデルが学習
⋯ ⋯

5. 提案手法
提案手法のアイデア：
“スケッチ画像”と“目的の画像”はノイズを加えるとほとんど同じになる．
この画像のノイズを除去していくと綺麗な画像が出力される．
𝑥0
𝑥𝑡 𝑥𝑡−1
ノイズ除去
(Reverse Diffusion Process)
⋯
ノイズにより
ほとんど同じ画像に

6. Faithful vs Realistic
元画像に対する忠実さ（Faithful)と現実らしさ(Realistic)の
トレードオフが画像編集にはある．
SDEditでは，ノイズの大きさ（ステップ数）によってコントロールする
6

7. 実験結果
7
赤丸が注目領域

8. 実験結果
8
忠実さ
（元画像との誤差）
現実らしさ
(mechanical turkで
SDEditとどちらが良いかを選択）
現実らしさ
（指標の一つ）
すべての項目でSDEditが勝利

9. 実験結果
9

10. 実験結果
10
ノイズによって結果が変わる 多様な編集が可能

11. まとめ
まとめ
Diffusionモデルを利用して，様々な種類の画像編集をタスクごとの再学習なしで実現．非
常にシンプルだが，従来手法を上回る精度を実現．
所感
異常画像にノイズを加えて，Denoiseしたら正常画像が出てきそうなので異常検知にも使え
そうと思いました．
その他
3Dモデル生成[1]やShared Autonomy[2]でも，似たような処理をしているので，参考になるかもしれ
ません．
[1] Wang, Haochen, et al. "Score Jacobian Chaining: Lifting Pretrained 2D Diffusion Models for 3D Generation.”
[2] Takuma Yoneda, et al. “To the Noise and Back: Diffusion for Shared Autonomy.”
11