KD
Uploaded byKento Doi
PPTX, PDF1,507 views

HoloGAN: Unsupervised Learning of 3D Representations from Natural Images

HoloGAN: Unsupervised Learning of 3D Representations from Natural Images (https://arxiv.org/abs/1904.01326) の解説スライドです.

Embed presentation

Downloaded 22 times
HoloGAN: Unsupervised Learning of 3D Representations from Natural Images 2019/06/02
目次 • 書誌情報・論文概要 • 研究背景・目的 • 先行研究 • 提案手法 • 実験 • まとめ
書誌情報・論文概要
書誌情報 • 著者 : Thu Nguyen-Phuocさん • PhD student at the University of Bath • machine learning, 3D vision and computer graphics • ICCV 2019 accepted • 選んだ理由 • 物体の三次元的な形状を考慮した画像生成は重要な技術 (と思った) • 結果の画像がすごい • スライドの画像は断りがなければ本論文からの引用
論文概要 • 自然画像から教師なし学習で三次元表現 (3D representation)を獲得する 手法の提案 • 3Dモデリングの知識をモデルに組み込んだ • ボクセルを生成→剛体変換→2D画像にレンダリング • オブジェクトの姿勢と属性を分離することが可能 • つまり, 画像生成の際に姿勢のみを操作することができる • 次ページの画像参照 ※特に引用元の記載がない画像は, 本論文からの引用
研究背景・目的
研究背景① : GANs • できること • 高精細画像生成 (SAGAN, PGGAN, BigGAN, StyleGANなど) • 画像変換, 画像編集, motion transfer など • 苦手なこと • (conditionalでない) GANで特定の属性を陽に制御すること • cGANでも, ラベルつきのデータを集めるのは大変 T. Karras et al. “A Style- Based Generator Architecture for Generative Adversarial Networks”, CVPR, 2019. C. Chan, S. Ginosar, T. Zhou, and A. A. Efros. Everybody dance now. arXiv:1808.07371, 2018. 画像生成 motion transfer
研究背景② : 三次元構造を理解した画像生成 • ラベルを与えられても物体の三次元構造を理解した画像生成は難しい • ex) 単一画像から新規視点の画像の生成 • out-of-plane rotation が苦手 • 最近の手法では大量のラベルデータがないと綺麗に生成ができない • 3Dデータを用いる方法もあるが, データ収集のコストがさらに高い 画像 out of plane rotation画像+ラベル A. Dosovitskiy, J. Springenberg, M. Tatarchenko, and T. Brox. Learning to generate chairs, tables and cars with convolutional networks. IEEE Transactions on Pattern Analysis andMachine Intelligence, 39(4):692–705, 2017. 三次元データを用いた学習 J.-Y. Zhu, Z. Zhang, C. Zhang, J. Wu, A. Torralba, J. Tenenbaum, and B. Freeman. “Visual object networks: Image generation with disentangled 3D representations”. In NeurIPS, pages 118–129, 2018.
研究のモチベーション • 教師なしで三次元表現を獲得するネットワーク構造の設計 • これにより, 視点・形状・外観を操作できる • 三次元空間についての帰納バイアスを深層生成モデルに導入 本研究では, 下のような順で処理を行うことにより実現 1. 三次元空間でデータを生成 2. 剛体変換 3. 二次元平面に投影 4. 最終的な画像を生成
三次元データの表現方法 explicitな三次元表現 • ボクセル, メッシュなど  剛体変換などの操作が容易 × メモリを効率悪い × 離散化の方法が非自明 implicitな三次元表現 • 潜在表現ベクトルなど  空間的にコンパクト  表現力が高い × 陽な変換が難しい HoloGAN • 提案手法  明示的な変換ができる  表現力も高い  画像のみから学習可能 H. Kato et al. “Neural 3D Mesh Renderer“, CVPR, 2018. [YouTube] Generative Query Networks
先行研究
先行研究 : GANs • GANsはノイズからrealisticなデータへの変換を学習する • 近年のGANのネットワーク構造に関する研究は, 学習の安定性や高精細画 像の生成に注力している • 教師なしで特徴量の分離を学習するための, ネットワーク構造の研究は限 られる 1. StyleGAN (2018) 2. On self modulation for generative adversarial networks (2019) 損失関数の設計よりもネットワーク構造の方が重要だということを示唆
先行研究 : GANs • StyleGAN (arXiv 2018) • ランダムノイズを特徴マップのスケール, バ イアス項として入力 • Progressive GANを越えて, 超高精細な画像 の生成に成功 • 異なる深さのノイズが異なる特徴を担当 (disentangle) T. Karras et al. “A Style-Based Generator Architecture for Generative Adversarial Networks”, arXiv, 2018.
先行研究 : 3Dを考慮した画像生成 • 3Dから2Dへレンダリングする機構 (RenderNet T. H. Nguyen-Phuoc et al. 2019) × 学習データに3Dデータが必要 • 新しい視点の画像を生成するための三次元の埋め込み表現を獲得する手法 (Rhodin et al. 2018, Sitzmann et al. 2018) × 入力に複数視点の画像が必要 (Sitzmann et al.) × 背景のマスクとオブジェクトの姿勢という教師データが必要 (Rhodin et al.) • 幾何的な情報とテクスチャの情報を分離する手法 (J.-Y. Zhu et al. 2018) • (1) 3Dオブジェクトを生成, (2) 法線, デプス, シルエットにレンダリング, (3) 画像変換 ネットワークにより, 2D画像に変換 × 学習に3Dデータが必要 × 単一オブジェクトかつ背景が白いデータしか扱えない
先行研究 : 3Dを考慮した画像生成 • HoloGANに近いのはRajeswarらの研究 (Pix2Scene) • Pix2Scene • 教師なしでimplicitな3D表現を学習 × 特徴表現がimplicit • HoloGANはexplicitな表現を使っている × 単純な人工データでしか学習できない S. Rajeswar, F. Mannan, F. Golemo, D. Vazquez, D. Nowrouzezahrai, and A. Courville. “Pix2Scene: Learning implicit 3D representations from images”. 2019.
先行研究 : 特徴表現のdisentangle • 中間表現を生成画像の一つの要素に対応するように分離する • 多くの手法は教師ありの枠組みで学習 • ex) GQNでは, 他視点の画像を教師としている • 教師なしの方法はβ-VAEとInfoGANが代表的 • どちらも損失関数の設計がcontribution × priorの選定に敏感 × どの要素を学習するか制御できない × 分離された要素が意味を持つ保証もない × 生成画像の質と分離具合にトレードオフ (β-VAE) × 複雑なデータセットでは学習が難しい
提案手法
提案手法 • アーキテクチャは以下のような処理を行うように設計されている 1. 3D-CNNで三次元表現を生成 2. カメラ姿勢をもとに変換を行う • カメラ姿勢は一様分布からランダムにサンプル • 剛体変換 (平行移動&回転) を行う 3. 2Dに投影 4. 2D-CNNで画像を生成
提案手法: 三次元表現の獲得 • HoloGANにおいて, • 三次元表現は定数テンソルから生成される • “style”はノイズベクトルzによって担われる • ノイズベクトルzの入力はStyleGANの知見を活用 • MLPに通した後, 特徴マップのスケール, バイアスとして入力 • 入力の深さにより異なるレベルのディティールを制御していることが実験的にわ かっている
提案手法: 視点に依存した生成の学習 • 3D featureに3D convを適用 • 加えて, 2D画像に投影する前にカメラ姿勢 (ランダム) による変換を行う • HoloGANが三次元表現表現を学習していることを保証する大事な操作 • DR-GANでも同様の操作をしているがexplicitな変換ではない (pose codeをベクトル としてNNの入力としている) この三次元表現は… • styleと分離されている • あらゆる視点からレンダリング可能
提案手法: 視点に依存した生成の学習 (Rigid- body transformation) • 仮想的なピンホールカメラを想定 • ランダムなパラメータで剛体変換 • ランダムなθで3D featureを回転 • 平行移動は今回はしなかった • 詳細はsupplemental document… ここ
提案手法: 視点に依存した生成の学習 (Projection Unit) • HoloGANは微分可能な投影機構 (projection unit) を持つ • 3Dから2Dへの投影 (4Dテンソルを3Dテンソルに変換する) • 学習データは異なる透視画法でキャプチャされているので, 透視投影を学習する必要がある • カメラパラメータは得られないので, 代わりに3D convを用いて三次元表現をperspective frustumに 変換 (projection unitの前の3D Convモジュール) • projection unitは, reshaping layer, MLP, 活性化関数から構成される • 詳細は補助資料参照… ここ
提案手法: ロス関数 1. GANのロス 2. Identity regularizer • 生成した画像からzが復元できるような制約を入れる • zの違いが生成画像に現れるようにする 3. Style discriminator • discriminatorの中間層のfeatureも判別不能にするロス • それぞれの深さのfeatureが異なる因子を制御しているので全て揃える働き (本当か?) • 学習が安定しそうな感じがある
実験
実験 • データセット • 顔 (人間, 猫), 椅子, 車, ベッドルーム • 椅子のデータセットはCGからレンダリングした画像を用いる • 実装 • Generator : Adaptive Instance Normalization (AdaIN) • Discriminator : instance normalization & spectral normalization • 詳細は論文・補助資料参照
結果: 質的評価 • Identityを保ちながら滑らかに姿勢を変化させることができている
結果: 質的評価 (InfoGANとの比較) • InfoGANは潜在表現と生成画像の相互情報量を最大化する手法 • HoloGANの方が上手に姿勢を変化させることができている (左) • HoloGANはelevation方向の回転も再現できている (右)
結果: 量的評価 • KID scoreによる評価 • 画像の「質」に関する指標, 元のデータセットとの分布の近さを表す • c.f.) FID score • そこらのGANよりは綺麗な画像を生成する • 特徴の分離と生成画像の質の両方を達成していてすごい！
結果: Deep 3D representation vs. 3D geometry • visual object networks (VON) との比較 • 車画像の生成のsota • 3D shape (voxel) を生成し, 2Dに投影 (depth, silhouette) • その後テクスチャを与え画像に変換 • 3D変換はimplicit J.-Y. Zhu, Z. Zhang, C. Zhang, J. Wu, A. Torralba, J. Tenenbaum, and B. Freeman. “Visual object networks: Image generation with disentangled 3D representations”. In NeurIPS, pages 118–129, 2018.
結果: Deep 3D representation vs. 3D geometry • VON • 背景がない画像を生成 • 苦手な角度がある • HoloGAN • 背景あり • 滑らかな角度変化 • elevation方向の回転にも対応
結果: shapeとappearanceの分離 • 入力に近いノイズと遠いノイズをそれぞれz1, z2とする • これらは画像の異なる要素を制御 • z1はshape • z2はappearance z1 z2
結果: ランダム3D変換をせずに学習 • 学習中に剛体変換をキャンセルするとどうなるか 姿勢の変換に関して滑らかな画像を生成できない ここ
結果: ノイズの入れ方 • 提案手法はノイズを特徴マップのスケール, バイアスとして入力 古典的なGANと同じようにしたらどうなるか 生成に失敗する (disentangleがうまくいかない) ここに 入れる
まとめ
まとめ • 姿勢とidentityを分離して学習する手法の提案 • 三次元幾何を考慮したアーキテクチャの導入により実現 • 2DベースのGANと同等に高精細な画像を生成 • 実験においては, 意味のある三次元表現をちゃんと学習できた • 感想 • 関連研究が参考になる • 幾何的な知識を明示的に取り込む方法は発展しそう
参考文献 • T. Phuoc et al. “HoloGAN: Unsupervised learning of 3D representations from natural images”, arXiv, 2019. (project page: https://www.monkeyoverflow.com/#/hologan-unsupervised- learning-of-3d-representations-from-natural-images/) • T. Karras et al. “A Style-Based Generator Architecture for Generative Adversarial Networks”, CVPR, 2019. • C. Chan, S. Ginosar, T. Zhou, and A. A. Efros. Everybody dance now. arXiv:1808.07371, 2018. • A. Dosovitskiy, J. Springenberg, M. Tatarchenko, and T. Brox. Learning to generate chairs, tables and cars with convolutional networks. IEEE Transactions on Pattern Analysis andMachine Intelligence, 39(4):692–705, 2017. • J.-Y. Zhu, Z. Zhang, C. Zhang, J. Wu, A. Torralba, J. Tenenbaum, and B. Freeman. “Visual object networks: Image generation with disentangled 3D representations”. In NeurIPS, pages 118–129, 2018.
参考文献 • H. Kato et al. “Neural 3D Mesh Renderer“, CVPR, 2018. • S. M. A. Eslami, D. Jimenez Rezende, F. Besse, F. Viola, A. S. Mor- cos,M. Garnelo, A. Ruderman, A. A. Rusu, I. Danihelka, K. Gregor, D. P. Reichert, L. Buesing, T. Weber, O. Vinyals, D. Rosenbaum, N. Rabinowitz, H. King, C. Hillier, M. Botvinick, D. Wierstra, K. Kavukcuoglu, and D. Hassabis. Neural scene representation and rendering. Science, 360(6394):1204–1210, 2018. • T. Karras et al. “A Style-Based Generator Architecture for Generative Adversarial Networks”, CVPR, 2019. • T. Chen et al. “On Self Modulation for Generative Adversarial Networks”, ICLR, 2019. • T. Phuoc et al. “RenderNet: A deep convolutional network for differentiable rendering from 3D shapes”, NeurIPS, 2018. • H. Rhodin, M. Salzmann, and P. Fua. “Unsupervised geometry-aware representation for 3D human pose estimation”. In ECCV, 2018
参考文献 • V. Sitzmann, J. Thies, F. Heide, M. Nießner, G. Wetzstein, and M. Zollhöfer. “DeepVoxels: Learning persistent 3D feature embeddings”. arXiv:1812.01024, 2018. • S. Rajeswar, F. Mannan, F. Golemo, D. Vazquez, D. Nowrouzezahrai, and A. Courville. “Pix2Scene: Learning implicit 3D representations from images”. 2019. • I. Higgins, L. Matthey, A. Pal, C. Burgess, X. Glorot, M. Botvinick, S. Mohamed, and A. Lerchner. β-VAE: Learning basic visual concepts with a constrained variational framework. In ICLR, 2017. • X. Chen, Y. Duan, R. Houthooft, J. Schulman, I. Sutskever, and P. Abbeel. InfoGAN: Interpretable representation learning by information maximizing generative adversarial nets. In NIPS, pages 2172–2180, 2016. • L. Tran et al. Disentangled Representation Learning GAN for Pose-Invariant Face Recognition. CVPR 2017.

More Related Content

PPTX
Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
byKohei Nishimura
 
PPTX
StyleGAN解説 CVPR2019読み会@DeNA
byKento Doi
 
PPTX
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
byDeep Learning JP
 
PDF
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
byNaoya Chiba
 
PDF
三次元点群を取り扱うニューラルネットワークのサーベイ
byNaoya Chiba
 
PPTX
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
byDeep Learning JP
 
PDF
第126回 ロボット工学セミナー 三次元点群と深層学習
byNaoya Chiba
 
PPTX
20190509 gnn public
byJiro Nishitoba
 
Soft Rasterizer: A Differentiable Renderer for Image-based 3D Reasoning
byKohei Nishimura
 
StyleGAN解説 CVPR2019読み会@DeNA
byKento Doi
 
[DL輪読会]HoloGAN: Unsupervised learning of 3D representations from natural images
byDeep Learning JP
 
論文紹介「PointNetLK: Robust & Efficient Point Cloud Registration Using PointNet」
byNaoya Chiba
 
三次元点群を取り扱うニューラルネットワークのサーベイ
byNaoya Chiba
 
[DL輪読会]PointNet++: Deep Hierarchical Feature Learning on Point Sets in a Metr...
byDeep Learning JP
 
第126回 ロボット工学セミナー 三次元点群と深層学習
byNaoya Chiba
 
20190509 gnn public
byJiro Nishitoba
 

What's hot

PDF
グラフデータ分析 入門編
by順也 山口
 
PDF
三次元表現まとめ（深層学習を中心に）
byTomohiro Motoda
 
PPTX
[DL輪読会]MetaFormer is Actually What You Need for Vision
byDeep Learning JP
 
PDF
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
byTakuya Minagawa
 
PPTX
[DL輪読会]Human Pose Estimation @ ECCV2018
byDeep Learning JP
 
PDF
確率モデルを用いた3D点群レジストレーション
byKenta Tanaka
 
PDF
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
byKento Doi
 
PDF
Deformable Part Modelとその発展
byTakao Yamanaka
 
PPTX
SakataMoriLab GNN勉強会第一回資料
byttt_miura
 
PPTX
Miyazaki microoptics2013
byDaisuke Miyazaki
 
PDF
Point net
byFujimoto Keisuke
 
PDF
点群深層学習 Meta-study
byNaoya Chiba
 
PPTX
[DL輪読会]3D Human Pose Estimation @ CVPR’19 / ICCV’19
byDeep Learning JP
 
PDF
[DL輪読会]BANMo: Building Animatable 3D Neural Models from Many Casual Videos
byDeep Learning JP
 
PDF
Graph Attention Network
byTakahiro Kubo
 
PPTX
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
byYusuke Uchida
 
PDF
【CVPR 2020 メタサーベイ】3D From a Single Image and Shape-From-X
bycvpaper. challenge
 
PDF
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
byMasahiro Suzuki
 
PPTX
[DL輪読会]相互情報量最大化による表現学習
byDeep Learning JP
 
PDF
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
byAkisato Kimura
 
グラフデータ分析 入門編
by順也 山口
 
三次元表現まとめ（深層学習を中心に）
byTomohiro Motoda
 
[DL輪読会]MetaFormer is Actually What You Need for Vision
byDeep Learning JP
 
2018/12/28 LiDARで取得した道路上点群に対するsemantic segmentation
byTakuya Minagawa
 
[DL輪読会]Human Pose Estimation @ ECCV2018
byDeep Learning JP
 
確率モデルを用いた3D点群レジストレーション
byKenta Tanaka
 
Learning Spatial Common Sense with Geometry-Aware Recurrent Networks
byKento Doi
 
Deformable Part Modelとその発展
byTakao Yamanaka
 
SakataMoriLab GNN勉強会第一回資料
byttt_miura
 
Miyazaki microoptics2013
byDaisuke Miyazaki
 
Point net
byFujimoto Keisuke
 
点群深層学習 Meta-study
byNaoya Chiba
 
[DL輪読会]3D Human Pose Estimation @ CVPR’19 / ICCV’19
byDeep Learning JP
 
[DL輪読会]BANMo: Building Animatable 3D Neural Models from Many Casual Videos
byDeep Learning JP
 
Graph Attention Network
byTakahiro Kubo
 
SuperGlue; Learning Feature Matching with Graph Neural Networks (CVPR'20)
byYusuke Uchida
 
【CVPR 2020 メタサーベイ】3D From a Single Image and Shape-From-X
bycvpaper. challenge
 
深層生成モデルと世界モデル， 深層生成モデルライブラリPixyzについて
byMasahiro Suzuki
 
[DL輪読会]相互情報量最大化による表現学習
byDeep Learning JP
 
CVPR2016 reading - 特徴量学習とクロスモーダル転移について
byAkisato Kimura
 

Similar to HoloGAN: Unsupervised Learning of 3D Representations from Natural Images

PDF
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
byDaiki Shimada
 
PPTX
20190831 3 d_inaba_final
byDaikiInaba
 
PDF
敵対的生成ネットワーク（GAN）
bycvpaper. challenge
 
PPTX
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
byDeep Learning JP
 
PDF
【CVPR 2020 メタサーベイ】Neural Generative Models
bycvpaper. challenge
 
PPTX
[DL輪読会]GQNと関連研究，世界モデルとの関係について
byDeep Learning JP
 
PDF
先端技術とメディア表現　第4回レポートまとめ
byDigital Nature Group
 
PPTX
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...
byKento Doi
 
PDF
第1回NIPS読み会・関西発表資料 篠崎
byshinozaki_takashi
 
PDF
第1回NIPS読み会・関西発表資料
byTakashi Shinozaki
 
PDF
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
byKoichi Hamada
 
PPTX
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
byDeep Learning JP
 
PPTX
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
PDF
Dl hacks paperreading_20150527
byMakoto Kawano
 
PDF
文献紹介：BlockGAN: Learning 3D Object-aware Scene Representations from Unlabelled...
byToru Tamaki
 
PDF
[DL輪読会]EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks
byDeep Learning JP
 
PDF
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
byDeep Learning JP
 
PPTX
CartoonGAN@名古屋CV・PRML勉強会 2018-06-23
byenoken
 
PDF
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
byKoichi Hamada
 
PDF
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
bycvpaper. challenge
 
Adversarial Networks の画像生成に迫る @WBAFLカジュアルトーク#3
byDaiki Shimada
 
20190831 3 d_inaba_final
byDaikiInaba
 
敵対的生成ネットワーク（GAN）
bycvpaper. challenge
 
[DL輪読会]GENESIS: Generative Scene Inference and Sampling with Object-Centric L...
byDeep Learning JP
 
【CVPR 2020 メタサーベイ】Neural Generative Models
bycvpaper. challenge
 
[DL輪読会]GQNと関連研究，世界モデルとの関係について
byDeep Learning JP
 
先端技術とメディア表現　第4回レポートまとめ
byDigital Nature Group
 
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent R...
byKento Doi
 
第1回NIPS読み会・関西発表資料 篠崎
byshinozaki_takashi
 
第1回NIPS読み会・関西発表資料
byTakashi Shinozaki
 
Generative Adversarial Networks (GAN) の学習方法進展・画像生成・教師なし画像変換
byKoichi Hamada
 
[DL輪読会] MoCoGAN: Decomposing Motion and Content for Video Generation
byDeep Learning JP
 
Image net classification　with Deep Convolutional Neural Networks
byShingo Horiuchi
 
Dl hacks paperreading_20150527
byMakoto Kawano
 
文献紹介：BlockGAN: Learning 3D Object-aware Scene Representations from Unlabelled...
byToru Tamaki
 
[DL輪読会]EG3D: Efficient Geometry-aware 3D Generative Adversarial Networks
byDeep Learning JP
 
【DL輪読会】StyleGAN-T: Unlocking the Power of GANs for Fast Large-Scale Text-to-I...
byDeep Learning JP
 
CartoonGAN@名古屋CV・PRML勉強会 2018-06-23
byenoken
 
Laplacian Pyramid of Generative Adversarial Networks (LAPGAN) - NIPS2015読み会 #...
byKoichi Hamada
 
これからのコンピュータビジョン技術 - cvpaper.challenge in PRMU Grand Challenge 2016 (PRMU研究会 2...
bycvpaper. challenge
 

More from Kento Doi

PPTX
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
byKento Doi
 
PPTX
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
byKento Doi
 
PDF
Few-Shot Unsupervised Image-to-Image Translation
byKento Doi
 
PDF
20190406_nlp/cv_勉強会
byKento Doi
 
PDF
Semi-convolutional Operators for Instance Segmentation
byKento Doi
 
PDF
Style-GAN
byKento Doi
 
PDF
カメラキャリブレーション
byKento Doi
 
PDF
CVPR2018読み会_20180701
byKento Doi
 
PDF
“Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018) 他
byKento Doi
 
Unsupervised Learning of Probably Symmetric Deformable 3D Objects from Images...
byKento Doi
 
[解説スライド] NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis
byKento Doi
 
Few-Shot Unsupervised Image-to-Image Translation
byKento Doi
 
20190406_nlp/cv_勉強会
byKento Doi
 
Semi-convolutional Operators for Instance Segmentation
byKento Doi
 
Style-GAN
byKento Doi
 
カメラキャリブレーション
byKento Doi
 
CVPR2018読み会_20180701
byKento Doi
 
“Domain Adaptive Faster R-CNN for Object Detection in theWild (CVPR 2018) 他
byKento Doi
 

HoloGAN: Unsupervised Learning of 3D Representations from Natural Images

  • 1.
    HoloGAN: Unsupervised Learningof 3D Representations from Natural Images 2019/06/02
  • 2.
    目次 • 書誌情報・論文概要 • 研究背景・目的 •先行研究 • 提案手法 • 実験 • まとめ
  • 3.
  • 4.
    書誌情報 • 著者 :Thu Nguyen-Phuocさん • PhD student at the University of Bath • machine learning, 3D vision and computer graphics • ICCV 2019 accepted • 選んだ理由 • 物体の三次元的な形状を考慮した画像生成は重要な技術 (と思った) • 結果の画像がすごい • スライドの画像は断りがなければ本論文からの引用
  • 5.
    論文概要 • 自然画像から教師なし学習で三次元表現 (3Drepresentation)を獲得する 手法の提案 • 3Dモデリングの知識をモデルに組み込んだ • ボクセルを生成→剛体変換→2D画像にレンダリング • オブジェクトの姿勢と属性を分離することが可能 • つまり, 画像生成の際に姿勢のみを操作することができる • 次ページの画像参照 ※特に引用元の記載がない画像は, 本論文からの引用
  • 7.
  • 8.
    研究背景① : GANs •できること • 高精細画像生成 (SAGAN, PGGAN, BigGAN, StyleGANなど) • 画像変換, 画像編集, motion transfer など • 苦手なこと • (conditionalでない) GANで特定の属性を陽に制御すること • cGANでも, ラベルつきのデータを集めるのは大変 T. Karras et al. “A Style- Based Generator Architecture for Generative Adversarial Networks”, CVPR, 2019. C. Chan, S. Ginosar, T. Zhou, and A. A. Efros. Everybody dance now. arXiv:1808.07371, 2018. 画像生成 motion transfer
  • 9.
    研究背景② : 三次元構造を理解した画像生成 •ラベルを与えられても物体の三次元構造を理解した画像生成は難しい • ex) 単一画像から新規視点の画像の生成 • out-of-plane rotation が苦手 • 最近の手法では大量のラベルデータがないと綺麗に生成ができない • 3Dデータを用いる方法もあるが, データ収集のコストがさらに高い 画像 out of plane rotation画像+ラベル A. Dosovitskiy, J. Springenberg, M. Tatarchenko, and T. Brox. Learning to generate chairs, tables and cars with convolutional networks. IEEE Transactions on Pattern Analysis andMachine Intelligence, 39(4):692–705, 2017. 三次元データを用いた学習 J.-Y. Zhu, Z. Zhang, C. Zhang, J. Wu, A. Torralba, J. Tenenbaum, and B. Freeman. “Visual object networks: Image generation with disentangled 3D representations”. In NeurIPS, pages 118–129, 2018.
  • 10.
    研究のモチベーション • 教師なしで三次元表現を獲得するネットワーク構造の設計 • これにより,視点・形状・外観を操作できる • 三次元空間についての帰納バイアスを深層生成モデルに導入 本研究では, 下のような順で処理を行うことにより実現 1. 三次元空間でデータを生成 2. 剛体変換 3. 二次元平面に投影 4. 最終的な画像を生成
  • 11.
    三次元データの表現方法 explicitな三次元表現 • ボクセル, メッシュなど 剛体変換などの操作が容易 × メモリを効率悪い × 離散化の方法が非自明 implicitな三次元表現 • 潜在表現ベクトルなど  空間的にコンパクト  表現力が高い × 陽な変換が難しい HoloGAN • 提案手法  明示的な変換ができる  表現力も高い  画像のみから学習可能 H. Kato et al. “Neural 3D Mesh Renderer“, CVPR, 2018. [YouTube] Generative Query Networks
  • 12.
  • 13.
    先行研究 : GANs •GANsはノイズからrealisticなデータへの変換を学習する • 近年のGANのネットワーク構造に関する研究は, 学習の安定性や高精細画 像の生成に注力している • 教師なしで特徴量の分離を学習するための, ネットワーク構造の研究は限 られる 1. StyleGAN (2018) 2. On self modulation for generative adversarial networks (2019) 損失関数の設計よりもネットワーク構造の方が重要だということを示唆
  • 14.
    先行研究 : GANs •StyleGAN (arXiv 2018) • ランダムノイズを特徴マップのスケール, バ イアス項として入力 • Progressive GANを越えて, 超高精細な画像 の生成に成功 • 異なる深さのノイズが異なる特徴を担当 (disentangle) T. Karras et al. “A Style-Based Generator Architecture for Generative Adversarial Networks”, arXiv, 2018.
  • 15.
    先行研究 : 3Dを考慮した画像生成 •3Dから2Dへレンダリングする機構 (RenderNet T. H. Nguyen-Phuoc et al. 2019) × 学習データに3Dデータが必要 • 新しい視点の画像を生成するための三次元の埋め込み表現を獲得する手法 (Rhodin et al. 2018, Sitzmann et al. 2018) × 入力に複数視点の画像が必要 (Sitzmann et al.) × 背景のマスクとオブジェクトの姿勢という教師データが必要 (Rhodin et al.) • 幾何的な情報とテクスチャの情報を分離する手法 (J.-Y. Zhu et al. 2018) • (1) 3Dオブジェクトを生成, (2) 法線, デプス, シルエットにレンダリング, (3) 画像変換 ネットワークにより, 2D画像に変換 × 学習に3Dデータが必要 × 単一オブジェクトかつ背景が白いデータしか扱えない
  • 16.
    先行研究 : 3Dを考慮した画像生成 •HoloGANに近いのはRajeswarらの研究 (Pix2Scene) • Pix2Scene • 教師なしでimplicitな3D表現を学習 × 特徴表現がimplicit • HoloGANはexplicitな表現を使っている × 単純な人工データでしか学習できない S. Rajeswar, F. Mannan, F. Golemo, D. Vazquez, D. Nowrouzezahrai, and A. Courville. “Pix2Scene: Learning implicit 3D representations from images”. 2019.
  • 17.
    先行研究 : 特徴表現のdisentangle •中間表現を生成画像の一つの要素に対応するように分離する • 多くの手法は教師ありの枠組みで学習 • ex) GQNでは, 他視点の画像を教師としている • 教師なしの方法はβ-VAEとInfoGANが代表的 • どちらも損失関数の設計がcontribution × priorの選定に敏感 × どの要素を学習するか制御できない × 分離された要素が意味を持つ保証もない × 生成画像の質と分離具合にトレードオフ (β-VAE) × 複雑なデータセットでは学習が難しい
  • 18.
  • 19.
    提案手法 • アーキテクチャは以下のような処理を行うように設計されている 1. 3D-CNNで三次元表現を生成 2.カメラ姿勢をもとに変換を行う • カメラ姿勢は一様分布からランダムにサンプル • 剛体変換 (平行移動&回転) を行う 3. 2Dに投影 4. 2D-CNNで画像を生成
  • 20.
    提案手法: 三次元表現の獲得 • HoloGANにおいて, •三次元表現は定数テンソルから生成される • “style”はノイズベクトルzによって担われる • ノイズベクトルzの入力はStyleGANの知見を活用 • MLPに通した後, 特徴マップのスケール, バイアスとして入力 • 入力の深さにより異なるレベルのディティールを制御していることが実験的にわ かっている
  • 21.
    提案手法: 視点に依存した生成の学習 • 3Dfeatureに3D convを適用 • 加えて, 2D画像に投影する前にカメラ姿勢 (ランダム) による変換を行う • HoloGANが三次元表現表現を学習していることを保証する大事な操作 • DR-GANでも同様の操作をしているがexplicitな変換ではない (pose codeをベクトル としてNNの入力としている) この三次元表現は… • styleと分離されている • あらゆる視点からレンダリング可能
  • 22.
    提案手法: 視点に依存した生成の学習 (Rigid- bodytransformation) • 仮想的なピンホールカメラを想定 • ランダムなパラメータで剛体変換 • ランダムなθで3D featureを回転 • 平行移動は今回はしなかった • 詳細はsupplemental document… ここ
  • 23.
    提案手法: 視点に依存した生成の学習 (Projection Unit) •HoloGANは微分可能な投影機構 (projection unit) を持つ • 3Dから2Dへの投影 (4Dテンソルを3Dテンソルに変換する) • 学習データは異なる透視画法でキャプチャされているので, 透視投影を学習する必要がある • カメラパラメータは得られないので, 代わりに3D convを用いて三次元表現をperspective frustumに 変換 (projection unitの前の3D Convモジュール) • projection unitは, reshaping layer, MLP, 活性化関数から構成される • 詳細は補助資料参照… ここ
  • 24.
    提案手法: ロス関数 1. GANのロス 2.Identity regularizer • 生成した画像からzが復元できるような制約を入れる • zの違いが生成画像に現れるようにする 3. Style discriminator • discriminatorの中間層のfeatureも判別不能にするロス • それぞれの深さのfeatureが異なる因子を制御しているので全て揃える働き (本当か?) • 学習が安定しそうな感じがある
  • 25.
  • 26.
    実験 • データセット • 顔(人間, 猫), 椅子, 車, ベッドルーム • 椅子のデータセットはCGからレンダリングした画像を用いる • 実装 • Generator : Adaptive Instance Normalization (AdaIN) • Discriminator : instance normalization & spectral normalization • 詳細は論文・補助資料参照
  • 27.
  • 28.
    結果: 質的評価 (InfoGANとの比較) •InfoGANは潜在表現と生成画像の相互情報量を最大化する手法 • HoloGANの方が上手に姿勢を変化させることができている (左) • HoloGANはelevation方向の回転も再現できている (右)
  • 29.
    結果: 量的評価 • KIDscoreによる評価 • 画像の「質」に関する指標, 元のデータセットとの分布の近さを表す • c.f.) FID score • そこらのGANよりは綺麗な画像を生成する • 特徴の分離と生成画像の質の両方を達成していてすごい！
  • 30.
    結果: Deep 3Drepresentation vs. 3D geometry • visual object networks (VON) との比較 • 車画像の生成のsota • 3D shape (voxel) を生成し, 2Dに投影 (depth, silhouette) • その後テクスチャを与え画像に変換 • 3D変換はimplicit J.-Y. Zhu, Z. Zhang, C. Zhang, J. Wu, A. Torralba, J. Tenenbaum, and B. Freeman. “Visual object networks: Image generation with disentangled 3D representations”. In NeurIPS, pages 118–129, 2018.
  • 31.
    結果: Deep 3Drepresentation vs. 3D geometry • VON • 背景がない画像を生成 • 苦手な角度がある • HoloGAN • 背景あり • 滑らかな角度変化 • elevation方向の回転にも対応
  • 32.
  • 33.
  • 34.
    結果: ノイズの入れ方 • 提案手法はノイズを特徴マップのスケール,バイアスとして入力 古典的なGANと同じようにしたらどうなるか 生成に失敗する (disentangleがうまくいかない) ここに 入れる
  • 35.
  • 36.
    まとめ • 姿勢とidentityを分離して学習する手法の提案 • 三次元幾何を考慮したアーキテクチャの導入により実現 •2DベースのGANと同等に高精細な画像を生成 • 実験においては, 意味のある三次元表現をちゃんと学習できた • 感想 • 関連研究が参考になる • 幾何的な知識を明示的に取り込む方法は発展しそう
  • 37.
    参考文献 • T. Phuocet al. “HoloGAN: Unsupervised learning of 3D representations from natural images”, arXiv, 2019. (project page: https://www.monkeyoverflow.com/#/hologan-unsupervised- learning-of-3d-representations-from-natural-images/) • T. Karras et al. “A Style-Based Generator Architecture for Generative Adversarial Networks”, CVPR, 2019. • C. Chan, S. Ginosar, T. Zhou, and A. A. Efros. Everybody dance now. arXiv:1808.07371, 2018. • A. Dosovitskiy, J. Springenberg, M. Tatarchenko, and T. Brox. Learning to generate chairs, tables and cars with convolutional networks. IEEE Transactions on Pattern Analysis andMachine Intelligence, 39(4):692–705, 2017. • J.-Y. Zhu, Z. Zhang, C. Zhang, J. Wu, A. Torralba, J. Tenenbaum, and B. Freeman. “Visual object networks: Image generation with disentangled 3D representations”. In NeurIPS, pages 118–129, 2018.
  • 38.
    参考文献 • H. Katoet al. “Neural 3D Mesh Renderer“, CVPR, 2018. • S. M. A. Eslami, D. Jimenez Rezende, F. Besse, F. Viola, A. S. Mor- cos,M. Garnelo, A. Ruderman, A. A. Rusu, I. Danihelka, K. Gregor, D. P. Reichert, L. Buesing, T. Weber, O. Vinyals, D. Rosenbaum, N. Rabinowitz, H. King, C. Hillier, M. Botvinick, D. Wierstra, K. Kavukcuoglu, and D. Hassabis. Neural scene representation and rendering. Science, 360(6394):1204–1210, 2018. • T. Karras et al. “A Style-Based Generator Architecture for Generative Adversarial Networks”, CVPR, 2019. • T. Chen et al. “On Self Modulation for Generative Adversarial Networks”, ICLR, 2019. • T. Phuoc et al. “RenderNet: A deep convolutional network for differentiable rendering from 3D shapes”, NeurIPS, 2018. • H. Rhodin, M. Salzmann, and P. Fua. “Unsupervised geometry-aware representation for 3D human pose estimation”. In ECCV, 2018
  • 39.
    参考文献 • V. Sitzmann,J. Thies, F. Heide, M. Nießner, G. Wetzstein, and M. Zollhöfer. “DeepVoxels: Learning persistent 3D feature embeddings”. arXiv:1812.01024, 2018. • S. Rajeswar, F. Mannan, F. Golemo, D. Vazquez, D. Nowrouzezahrai, and A. Courville. “Pix2Scene: Learning implicit 3D representations from images”. 2019. • I. Higgins, L. Matthey, A. Pal, C. Burgess, X. Glorot, M. Botvinick, S. Mohamed, and A. Lerchner. β-VAE: Learning basic visual concepts with a constrained variational framework. In ICLR, 2017. • X. Chen, Y. Duan, R. Houthooft, J. Schulman, I. Sutskever, and P. Abbeel. InfoGAN: Interpretable representation learning by information maximizing generative adversarial nets. In NIPS, pages 2172–2180, 2016. • L. Tran et al. Disentangled Representation Learning GAN for Pose-Invariant Face Recognition. CVPR 2017.