Recommended
More Related Content
What's hot
What's hot (20)
Recently uploaded
Recently uploaded (8)
ICML2016読み会 Generative Adversarial Text to Image Synthesis
- 2. 自己紹介 • 廣芝和之 • ドワンゴ新卒 • 大阪大学：大澤研究室 – ネコの脳の視覚野を研究 • 奈良先端大学院：塩坂研究室 – マウスの脳の海馬を研究 @hiho_karuta 2
- 4. 背景：文章から画像生成する過去手法 • 文章から、鮮明な画像を生成す ることは難しい • GANは鮮明な画像を生成できる • GANを応用して文章からより鮮 明な画像を生成する 4 Elman Mansimov et al., ICLR 2016.
- 7. 紹介する論文の貢献 • 文章から鮮明な画像を生成する手法を提案 • 文章以外の情報の表現を吸収する手法を提案 • 性能を向上する手法を2種類提案 • 文章以外の情報を転写する手法を提案 7
- 8. 提案手法： テキストから画像を生成するアーキテクチャ 8 入力ベクトル 生成器 生成画像 判別器 生成画像 本物画像 本物 or NOT
- 10. 課題：文章に無関係な画像が生成される？ • 従来のGANの判別器 画像が本物か生成されたものか判別する – Ｄ（本物画像） → ○ – Ｄ（生成画像） → × – 生成器は本物に近い画像を生成するように学習する • 今回のGANに従来の判別器を用いた場合･･･ – 文章の情報を用いない – 生成器は文章内容に関係のない画像を生成するように学習する 10
- 11. 提案手法：マッチング判別器 • マッチング判別器を提案 画像とテキストの組み合わせが正しいかを判別する – Ｄ（本物画像、正しい文章） → ○ – Ｄ（生成画像、正しい文章） → × – Ｄ（本物画像、間違った文章） → × – 生成器は文章にマッチする画像の生成を学習する 11
- 13. 提案手法：補間データも学習に使用 • embeddingsの補間データの表象はデータ多様体に近い傾向 がある（Bengio et al., 2013; Reed et al., 2014） • 訓練テキストデータembeddingsの補間データも訓練に利用 – Gの目的関数を下式に変更 Gに入力する テキストembedding （β=0.5で十分な成果） テキストembedding 13
- 14. 実験手法 • テキストと画像のデータセットを用いて提案した ネットワークをトレーニング • テキストを入力して画像を生成する • ２種類の学習テクニックを組み合わせて性能を比較 – マッチング判別器 – 補間データ使用 14
- 15. 実験：パラメータなど • 画像：64×64×3次元 • テキストエンコーダ – char-CNN-RNN：出力は1024次元 – 全結合+Leaky ReLU、出力は128次元 • ノイズz：100次元 • normal deconvolu&onal network • stride-2 convolu&on+バッチ正規化 15
- 16. 実験：画像とテキストのデータセット • CUB – 200種類のカテゴリ – 11788の鳥画像 • Oxford-102 – 102のカテゴリ – 8189の花画像 各画像に対して5つの説明テキスト （著者らが付けた？） this bird has wings that are black and has a yellow crown 013.Bobolink 16
- 18. 実験：テキストembeddingを補間して画像生成 • ２つのテキストから ２つのembeddingを得る • テキストembedding（右図青）の 補間を入力して画像を生成する • なめらかに画像が変化した • つまりテキストembeddingは連続 した空間に埋め込まれている 18
- 19. 課題：文章に含まれない画像情報（スタイル） • 文章に含まれる画像情報 – 黒い羽で黄色い頭頂の鳥 • 文章に含まれない画像情報 – 背景が緑、左を向いている、など – 著者らはスタイルと呼んでいる • 入力ベクトルのうち、 – 文章情報はテキストembedding – スタイル情報はｚが獲得する this bird has wings that are black and has a yellow crown 19
- 21. 提案手法：画像からスタイルを抽出 • スタイルｚと画像のデータセットが必要 – ランダムなスタイルｚとテキストφ(t)から画像を生成してデータセットを用意 • 生成した画像からｚに写像するスタイルエンコーダＳを学習（損失関数は下式） • Ｓは2層の全結合ネットワーク スタイルｚ テキストφ(t) 画像 生成器Ｇ スタイルエンコーダＳ 21
- 23. スタイルを補間して画像生成 • ２つのスタイルを選ぶ • テキストは固定、スタイルの 補間を入力して画像を生成する • なめらかにスタイルが変化した • つまりスタイルは連続した空間に 埋め込まれている 23
- 24. 触ってみた • 著者らの実装がGithubにある – hTps://github.com/reedscot/icml2016 – 言語：Lua – 機械学習フレームワーク：Torch – トレーニング済みネットワークが配布されている 24
- 25. データセットにないテキストを入力した時 • 目的 – 生成される画像が構造を持つのか確認したい • 方法、結果 – テキスト：the completely red cat • 考察 – 猫は鳥だった？ – 猫は知らない単語として、似たテキストの学習時の画像を参考に出力された？ 25
- 26. 実際にいない鳥を入力した時 • 目的 – 論文の入力テキストは該当する鳥がデータセットにある – 実在する鳥のパーツを組み合わせることはできるか確認したい • 方法、結果 – テキスト：the blue bird with green wings • 考察 – パーツを組み合わせる能力は無い？ 26 green wings
- 27. 発表のまとめ • GANのアーキテクチャから発展させ、 文章から画像を生成するアーキテクチャを考案した – 性能を向上する手法も2種類提案 • 補間テキストembedingsも用いると性能が向上 – 文章以外の情報（スタイル）を転写する手法も提案 • 追試を行った – パーツごとに指定すると想定した画像は生成されなかった 27
- 33. 実験：スタイルエンコーダＳの性能評価 • 目的：スタイルエンコーダＳで抽出したスタイルが筆者らの想定したスタイル（背 景など）と相関があるか調べたい • 全画像N枚の背景画素値を求める – 画像内のピクセル値の平均RGB • 求めた背景画素値でk-meansを用いて全画像を100クラスに分類 • 全画像N枚からスタイルエンコーダを用いてスタイルｚを抽出 • 各画像のスタイルのコサイン類似度を計算 • ROC曲線を描いて評価 33