16. 実験:画像とテキストのデータセット
• CUB
– 200種類のカテゴリ
– 11788の鳥画像
• Oxford-102
– 102のカテゴリ
– 8189の花画像
各画像に対して5つの説明テキスト
(著者らが付けた?)
this bird has wings
that are black and
has a yellow crown
013.Bobolink
16
19. 課題:文章に含まれない画像情報(スタイル)
• 文章に含まれる画像情報
– 黒い羽で黄色い頭頂の鳥
• 文章に含まれない画像情報
– 背景が緑、左を向いている、など
– 著者らはスタイルと呼んでいる
• 入力ベクトルのうち、
– 文章情報はテキストembedding
– スタイル情報はzが獲得する
this bird has wings
that are black and
has a yellow crown
19