Neural Joking Machine: Humorous Image Captioning (CVPR 2018 完全読破チャレンジ報告会)1. 吉⽥ 光太 和仁 憲⼀郎[TDU] 美濃⼝ 宗尊[TDU/AIST]
中村 明⽣[TDU] ⽚岡 裕雄[AIST]
−Humorous Image Captioning−
CVPR 2018 完全読破チャレンジ報告会
cvpaper.challenge 勉強会@Wantedly⽩⾦台オフィス
/ . . / . / /
7. 関連研究(1/2)
Recurrent Neural Network (RNN)の精度向上[3]
Convolutional Neural Network (CNN)で画像特徴
を取得し,RNNによって画像説明⽂の⽣成[4]
7
[3] Yann LeCun, Yoshua Bengio, Geoffrey Hinton, “Deep Learning” Nature 521 (7553):436-44, 2015.
[4] Oriol Vinyals, Alexander Toshev, Samy Bengio, Dumitru Erhan,
“Show and Tell: A Neural Image Caption Generator”, CVPR, 2015
8. 関連研究(2/2)
「meme」のキャプション⽣成
⼿法
・「meme」から,ラベル,画像,
キャプションをクローリング
・inseption v3による画像の特徴抽出
・ラベルのベクトル,画像の特徴を連結
・LSTMに⼊⼒し,⽂章⽣成
8
[3] Yann LeCun, Yoshua Bengio, Geoffrey Hinton, “Deep Learning” Nature 521 (7553):436-44, 2015.
[4] Oriol Vinyals, Alexander Toshev, Samy Bengio, Dumitru Erhan,
“Show and Tell: A Neural Image Caption Generator”, CVPR, 2015
⼈間ののような「meme」を⽣成
11. BoketeDBとMS COCOとの⽐較
Hot on the
internet !!・MS COCO[5]
ü Microsoftが提供するデータセット
ü80のオブジェクトカテゴリ
üオブジェクトセグメンテーション
ü16万枚の画像に対して5キャプション
11
BoketeDBはMS COCOの...
画像 : 約50 %
キャプション: 約120 %
20. 実験
Hot on the
internet !!
・⽐較対象
ü⼈間が投稿した最も評価の⾼いボケ (Human)
üNeural Joking Machineによるボケ (NJM)
üMS COCO Pre-trained CNN+LSTM
による ⽇本語キャプション[6]のボケ (STAIR Caption)
・実験内容
ü30のお題に対するHuman, NJM, STAIR Captionを
「おもしろい順」にソート
üそれぞれがどのボケであるかは明かさない
ü他の被験者と相談しない
20
27. 実験結果
・被験者: 16名
・結果
27
ボケ⽅法 1位[%] 2位 [%] 3位 [%]
Human 66.8 25.6 9.4
NJM 22.6 60.0 17.4
STAIR Caption 9.4 17.4 73.2
NJMによるボケは,Humanよりはおもしろくない.
STAIR Captionよりはおもしろい!
28. 投稿してみた・・・
Hot on the
internet !!
・実際に「ボケて」に投稿して他のユーザがつけた
星の数を確認
28
「ボケて」ユーザからもSTAIR Captionよ
りもおもしろい!と評価
STAIR Caption ・・・ ave. ☆1.71 個/お題
NJM ・・・ ave. ☆3.22 個/お題
29. 投稿してみた・・・(番外編)
Hot on the
internet !!
・実際に「ボケて」に投稿して他のユーザがつけた
星の数を確認
29
STAIR Caption ・・・ ave. ☆1.71 個/お題
NJM ・・・ ave. ☆3.22 個/お題
「ボケて」ユーザからもSTAIR Captionよ
りもおもしろい!と評価(吉⽥よりも?)
吉⽥ (私) ・・・ ave. ☆1.07 個/お題