Bokeru.AI

1. ボケる.AI
(Bokeru.AI)
＊画像はhttp://bokete.jp/から
--The world’s first (?) Japanese image Tsukomi captioning
Challenge 3 Emotion AI

2. ボケて(bokete)は何?
「写真に一言ボケる」というwebサービス http://bokete.jp/
(One funny sentence for one image )
ビンゴ大会の景品がドライヤーだった...
＊画像はhttp://bokete.jp/から
Image
Tsukomi
(image caption)
Example
popular
(The prize of the bingo tournament was a dryer ...)

3. 人のセンスを超えるツッコミ,AIから生まれる可能性？
Bokeru.AI
(Image Captioning Tsukomi Version)
=
画像や動画にツッコミを自動生成する！
＊画像はhttp://bokete.jp/から
(Automatically generate Tsukomi sentence!)
Beyond human comedy sense AI ?

4. DEMO

5. One Shot Tsukomi Function：
Input one Image Bokeru.AI Tsukomi Generation
自分でもいい感じ
なあなあ、もう一軒行こうや
Ours
Ground Truth
(Feel better alone)

6. Bokest Aware from Video Function：
Input video
Bokeru.AI
Find Bokest scene
&
Generate Tuskomi
The bokest scene is decided by the follow factors:
Emotion, predicted popular level of generated sentence.
私のおにぎり・カレー
The predicted bokest scene
(This is my rice ball and curry)
Ours

7. About Bokeru.AI
Emotion
Detection
Conv1
LSTM
Inputimageorvideo
Conv2 Conv3
Emotion
feature
Image
feature
Convolutional Neural Network
Microsoft Emotion API
Recurrent Neural Network
pool1 pool2 pool3
LSTM
LSTM
LSTM
LSTM
LSTM
LSTM
LSTM
私
は
エイアイ
ハッカ
We collected near 100,000 online
image & tsukomi pairs to train our model!

8. Thank You !
Team Bokeru:
wenpeng wei (wenpeng.wei.bo@hitachi.com)
quan kong (quan.kong.xz@hitachi.com)