Nextremer機械学習勉強会 10/1開催 古川 自然言語処理システムに想像力を与える試み

1. Nextremer Inc.
⾃自然⾔言語処理理システムに
想像⼒力力を与える試み
株式会社 古川

2. Nextremer Inc.
⽬目次
・⽂文章から物事を想像するNLPシステム
・⼩小説の意味を想像する試み→難しい
・簡単な内容の⽂文書から物事を学ぶ試み

3. Nextremer Inc.
⽬目次
・⽂文章から物事を想像するNLPシステム
・⼩小説の意味を想像する試み→難しい
・簡単な内容の⽂文書から物事を学ぶ試み

4. Nextremer Inc.
⽂文章から物事を想像するNLP
「成⽥田を出発して、数時間でハワイに着いた.」
から想像できること
・成⽥田空港からハワイの空港まで
・⾶飛⾏行行機で移動した
想像⼒力力がないと
表⾯面的に⾔言葉葉をなぞる
NLPシステムになってしまう

5. Nextremer Inc.
⽂文章から物事を想像するNLPの応⽤用
＜共参照問題＞ “he”が指すものは？
“Mike gave John a gift, so he was happy”
＜⽂文書分類＞
giftをもらうとhappyになるという知識識が必要
今までの⼿手法 (LDA, word2vec, LSTMなど)では
表⾯面的に出現する語句句を扱う→真の意味理理解へ
policy is a deliberate
system of principles to
guide decisions and
achieve rational
outcomes…
sports are all forms of
usually
competitive physical
activity or games
which…
・・・

6. Nextremer Inc.
推論論エンジン
“He left his wallet behind, so he could not buy it”
想像力のあるシステムのヒント
記述されたルールに従って仮説などを導くエンジン
(He, leave, wallet)
(money, be in, wallet)
buyにはmoneyが必要
＜仮説推論論＞
moneyがないから
買えなかった
→この考え⽅方を参考にして、知識識を貯めて使うことを試みる
問題：なぜ、サイフを忘れると買えないのか？
知識識
知識識
知識識

7. Nextremer Inc.
⽬目次
・⽂文章から物事を想像するNLPシステム
・⼩小説の意味を想像する試み→難しい
・簡単な内容の⽂文書から物事を学ぶ試み

8. Nextremer Inc.
⽬目次
・⽂文章から物事を想像するNLPシステム
・⼩小説の意味を想像する試み→難しい
・簡単な内容の⽂文書から物事を学ぶ試み

9. Nextremer Inc.
⼩小説の意味を想像する試み
タスク設定：意味のある⼩小説を書く
The man is walking
on the
確率率率で次の⾔言葉葉を予想 事実を基に⽂文章を作る
bridge
cake
water
60%
20%
10%
…
(man, walk, street)
(man, meet, woman)
the man is walking
on the street
Then, he met a woman
⭕❌
？

10. Nextremer Inc.
知識識ベースの利利⽤用
オープンな記述フレームワークはあっても知識識ベースは
ほとんど⾒見見当たらなかったが⼀一部存在する
opencyc 1984年年から⼈人⼿手で作り続けられている
知識識ベースのオープンにされた⼀一部
wordnet 類義語・上位語・下位語などが
収められている知識識ベース
例例：電⾞車車
⽬目的：⼈人間にとって当たり前の常識識知識識の獲得
→⾞車車輪輪がある
→エンジンがある
→駅に⽌止まる

11. Nextremer Inc.
“Unsupervised Learning of Narrative Event Chains”
スクリプト知識識
⽂文書から「主⼈人公」の
⾏行行動を読み取り
Event Chainを作る
＜どうやって？＝共参照＞
John went to the park,
then he drunk water.
go drink
(Nathanael Chambers and Dan
Jurafsky 2008)

12. Nextremer Inc.
スクリプト知識識抽出の問題
＜動詞だけだと内容がわからない＞
参考：「共参照解析のための事象間関係知識識の⽂文脈化」(井之上 直也 杉浦 純 乾 健太郎郎 2014)
I get, I have, I walk …
→係り受け解析して⽬目的語、補語なども抽出
＜⽬目的語、補語があっても内容がわからない＞
They soon know that they will grow
up, and the way Wendy knew was this.
One day when she was two years old
she was playing in a garden…
['they', 'know', 'soon', 'grow', ʻ‘know']
['they', 'grow', 'will', ʻ‘up']
['wendy', 'know', ʻ‘this']
['she', 'old', 'when', 'be', 'year']
＜省省略略されている背景知識識を⽂文章から学べない＞
They were eating only a loaf of bread without butter.
お⾦金金がない ＝ 貧乏

13. Nextremer Inc.
⽬目次
・⽂文章から物事を想像するNLPシステム
・⼩小説の意味を想像する試み→難しい
・簡単な内容の⽂文書から物事を学ぶ試み

14. Nextremer Inc.
⽬目次
・⽂文章から物事を想像するNLPシステム
・⼩小説の意味を想像する試み→難しい
・簡単な内容の⽂文書から物事を学ぶ試み

15. Nextremer Inc.
簡単な内容の⽂文書から物事を学ぶ
InScript Corpus …丁寧に物語が記述されている
Event chainのラベル付き
＜スクリプト知識識を抽出ルール＞
1. 名詞の主語と動詞を⾒見見つける
“After playing football with my friends ,
I was all sweaty and dirty ,
so I decide I should take a bath …”
例例：
（10カテゴリー x 約100話収録）
2. 動詞が係り受けしている⾔言葉葉を1語(名詞)抽出
I slice up a few strawberries例例： → 'I', 'slice', 'strawberry'
・InScript: Narrative texts annotated with script information
(Ashutosh Modi, Tatjana Anikina, Simon Ostermann, Manfred Pinkal)

16. Nextremer Inc.
簡単な内容の⽂文書から物事を学ぶ
＜スクリプト知識識からseq2seqで⽂文章⽣生成＞
4 events分=8 wordsを⼊入⼒力力
“dry hand put flour blend whip get bowl”
sequence
to
sequcence
3層のLSTM
attentionあり
1 events分=2 wordsを出⼒力力
“mix chocolate”

17. Nextremer Inc.
スクリプト知識識からseq2seqで⽂文章⽣生成：結果
“decide today preheat oven gather ingredient need egg”
未知のevent
“take ingredient take batter take pan”繰り返し出⼒力力
“ride bike take minute ride bike miss experience”
“take wheel take tire remove tire”
“show agent walk detector gather belongings wait passenger”
“walk line walk ticket wait ticket wait seat take seat see ride”

18. Nextremer Inc.
スクリプト知識識からseq2seqで⽂文章⽣生成：結果
“decide today preheat oven gather ingredient need egg”
未知のevent
“take ingredient take batter take pan”繰り返し出⼒力力
ルールベースのシステムで⽂文章に直すとそこそこ意味が通る
Andrew decided the today.
He preheated his oven and gathered his ingredient.
He needed his egg then took the ingredient.
He took his batter.
He took the pan.

19. Nextremer Inc.
“decide today preheat oven gather ingredient need egg”
“take ingredient take batter take pan take pan take pan …”
＜同じeventしか出⼒力力しなくなる＞
スクリプト知識識からseq2seqで⽂文章⽣生成：課題
＜膨⼤大な同様の知識識を貯めたとして
eventを理理解していると⾔言えるか？＞
・知識識には画像との連携も必要
・上位、下位概念念や関連付けが必要（１対１でなく）
例例：（ボール蹴る、⾛走る、ボール受け取る）
→サッカーという上位概念念

20. Nextremer Inc.
＜カテゴリー分類はある意味、上位概念念の認識識？＞
スクリプト知識識からseq2seqで⽂文章⽣生成：課題
カテゴリー認識識はほぼ100％の精度度で可能
→⼿手で設計した複数の上位・下位概念念の組み合わせによって
事実を把握する⾃自然⾔言語処理理システムの実現？
dry hand put flour blend whip get bowl
want platform show ticket find seat take seat
leave counter go gate walk gate pull magazine
→カテゴリー : CAKE
→カテゴリー : TRAIN
→カテゴリー : LIBRARY

21. Nextremer Inc.
まとめ
・画像を含む⾼高次元データを組み合わせないと
真の⽂文章理理解は難しいと感じた
・⽂文章からの⾃自動知識識獲得では
⽂文章の曖昧性や省省略略された部分を
いかに処理理するかが重要
・簡易易なeventの予測は可能だが
事実関係を理理解しているとは⾔言い難い結果となった

22. Nextremer Inc.
参考⽂文献
・Unsupervised Learning of Narrative Event Chains
(Nathanael Chambers and Dan Jurafsky)
・InScript: Narrative texts annotated with script information
(Ashutosh Modi, Tatjana Anikina, Simon Ostermann, Manfred Pinkal)
・Improving event prediction by representing script participants
(Simon Ahrendt and Vera Demberg)
・Script Induction as Language Modeling
(Rachel Rudinger, Pushpendre Rastogi, Francis Ferraro, and Benjamin Van Durme )
・共参照解析のための事象間関係知識識の⽂文脈化
(井之上 直也, 杉浦 純, 乾 健太郎郎)
・⾔言語処理理のための仮説推論論エンジン Phillip
(⼭山本 ⾵風⼈人 井之上 直也 乾 健太郎郎)
・Reasoning With Neural Tensor Networks for Knowledge Base Completion
(Richard Socher, Danqi Chen, Christopher D. Manning, Andrew Y. Ng)
・“what is opencyc?”
http://agi-‐‑‒conf.org/2009/slides/friday/1_̲reed_̲opencyctutorial.ppt