3. 解きたいタスク: 言語モデル
3
John wanted to go to the coffee shop in downtown Copenhagen.
He was told that it sold [xxx] in the whole [xxx]
「xxx」に入る単語列は何か?
4. 解きたいタスク: 言語モデル
• ①参照表現間の共参照関係を把握する
• He=Johnであり,it=the coffee shopである
• ②参照表現の情報を保持する
• the coffee shopだから豆とかコーヒーかな…
• Copenhagenだからヨーロッパとかかな… 4
John wanted to go to the coffee shop in downtown Copenhagen.
He was told that it sold [xxx] in the whole [xxx]
「xxx」に入る単語列は何か?
単語列を予測するために必要なことは?
5. アイデア: 単語予測と同時に
共参照解析をする - EntityNLM
5
①参照表現間の共参照関係を把握する
②各参照表現についての情報を保持する
⇛次の単語を予測する際,その単語の共参照関係を同時に予測する
⇛参照表現ごとに専用の分散表現を生成・動的に更新
h1
John
wanted
h2
wanted
to
h3
to
go
ht-1
.
John
The coffee shop
Downtown Copenhagen
John
The coffee shop
Downtown Copenhagen
参照表現ベクトル
サンプリング
文脈に応じて
更新
正規分布
Inputが何で,何を当てたいのか?
INPUT: f(John wanted to go to the coffee shop in downtown Copenhagen. He was told that it sold )
ここに何が入るかを当てたい,つまり言語モデルです
CorefにおけるEntity Mentionのこと
Entityの定義を最初に言う
CONLL2012のアノテーションガイドラインor 井上尚弥
最終的な目標: より良い言語モデル
Inputが何で,何を当てたいのか?
INPUT: f(John wanted to go to the coffee shop in downtown Copenhagen. He was told that it sold )
ここに何が入るかを当てたい,つまり言語モデルです
CorefにおけるEntity Mentionのこと
Entityの定義を最初に言う
CONLL2012のアノテーションガイドラインor 井上尚弥
最終的な目標: より良い言語モデル