Explanation of "Lexical Inference over Multi-Word Predicates" written by Omri Abend+

1. Lexical Inference over Multi-Word
Predicates: A Distributional Approach
Omri Abend, Shay B. Cohen, Mark Steedman
ACL 2014
読む人：高瀬翔
知識獲得研究会2015/2/4
1

2. 目的：複合述語の意味解析
• 複合述語：複数の単語からなる述語[Alsina+ 97]
– 複合語の一種
– 様々な言語現象を含む
• 軽動詞（make a decision）
• 句動詞（lead to）
• 慣用句（kick the bucket）
• Goal：（複合）述語間の含意関係認識
– prevent → reduce the incidence of
– increase the cost of → affect the price of
2

3. 複合述語を扱う難しさ
• 複合述語を一語として扱う[Lin+ 01, Berant+ 11]
– 複合述語の項の分布から意味を獲得
• 伝統的な単語の意味獲得と同じ
– 複合述語の意味を直接得られる
• 慣用句，句動詞など全現象を扱える
– データが疎 → 統計情報に不安
• 単語から構成的に意味計算[Mitchell+ 10, Kiela+ 13]
– 統計情報は十分に得られる
– 慣用句（e.g., kick the bucket）に対処できない
3

4. 本研究の取り組み
• 複合述語内の語彙的要素の認識
– 語彙的要素：複合述語の意味を構成する，まとま
りのある単位
– 複合述語を分割可能な単位に分けて意味計算
• likely to give a green light → likely, give a green light
• 含意関係データセットから語彙的要素の認識
を学習
– 語彙的要素に分割，内容的意味の強さで重み付け，
複合述語の意味を推定
– 構成性のある／ない複合述語を包括的に扱える
4

5. 手法の概要
• 含意関係認識を行う際にどの語彙的要素で判断すれば
良いか学習
– devour と eat greedily
• devour と eat の類似性から含意と判定
– lead to と cause
• lead to と cause の類似性から含意と判定
– 教師あり学習
• 語彙的要素対の素性に重み付けして含意／非含意を推定
• 語彙的要素：複合述語を構成する内容語の組み合わせ
– 前置詞も内容語とする
– have a large number of：have, large, have large, …
– 計算時間削減のため，大きさは最大２単語
5

6. モデル
6
L(w | D) =
1
M
logP(y(i)
| p(i)
,w)
i=1
M
å -
l
2
|| w ||2
目的関数
訓練データサイズ
正解（含意／非含意）
値は（1 or -1）
述語対
e.g., prevent と reduce the incidence of
重みベクトル
=
1
M
log exp(wT
F(p(i)
, y(i)
,h))
hÎH(i)
å - logZ(w,i)
æ
è
ç
ö
ø
÷
i=1
M
å
-
l
2
|| w ||2
語彙的要素対の集合
e.g., (prevent, reduce), (prevent, reduce incidence), …
各語彙的要素対の素性

7. モデル
7
L(w | D) =
1
M
logP(y(i)
| p(i)
,w)
i=1
M
å -
l
2
|| w ||2
目的関数
訓練データサイズ
正解（含意／非含意）
述語対
e.g., prevent と reduce the incidence of
重みベクトル
=
1
M
log exp(wT
F(p(i)
, y(i)
,h))
hÎH(i)
å - logZ(w,i)
æ
è
ç
ö
ø
÷
i=1
M
å
-
l
2
|| w ||2
語彙的要素対の集合
e.g., (prevent, reduce), (prevent, reduce incidence), …
各語彙的要素対の素性
述語間の語彙的要素の全組み合わせについ
て
素性を抽出，含意関係の判定

8. 素性
• Revrb[Fader+ 11]の結果から得た統計情報を利用
– 含意／非含意で素性の符号反転
• 素性は大きく分けて２つ
– 語彙的要素対の含意判定のため
• 語彙的要素対の分布類似度
• LDA素性
– 語彙的要素判定のため
• 語彙的要素の単語の性質（本動詞になりやすさ）
• 語彙的要素の単語間の素性（語結合のしやすさ）
8

9. 語彙的要素対の分布類似度
• 語彙的要素対の含意関係の判定のため
– lead to → cause
– 語彙的要素の左側に出現する単語の分布類似度，右側に出現す
る単語の分布類似度の積を用いる
• 類似度は２つ
– コサイン類似度
– BInc（含意関係の判定）[Szpektor+ 08]
• コサイン類似度に項の被覆率を掛けあわせた値
• 語彙的要素のhead（最左の単語）だけも測定
– lead to, cause の場合
• lead to と cause の類似度
• lead と cause の類似度
• 各語彙的要素対に合計 4 種の素性
9
左側の類似度 右側の類似度

10. LDA素性
• 語彙的要素対の含意関係判定のため
– 選択選好をトピックモデルで導入
• 素性は２種類
– 語彙的要素のトピック
– 語彙的要素のトピックのエントロピー
• 語彙的要素の曖昧性をモデル
10

11. 語彙的要素の単語の性質
• 軽動詞や句動詞の推定に貢献
• 語彙的要素の単語毎に下記の素性を抽出
– 単語の出現するときどの品詞が最も多いか
• 動作性名詞の特定
• take a swim の swim は動詞
– 二番目に多い品詞は何か
– 単語の出現頻度
– 述語対に出現しているか（1 or 0）
• likely to come と likely to leave について likely は 1，
come, leave は 0
– 述語内での位置（何番目の内容語か）
11

12. 語彙的要素の単語間の素性
• 単語間の連結度の推定に貢献
– 慣用句や句動詞の推定
• 語彙的要素が２単語のとき下記の素性を抽出
– ２単語の品詞の組み合わせ
– ２単語の出現頻度
• 連接での出現頻度
– ２単語の出現する条件付き確率
• 前の単語→後ろの単語，後ろの単語→前の単語の２種
– ２単語のPMI
12

13. 実験設定
• 素性の統計情報を得るコーパス
– Reverb[Fader+ 11]の結果
– 二項関係の述語と項を列挙したデータ
• 訓練・テストコーパス
– 二項関係を表す述語間に含意関係を付与したデータ
[Zeichner+ 12]
• prevent → reduce the incidence of
• 述語はReverbの結果を用いている
• 5,411ペア
– 項が逆になっているものを除く
– ランダムに訓練・テストデータに分けて使用
• 訓練：4,343ペア
• テスト：1,068ペア
13

14. 結果
• 述語内の語彙的要素の認識，組み合わせで判定するモデルが
最も良い
– 構成要素の一部からだけでは複合述語の意味は解析できない
– 構成要素の全単語を使い，類似度だけで判定した場合
• [Mitchell and Lapata 10]と同等の計算法
• コサイン類似度：61.3%
• BInc：62.2%
– なので単語単位からの組み上げよりも提案手法が良い
14
最も左の単語だけ使う
動詞+前置詞だけ使う
述語内の語彙的要素の
組み合わせを考える
語彙的要素の類似度 Sim+品詞，頻度，語彙的要素共有 LDAなし

15. まとめ
• 複合述語の語彙的要素の認識を行う手法
を提案した
– 複合述語の意味計算に必要な要素を認識する
手法
– 句動詞や慣用句，構成性のある／なしなどを
認識
• 含意関係認識を通じて複合述語の意味の
計算性能が向上することを示した
– 語彙的要素を認識し，重み付けして意味計算
15