2018年3月14日　言語処理学会第24回年次大会＠岡山

1. 自然演繹に基づく
文間の含意関係の証明を用いた
フレーズアライメントの試み
谷中 瞳1,4 峯島 宏次 2,4 Pascual Martínez-Gómez3 戸次 大介 2,4
1 東京大学 2 お茶の水女子大学 3 産業技術総合研究所 4 JST, CREST
言語処理学会第 24 回年次大会＠岡山
2018 年 3 月 14 日
1 / 26

2. 発表概要
研究対象：論理推論を用いて含意関係認識の問題を解く
文中のフレーズの言い換えを考慮しなければならない場合に、
どのようにして文中のフレーズの適切な対応付けを行うか？
提案手法：自然演繹の証明によるフレーズアライメント
二つの文 (T, H) を論理式のペア (T′, H′) に変換し、
含意関係 T′ → H′ の証明の実行過程を通して
意味表現上のフレーズアライメントを特定
2 / 26

3. 含意関係認識（RTE）
含意関係認識 (Recognizing Textual Entailment, RTE)
一方の文が他方の文の意味を含むか否かを予測するタスク
[Dagan et al., 2013]
T : A lady is cutting up some fish finely
H : Some fish is being cut into small pieces by a woman
→ 前提文 T は仮説文 H を含意する
3 / 26

4. 論理推論によって深い意味関係を捉える
論理式による意味表現 [Bos+, 2015; Mineshima+, 2015]
• 文法関係（受動態-能動態など）
• 否定・数量詞などの論理・機能表現
• 等位接続（and, or）
T: No woman is cutting fish
¬∃x1∃x2∃e1.(woman (x1) ∧ fish (x2) ∧ cut (e1)
∧ (subj (e1)=x1) ∧ (obj (e1)=x2))
H: Fish is being cut by a woman
∃x3∃x4∃e2.(woman (x3) ∧ fish (x4) ∧ cut (e2)
∧ (subj (e2)=x3) ∧ (obj (e2)=x4))
→ 文 T は文 H の意味と矛盾する
4 / 26

5. 単語間アブダクションによって語彙関係を捉える
単語間アブダクション [Martínez-Goméz+, 2017]
語彙知識を用いて述語間の語彙関係をチェックし、公理を生成
T: Some men are sawing logs
∃x1∃x2∃e1.(man (x1) ∧ log (x2) ∧ saw (e1)
∧ (subj (e1)=x1) ∧ (obj (e1)=x2))
H: Some men are cutting wood
∃x1∃x2∃e1.(man (x1) ∧ wood (x2) ∧ cut (e1))
∧ (subj (e1)=x1) ∧ (obj (e1)=x2))
公理 1: ∀e1.saw (e1) → cut (e1)
公理 2: ∀x2.log (x2) → wood (x2)
→ 文 T は文 H の意味を含意する
5 / 26

6. 問題設定：フレーズの言い換えを含む RTE を解く
T: A lady is cutting up some fish finely
H : Some fish is being cut into small pieces by a woman
• 論理式による意味表現：
受動態-能動態などの文法関係を捉える
• 単語間アブダクション：
lady-woman などの単語間の語彙関係を捉える
• 既存手法の問題点：
x cut up y finely と x cut y into small pieces という
フレーズ間の言い換えを捉えられない
課題
非連続なフレーズも含めて、フレーズの言い換えを
論理推論でどのように扱うか？
6 / 26

7. 先行研究におけるフレーズの言い換えの扱い
T: The basket is being missed by the player
H: The player is dunking the basketball into the net
→ 文 T は文 H の意味と矛盾する
• 言い換え DB (PPDB [Ganitkevitch+, 2013]) の利用
• 前提文と仮説文中のフレーズを同じ表現に統一 [Bjerva+, 2014]
→ 連続していないフレーズの言い換えが特定できない
• フレーズの公理として推論に適用 [Beltagy+, 2014]
→DB に存在しない言い換えが特定できない
• 構文構造からフレーズの対応関係を特定 [Arase and Tsujii, 2017]
→ 反義と同義が区別できない
7 / 26

8. 提案手法：証明によるフレーズアライメント
自然演繹の証明によるフレーズアライメント
テキスト T と仮説文 H を論理式のペア (T′, H′) に変換し、
含意関係 T′ → H′ の証明の実行過程を通して
意味表現上のフレーズアライメントを特定
Step 0: 論理式による意味表現
Step 1: 通常の含意関係 T′ → H′ の証明
Step 2: 単語間アブダクション
Step 3: フレーズ間アブダクション
8 / 26

9. 意味解析・推論システム ccg2lambda の全体像
[Mineshima+ 2015, Martínez-Goméz+ 2016]
CCG に基づく統語解析
文ペア (T, H)
CCG 導出木
Bob leaps
NP SNP
S
λ 計算による
意味解析 (Step0)
高階論理式
∃e.leap(e, bob)
自然演繹に基づく
推論 (Step1)
Yes/No/Unknown
アブダクション
(Step2, Step3)
9 / 26

10. Step 0: 論理式による意味表現
Neo-Davidsonian Event Semantics [Parsons, 1990]
A girl is skipping rope on a sidewalk
∃x1∃x2∃x3∃e1 (girl(x1) ∧ rope(x2) ∧ sidewalk(x3) ∧ skip(e1)
∧ (subj(e1)=x1) ∧ (obj(e1)=x2) ∧ on(e1, x3))
xi はエンティティを表す変数、ej はイベントを表す変数 (i, j ∈ N).
有向グラフ (DAG) による表現
基本論理式（連言 ∧ と存在量化子 ∃ からなる論理式）は
グラフ表現が可能
e1skip
x1 girl
x2 rope
x3 sidewalk
subj
obj
on
• ノード：変数または述語名
• エッジ：意味役割 (subj,obj)
または前置詞
10 / 26

11. フレーズの言い換えを含む文例への適用
Example
T: A lady is cutting up some fish finely
H: Some fish is being cut into pieces by a woman
Step 0: (T, H) を論理式 (T′, H′) に変換
T′ :
∃x1∃x2∃e1 (lady(x1) ∧ fish(x2)
∧ cut(e1) ∧ up(e1) ∧ finely(e1)
∧ (subj(e1)=x1) ∧ (obj(e1)=x2))
H′ :
∃x3∃x4∃x5∃e2 (woman(x3) ∧ fish(x4)
∧ cut(e2) ∧ piece(x5) ∧ into(e2, x5)
∧ (subj(e2)=x3) ∧ (obj(e2)=x4))
e1
cut
up
finely
x1 x2lady fish
subj obj
e2
cut
x3 x4
x5
woman fish
piece
subj obj
into
11 / 26

12. Step 1: 通常の含意関係 T′
→ H′
の証明
T′ と H′ をそれぞれ自然演繹の推論規則 (∧, ∃ の導入・除去規則)
で分解し、前提の集合 P とサブゴールの集合 G を導出
P
lady(x1), fish(x2)
cut(e1), up(e1), finely(e1)
subj(e1)=x1, obj(e1)=x2
=⇒
G
woman(x3), fish(x4)
cut(e2), piece(x5), into(e2, x5)
subj(e2)=x3, obj(e2)=x4
e1
cut
up
finely
x1 x2lady fish
subj obj
e2
cut
x3 x4
x5
woman fish
piece
subj obj
into
H′ に ¬, →, ∨, ∀ が含まれる場合は各演算子の導入規則が適用され、
サブゴールは基本論理式から構成される
12 / 26

13. Step 1: 通常の含意関係 T′
→ H′
の証明
P, G に共通する述語 fish と cut の変数に対して
単一化 x4 := x2, e2 := e1 を行い、G からサブゴールを除去
P
lady(x1), fish(x2)
cut(e1), up(e1), finely(e1)
subj(e1)=x1, obj(e1)=x2
=⇒
G
woman(x3),XXXXfish(x4)
XXXXcut(e2), piece(x5), into(e1, x5)
subj(e1)=x3,
XXXXXXobj(e1)=x4
e1
cut
up
finely
x1 x2lady fish
subj obj
e1
cut
x3 x2
x5
woman fish
piece
subj obj
into
13 / 26

14. Step 2: 単語間アブダクション
単一化 x3 := x1 を行い、公理 ∀x1(lady(x1) → woman(x1)) を補完
G からサブゴール woman(x1) と subj(e1)=x1 を除去
P
lady(x1), fish(x2)
cut(e1), up(e1), finely(e1)
subj(e1)=x1, obj(e1)=x2
=⇒
G
XXXXXXwoman(x1),XXXXfish(x4)
XXXXcut(e2), piece(x5), into(e1, x5)
hhhhhhhsubj(e1)=x1,
XXXXXXobj(e1)=x4
e1
cut
up
finely
x1 x2lady fish
subj obj
e1
cut
x1 x2
x5
woman fish
piece
subj obj
into
14 / 26

15. Step 3: フレーズ間アブダクション
フレーズ集合と拡張フレーズ集合
フレーズ集合 Px, Gx (前提 P, サブゴール G における変数 x を含む
基本述語の集合) に対して、拡張フレーズ集合P∗
x , G∗
x を定義
P∗
x
def
≡ {φ ∈ Φ | Px ∼∗ Φ} G∗
x
def
≡ {ψ ∈ Ψ | Gx ∼∗ Ψ}
（Φ ∼ Ψ: 集合 Ψ, Φ が自由変数を共有する, ∼∗
: ∼ の推移閉包）
適用例における拡張フレーズ集合 P∗
e1
, G∗
e1
は
P∗
e1
= {cut(e1), up(e1), finely(e1)}, G∗
e1
= {piece(x5), into(e1, x5)}
e1
cut
up
finely
x1 x2lady fish
subj obj
e1
cut
x1 x2
x5
woman fish
piece
subj obj
into
15 / 26

16. Step 3: フレーズ間アブダクション
フレーズの公理生成
サブゴール G ∈ G の各自由変数 x ∈ fv(G) に対して P∗
x , G∗
x を求めると
フレーズ間アブダクションで生成される G に関するフレーズの公理は
∀u1, . . . , um
((∧
P∗
x
)
→ ∃v1 . . . vn
(∧
G∗
x
))
e1
cut
up
finely
x1 x2lady fish
subj obj
e1
cut
x1 x2
x5
woman fish
piece
subj obj
into
適用例で生成されるフレーズの公理は
∀e1(cut(e1) ∧ up(e1) ∧ finely(e1) → ∃x5(into(e1, x5) ∧ piece(x5)))
16 / 26

17. 実験条件
• RTE 評価用データセット：SemEval2014 SICK
• 訓練/テスト = 5000/4927
• 正解ラベルの分布（全体） yes/no/unknown = .29/.15/.56
• 訓練データ中の正解ラベルが yes か no の (T, H) ペアに
提案手法を適用し、フレーズの公理を収集
• 実行時間は１文ペアあたり平均 3.0 秒
• テストデータに対して含意関係の証明を行い評価
• 単語間アブダクション、フレーズ間アブダクションとの比較
• 既存手法との比較
17 / 26

18. 評価結果
• 単語間アブダクション (W2W) との比較：
提案手法 (W2W+P2P) により正答率向上
• 既存手法との比較：SemEval2014 best score よりも高精度を達成
適合率 再現率 正答率
ccg2lambda
W2W+P2P 84.2 77.3 84.3
W2W 97.1 63.6 83.1
No axioms 98.9 46.5 76.7
The Meaning Factory 93.6 60.6 81.6
LangPro 98.0 58.1 81.4
UTexas − − 80.4
ccg2lambda+RF 90.6 79.7 87.7
GRU − − 87.1
PL+eclassif − − 85.1
SemEval2014 best score 84.4 74.4 83.6
18 / 26

19. 特定されたフレーズアライメントの例 (1)
名詞句
T: A blond woman is sitting on the roof of a yellow vehicle
and two people are inside
H: A woman with blond hair is sitting on the roof of a yellow vehicle
and two people are inside
前置詞句
T: A child, who is small, is outdoors climbing steps outdoors
in an area full of grass
H: A small child is outdoors climbing steps in a grassy area
19 / 26

20. 特定されたフレーズアライメントの例 (2)
動詞句（非連続フレーズ）
T: The person is setting fire to the cameras
H: Some cameras are being burned by a person with a blow torch
反意句
T: A woman is putting make-up on
H: The woman is removing make-up
20 / 26

21. フレーズ間アブダクションの成功例
gold: no
T: A man is putting vegetables into a pot
H: Nobody is pouring ingredients into a pot
T1 → H1 の矛盾関係の証明から、フレーズ間アブダクションにより、
∀e1(put(e1) ∧ vegetables(obj(e1)) → pour(e1) ∧ ingredients(obj(e1)))
というフレーズの公理を生成
21 / 26

22. フレーズ間アブダクションのエラーの例
Test-934 gold: yes
T: A young child is wearing boots made of green rubber
and playing in a puddle full of mud
H: A young child is wearing green boots
and playing in a puddle full of mud
boots made of green rubber と green boots 間の
フレーズの公理を生成したいが、同じフレーズの公理が生成される
文ペアが訓練データに存在しないため、生成できない
22 / 26

23. フレーズ間アブダクションのエラーの例
Train-7121 gold: yes
T1: A child in a red outfit is jumping on a trampoline
H1: A little boy in red clothes is jumping in the air
T1 → H1 の証明から、フレーズ間アブダクションにより、
∀e1(jump(e1) → ∃x1(in(e1, x1) ∧ air(x1)))
というフレーズの公理が生成されるが、
この公理は T2 → H2 に対しても適用され、yes を予測してしまう
Test-96 gold: unknown
T2: A man is jumping into an empty pool
H2: There is no biker jumping in the air
→ 前後の文脈を考慮してフレーズ間公理を生成する必要がある
23 / 26

24. まとめと今後の課題
まとめ
• 含意関係の証明を用いて意味表現（論理式）上の
フレーズアライメントを特定する手法を提案
• 提案手法によって RTE の精度が向上
今後の課題
• フレーズ間公理生成判定器の検討
正例・負例の定義、フレーズ間公理生成に影響を与える特徴量
（フレーズ間類似度，文間類似度）の検討
• 他データセット (SNLI, MultiNLI) による評価
ご清聴ありがとうございました！
24 / 26

25. 参考文献 I
Lasha Abzianidze. A tableau prover for natural logic and language. In Proceedings of the 2015
Conference on Empirical Methods in Natural Language Processing (EMNLP-2015), pages
2492–2502, Lisbon, Portugal, September 2015. Association for Computational Linguistics.
Yuki Arase and Jun’ichi Tsujii. Monolingual phrase alignment on parse forests. In Proc. of
EMNLP-2017, pages 1–11, 2017.
Daniel Bär, Chris Biemann, Iryna Gurevych, and Torsten Zesch. UKP: Computing semantic
textual similarity by combining multiple content similarity measures. In Proc. of
SemEval-2012, pages 435–440, 2012.
Islam Beltagy, Stephen Roller, Gemma Boleda, Katrin Erk, and Raymond J. Mooney. UTexas:
Natural language semantics using distributional semantics and probabilistic logic. In Proc. of
SemEval-2014, pages 796–801, 2014.
Islam Beltagy, Stephen Roller, Pengxiang Cheng, Katrin Erk, and Raymond J. Mooney.
Representing meaning with a combination of logical and distributional models.
Computational Linguistics, 42(4):763–808, 2016.
Johannes Bjerva, Johan Bos, Rob van der Goot, and Malvina Nissim. The Meaning Factory:
Formal semantics for recognizing textual entailment and determining semantic similarity. In
Proc. of SemEval-2014, pages 642–646, 2014.
Johan Bos. Open-domain semantic parsing with boxer. In Proceedings of NoDaLiDa2015, pages
301––304, 2015.
Ido Dagan, Dan Roth, Mark Sammons, and Fabio Massimo Zanzotto. Recognizing Textual
Entailment: Models and Applications. Morgan & Claypool Publishers, 2013.
25 / 26

26. 参考文献 II
Juri Ganitkevitch, Benjamin Van Durme, and Chris Callison-Burch. PPDB: The paraphrase
database. In Proc. of NAACL HLT-2013, pages 758–764, 2013.
Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto
Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models.
In Proc. of LREC-2014, pages 216–223, 2014.
Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A
compositional semantics system. In Proc. of ACL-2016, pages 85–90, 2016.
Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand
injection of lexical knowledge for recognising textual entailment. In Proc. of EACL-2017,
pages 710–720, 2017.
Koji Mineshima, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Higher-order
logical inference with compositional semantics. In Proc. of EMNLP-2015, pages 2055–2061,
2015.
Terence Parsons. Events in The Semantics of English: a Study in Subatomic Semantics. MIT
Press, Cambridge, USA, 1990.
Dag Prawitz. Natural Deduction – A Proof-Theoretical Study. Almqvist & Wiksell, Stockholm,
Sweden, 1965.
Wenpeng Yin and Hinrich Schütze. Task-specific attentive pooling of phrase alignments
contributes to sentence matching. In Proc. of EACL-2017, pages 699–709, 2017.
26 / 26