Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

自然演繹に基づく文間の含意関係の証明を用いたフレーズアライメントの試み

115 views

Published on

2018年3月14日 言語処理学会第24回年次大会@岡山

Published in: Science
  • Be the first to comment

  • Be the first to like this

自然演繹に基づく文間の含意関係の証明を用いたフレーズアライメントの試み

  1. 1. 自然演繹に基づく 文間の含意関係の証明を用いた フレーズアライメントの試み 谷中 瞳1,4 峯島 宏次 2,4 Pascual Martínez-Gómez3 戸次 大介 2,4 1 東京大学 2 お茶の水女子大学 3 産業技術総合研究所 4 JST, CREST 言語処理学会第 24 回年次大会@岡山 2018 年 3 月 14 日 1 / 26
  2. 2. 発表概要 研究対象:論理推論を用いて含意関係認識の問題を解く 文中のフレーズの言い換えを考慮しなければならない場合に、 どのようにして文中のフレーズの適切な対応付けを行うか? 提案手法:自然演繹の証明によるフレーズアライメント 二つの文 (T, H) を論理式のペア (T′, H′) に変換し、 含意関係 T′ → H′ の証明の実行過程を通して 意味表現上のフレーズアライメントを特定 2 / 26
  3. 3. 含意関係認識(RTE) 含意関係認識 (Recognizing Textual Entailment, RTE) 一方の文が他方の文の意味を含むか否かを予測するタスク [Dagan et al., 2013] T : A lady is cutting up some fish finely H : Some fish is being cut into small pieces by a woman → 前提文 T は仮説文 H を含意する 3 / 26
  4. 4. 論理推論によって深い意味関係を捉える 論理式による意味表現 [Bos+, 2015; Mineshima+, 2015] • 文法関係(受動態-能動態など) • 否定・数量詞などの論理・機能表現 • 等位接続(and, or) T: No woman is cutting fish ¬∃x1∃x2∃e1.(woman (x1) ∧ fish (x2) ∧ cut (e1) ∧ (subj (e1)=x1) ∧ (obj (e1)=x2)) H: Fish is being cut by a woman ∃x3∃x4∃e2.(woman (x3) ∧ fish (x4) ∧ cut (e2) ∧ (subj (e2)=x3) ∧ (obj (e2)=x4)) → 文 T は文 H の意味と矛盾する 4 / 26
  5. 5. 単語間アブダクションによって語彙関係を捉える 単語間アブダクション [Martínez-Goméz+, 2017] 語彙知識を用いて述語間の語彙関係をチェックし、公理を生成 T: Some men are sawing logs ∃x1∃x2∃e1.(man (x1) ∧ log (x2) ∧ saw (e1) ∧ (subj (e1)=x1) ∧ (obj (e1)=x2)) H: Some men are cutting wood ∃x1∃x2∃e1.(man (x1) ∧ wood (x2) ∧ cut (e1)) ∧ (subj (e1)=x1) ∧ (obj (e1)=x2)) 公理 1: ∀e1.saw (e1) → cut (e1) 公理 2: ∀x2.log (x2) → wood (x2) → 文 T は文 H の意味を含意する 5 / 26
  6. 6. 問題設定:フレーズの言い換えを含む RTE を解く T: A lady is cutting up some fish finely H : Some fish is being cut into small pieces by a woman • 論理式による意味表現: 受動態-能動態などの文法関係を捉える • 単語間アブダクション: lady-woman などの単語間の語彙関係を捉える • 既存手法の問題点: x cut up y finely と x cut y into small pieces という フレーズ間の言い換えを捉えられない 課題 非連続なフレーズも含めて、フレーズの言い換えを 論理推論でどのように扱うか? 6 / 26
  7. 7. 先行研究におけるフレーズの言い換えの扱い T: The basket is being missed by the player H: The player is dunking the basketball into the net → 文 T は文 H の意味と矛盾する • 言い換え DB (PPDB [Ganitkevitch+, 2013]) の利用 • 前提文と仮説文中のフレーズを同じ表現に統一 [Bjerva+, 2014] → 連続していないフレーズの言い換えが特定できない • フレーズの公理として推論に適用 [Beltagy+, 2014] →DB に存在しない言い換えが特定できない • 構文構造からフレーズの対応関係を特定 [Arase and Tsujii, 2017] → 反義と同義が区別できない 7 / 26
  8. 8. 提案手法:証明によるフレーズアライメント 自然演繹の証明によるフレーズアライメント テキスト T と仮説文 H を論理式のペア (T′, H′) に変換し、 含意関係 T′ → H′ の証明の実行過程を通して 意味表現上のフレーズアライメントを特定 Step 0: 論理式による意味表現 Step 1: 通常の含意関係 T′ → H′ の証明 Step 2: 単語間アブダクション Step 3: フレーズ間アブダクション 8 / 26
  9. 9. 意味解析・推論システム ccg2lambda の全体像 [Mineshima+ 2015, Martínez-Goméz+ 2016] CCG に基づく統語解析 文ペア (T, H) CCG 導出木 Bob leaps NP SNP S λ 計算による 意味解析 (Step0) 高階論理式 ∃e.leap(e, bob) 自然演繹に基づく 推論 (Step1) Yes/No/Unknown アブダクション (Step2, Step3) 9 / 26
  10. 10. Step 0: 論理式による意味表現 Neo-Davidsonian Event Semantics [Parsons, 1990] A girl is skipping rope on a sidewalk ∃x1∃x2∃x3∃e1 (girl(x1) ∧ rope(x2) ∧ sidewalk(x3) ∧ skip(e1) ∧ (subj(e1)=x1) ∧ (obj(e1)=x2) ∧ on(e1, x3)) xi はエンティティを表す変数、ej はイベントを表す変数 (i, j ∈ N). 有向グラフ (DAG) による表現 基本論理式(連言 ∧ と存在量化子 ∃ からなる論理式)は グラフ表現が可能 e1skip x1 girl x2 rope x3 sidewalk subj obj on • ノード:変数または述語名 • エッジ:意味役割 (subj,obj) または前置詞 10 / 26
  11. 11. フレーズの言い換えを含む文例への適用 Example T: A lady is cutting up some fish finely H: Some fish is being cut into pieces by a woman Step 0: (T, H) を論理式 (T′, H′) に変換 T′ : ∃x1∃x2∃e1 (lady(x1) ∧ fish(x2) ∧ cut(e1) ∧ up(e1) ∧ finely(e1) ∧ (subj(e1)=x1) ∧ (obj(e1)=x2)) H′ : ∃x3∃x4∃x5∃e2 (woman(x3) ∧ fish(x4) ∧ cut(e2) ∧ piece(x5) ∧ into(e2, x5) ∧ (subj(e2)=x3) ∧ (obj(e2)=x4)) e1 cut up finely x1 x2lady fish subj obj e2 cut x3 x4 x5 woman fish piece subj obj into 11 / 26
  12. 12. Step 1: 通常の含意関係 T′ → H′ の証明 T′ と H′ をそれぞれ自然演繹の推論規則 (∧, ∃ の導入・除去規則) で分解し、前提の集合 P とサブゴールの集合 G を導出 P lady(x1), fish(x2) cut(e1), up(e1), finely(e1) subj(e1)=x1, obj(e1)=x2 =⇒ G woman(x3), fish(x4) cut(e2), piece(x5), into(e2, x5) subj(e2)=x3, obj(e2)=x4 e1 cut up finely x1 x2lady fish subj obj e2 cut x3 x4 x5 woman fish piece subj obj into H′ に ¬, →, ∨, ∀ が含まれる場合は各演算子の導入規則が適用され、 サブゴールは基本論理式から構成される 12 / 26
  13. 13. Step 1: 通常の含意関係 T′ → H′ の証明 P, G に共通する述語 fish と cut の変数に対して 単一化 x4 := x2, e2 := e1 を行い、G からサブゴールを除去 P lady(x1), fish(x2) cut(e1), up(e1), finely(e1) subj(e1)=x1, obj(e1)=x2 =⇒ G woman(x3),XXXXfish(x4) XXXXcut(e2), piece(x5), into(e1, x5) subj(e1)=x3, XXXXXXobj(e1)=x4 e1 cut up finely x1 x2lady fish subj obj e1 cut x3 x2 x5 woman fish piece subj obj into 13 / 26
  14. 14. Step 2: 単語間アブダクション 単一化 x3 := x1 を行い、公理 ∀x1(lady(x1) → woman(x1)) を補完 G からサブゴール woman(x1) と subj(e1)=x1 を除去 P lady(x1), fish(x2) cut(e1), up(e1), finely(e1) subj(e1)=x1, obj(e1)=x2 =⇒ G XXXXXXwoman(x1),XXXXfish(x4) XXXXcut(e2), piece(x5), into(e1, x5) hhhhhhhsubj(e1)=x1, XXXXXXobj(e1)=x4 e1 cut up finely x1 x2lady fish subj obj e1 cut x1 x2 x5 woman fish piece subj obj into 14 / 26
  15. 15. Step 3: フレーズ間アブダクション フレーズ集合と拡張フレーズ集合 フレーズ集合 Px, Gx (前提 P, サブゴール G における変数 x を含む 基本述語の集合) に対して、拡張フレーズ集合P∗ x , G∗ x を定義 P∗ x def ≡ {φ ∈ Φ | Px ∼∗ Φ} G∗ x def ≡ {ψ ∈ Ψ | Gx ∼∗ Ψ} (Φ ∼ Ψ: 集合 Ψ, Φ が自由変数を共有する, ∼∗ : ∼ の推移閉包) 適用例における拡張フレーズ集合 P∗ e1 , G∗ e1 は P∗ e1 = {cut(e1), up(e1), finely(e1)}, G∗ e1 = {piece(x5), into(e1, x5)} e1 cut up finely x1 x2lady fish subj obj e1 cut x1 x2 x5 woman fish piece subj obj into 15 / 26
  16. 16. Step 3: フレーズ間アブダクション フレーズの公理生成 サブゴール G ∈ G の各自由変数 x ∈ fv(G) に対して P∗ x , G∗ x を求めると フレーズ間アブダクションで生成される G に関するフレーズの公理は ∀u1, . . . , um ((∧ P∗ x ) → ∃v1 . . . vn (∧ G∗ x )) e1 cut up finely x1 x2lady fish subj obj e1 cut x1 x2 x5 woman fish piece subj obj into 適用例で生成されるフレーズの公理は ∀e1(cut(e1) ∧ up(e1) ∧ finely(e1) → ∃x5(into(e1, x5) ∧ piece(x5))) 16 / 26
  17. 17. 実験条件 • RTE 評価用データセット:SemEval2014 SICK • 訓練/テスト = 5000/4927 • 正解ラベルの分布(全体) yes/no/unknown = .29/.15/.56 • 訓練データ中の正解ラベルが yes か no の (T, H) ペアに 提案手法を適用し、フレーズの公理を収集 • 実行時間は1文ペアあたり平均 3.0 秒 • テストデータに対して含意関係の証明を行い評価 • 単語間アブダクション、フレーズ間アブダクションとの比較 • 既存手法との比較 17 / 26
  18. 18. 評価結果 • 単語間アブダクション (W2W) との比較: 提案手法 (W2W+P2P) により正答率向上 • 既存手法との比較:SemEval2014 best score よりも高精度を達成 適合率 再現率 正答率 ccg2lambda W2W+P2P 84.2 77.3 84.3 W2W 97.1 63.6 83.1 No axioms 98.9 46.5 76.7 The Meaning Factory 93.6 60.6 81.6 LangPro 98.0 58.1 81.4 UTexas − − 80.4 ccg2lambda+RF 90.6 79.7 87.7 GRU − − 87.1 PL+eclassif − − 85.1 SemEval2014 best score 84.4 74.4 83.6 18 / 26
  19. 19. 特定されたフレーズアライメントの例 (1) 名詞句 T: A blond woman is sitting on the roof of a yellow vehicle and two people are inside H: A woman with blond hair is sitting on the roof of a yellow vehicle and two people are inside 前置詞句 T: A child, who is small, is outdoors climbing steps outdoors in an area full of grass H: A small child is outdoors climbing steps in a grassy area 19 / 26
  20. 20. 特定されたフレーズアライメントの例 (2) 動詞句(非連続フレーズ) T: The person is setting fire to the cameras H: Some cameras are being burned by a person with a blow torch 反意句 T: A woman is putting make-up on H: The woman is removing make-up 20 / 26
  21. 21. フレーズ間アブダクションの成功例 gold: no T: A man is putting vegetables into a pot H: Nobody is pouring ingredients into a pot T1 → H1 の矛盾関係の証明から、フレーズ間アブダクションにより、 ∀e1(put(e1) ∧ vegetables(obj(e1)) → pour(e1) ∧ ingredients(obj(e1))) というフレーズの公理を生成 21 / 26
  22. 22. フレーズ間アブダクションのエラーの例 Test-934 gold: yes T: A young child is wearing boots made of green rubber and playing in a puddle full of mud H: A young child is wearing green boots and playing in a puddle full of mud boots made of green rubber と green boots 間の フレーズの公理を生成したいが、同じフレーズの公理が生成される 文ペアが訓練データに存在しないため、生成できない 22 / 26
  23. 23. フレーズ間アブダクションのエラーの例 Train-7121 gold: yes T1: A child in a red outfit is jumping on a trampoline H1: A little boy in red clothes is jumping in the air T1 → H1 の証明から、フレーズ間アブダクションにより、 ∀e1(jump(e1) → ∃x1(in(e1, x1) ∧ air(x1))) というフレーズの公理が生成されるが、 この公理は T2 → H2 に対しても適用され、yes を予測してしまう Test-96 gold: unknown T2: A man is jumping into an empty pool H2: There is no biker jumping in the air → 前後の文脈を考慮してフレーズ間公理を生成する必要がある 23 / 26
  24. 24. まとめと今後の課題 まとめ • 含意関係の証明を用いて意味表現(論理式)上の フレーズアライメントを特定する手法を提案 • 提案手法によって RTE の精度が向上 今後の課題 • フレーズ間公理生成判定器の検討 正例・負例の定義、フレーズ間公理生成に影響を与える特徴量 (フレーズ間類似度,文間類似度)の検討 • 他データセット (SNLI, MultiNLI) による評価 ご清聴ありがとうございました! 24 / 26
  25. 25. 参考文献 I Lasha Abzianidze. A tableau prover for natural logic and language. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP-2015), pages 2492–2502, Lisbon, Portugal, September 2015. Association for Computational Linguistics. Yuki Arase and Jun’ichi Tsujii. Monolingual phrase alignment on parse forests. In Proc. of EMNLP-2017, pages 1–11, 2017. Daniel Bär, Chris Biemann, Iryna Gurevych, and Torsten Zesch. UKP: Computing semantic textual similarity by combining multiple content similarity measures. In Proc. of SemEval-2012, pages 435–440, 2012. Islam Beltagy, Stephen Roller, Gemma Boleda, Katrin Erk, and Raymond J. Mooney. UTexas: Natural language semantics using distributional semantics and probabilistic logic. In Proc. of SemEval-2014, pages 796–801, 2014. Islam Beltagy, Stephen Roller, Pengxiang Cheng, Katrin Erk, and Raymond J. Mooney. Representing meaning with a combination of logical and distributional models. Computational Linguistics, 42(4):763–808, 2016. Johannes Bjerva, Johan Bos, Rob van der Goot, and Malvina Nissim. The Meaning Factory: Formal semantics for recognizing textual entailment and determining semantic similarity. In Proc. of SemEval-2014, pages 642–646, 2014. Johan Bos. Open-domain semantic parsing with boxer. In Proceedings of NoDaLiDa2015, pages 301––304, 2015. Ido Dagan, Dan Roth, Mark Sammons, and Fabio Massimo Zanzotto. Recognizing Textual Entailment: Models and Applications. Morgan & Claypool Publishers, 2013. 25 / 26
  26. 26. 参考文献 II Juri Ganitkevitch, Benjamin Van Durme, and Chris Callison-Burch. PPDB: The paraphrase database. In Proc. of NAACL HLT-2013, pages 758–764, 2013. Marco Marelli, Stefano Menini, Marco Baroni, Luisa Bentivogli, Raffaella Bernardi, and Roberto Zamparelli. A SICK cure for the evaluation of compositional distributional semantic models. In Proc. of LREC-2014, pages 216–223, 2014. Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. ccg2lambda: A compositional semantics system. In Proc. of ACL-2016, pages 85–90, 2016. Pascual Martínez-Gómez, Koji Mineshima, Yusuke Miyao, and Daisuke Bekki. On-demand injection of lexical knowledge for recognising textual entailment. In Proc. of EACL-2017, pages 710–720, 2017. Koji Mineshima, Pascual Martínez-Gómez, Yusuke Miyao, and Daisuke Bekki. Higher-order logical inference with compositional semantics. In Proc. of EMNLP-2015, pages 2055–2061, 2015. Terence Parsons. Events in The Semantics of English: a Study in Subatomic Semantics. MIT Press, Cambridge, USA, 1990. Dag Prawitz. Natural Deduction – A Proof-Theoretical Study. Almqvist & Wiksell, Stockholm, Sweden, 1965. Wenpeng Yin and Hinrich Schütze. Task-specific attentive pooling of phrase alignments contributes to sentence matching. In Proc. of EACL-2017, pages 699–709, 2017. 26 / 26

×