1. 複数の客観的手法を用いた
テキスト含意認識評価セット
の構築
長岡技術科学大学 電気系 山本研究室
宇高 邦弘，山本 和英

2. テキスト含意認識とは①
・言語表現Ａ（テキスト）が言語表現Ｂ（仮説）
の意味を含むかを判断するタスク
テキスト ：日本の大豆生産量は世界16位だ
仮説 ：日本は大豆を生産している
含意判定 ：含意
テキスト含意認識の例

3. 研究背景
・テキスト含意認識(RTE)の研究が活発化
⇒換言や質問応答など多様な問題を含む
・日本語の評価セットが少ない
⇒構築コストの高さ
⇒テキスト含意認識のための知識の少なさ
⇒既存の評価セットは再現性に乏しい
⇒どのような含意関係を解決可能か不明瞭
②

4. 研究目的
換言や要約などの手法による
評価セットの構築
手法ごとに評価セットを作成
⇒評価セットの難易性を統一
⇒構築が低コスト
⇒再現性が高い
③

5. 各評価セットの
構築方法（1/2)
・入力として日経ニュースメールを使用
・以下の４種類の手法によって仮説を生成
・含意判定は人手
・含意ペアと非含意ペアが500ずつで各評価セット
を構成
④
手法A：複文の単文化
手法B：述部に係らない文節の削除
手法C：副詞の削除
手法D：接頭辞の削除

6. 各評価セットの
構築方法（2/2)
手法Aでの
仮説生成
テキスト
手法Bでの
仮説生成
手法Cでの
仮説生成
手法Dでの
仮説生成
評価セットA
評価セットB
評価セットC
評価セットD
含意判定
⑤

7. 手法A：複文の単文化 ⑥
・連体修飾節について格助詞を補う
⇒文構造を変化させた仮説を作成
テキスト ：AT&Tは高速ネット接続を可能にする
CATV網を他の通信会社に開放する
仮説 ：高速ネット接続をCATV網が可能にする
生成されるペアの例

8. 手法B：述部に係る
文節以外の削除
・述部に係る文節以外を全て削除
⇒文構造を変化させた仮説を生成
⑦
テキスト ：NTTは電話線を使う高速ネット「ADSL」
を月800円で開放する
仮説 ：NTTは「ADSL」を800円で開放する
生成されるペアの例

9. 手法C:副詞の削除 ⑧
・文中に存在する副詞を全て削除
（副詞可能名詞も含む）
⇒表層情報を変化させた仮説を生成
テキスト ：東証のベンチャー向け新市場「マザーズ」
に２２日、ネット関連２社が始めて上場
仮説 ：東証のベンチャー向け新市場「マザーズ」
に２２日、ネット関連２社が上場
生成されるペアの例

10. 手法D：接頭辞の削除 ⑨
・文中に存在する接頭辞を全て削除することで
仮説を生成
（「反，未，非，無，不」は未削除）
⇒表層情報を変化させた仮説を生成
テキスト ：ジー・オー巨額詐欺事件で大神源太被告ら
５人の初公判が２０日、東京地裁で開かれた
仮説 ：ジー・オー巨額詐欺事件で大神源太被告ら
５人の公判が２０日、東京地裁で開かれた
生成されるペアの例

11. 仮説生成結果
手法Aは他の手法に比べ非文が作成され易い
⑩
2371143728手法D
12061279826手法C
284511535手法B
3426520513手法A
非文非含意文含意文
生成した文について含意文，非含意文，非文を
カウント

12. 評価実験 ⑪
・各評価セットを２つの手法で含意認識
・１０分割交差検定法により含意認識精度を算出
⇒１０個の精度から標準偏差を算出
標準偏差が0に近いほど、評価セットの難易性が一定
１：共起頻度による含意認識手法
２：SubpathSet法による含意認識

13. 実験結果 ⑫
SS：SubpatSet法による含意認識
0.440.211.690.6413.770.4419.760.21
標準
偏差
SS
共起
頻度
SS
共起
頻度
SS
共起頻
度
SS
共起
頻度
認識
手法
手法D手法C手法B手法A
手法A，Bでの評価セットはSubpathSet法での標準
偏差が大きい

14. 考察
・含意認識手法と評価セットの構築手法によって
含意判定結果の揺れに差が生じる
SubpathSet法：構文木の一致度
手法A，B ：構文情報が大きく変化
・共起頻度による含意認識では全ての評価セットに
おいて標準偏差が小さい
⑬
難易性が統一されている

15. 結論
・４種類の手法を個々に用いて，日本語テキス
ト含意認識評価セットを構築
⇒構築コストの低下，再現性の向上
・以下の２点についてさらに研究を進める．
⑭
１：他の含意認識手法を用いて，評価セットの
難易性が統一されていることを確認
２：他の手法を用いて評価セットを作成し，
含意認識の問題を網羅する

16. 既存研究 ⑤
・The PASCAL Recognizing Textual
Entailment Challenge [Dagan et al. 2005]
⇒機械翻訳や情報検索の手法を使用
・日本語Textual Entailmentのデータ構築と自動
獲得した類語表現に基づく推論関係の認識
[小谷ら 2008]
⇒推論要因を5つに分類し，評価セットを構築
⇒分類方法が不明瞭なため再現性がない
⇒含意認識時の問題点が議論しにくい