A Novel Cascade Binary Tagging Framework for Relational Triple Extraction

1. ACL2020オンライン読み会
A Novel Cascade Binary Tagging Framework
for Relational Triple Extraction
Tokyo
September 6th, 2020
株式会社エクサウィザーズ
⼤⻄ 真輝

2. | 2
Self-introduction
n 名前
p ⼤⻄ 真輝(おおにし まさき)
p Twitter: @true0024
n 所属
p EXAWIZARDS
NLP関連のPoCやプロダクト開発担当
n 今やっていること
p 発話テキストからの情報抽出
p ⾳声情報とNLPの組み合わせ

3. | 3
Introduction
n 簡単な論⽂のまとめ
p 関係抽出に対し新しいフレームワークを提案し、精度を上げたという論⽂
p 従来⼿法では学習フレームワークの性質上、同⼀実体間に複数の関係があ
る場合や、事例数の少ない関係の精度が悪かった
p この論⽂では関係をクラス分類でなくタグ付けとして解く⼿法を提案
• 実体のスパンを0,1で表現したタグ付によって関係抽出を⾏い、⾼精度を出すことを実現
• LSTMでも⾼精度だが、学習済みBERTを⽤いることでさらに精度が向上
A Novel Cascade Binary Tagging Framework
for Relational Triple Extraction

4. | 4
Introduction
n 関係抽出(Relational Triple Extraction)とは？
p ⾮構造化データの⽂章から構造化データとして関係を抽出するタスク
• ⼤規模⽂書からの知識ベースの⾃動構築などに応⽤
https://arxiv.org/abs/1909.03227
à
⽒名
総理初就任
時年齢
⽣年⽉⽇ 出⾝地
福⽥康夫 71歳 昭和11.7.16 群⾺県
⿇⽣太郎 68歳 昭和15.9.20 福岡県
鳩⼭由紀夫 62歳 昭和22.2.11 北海道
菅直⼈ 63歳 昭和21.10.10 東京都
野⽥佳彦 54歳 昭和32.5.20 千葉県
安倍晋三 58歳 昭和29.9.21 ⼭⼝県
安倍晋三は昭和29.9.21に⼭⼝県で誕⽣した。
⽣年⽉⽇
出⾝地

5. | 5
Introduction
n 関係抽出(Relational Triple Extraction)とは？
p ⽂章から実体間の関係を抽出するタスク
• 実体(≒固有表現)：⼈名や地名などの固有名詞や、⽇付・時間などの表現
抽出される関係（Relational Triple）
( 実体subject, 関係, 実体object )
( United States, Country_president, Trump )
( Apple Inc, Company_CEO, Tim Cook )
https://arxiv.org/abs/1909.03227

6. | 6
Introduction
n 既存⼿法
p 実体間に関係が有るか否かをクラス分類問題として解く
• 全ての関係に対して実際に存在するものだけ値が⾼くなるように学習する
https://www.aclweb.org/anthology/P19-1132.pdf
・・・ ・・・
関係1 関係N関係N 関係1

7. | 7
Introduction
n 関係抽出の難しさ
p クラス分類問題となるため、ほとんど出現しない関係は学習が難しい
p 関係抽出には多くのオーバーラップが発⽣ → マルチラベル問題となる
• EntityPairOverlap(EPO): 同じ実体間に複数の関係が存在
• SingleEntityOverlap(SEO): ⼀つの実体から関係が複数の実体に存在
https://arxiv.org/abs/1909.03227

8. | 8
Introduction
n 主要なデータでもオーバーラップは多く、課題となっている
p NewYorkTimesデータでは40%以上、WebNLGでは70%以上がオーバーラップ
https://arxiv.org/abs/1909.03227

9. | 9
Proposal Method
n 提案⼿法：クラス分類からタグ付けへと問題を切り替える
p 従来⼿法：クラス分類として解く
f(実体subject, 実体object) à 関係1, …, 関係N
p 提案⼿法：関係ごとの関数でタグ付け出来るか否かの問題として解く
f関係1(実体subject) à 実体object
f関係N(実体subject) à 実体object
・
・
・
・関係の重複を気にする必要がない
・トリプル抽出の直接最適化と等価
・簡単なタグフレームワークになる
稀な関係や
オーバーラップ抽出が難しい

10. | 10
Proposal Method
n 提案⼿法： Cascade Binary Tagging Framework
https://arxiv.org/abs/1909.03227
関係毎に
Objectとなる
実体を検出する
タガー
Subjectとなる実体を
検出するタガー
２種類の
タギング
から構成

11. | 11
Proposal Method
n 提案⼿法： Cascade Binary Tagging Framework
p Subjectとなる実体を検出するタガーの学習
https://arxiv.org/abs/1909.03227
• 実体subjectのStartとEndを0,1で表現し
タグ付けする
• BERTやLSTMなどのエンコーダーから
単語ごとの出⼒を⽤いて、StartとEnd
を正しくタグ付け出来るように学習
する
• 推論時はしきい値を超えた最も近い
タグ同⼠を実体subjectの範囲とし、他
のタグは無視する

12. | 12
Proposal Method
n 提案⼿法： Cascade Binary Tagging Framework
p Subjectとなる実体を検出するタガーの学習
https://arxiv.org/abs/1909.03227
1
1
• 実体subjectのStartとEndを0,1で表現し
タグ付けする
• BERTやLSTMなどのエンコーダーから
単語ごとの出⼒を⽤いて、StartとEnd
を正しくタグ付け出来るように学習
する
• 推論時はしきい値を超えた最も近い
タグ同⼠を実体subjectの範囲とし、他
のタグは無視する
⼀番近いものではない場合
ノイズとして無視される

13. | 13
Proposal Method
n 提案⼿法： Cascade Binary Tagging Framework
p 関係毎にObjectとなる実体を検出するタガーの学習
https://arxiv.org/abs/1909.03227
• Subejctタガーで認識された実体subjectを
エンコーダーの出⼒ベクトルを平均化
してvsubとする
• vsubごとにエンコーダーの出⼒に
vsubを⾜し合わせ⼊⼒ベクトルとする
• 上記のベクトルから全ての関係に対し
てSubjectタガーと同様の学習を⾏う

14. | 14
Proposal Method
n 提案⼿法： Cascade Binary Tagging Framework
p 関係毎にObjectとなる実体を検出するタガーの学習
https://arxiv.org/abs/1909.03227
• Subejctタガーで認識された実体subjectを
エンコーダーの出⼒ベクトルを平均化
してvsubとする
• vsubごとにエンコーダーの出⼒に
vsubを⾜し合わせ⼊⼒ベクトルとする
• 上記のベクトルから全ての関係に対し
てSubjectタガーと同様の学習を⾏う
V1
sub

15. | 15
Proposal Method
n 提案⼿法： Cascade Binary Tagging Framework
p 関係毎にObjectとなる実体を検出するタガーの学習
https://arxiv.org/abs/1909.03227
• Subejctタガーで認識された実体subjectを
エンコーダーの出⼒ベクトルを平均化
してvsubとする
• vsubごとにエンコーダーの出⼒に
vsubを⾜し合わせ⼊⼒ベクトルとする
• 上記のベクトルから全ての関係に対し
てSubjectタガーと同様の学習を⾏う
V2
sub
1
1

16. | 16
Proposal Method
n 提案⼿法： Cascade Binary Tagging Framework
https://arxiv.org/abs/1909.03227
関係毎に
Objectとなる
実体を検出する
タガー
Subjectとなる実体を
検出するタガー
２種類の
タギング
モジュール
から構成

17. | 17
Result
n 実験設定
p データセット：メジャーなNewYorkTimesとWebNLGで実験
https://arxiv.org/abs/1909.03227

18. | 18
Result
n 実験設定
p エンコーダー：貢献を明らかにするため3種で実験
• LSTM
単語ベクトルは学習済みGloVe(300次元)を利⽤
先⾏研究と同様に隠れ層300次元のBi-LSTMを⽤いている
• BERT
110Mパラメータの学習済みBERT-Base, Cased
• randomBERT
BERTのパラメータをRandom化したもの
https://arxiv.org/abs/1909.03227
この部分を変更à

19. | 19
Result
n 結果： LSTMの段階で全ての既存⼿法の精度を凌駕
p 学習済みBERTでSOTAだが、⾮学習済BERTやLSTMの精度が⾼い
(BERT)
(BERT)
https://arxiv.org/abs/1909.03227

20. | 20
Result
n 分析：オーバーラップで分けた場合の精度⽐較
p 全てで精度が向上しているが、特にWebNLGのオーバーラップの向上が顕著
https://arxiv.org/abs/1909.03227

21. | 21
Result
n 分析：⽂内に存在する関係の数で分けた場合の精度
p 従来⼿法に⽐べ関係の数が多い場合の精度向上が顕著
https://arxiv.org/abs/1909.03227

22. | 22
Result
n 分析：実体や関係毎に分けて精度を計算した場合
p NYTでは実体、WebNLGでは関係とデータの性質毎にボトルネックが異なる
https://arxiv.org/abs/1909.03227
24 Relations 246 Relations

23. | 23
Conclusion
n まとめ
p 関係抽出をクラス分類でなくタグ付けとして解く⼿法の提案
p 問題設定を変更するだけでLSTMでも⾼精度を記録した
p 発想の転換による精度向上という点が興味深かった
p f関係(subject) à object だけでなく、f関係(object) à subjectのような双⽅向の
学習があればより精度が向上するのではないかと感じた
A Novel Cascade Binary Tagging Framework
for Relational Triple Extraction