https://aclanthology.org/P19-1129/ の和訳。備忘録。誰かの役に立ってほしいです

1. Entity-Relation Extraction
as Multi-turn Question Answering
Entity-Relation Extraction as Multi-Turn Question Answering
- ACL Anthology
1

2. まとめ
entityとrelationの抽出をQAタスクとして解く
QAタスクにおける質問はテンプレートを用いて作成される
質問の回答は強化学習を用いて解く
既存研究との違い
Jointでentityとrelationの抽出をmultiQAタスクとして解く
RESUMEという履歴書データ（中国語）も対象
強化学習を用いる
提案のウリ（利点・貢献)・問題点
1. entity抽出をsingleのQAタスクとして解くモデルは存在しているがrelation
も含めたmultiのQAタスクとして解くこと
2. 質問生成↔回答のやり取りを段階的に用意．質問を重ねることで答えられ
る可能性上がる
3. テンプレートとなる質問生成を選択可能
1. NESTしているものの抽出はできていない
2. テンプレートが全てのインスタンスの対象になっているか不明
3. Sequenceの評価？
評価の仮説と評価方法・結果
entity抽出がsingleのQAタスクとして解かれていることに影響
を受けてmultiQAタスクとしてentity抽出とrelationを行う
head
評価方法・結果についての議論と課題
1. ACE04，ACE05，CoNLL04のデータセットとRESUMEで実験
2. experience replayとcurriculum learning
3. （内容をもう少し詳しく書いてほしかった）
読むべき関連研究
1. Miwa and Bansal, 2016
2. Wang et al., 2016a
Entity-Relation Extraction
as Multi-turn Question Answering
Xiaoya Li, Fan Yin, Zijun Sun, Xiayu Li Arianna Yuan, Duo Chai, Mingxin
Zhou and Jiwei
LiNIPS2018
2
Algorithm

3. Introduction
3
 エンティティ抽出と関係抽出
構造化されていない生の文章から構造化された知識を抽出
構造化

4. Introduction
4
entityとrelationの抽出
multi-turn QA task
タグの階層的な依存関係を考慮
分類する関係のタイプを事前にエンコード
entityとrelationを同時に抽出
回答
利点

5. model
5
2段階で構成されるアルゴリズム
1. head entity
2. relation と tail entity
Algorithmの流れ

6. model
6
2段階で構成されるアルゴリズム
1. head entity
2. relation と tail entity
Algorithmの流れ
① EntityQuesTemplatesのテンプレート質問準備
② 質問に回答
1. head entity 抽出部

7. model
7
2段階で構成されるアルゴリズム
1. head entity
2. relation と tail entity
Algorithmの流れ
① １で抽出したentityを使ってテンプレート質問生成
② 質問に回答することでrelation と tail entityを獲得
2. relation と tail entity抽出部

8. テンプレート質問生成
8
で抽出したhead entityを XXX に代入して質問を完成
生成部分

9. テンプレート質問生成
9
生成部分
RESUMEのEntity抽出の質問テンプレート
質問の生成には
 自然言語に基づいた質問
 疑似質問
の2種類の方法が存在

10. 回答spanの抽出
10
 QAを解くことをMRC (Machine Reading Comprehension)タスクとして設定．
従来
Q = {𝑞1, 𝑞2, … , 𝑞𝑁𝑞
}
C = {𝑐1, 𝑐2, … , 𝑐𝑁𝑐
}
質問
文
=(SQuAD)
 文を構成するトークン数𝑁𝑐の中から回答範囲を予測する
提案モデル
 BERTのSQuADモデルを用いる
 各トークンのBMEOラベルを予測
 範囲を強化学習で獲得
始まりのインデックス番号
終了のインデックス番号をsoftmaxで予測
𝑐1, 𝑐2, 𝑐3, 𝑐4, 𝑐5, 𝑐6, 𝑐7, 𝑐8
0 1 0 0 0 1 0 0
トークン
出力
𝑐1, 𝑐2, 𝑐3, 𝑐4, 𝑐5, 𝑐6, 𝑐7, 𝑐8
O B I I I E O O
トークン
出力

11. 強化学習
11
 Action
 Policy
 Reward
テキストの範囲の決定
質問と文に基づいた適切なspan抽出の確率
正しく獲得できたトリプレットの数が報酬

12. 実験 データ
12
ACE04 ACE05 CoNLL04
entity type rel type
Person (PER) Physical (PHYS)
Organization
(ORG)
Person-Social
(PER-SOC)
Geographical
Entities (GPE)
Employment-
Organization
(EMP-ORG)
Location (LOC) Agent-Artifact
(ART)
Facility (FAC) PER/ORG
Affiliation
(OTHER-AFF)
Weapon (WEA) GPE- Affiliation
(GPE-AFF)
Vehicle (VEH) Discourse
(DISC)
entity type rel type
Person (PER) Physical (PHYS)
Organization
(ORG)
Person-Social
(PER-SOC)
Geographical
Entities (GPE)
Employment-
Organization
(EMP-ORG)
Location (LOC) Agent-Artifact
(ART)
Facility (FAC) GPE- Affiliation
(GPE-AFF)
Weapon (WEA) PART-WHOLE
Vehicle (VEH)
entity type rel type
Person (PER) LOCATED IN
Organization
(ORG)
WORK FOR
Location (LOC) ORGABASED IN
Others LIVE IN
KILL
Li and Ji (2014)と同じ分割
Miwa and Sasaki(2014)と同じ分割

13. 実験 データ
13
RESUME
 階層的な関係を抽出するために作成したデータセット
 IPO（株や投資系のコーパス）から管理チームを説明する841段落を対象
 役員の履歴等が書かれている
entity type
Person
Company
Position
Time
 二人のアノテーターで違うところは話し合いで決定
 一致率は93.5%

14. 実験 結果
14
Person → Company → Position → Time の順番で抽出
tagging + relation
BERT(Entity抽出) → CNN(Relation抽出)
tagging + dependency
BERT(Entity抽出) → Biaffine(Relation抽出)

15. 実験 結果
15
+1.8
+1.2

16. 実験 結果
16

17. 実験 質問形式による変化
17
Pseudo: 疑似質問
Natural: 自然言語
全てのデータセットで
自然言語に沿った質問の方が高いスコア
λ=0で一番高い訳ではない
→ tail entity の抽出が効いている
λ=0.7で一番高いスコアを記録

18. 実験 結果
18
距離の離れたEntity同士でも抽出している
同じ関係が一文に複数含まれていても抽出可能

19. Conclusion
19
 entity relation 抽出タスクをmulti-QAタスクとして解くことで精度向上
 RESUMEを作成