company reading

1. Can Language Models be
Biomedical Knowledge Bases?
Mujeen Sung, Jinhyuk Lee, Sean S. Yi, Minji Jeon, Sungdong Kim, Jaewoo Kang
EMNLP 2021, @論文読み会, 紹介者: Yoshiaki Kitagawa

2. Summary
 Task
 Knowledge Base の Fact を Language
Model から抽出する
 具体的には Object 部分を穴埋め問題とし
て LM で predict する
 先行研究と比べてどこがすごいか？
 医療ドメインで KB を LM から抽出
 Prompt と Synonym Variance による分析
 技術や手法のキモ
 domain に合わせて、LM を変える
 BioBERT
 Bio- LM
 Knowledge Base の Fact を Language
Model から抽出タスクにおける分析
 Prompt Bias
 Synonym Variance
 どうやって有効だと検証したか？
 穴埋め問題で top k 個出したときその中に正解が含ま
れていたら正解とする Acc@k を図る
 Acc@1, Acc@5
 議論はあるか？
 既存手法の domain を変えたのみなので新規性は薄
め？
 次に読むべき論文
 Language Models as Knowledge Bases?
[Petroni et al., 2019]

3. Introduction
 LM から Knowledge を抽出する先行研究として LAMA がある
 本研究はBiomedical domain の BioLAMA を作成

4. Task
 Object 部分が隠された穴埋め問題
 Prompt は subject, object を含む fact を表すテンプレートのようなもののことを指す

5. Knowledge Sources
 CTD
 病気、化学物質、遺伝子などの生物医学的実体間の関係と相互作用に関する公開生物医
学 database（Davis et al.,2020）
 UMLS
 生物医学分野のさまざまな概念と語彙に関する情報を提供する大規模な database
(Bodenreider, 2004).
 Wikidata
 さまざまな domain にわたる fact を含む public KB
 -> 上記データから triple を抽出

6. Data Pre-processing
 entity の length が 10 subwords 以下の entity のみを対象とする
 これでも 90% カバーできる
 （医療ドメインだと長い名前の entity が多い？）
 object が subject の部分文字列になっているようなものを省く
 例: “iron deficiency”-“iron”
 Training:dev:test = 40:10:50

7. Evaluation Metric
 top-k Accuracy:（Acc@k）
 上位k個の object entity のいずれかがアノテーションされた object entity のリストに含
まれている場合は1、それ以外の場合は0

8. Language Model
 3つの LM
 BERT
 BioBERT
 Bio-LM
 BioBERT と Bio- LM は PubMedという医療ドメインのデータセットで pre-training
 Bio-LM は PubMed の vocabulary
 BioBERT は BERTで初期化

9. Experimental Result
 OptiPrompt: Zhong et al. (2021) による機械的に集めた prompt
 Manual prompt: 専門家による人手 prompt
Experimental Result
´ OptiPrompt: Zhong et al. (2021) による機械的に集めた prompt
´ Manual prompt: 専⾨家による⼈⼿ prompt

10. Examples of Bio-LM

11. Prompt bias
 Subject の変化にどれくらいセ
ンシティブかを測る
 1つの relation から 100 sample
とった時、top prediction
の”pain” が20回出てきた
ら、”pain“ は 20%
 一方で、Subject を Mask した
時に LM の distribution を確認
する
 上記2つ distribution のピアソ
ンの順位相関係数を出す
 これが低ければ prompt の bias
は低い

12. Synonym Variance
 Subject を同義語に置き換えた場合
でも同じ Object を出して欲しい
 10 個同義語を持ってきたときに
Acc@5 の標準偏差を測る
 低ければ変わらないということな
ので良い

14. Summary
 Task
 Knowledge Base の Fact を Language
Model から抽出する
 具体的には Object 部分を穴埋め問題とし
て LM で predict する
 先行研究と比べてどこがすごいか？
 医療ドメインで KB を LM から抽出
 Prompt と Synonym Variance による分析
 技術や手法のキモ
 domain に合わせて、LM を変える
 BioBERT
 Bio- LM
 Knowledge Base の Fact を Language
Model から抽出タスクにおける分析
 Prompt Bias
 Synonym Variance
 どうやって有効だと検証したか？
 穴埋め問題で top k 個出したときその中に正解が含ま
れていたら正解とする Acc@k を図る
 Acc@1, Acc@5
 議論はあるか？
 既存手法の domain を変えたのみなので新規性は薄
め？
 次に読むべき論文
 Language Models as Knowledge Bases?
[Petroni et al., 2019]