Neural Architecture for Named Entity Recognitionの解説と実装の紹介

1. ディープ“に”作る
固有表現認識
@Hironsan
2017/07/29@Nextremer勉強会

2. 目次
論文紹介
論文の要旨
モデルの概要
モデルの定式化
実験結果
デモンストレーション
おわりに

3. 自己紹介
@Hironsan
某SIerの研究開発部門に所属
入社以来、機械学習や自然言語処理の研究、それらを用いた
システムのプロトタイピングを行う
機械学習を用いた
対話システムの作成
ディープラーニングで
上司を認識して画面を隠す
Google APIとKintoneを連携し
て作るかんたん名刺管理
アプリのハンズオン

4. 宣伝
arXivTimes という論文のまとめを共有するリポジトリを
運営しています。(Twitter: @arxivtimes)
投稿だけでなくディスカッションもオープンに行えればと
思いますので、ご参加お待ちしております。
最近、Webサイトを作りました。

5. 論文紹介

6. 紹介する論文
Neural Architectures for Named
Entity Recognition
Lample, Guillaume, et al. (2016)
arXiv preprint arXiv:1603.01360.

7. 固有表現認識とは?
テキスト中のエンティティを予測するタスク
Foreign B-ORG
Ministry I-ORG
spokesman O
Shen B-PER
Guofang I-PER
told O
Reuters B-ORG
︙ ︙
通常エンティティ単位で評価する。
トークンではない。

8. 論文の要旨
先行研究の課題
特徴エンジニアリングあり (e.g. POS tag, word prefix, capital)
外部知識を利用 (e.g. gazetteers)
➡︎どちらも言語固有の情報なので他の言語への適用が難しい
論文のモデルでは
特徴エンジニアリングなし
外部知識利用なし
単語の綴りと分布の情報を利用して単語を表現
➡︎言語に依存せずに適用可能！

9. モデルの概要
入力はword embedding(後述)
word embeddingをBiLSTMに
入力し、出力を連結(concat)
連結した結果をCRFに入力し、
各ラベルの確率を出力
各層の意図は?
BiLSTMにするのは、固有表現を認識する際
に後ろから読むことが効果的であるため
(e.g. 本日、安倍首相は…)
CRFにより出力ラベル間の依存性をモデル化
(e.g. タグ付けにIOBESを用いた場合
B-PERの後ろはI-PERかE-PERのはず)

10. モデルの定式化
BiLSTMからの出力をProjectionして行列 P(n x k) に変換する
n : 文のサイズ
k : ラベル数
ラベル間の依存性を考慮するため、遷移行列 A を用意
sequence y = (y1, y2, …, yn) のスコアを以下のように計算

11. P(y|x)の組み合わせ爆発への対処
http://www.phontron.com/slides/nlp-programming-ja-04-hmm.pdf
Viterbiアルゴリズムで効率的に解く

12. Word Embeddingの作り方
char embeddingsをBiLSTMに
入力し、文字レベルの情報から
word embeddingを作成
一方、Lookup tableから事前学習
済みのword embeddingを取得
両者を連結(concat)し、前述した
BiLSTMへ入力
その意図は?
文字からword embeddingを作ることで、未
知語への頑健さを向上させたり、単語の
prefix, suffixを考慮したいのだと思われる

13. 実験結果
英語ではほぼSOTA、英語以外の3言語ではSOTA

14. 実験結果
pretrain済みのword embeddingsを
使用したのがかなり効いている
(+7.31 in F1)
CRF層により +1.79
Dropoutにより +1.17
文字レベルword embeddingsによ
る効果は +0.74
ドイツ語 : +3.70
オランダ語: +8.60
スペイン語: +2.31
(a) English

15. 実験結果
pretrain済みのword embeddingsを
使用したのがかなり効いている
(+7.31 in F1)
CRF層により +1.79
Dropoutにより +1.17
文字レベルword embeddingsによ
る効果は +0.74
ドイツ語 : +3.70
オランダ語: +8.60
スペイン語: +2.31
(a) English

16. 実験結果
pretrain済みのword embeddingsを
使用したのがかなり効いている
(+7.31 in F1)
CRF層により +1.79
Dropoutにより +1.17
文字レベルword embeddingsによ
る効果は +0.74
ドイツ語 : +3.70
オランダ語: +8.60
スペイン語: +2.31
(a) English

17. 実験結果
pretrain済みのword embeddingsを
使用したのがかなり効いている
(+7.31 in F1)
CRF層により +1.79
Dropoutにより +1.17
文字レベルword embeddingsによ
る効果は +0.74
ドイツ語 : +3.70
オランダ語: +8.60
スペイン語: +2.31
(a) English

18. デモンストレーション

19. 固有表現認識器: anaGo

20. おわりに

21. おわりに
BiLSTM-CRFモデルの派生版を提案
文字レベルのembeddingから単語レベルのembeddingを作成する
ことで性能向上を狙った
結果は…
事前学習済み word embedding を使うことで大きく性能向上
出力ラベル間の依存性を考慮するためにCRF層を入れることで、
若干の性能向上
英語では文字レベルの情報を使用した効果は薄かった
一方、ドイツ語、オランダ語、スペイン語では文字レベルの情報を
使用することで大きく性能向上

22. 参考文献
Chiu, J. and Nichols, E. (2015).
Named Entity Recognition with Bidirectional LSTM-CNNs.
Transactions of the Association for Computational Linguistics, 4:357–370.
Huang, Z., Xu, W., and Yu, K. (2015).
Bidirectional LSTM-CRF Models for Sequence Tagging.
arXiv preprint arXiv:1508.01991.
Ma, X. and Hovy, E. (2016).
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF.
In Proceedings of ACL, pages 1064–1074, Berlin, Germany. Association
for Computational Linguistics.