Neural Architecture for Named Entity Recognition
•Download as PPTX, PDF•
1 like•4,186 views
Neural Architecture for Named Entity Recognition
Recommended
More Related Content
Similar to Neural Architecture for Named Entity Recognition
Similar to Neural Architecture for Named Entity Recognition (20)
Neural Architecture for Named Entity Recognition
- 1. Neural Architectures for Named Entity Recognition Guillaume Lample, Miguel Ballesteros, Sandeep Subramanian, Kazuya Kawakami, Chris Dyer Hironsan 2017/07/07
- 3. 自己紹介
- 4. Deepな固有表現認識
- 5. 固有表現認識とは？
- 6. 論文の要旨 先行研究の課題 特徴エンジニアリングあり (e.g. POS tag, word prefix, suffix) 外部知識を利用 (e.g. gazetteers) ➡︎どちらも言語固有の情報なので他の言語への適用が難しい 論文のモデルでは 特徴エンジニアリングなし 外部知識利用なし 単語の綴りと分布の情報を利用して単語を表現 ➡︎言語に依存せずに適用可能！
- 7. モデルの概要 入力は word embeddings(後述) Bi-LSTMにword embeddingを 入力し、結果を結合(concat) 結合したベクトルをCRFに入力 Bi-LSTMなのは、固有表現を認識する際に 後ろから読むことが効果的であるため (e.g. 本日、安倍首相は…) CRFによりラベル間の依存性をモデル化 B-PERの後ろはI-PERかE-PERのはず
- 8. モデルの定式化 BiLSTMからの出力をProjectionして行列 P(n x k) に変換する n : 文のサイズ k : ラベル数 ラベル間の依存性を考慮するため、遷移行列 A を用意 sequence y = (y1, y2, …, yn) のスコアを以下のように計算
- 9. P(y|x)の組み合わせ爆発への対処 http://www.phontron.com/slides/nlp-programming-ja-04-hmm.pdf Viterbiアルゴリズムで効率的に解く
- 10. Input Word Embeddings 文字レベルのembeddingsから単語 レベルのembeddingsを作成し、単 語レベルのembeddingsと結合して 入力を作成 char embeddingsをBiLSTMに 入力し、文字レベルの情報から word embeddingsを作成 一方、Lookup tableからword embeddingsを取得 両者を連結し、入力のembeddings として扱う
- 12. 実験結果 pretrain済みのword embeddingsを 使用したのがかなり効いている (+7.31 in F1) CRF層により +1.79 Dropoutにより +1.17 文字レベルword embeddingsによ る効果は +0.74 ドイツ語 : +3.70 オランダ語: +8.60 スペイン語: +2.31 (a) English
- 13. 実験結果 pretrain済みのword embeddingsを 使用したのがかなり効いている (+7.31 in F1) CRF層により +1.79 Dropoutにより +1.17 文字レベルword embeddingsによ る効果は +0.74 ドイツ語 : +3.70 オランダ語: +8.60 スペイン語: +2.31 (a) English
- 14. 実験結果 pretrain済みのword embeddingsを 使用したのがかなり効いている (+7.31 in F1) CRF層により +1.79 Dropoutにより +1.17 文字レベルword embeddingsによ る効果は +0.74 ドイツ語 : +3.70 オランダ語: +8.60 スペイン語: +2.31 (a) English
- 15. 実験結果 pretrain済みのword embeddingsを 使用したのがかなり効いている (+7.31 in F1) CRF層により +1.79 Dropoutにより +1.17 文字レベルword embeddingsによ る効果は +0.74 ドイツ語 : +3.70 オランダ語: +8.60 スペイン語: +2.31 (a) English
- 16. まとめ
- 17. まとめ 事前学習済み word embeddings を使うことで大きく性能向上 出力ラベル間の依存性を考慮するためにCRF層を入れることで、 性能向上 英語では文字レベルの word embeddings を使用した効果は 薄かった 一方、ドイツ語、オランダ語、スペイン語では文字レベルの word embeddings を使用することで大きく性能向上
- 18. 参考文献 Chiu, J. and Nichols, E. (2015). Named Entity Recognition with Bidirectional LSTM-CNNs. Transactions of the Association for Computational Linguistics, 4:357–370. Huang, Z., Xu, W., and Yu, K. (2015). Bidirectional LSTM-CRF Models for Sequence Tagging. arXiv preprint arXiv:1508.01991. Ma, X. and Hovy, E. (2016). End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF. In Proceedings of ACL, pages 1064–1074, Berlin, Germany. Association for Computational Linguistics.