ニューラルNERにおける格フレームの有効性
•
0 likes•36 views
This document discusses evaluating the effectiveness of incorporating case frame information into neural Japanese named entity recognition. It proposes adding modulation gate to integrate case frame vectors (MVC) into a baseline Bi-LSTM-CRF model. The experiment shows adding MVC to the output of LSTM (posterior insertion) achieved the best performance compared to other insertion methods or no MVC. While MVC helped most entity types, location names saw less improvement likely due to lower MVC attribution rates. Overall, incorporating syntactic case frame data enhanced the baseline model's ability to recognize named entities.
Recommended
Recommended
More Related Content
Similar to ニューラルNERにおける格フレームの有効性
Similar to ニューラルNERにおける格フレームの有効性 (20)
More from Takashi Inui
Recently uploaded
Recently uploaded (20)
ニューラルNERにおける格フレームの有効性
- 2. 研究背景 lニューラルNER l近年、NERに対してLSTMやBERT等の ニューラルネットワークモデルの研究開発が盛ん lモデル設計の柔軟さを生かして 入力文書以外の外部情報を特徴量として使用 l例：文書の添付画像も使い性能向上(Lu et al.2018) 2 Lu, Di, et al. "Visual attention model for name tagging in multimodal social media." Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). 2018.
- 3. 研究目的 l 「行く」と助詞「へ」で繋がれる名詞は場所を表してそう 3 太郎は朝9時に へ自転車で行く 人名 時間 場所 筑波大学 つくば駅 買い物 l 外部情報として格フレーム情報をニューラルNERモデル に組み込み、有効性を検証
- 4. 京大格フレーム*1 l 述語とそれに関係する名詞を述語の各用法ごと に整理したもの l Webテキストから自動構築 4 行く/いく＿動3 ガ格 デ格 ヘ格 … 子供 60 車 48 学校 17,735 私 18 足 38 病院 15,902 子 12 自転車 37 大学 3,146 … … … 子供 が 自転車 で 学校 へ行く ガ格 デ格 ヘ格 *1 http://nlp.ist.i.kyoto-u.ac.jp/index.php
- 5. ベースラインモデル： Bi-LSTM-CRF(Misawa et al. 2017) l NERで多く採用されている 基本的なニューラルNERモデル l 文脈から予測を行うことができる l 文字と単語を同時に考慮 5 Shotaro Misawa, Motoki Taniguchi, Yasuhide Miura, and Tomoko Ohkuma. Character-based bidirectional lstm-crf with words and characters for japanese named entity recognition. In Proceedings of the First Workshop on Subword and Character Level Models in NLP, pp. 97‒102, 2017.
- 6. 提案手法 l ベースラインモデルに格フレーム情報を組み込む 1. 格フレーム情報をMVCベクトルに変換 2. MVCを取り込む対象の決定 3. Modulation GateでMVCをモデルに取り込む l LSTMの入力前（前側挿入） l LSTMの出力後（後側挿入） l LSTMの前後（両側挿入） 6 両側挿入モデル→
- 7. 格フレーム内平均ベクトル （MVC）(山城ら 2019) l 格フレームの情報を格要素ごとにベクトル化 7 行く/いく＿動3 ヘ格 学校 17,735 病院 15,902 大学 3,146 … 𝑐𝑓# $ (𝑐): 述語𝑝、格𝑐、𝑙番目の格フレーム 𝑊*+, - (*): 𝑐𝑓# $ (𝑐)に含まれる名詞群 𝑐𝑜𝑢𝑛𝑡(𝑐𝑓# $ , 𝑐, 𝑤): 𝑐𝑓# $ (𝑐)に含まれる名詞𝑤の出現頻度 𝝓5: 名詞𝑤の単語ベクトル 山城颯太,西川仁,徳永健伸.大規模格フレームによる 解候補削減を用いたニューラルネットゼロ照応解析. 自然言語処理, Vol. 26, No. 2, pp. 509‒536, 2019.
- 8. MVCを取り込む対象 北イタリアのラベンナに住むごく普通の市民 8 MVC付与無し 住む_ニ格 住む_ガ格 普通だ_ガ格 l 格解析を実行し、格フレームを参照する名詞を決定 l 例：MVCが与えられるのはラベンナと市民 l 北イタリアにはゼロベクトル l 複数の格関係が対応するとき（上の例：市民） l 直接係り受けがある？格は明示されてる？ l ↑同じなら、先に出てきたものを優先
- 9. Modulation Gate(Lu et al.2018) l テキスト情報と外部情報を組み合わせる l 入力：j番目のテキスト情報 𝒉7 対応する外部情報 𝒗7 l 出力：9 𝒉7 9 Di Lu, Leonardo Neves, Vitor Carvalho, Ning Zhang, and Heng Ji. Visual attention model for name tagging in multimodal social media. In Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Volume1:LongPapers), pp. 1990‒1999, 2018.
- 10. データセット l 拡張固有表現タグ付きコーパス(橋本ら 2010) l 新聞、白書、Webテキストなど様々なジャンル l 文書数：およそ9,000 l 固有表現クラス l 上記コーパスで頻出の6種類を使用 l 固有表現数：36万 10 Train Dev Test All 文書数 7,383 901 900 9,184 PRODUCT 76,956 10,130 9,631 96,717 NUMBER 60,469 6,633 7,876 74,978 LOCATION 45,601 5,704 5,207 56,512 TIME 43,001 5,354 5,477 53,832 ORGNIZATION 34,774 4,115 4,028 42,917 PERSON 32,844 4,297 3,989 41,130 ALL 293,645 36,233 36,208 366,086
- 11. 評価実験 l分かち書き lJuman++ l格解析 lKNP l単語と文字の分散表現 lGloVe(Pennington et al.2014)を用いて作成 lモデルパラメータ l(Misawa et al.2017)と同じ 11 LSTM unit 300 Word embedding 500 Char embedding 50 Batch size 60 Learning rate 0.001 Optimization Adam
- 14. 考察 l MVC付与の有無に注目 l どちらの手法もMVC付与有りの方が性能が高かった l 述語と格関係がある事例の方が予測がしやすい l MVC付与無しLOCのみ性能低下 l LOCのMVC付与率が低いことと関係あり？ 14 北イタリアのラベンナに住む ごく普通の市民 MVC付与無し：北イタリア MVC付与有り：ラベンナ （住む_ニ格）