Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN CRF

1. Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN CRF 長岡技術科学大学自然言語処理研究室西山浩気 Yan Shao and Christian Hardmeier and Jorg Tiedemann and Joakim Nivre, Proceedings of the The 8th International Joint Conference on Natural Language Processing, pages 173–183, Taipei, Taiwan, November 27 – December 1, 2017

2. ⚫ POS Tagging と Joint Segmentationのための中国語文字ベース学習モデルの提案 ⚫ 構文情報と文字レベルの情報を取り入れるために RNN-CRF モデルを用いた ⚫ データセットのサイズ, ドメインに影響を受け難く広い分野で最高性能を獲得 ◼ CTB5データセットにおいて, Joint Segmentation タスクで F1 score 94.38 1. 概要 2

3. ⚫ 単語分割(Segmentation) , 品詞付与(POS tagging) は言語処理における重要な基礎技術 ◼ 後段の処理をするために必須 ⚫ 品詞は単語分割の際に重要な情報となる ◼ パイプライン式と比べ, 同時に推定すると精度が向上[Ng and Low, ’04; Zhang and Clark, ‘08] ◼ 単語分割位置と品詞の同時推定 2.1 Joint Segmentation and POS Tagging はじめに 3

4. ⚫ ZPar[Zhang and Clark, ‘10] ⚫ 構造化パーセプトロンとBeam Search Decoder ⚫ 同時推定によって最高性能を達成 ⚫ Bidirectional RNN – CRF ⚫ いくつかの系列ラベリングタスクで最高性能 [Huang et al., ’15;Ma and Hovy, ‘16] ⚫ 長期の依存関係や文全体の情報を保存 4 2.2 先行手法はじめに

5. この論文では完全な文字ベースの単語分割 , 品詞付与を同時に行うモデルの提案を行う 5 2.3 目的はじめに

6. ⚫ Baselineモデル 1. 文字Embedding 2. Bi-RNN 3. CRF ⚫ タグは4つ ⚫ Beginning ⚫ Inside ⚫ End ⚫ Single 6 3.1 BiRNN-CRF モデル提案手法

7. 3種類の表現で実験 ⚫ N-gram結合 ⚫ 部首と文字画像の特徴 ⚫ 事前学習 7 3.2 文字分散表現提案手法

8. 文字のn-gramを連結させる ⚫ 1-gramから順にベクトルを連結 ⚫ 隣接する文字を考慮するベクトル 8 3.2 文字分散表現 N-gram結合提案手法

9. ⚫ 漢字は1文字に豊富な特徴を持つ ◆ 银(silver) ◆ 铁(iron) 钅(gold) ◆ 针(needle) ⚫ CNNで部首の特徴を抽出し, ベクトル化 9 3.2 文字分散表現部首と文字画像の特徴提案手法

10. ⚫ 文字ごとに Glove[Pennington et al., ‘14]で学習 ◼ 未知語に対してはランダムなベクトル付与 10 3.2 文字分散表現事前学習提案手法

11. ⚫ Chinese Treebank[Xue et al., ‘05] ◼ 9.0 (CTB9) 様々なドメインの文書が含まれるデータセット ◼ 5.0 (CTB5) CTB9 のニュース記事を取り出したデータセット ⚫ Universal Dependencies の中国語セクション (UD Chinese) ◼ 一般的なタグ (UD1) ◼ 言語依存のタグ (UD2) 11 4.1 データセット評価

12. ⚫ 部首と文字画像の特徴ベクトル ◼ Kangxi Dictionaly (康熙字典)  214 の異なる部首  中国語ではない文字,登録されていない部首を持つ漢字は新たに部首ベクトルを作成 ⚫事前学習ベクトル ◼ Wikipedia ◼ Sogou News Corpora(Sogou CS) で学習 12 4.2 実験設定評価

13. ⚫ 1-gram と比べ2-gram以上の性能向上 ◼ 隣接文字情報は文脈情報獲得に有用 ⚫ 3-gram程度が適切 ◼ それ以上は学習が不足 13 4.3 n-gram結合ベクトルの評価 F1値による文字ベクトルの評価

14. ⚫ 3-gram に部首・画像の情報を加えることで性能向上 ⚫ 訓練データの少ないUDでは特に有効 14 4.3 部首ベクトルの評価 F1値による文字ベクトルの評価

15. ⚫ Gloveを用いた事前学習 ⚫ 1-gram(1hot)と比べると有効 ⚫ 3-gram, 部首情報と比べると性能は下がる ⚫ 訓練データが少ないUDでは, 精度の底上げに寄与 15 4.3 事前学習ベクトルの評価 F1値による文字ベクトルの評価

16. ⚫ 3つの分散表現のアンサンブル学習が全データセットで有効性を示す ⚫ 特に小規模データセットで有効 ⚫ OOVのRecallが高く, ロバスト性が高い 16 4.4 従来手法との比較評価

17. ⚫ 全てのドメインで従来手法を上回る ⚫ ニュース記事では若干の精度向上 ⚫ Web記事等で精度向上に寄与 17 4.5 複数のドメインでの比較評価

18. ⚫ 文字ベースの BiRNN-CRFを用いた Joint Segmentation,POS Taggingのためのモデル提案 ⚫ 文字の分散表現方法3種を提案 ◼ 全てをアンサンブル学習させた場合が最高性能 ◼ 従来手法に比べ, 複数のドメインで有効性を示す特に, ✓ Web記事などの崩れた表記 ✓ 訓練データの少ない場合に有効 18 まとめ

Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN CRF

Character-based Joint Segmentation and POS Tagging for Chinese using Bidirectional RNN CRF

Recommended

More Related Content

More from 浩気西山

More from 浩気西山(11)