Literature Review of Vietnamese Word Segmentation with CRFs and SVMs.

1. Vietnamese Word Segmentation
with CRFs and SVMs: An Investigation
長岡技術科学大学 自然言語処理研究室
高橋寛治
C.T. Nguyen, T.K.Nguyen, X.H.Phan, L.M.Nguyen, Q.T.Ha,
Proceedings of the 20th PACLIC, pp.215-222, 2006.10
文献紹介 2015年12月17日

2. 概要
•SVMとCRFを用いてベトナム語の単語分割を行い
比較する
•タグ付け済みコーパスを構築し、単語分割の調査
•素性やコーパスサイズが性能にどれほど影響する
か調査
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 2

3. はじめに
•統計的手法や機械学習手法によるベトナム語単語
分割の精度は91%程度と報告されている
•既存の研究は他の手法と比較を行っていない
•ベースラインと比較して調査
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 3

4. モチベーション
•SVMやCRFはNLPにおける分割問題やラベル問題
で成功している
•ベトナム語単語分割でもうまくいくだろう
•しかしながら、素性選択は両手法において必要
•→どのような素性が精度に影響するのか？
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 4

5. ベトナム語の単語についておさらい
•音節
•単語
Ø1音節の単語：tôi(私), bạn(あなた), nhà(家)
Ø複合語：bơi lội(泳ぐ), đường sắt(鉄道)
Ø畳語：「神々しい」のような語
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 5

6. 本稿での新語
•解析に利用する辞書、学習コーパスに出現しない
単語のこと（未知語）
•省略語
ØCAND(Công An Nhân Dân – 警察官)
•固有表現
ØHồ Chí Minh, Công ty Hải Hà(Hải Hà社)
•外国の単語
Øアルファベットを利用するため区別がつかない
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 6

7. 系列ラベル
•CRF
Ø識別モデル
Øクラスに分類される確率
•SVM
Ø識別関数
Øデータを分類
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 7

8. コーパスの構築
•様々なニュース３０５記事を様々なウェブサイト
から取得
•様々なサイトから収集することで単語の分布に偏
りがなくなる
•人名コーパス（２０００人）
•地名コーパス（７０７か所）
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 8

9. コーパスの内容
•コーパスは公開
•B_W, I_W, Oの３つのタグを付与
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 9

10. 素性選択
•かっこの中の数値は素性の窓幅を示す
• 4音節以上の単語はほとんど無いので(-2,2)が最大
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 10

11. 実験
• ツールを利用
ØCRF: FlexCRFs
ØSVM: YamCha
• ５分割交差検証で様々な素性を試す
ØSC:Syllable Conjunction, Misc:Miscellaneous, ERS:External
Resources, VSD:Vietnamese Sylabble Detection
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 11

12. 結果
•CRFは素性を追加すればするほど良くなる
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 12

13. CRF
• 音節接合の素性と単語辞書の素性が顕著
• その他の素性はあまり効果がない
Ø１音節目の語かどうか
Ø数値や日付はそもそも数が少ない
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 13

14. 結果
•VSDはCRFでは寄与、SVMでは足を引っ張る
•少ない素性でSVMは効果がある
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 14

15. 結果
•SC+VSD+Dictの時のCRFとSVMの比較
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 15

16. まとめ
•CRFとSVMをベトナム語単語分割に用いる調査を
行った
•貢献
Øタグ付けしたコーパスの作成
Ø様々な素性での結果の比較
Ø実験結果から興味深いことを発見
•今後はコーパスサイズによる精度の変化を確認
Improving Vietnamese Word Segmentation and POS Tagging using MEM with Various Kinds of Resources 16