Downloaded 10 times
テキスト前処理用Pythonモジュールneologdnの紹介
- 1.
- 2.
- 3. テキストの前処理とは • 後の処理がやりやすくなるように テキストを一定のルールに基づいて整えること • たとえば、 •半角ｶﾅを全角カナにする • 全角英数字を半角英数字にする • 「ウェーイ」と「ウェーーーーイ」を同じ言葉として扱う ために「ウェーーーーイ」を「ウェーイ」にする
- 4. もし前処理やらないと…… $ mecab -d/usr/local/lib/mecab/dic/mecab-ipadic-neologd まどかマギカ まどかマギカ 名詞,固有名詞,一般,*,*,*,まどかマギカ,マドカマ ギカ,マドカマギカ EOS まどかﾏｷﾞｶ まどか名詞,固有名詞,人名,名,*,*,まどか,マドカ,マドカ ﾏｷﾞｶ 名詞,固有名詞,組織,*,*,*,* EOS せっかくのNEologdがMOTTAINAI😨
- 5. neologdn • NEologdの前処理用Pythonモジュール • Cythonだからチョット速い •Python2系3系両対応 • pip install neologdn • https://github.com/ikegami-yukino/neologdn
- 6. 公式サンプルコードとの比較 • 公式サンプルコード • https://github.com/neologd/mecab-ipadic- neologd/wiki/Regexp.ja#python-written-by-hideaki-t--overlast •テキスト: livedoor ニュースコーパス • http://www.rondhuit.com/download.html • およそ24万行 • IT, 家電, 映画, スポーツ,独女通信など様々な文書
- 7. 比較の結果 公式サンプル neologdn 18.3 sec9.05 sec • 2倍程度速い！😇 • 詳細 – https://github.com/ikegami- yukino/neologdn/blob/master/benchmark/benchm ark.ipynb
- 8. まとめ • 前処理大事 • せっかくの辞書が活躍できない😨 •Pythonでやるならneologdn • チョット速い😇