Download as PDF, PPTX
Uploaded byMasahiko Hashimoto
ホットな日本語入力技術のお勉強。〜 OSC 2016 Hamanako 編 〜
「ホットな日本語入力技術のお勉強。」OSC浜名湖2016編です。 N-gramのことについて新規に説明を追加してます。
ホットな日本語入力技術のお勉強。〜 OSC 2016 Hamanako 編 〜
- 1. ホットな日本語入力技術のお勉強。 〜 OSC 2016Hamanako 編 〜 2016/1/23 OSC 2016 Hamanako はしもとまさひこ
- 2. 簡単に自己紹介。 ● 東海道らぐ（Tokaido LinuxUser Group）案内人 – 東京〜静岡〜名古屋〜京都〜大阪で活動するらぐ – 明日、鴨江アートセンターでオフ会やります！！！ 詳しくは東海道らぐブースのビラを参照（余ってるはず） ● ちびぎーこ保護者会（別名日本openSUSEユーザ会）の人 ● 最近は日本語入力についていろいろ勉強している人
- 3.
- 4. Q１．日本語入力ソフトを意識して使っていますか？ １． 自分はこれしか使わない！というソフトがある （※MS-IME, ATOK,Google日本語入力等） ２． ソフトは知らないけど優れたソフトを使いたい！ ３． 特に意識したことはない 注： OSとか関係なく回答ください
- 5. Q2. OSSなOSをデスクトップで使っていますか？ １． Linux,BSD等をデスクトップで使ってます！ ２． デスクトップはMacしか使わないよ！ ３． デスクトップはWindowsに決まってるでしょ！ 注： 正直に回答ください(^^)
- 6. 今日はオープンソースの日本語入力についてです 1. 最近の日本語入力技術とは？ 1. 辞書データ構築技術について〜Trie〜 2. かな漢字変換アルゴリズム① 〜Mozc〜 3. かな漢字変換アルゴリズム② 〜libkkc〜 2. まとめ 1. 最近のオープンソースな日本語入力事情 2. おーぷん万葉の紹介
- 7.
- 8.
- 9. データを格納するための技術 〜Trie〜 ● 通常の木構造に対し、枝にラベルがついたもの – メリット：共通接頭検索が可能になる ０ １ ２３ ４ ５ ６ ７ ８ か み た す び わ た し これがいわゆるラベル ラベルがついてるとTrieと呼ぶ ラベルをたどることで 辞書検索が可能になります →データ圧縮にもつながる
- 10. Trieの実装 〜LOUDS〜 10 111010 110 10 0 0 0 10 0 ０ １ ２ ３ ４ ５ ６ ７ ８ か み た す び わ た し 仮想ノード 「0」から ３つに分岐 「１」は 分岐なし 「2」から 2つに分岐 「3」は 分岐なし 「4」「5」「6」は 末端ノード 「7」は 分岐なし 「8」は 末端ノード Trieをビットで表現したもの それが「LOUDS」（らうず） 課題として下記のようなものがあります ・ノードを動的に追加することが困難 ・Trie構築後にビットを作成しないと厳しい？
- 11. 現在の主流はTrie ● その他のTrieの実装としてダブル配列等があります – LOUDSより高速ですが、メモリ消費が大きいので かな漢字変換には不向きと言われてます –形態素解析器mecabはダブル配列を採用してます ● オープンソースのライブラリが数多く存在します – 自分で実装すると大変！ まずはオープンソースで試してみましょう ● Tx / Ux ： 非常にコンパクトなLOUDSのライブラリ ● Rx： mozcで採用されているLOUDSのライブラリ ● marisa-trie： libkkcで採用されているLOUDSのライブラリ
- 12.
- 13.
- 14. オープンソースなかな漢字変換の歴史 ● 1987年 :Wnn (FreeWnnの前身) ● 1989年 : Canna ● 2002年 : Anthy ● 2010年 : mozc ● 2013年 : libkkc (Fedora19よりデフォルトIMEへ) 簡単な年表ですが…^^;
- 15. 従来の変換アルゴリズム例： N文節最長一致法 ● 例文： 「きょうはあひるやきです」 今日 歯あ 昼 焼きで 酢 今日は あ 昼 焼きです 今日は 家鴨 焼きです 今日は あひる焼きです ６文節 4文節 3文節 2文節 一番少ないのでこれを選択！ ポイント： 文節 = 自立語（名詞・動詞等） + 付属語（助詞等） Canna等で採用
- 16. かな漢字変換アルゴリズム① 〜Mozc〜 ● Mozc –Google日本語入力のオープンソース版 – 2010年 Googleによってリリース ● 形態素解析を用いた変換アルゴリズム – コスト最小法。現在の主流になりつつある
- 17. コスト最小法 とは 文 頭 私 の 名前 は 中野 注：ちょっと（かなり？）端折って説明します^^; です 文 末のです 中 綿 市 花 課 例： 「わたしのなまえはなかのです」を変換する場合 （コストの値はテキトーです^^;） 10 30 15 30 15 10 15 40 20 50 ● 単語生起コスト： 単語の出現優先度を表したコスト ● 連接コスト： 単語と単語の結びつきやすさを表したコスト → 全て足して、合計値が最も低いルートが 候補になります 15 30 40 45 20 20 20 20 50 20 25 30 40 45 20 20 出現頻度の高い単語は 単語生起コストが低い 「名前」と「花」という単語は結びつきにくいので 連接コストは高い
- 18. コスト最小法も完璧ではない？ Mozcで変換できないものもある… 「にわにはにわにわとりがいる」 → 「庭には庭鶏がいる」になってしまう 庭 庭鶏には が いる 庭 二 鶏には が いる羽 正解の変換のほうが単語数が多いため 単語生起コストがどうしても高くなる
- 19. かな漢字変換アルゴリズム② 〜libkkc〜 ● libkkc –2013年 Fedora19のデフォルトIMEになる – RedHat社のUeno氏によって開発 ● N-gramによるかな漢字変換 – 形態素解析を行わないアルゴリズム ＝ 辞書データに品詞情報を持たない – ビッグデータ（巨大コーパス）を十分に活かせる可能性 ここが重要！！！
- 20. N-gramとは？ N文字の共起関係からテキストの特徴を分析する – ２文字： 2-gram (=bi-gram) – ３文字： 3-gram (= tri-gram) 例文） 私の名前は中野です → 2-gram 「私の」 「の名」 「名前」 「前は」 「は中」 「中野」 「野で」 「です」 この単位で確率を求め 変換用データを作成します
- 21. 例えばlibkkcの変換用データは… -1.114728 ぬいぐるみ/ぬいぐるみ 」/」ていど/程度 -0.667107 ぬいぐるみ/ぬいぐるみ 」/」 と/と -0.643911 ぬいぐるみ/ぬいぐるみ うらない/占い を/を -0.740726 ぬいぐるみ/ぬいぐるみ たすう/多数 を/を -0.454970 ぬいぐるみ/ぬいぐるみ だ/だ が/が -0.814252 ぬいぐるみ/ぬいぐるみ で/で わりお/ワリオ -1.110465 ぬいぐるみ/ぬいぐるみ は/は かのじょ/彼女 -0.802579 ぬいぐるみ/ぬいぐるみ やら/やら しゃしん/写真 -1.626115 ぬいぐるみ/ぬいぐるみ を/を 「/「 -1.708439 ぬいぐるみ/ぬいぐるみ を/を せいさく/製作 -1.631926 ぬいぐるみ/ぬいぐるみ を/を つく/作 -1.713616 ぬいぐるみ/ぬいぐるみ を/を なげつけ/投げつけ -1.681401 ぬいぐるみ/ぬいぐるみ を/を のこ/残 -1.713256 ぬいぐるみ/ぬいぐるみ を/を もちこ/持ち込 -1.714574 ぬいぐるみ/ぬいぐるみ を/を よご/汚 -1.716680 ぬいぐるみ/ぬいぐるみ を/を りんぐ/リング -0.813648 ぬいぐるみ/ぬいぐるみ （/（ じょん/ジョン -0.803737 ぬいぐるみ/ヌイグルミ の/の こと/こと 単語単位ではなく 単語の組み合わせ単位で 変換用データとして 登録されていますね なんだかノイズデータっぽいのもいるのですが…
- 22. 結構さくさく変換できる…が！？ ● 苦手な変換ももちろんある – 「ぬいぐるみをぬう」 →「ぬいぐるみを縫う」（正解） –「ぬいぐるみ」 →「縫い包み」（そうなるの！？） – 「ぬいぐるみのことをおもう」→「ヌイグルミのことを思う」 ● 形態素解析を行わない → 文節区切りができない → 変換したい箇所にフォーカスを当てるのがやや大変！ 「この漢字をどうしましょ」 ←こんな感じでフォーカスが当たってしまうorz 前ページのノイズデータを 思いっきり拾った感じですね…
- 23.
- 24. 現在のLinuxのかな漢字変換 ● およそMozc一色 – Ubuntu,Debian, openSUSE, VineLinux… – まぁそれでもいいのではないかと言われているが… – 途中いろいろ問題発生しつつ乗り越えてる感ある ● とはいえ、既に一部でサポートフェーズと言われているのも事実 ● Redhat系はlibkkcですね – Fedora, CentOS…
- 25.
- 26. おーぷん万葉プロジェクトとは ● 目的「自由な日本語辞書を手に入れよう！」 – 現在: かな漢字変換ソフト「Genji」を開発中。 ● 現状の問題点： –ビックデータと叫ばれる時代に、開発がアクティブで コミュニティー主体の日本語入力システムがない？？？ → そんな現状を打破したい！てのが目的です。
- 27.
- 28.