Recommended
More Related Content
What's hot
What's hot (20)
自然言語処理基礎の基礎
- 3. 今回対象とする話 4つの解析ステップ ● 形態素解析 ● 構文解析/係り受け解析 ● 意味解析 ● 文脈解析
- 5. そもそも形態素ってなんぞや？ 形態素 ＝ 意味を持つ最小の言語単位 形態素 ≠ 単語 but... 形態素 ≒ 単語
- 7. 形態素解析の処理 ● 形態素分割 ● 形態素への品詞付与 ● 形態素の原形の復元 日本語の形態素解析ではまとめて行われるので あまり意識しない
- 11. 公開されている形態素解析器があるよ！ 重要な点 ● 速度 ● 精度 ● 後の処理(係り受け解析等)で何を使うか だいたい「MeCab」「JUMAN」だけ覚えておけばOK 解析器によって結構出力違うので注意
- 17. 係り受け解析 日本語の構文解析はだいたいこっち 例：美しい水車小屋の娘 美しい 水車小屋の 娘 美しい 水車小屋の 娘
- 18. 係り受け解析の制約 1. 各文節はその後方に必ず1つの係り先を持つ 2. 係り受け関係は交差しない 美しい 水車小屋の 娘 美しい 水車小屋の 娘だ 私は ※話し言葉等では上記2.の制約が厳密に守られているわけではない
- 19. チャンキングの段階適用による解析 1. 各文節にタグO(係り受け未定)を付与 2. Oの文節が直後の文節に係るか推定 3. 直後の文節に係るならタグをDに置換 4. 文頭/O直後のDが付与された文節を削除 最悪O(n2 )だが実際は線形に近い
- 20. 具体例 1. [彼は:O][彼女の:O][温かい:O][真心に:O][感動した。:O] 2. [彼は:O][彼女の:O][温かい:D][真心に:D][感動した。:O] 3. [彼は:O][彼女の:D][真心に:D][感動した。:O] 4. [彼は:O][真心に:D][感動した。:O] 5. [彼は:D][感動した。:O] 6. [感動した。:O] （終了） 彼は 彼女の 温かい 真心に 感動した。
- 21. 公開されている係り受け解析器があるよ！ それぞれ出力が結構違うので用途で使い分け だいたい「CaboCha」「KNP」だけ覚えておけばOK ● MeCab -> CaboCha(速い) ● JUMAN/JUMAN++ -> KNP(格解析・照応解析等も含む) ● SudachiPy(Sudachi) -> GiNZA ※ ※自分は使ったことがないので詳細は不明
- 23. そもそも意味ってなんだ……？
- 26. 主なタスク(こっちのほうが重要) ● 語義曖昧性解消 ● 格解析 ● 述語項構造解析 ● 共参照解析, 照応解析
- 27. 語義曖昧性解消 ある単語の語義(意味)を決定する処理 共起確率・分散表現等を用いることが多い ● 例: bank(銀行/土手), plant(植物/工場) ● 例: おばあさん(高齢の女性/祖母)
- 29. 表層格と深層格 ● 表層格：構文木から表層的に決まる ガ格, ヲ格, ニ格, カラ格, ト格, ヨリ格など ● 深層格：格文法に基づく意味的な関係性 動作主格, 経験者格, 道具格, 対象格, 目標格 など
- 35. 共参照と照応の違い 似ているが異なる概念 ● 共参照関係: 表層表現 -> 実体 表層表現間の参照の方向は考慮しない ● 照応関係: 照応詞(表現) -> 先行詞(表現) 実体が同一かは考慮しない
- 37. 照応関係の種類 色々あるが以下は一例 ● 外界照応: 参照対象が言語外に存在する場合 ここに移り住んで一年になる。 ● ゼロ照応: 照応詞が省略された場合 男はパンを食べた。(φガ )牛乳も飲んだ。