Juman knpを用いた形態素解析

  • 1,926 views
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
1,926
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
20
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. LOGOJUMAN/KNPを用いた形態素・構文・格解析Luu Tuan Anh長岡技術科学大学自然言語処理山本研究室
  • 2. 目次1. JUMANの仕組み2. KNPの仕組み
  • 3. LOGO1. JUMANの仕組み
  • 4. コスト最小法コスト=∑{(形態素コスト×形態素コスト重み) 1    (品詞コスト×見出し語コスト) 10~100 ~ 1.0~        +(連接コスト×連接コスト重み)} ~10~ 4 から 40 だ 40 10 11 40 文頭 40 読む 文末 100 16 40 か ら だ 100×1.6
  • 5. コスト最小法例文:    文頭読むから文末
  • 6. 辞書・文法 文法辞書 形態素辞書 JUMAN.grammar (品詞分類) ContentW.dic など JUMAN.katuyou (活用)   自立語:3万語   付属語:1500語 JUMAN.kankei (活用関係)   固有名詞:3万語 JUMAN.connect.c(連接規則: 250) コンパイル jumandic.tab (連接対応表) jumandic.dat (データベース) jumandic.mat (連接行列) jumandic.pat (インデックス)
  • 7. 基本語彙の選択(3万語) 事典的な語は排除 例)倭寇 天動説 秋の七草 父の日 古語、ほとんど使われない語・読みは排除 例)内生活 手ずから 生く(おいゆく) 夜間(よま) 3文字以上の複合語は基本的に排除 例)印刷機 映写機 運動場 競技場 研究費  ただし以下は採用 • 構成語が一般的でないもの:感受性 一本化 • 意味が構成的でないもの:耳学問 銀世界 • 切り方が?なもの:工学部 全速力 海産物 • 音訓の原則で読みが誤るもの(他との整合性も考慮し):オレンジ色 2文字の語は原則採用だが、  構成性が明確なものは排除:学内 市内  以下は採用だが関係解析で問題:(経理)部長 (警察)署員
  • 8. JUMAN辞書に記述されている情報(1/3) 代表表記 1文字漢字について、音・訓の区別 例) 字/じ → 音, 字/あざ → 訓 可能動詞であることと、もとの動詞 例) 書ける → 可能動詞:書く 尊敬動詞・謙譲動詞であることと、もとの動詞 例) おっしゃる → 尊敬動詞:言う 動詞が付属動詞として振舞うかどうか 例) 合う カテゴリ、ドメイン情報 例) カテゴリ: 先生,学生,父 → 人 ドメイン: テニス,ラケット,サーブ → スポーツ
  • 9. JUMAN辞書に記述されている情報(2/3) 自動詞・他動詞の対応関係 例) 壊れる → 自他動詞:他:壊す 壊す → 自他動詞:自:壊れる 授受動詞の対応関係 例) 貸す → 授受動詞:受:借りる 借りる → 授受動詞:授:貸す 反義 例) 増える → 反義:動詞:減る 大きい → 反義:動詞:小さい 種々の派生 例) 大人びる → 名詞派生:大人 高める → 形容詞派生:高い
  • 10. JUMAN辞書に記述されている情報(3/3) 固有名詞に付与されている種々の情報  人名 例) 山田 → 人名:日本:姓:7:0.00607 太郎 → 人名:日本:名:45:0.00106  地名 例) 京都 → 地名:日本:府, 地名:日本:京都府:市 東北 → 地名:日本:地方 英国 → 地名:国 イギリス → 地名:国:別称:英国 カリフォルニア → 地名:国:米国:州  組織名 例) パナソニック 民主党
  • 11. 代表表記子ども こども 子ども 名詞 普通名詞 * *は は は 助詞 副助詞 * *リンゴ りんご リンゴ 名詞 普通名詞 * *が が が 助詞 格助詞 * *すきだ すきだ すきだ 形容詞 * ナ形容詞 基本形EOSかぜ かぜ かぜ 名詞 普通名詞 * *で で で 助詞 格助詞 * *おくれた おくれた おくれる 動詞 * 母音動詞 タ形EOS
  • 12. 代表表記子ども こども 子ども 名詞 普通名詞 * * “代表表記:子供/こども"は は は 助詞 副助詞 * *リンゴ りんご リンゴ 名詞 普通名詞 * * “代表表記:林檎/りんご"が が が 助詞 格助詞 * *すきだ すきだ すきだ 形容詞 * ナ形容詞 基本形 “代表表記:好きだ/すきだ"EOSかぜ かぜ かぜ 名詞 普通名詞 * * “代表表記:風/かぜ"@ かぜ かぜ かぜ 名詞 普通名詞 * * “代表表記:風邪/かぜ"で で で 助詞 格助詞 * *おくれた おくれた おくれる 動詞 * 母音動詞 タ形 “代表表記:送れる/おくれる 可能動 詞:送る"@ おくれた おくれた おくれる 動詞 * 母音動詞 タ形 “代表表記:遅れる/おくれる"EOS
  • 13. 代表表記(同じ読み) 漢字と平仮名、送り仮名 例)拳銃/けん銃/拳じゅう/けんじゅう    表す/表わす/あらわす  漢字別表記 例)綺麗だ/奇麗だ カタカナ表記 例)餃子/ぎょうざ/ギョウザ/ギョーザ 
  • 14. 代表表記(異なる読み) 音便関係 例)私/わたし/わたくし/あたし    皆/みな/みんな    ふわり/ふんわり        カタカナ表記のバリエーション 例)ソフトウエア/ソフトウェア    コンピューター/コンピュータ
  • 15. カテゴリ情報(22種類)カテゴリ名 例 カテゴリ名 例人 学生,先生,… 場所-施設 ビル,公園,…組織・団体 政府,企業,… 場所-施設部位 天井,床,…動物 犬,猫,… 場所-自然 山,海,…植物 桜,バラ,… 場所-機能 上,下,…動物-部位 手,足,… 場所-その他 都市,村,…植物-部位 葉,枝,… 抽象物 思考,理由,…人工物-食べ物 パン,コーヒー,… 形・模様 円,球,…人工物-衣類 ズボン,セーター,… 色 赤,青,…人工物-乗り物 自動車,飛行機,… 数量 複数,メートル,…人工物-金銭 給料,借金,… 時間 今日,朝,…人工物-その他 鉛筆,消しゴム,…自然物 石,岩,…
  • 16. ドメイン情報(12種類) ドメイン名 例 ドメイン名 例文化・芸術 映画 音楽  御輿 . . 交通 駅 道路 アクセル . . . .レクリエーション 観光 花火 カジ 教育・学習 先生 算数 開校 . . . ノ ...スポーツ 選手 野球 角 科学・技術 研究 理論 ウラ 界 ... ン ...健康・医学 手術 診断 胃 ビジネス 輸入 市場 売上 . . . 液 ...家庭・暮らし 育児 家具 帰 メディア 放送 記者 載る . . . 省 ...料理・食事 箸 昼食 和える . . . 政治 司法 税 挙党 . . .ドメイン無し 青 感情 上が る ...
  • 17. 連濁、反復形オノマトペ、非標準表記の自動認識 上海ガニをばくばく食べる かわいぃ 蟹/かに 副詞 かわいい 連濁:(連濁) (反復形オノマトペ) (小文字を用いた非標準表記)  辞書を検索する際、濁音から始まる場合は清音化したものも検索する  いくつかの制約を課す • 和語のみ濁音化する • 濁音を含む形態素の濁音化は考えない(ライマンの法則) – おお+とかげ ≠ おおどかげ 反復形オノマトペ:  形態素の候補を検索する際、2~4文字の繰り返し表現があれば候補 に加える 小文字を用いた非標準表記:  入力文に「ぁ、ぃ、ぅ、ぇ、ぉ、ゎ、ヵ」があった場合、それらを大文字化した ものも検索する
  • 18. オンライン未知語獲得 文 形態素 形態素列 解析 テキスト 辞書引き 自動獲得辞書 基本語彙辞書 更新 蓄積された 用例 選択 列挙 検出 語彙獲得器
  • 19. 語彙獲得器の仕組み・・・何となくググってみた。・・・ (ググ-る, 動詞-ラ行) (ググ-る, 動詞-ラ行, タ連用テ形) (ググ-る, 動詞-ラ行)[BOS] ググらずに答えるのが・・・ (ググ-る, 動詞-ラ行) (ググ-る, 動詞-ラ行, 未然形)・・・いるだけで、ググるための・・・ 語彙獲得例: (ググ-る, 動詞-ラ行) ようつべ: 名詞 (ググ-る, 動詞-ラ行, 基本形) 倖田來未: 名詞-人 名
  • 20. 注意点・参考・引用 黒橋・河原研究室のページ   http://nlp.ist.i.kyoto-u.ac.jp/ このスライドに話していたJUMANはJUMAN6.0で ある。 2012/01/12にJUMAN7.0とKNP4.0を公開された。
  • 21. LOGO終わり