Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,022
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
10
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 『自然言語処理の基礎』 4章 構文解析 梶原 智之
  • 2. 4.5 チャート法チャート法 (chart) 一般的な文脈自由文法を対象にした 途中結果保存型の構文解析の枠組み(schemata) 構文解析の途中結果は「チャート:表(テーブル)」に記録する チャートの例 弧
  • 3. 4.5 チャート法CKY法 : 完成した部分木のみを記録チャート法 : 未完成の部分木も記録 未完成の部分木 → 活性弧 (active edge) 完成した部分木 → 不活性弧 (inactive edge)チャート法の考え方 ・ 活性弧と不活性弧を結合して新しい弧をつくり出す ・ 入力文全体をカバーする不活性弧ができれば構文解析成功
  • 4. 4.5.1 ボトムアップチャート法ボトムアップチャート法 1. 入力文のすべての単語を辞書引きする 2. 不活性弧を基に、規則を適用し、新しい弧をつくる 3. 不活性弧を、活性弧の中の最も左の空所に結合し、 新しい弧をつくる 4. 上記2.と3.を繰り返す ボトムアップチャート法では、 左隅から右上に向けて木が成長していく。 → 左隅構文解析 (left-corner parsing)
  • 5. 4.5.1 ボトムアップチャート法例 Failing students looked hard. 文脈自由文法 辞書 S → NP VP ADJ → failing NP → ADJ N ADJ → hard NP → GRD N GRD → failing VP → V ADJ N → students VP → V ADV V → looked ADV → hardS:syntax(構文)、sentence(文) ADJ:adjective(形容詞)NP:noun phrase(名詞句) GRD:gerund(動名詞)VP:verb phrase(動詞句) ADV:adverb(副詞)
  • 6. 4.5.1 ボトムアップチャート法
  • 7. 4.5.2 トップダウンチャート法トップダウンチャート法 1. 入力文のすべての単語を辞書引きする 2. 活性弧を基に、規則を適用し、新しい弧をつくる 3. 不活性弧を、活性弧の中の最も左の空所に結合し、 新しい弧をつくる 4. 上記2.と3.を繰り返す
  • 8. 4.5.2 トップダウンチャート法
  • 9. 4.6 文脈自由文法の補強例    A boys love a girl. 文脈自由文法 補強文脈自由文法 S → NP VP S → NP VP { NP = VP }補強文脈自由文法 数、人称など文法的な情報を表す素性(feature)を加える。
  • 10. 4.6 文脈自由文法の補強単一化文法 (unification grammar) 素性構造を用いて文法を記述する枠組み 単一化 (unification) 2つの素性構造中の素性・値ペアを矛盾なくまとめること 素性構造 (feature structure) 素性の集合 規則→素性構造間の関係        Det:determiner(限定詞)
  • 11. 4.7 構文解析における選好人間が複数の中から特定の構文解析結果を選択しがちである → 人間の経験的にもっている選好といえる → この傾向をコンピュータでも用いる例:文節は係りうるなるべく近い文節に係るという経験則確率文脈自由文法 (probabilistic context free grammar : PCFG) 確率モデルをタグ付きコーパスから学習し、 選好としてそれを用いて構文的曖昧性を解消する 途中結果を保存する構文解析の場合、途中結果として確率も 保存すれば、最良の構文解析結果を効率的に求めることが可能
  • 12. 4.8 構文解析ツール(free)英語 Collins Parser http://people.csail.mit.edu/mcollins/code.html Charniak Parser http://www.cs.brown.edu/~ec/日本語 KNP Cabocha http://chasen.org/~taku/software/cabocha/