• Like
Syntax
Upcoming SlideShare
Loading in...5
×
Uploaded on

 

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,079
On Slideshare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
6
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. 自然言語処理の基礎4章(構文解析)のまとめ LUU TUAN ANH
  • 2. 構文解析とは 入力された文に対し、まず文を構成する単語(品詞)の並びの妥当性を調べ、妥当でない文は排除する。そして、妥当な文については、その構文構造を出力する。構文解析プログラムはパーザ(parser)とも呼ばれる。 構文解析では、文法として記述された言語の規則の集合に基づいて、文の構造を解析する。文の構文構造を表現する際には、構文木(木構造)が用いられる。
  • 3. 構文木の例(1) (教科書に載っている例)例: A cat ate a cake on the table. S → NP VP (1) N→catNP → Det N (2) N→cakeNP → NP PP (3) N→tableVP → V NP (4) Det→aVP → VP PP (5) Det→thePP → P NP (6) V→ate P→on
  • 4. 構文木の例(2)I have a pen. 今日は晴れました。参考:www.wikipedia.org
  • 5. 文脈自由文法(1)形式的には、文法は、四つ組<VN,VT,P,S>で定義される。VNは非終端記号の集合  C言語では   a = b; ; は終端記号VTは終端記号の集合 a,b,=, は非終端記号Pは生成規則あるいは書換え規則の集合Sは開始記号(SがVNに含まれる)
  • 6. 文脈自由文法(2)文法は、4つのクラスに分類される。1. 句構造文法2. 文脈依存文法(context sensitive grammar, CSG)3. 文脈自由文法(context free grammar, CFG)4. 正規文法(regular grammar) ● この順序に生成規則に課される制限が強くなり、その結果として 記述できる言語現像も制約される。 ● 自然言語の文法は(3)より複雑なクラスだが、(1)と(2)の効率的な 構文解析アルゴリズムが得られておらず、計算量の問題であ る。(もし、誰かいいアルゴリズムを発見したら)
  • 7. 文脈自由文法(3)文脈自由文法では、生成規則は A→β A∈VN, β∈(VN U VT)+左辺のAが右辺のβに書き換えられる。例の説明: S→NP VP (1) 「文が名詞句と動詞句から構成されている」NP→Det N (2)  「名詞句が冠詞と名詞から構成されている」文脈依存文法の生成規則は λ1Aλ2→λ1βλ2 A∈V N, β∈(V N U V T)+ λ1、λ2∈(V N U V T)*’+’は1回以上の、’*’は0回以上の、記号の繰返しを表す。
  • 8. 構文解析アルゴリズム大きく二つの観点からそれぞれ二つの種類に分類できる。 ● Top-Down / Bottom-Up● Depth-first / Breadth-first
  • 9. 構文解析アルゴリズム大きく二つの観点からそれぞれ二つの種類に分類できる。 ● Top-Down / Bottom-Up 違いのは生成規則の使い方の違い  ● Depth-first / Breadth-first
  • 10. 構文解析アルゴリズム大きく二つの観点からそれぞれ二つの種類に分類できる。 ● Top-Down / Bottom-Up 違いのは生成規則の使い方の違い   Top-Down Bottom-Up 開始記号から始めて入力記号列に向 終端記号列から開始記号に向けて下 けて木を上から下に成長する。 から上に木を成長する。● Depth-first / Breadth-first
  • 11. 構文解析アルゴリズム大きく二つの観点からそれぞれ二つの種類に分類できる。 ● Top-Down / Bottom-Up 違いのは生成規則の使い方の違い   Top-Down Bottom-Up 開始記号から始めて入力記号列に向 終端記号列から開始記号に向けて下 けて木を上から下に成長する。 から上に木を成長する。● Depth-first / Breadth-first 実践演習に説明した(武井先生)
  • 12. 最左導出記号列中のどの記号を書き換えるかと言う判断が必要になる。ここでは、最も左の非終端記号を書き換えることにする。ある非終端記号を書き換える際に、その記号を左辺にもつ規則が複数存在する場合、単純に上のものから順に適用することにする。
  • 13. 例入力記号列 Det N V Det N P Det N
  • 14. 例入力記号列 Det N V Det N P Det NS→NP VP
  • 15. 例入力記号列 Det N V Det N P Det NS→NP VP →Det N VP
  • 16. 例入力記号列 Det N V Det N P Det NS→NP VP →Det N VP →Det N V NP
  • 17. 例入力記号列 Det N V Det N P Det NS→NP VP →Det N VP →Det N V NP→Det N V Det N
  • 18. 例入力記号列 Det N V Det N P Det NS→NP VP →Det N VP →Det N V NP→Det N V Det N→Det N V NP PP
  • 19. 例入力記号列 Det N V Det N P Det NS→NP VP →Det N VP →Det N V NP→Det N V Det N→Det N V NP PP →Det N V Det N PP
  • 20. 例入力記号列 Det N V Det N P Det NS→NP VP →Det N VP →Det N V NP→Det N V Det N→Det N V NP PP →Det N V Det N PP→Det N V Det N P NP
  • 21. 例入力記号列 Det N V Det N P Det NS→NP VP →Det N VP →Det N V NP→Det N V Det N→Det N V NP PP →Det N V Det N PP→Det N V Det N P NP →Det N V Det N P Det N
  • 22. CKY法CKY法はチョムスキー標準形の文脈自由文法に限定された。ボトムアップでかつ横型の構文解析アルゴリズムである。チョムスキー標準形は生成規則が次の2週類に制限された文脈自由文法である。 1. A → BC (A, B, C∈VN) 2. A → a (a∈VT)  任意の文脈自由文法は等価なチョムスキー標準形に変形できることが知られている。
  • 23. アルゴリズムCKY法1. 入力語列をw1, w2, ...とする。
  • 24. アルゴリズムCKY法1. 入力語列をw1, w2, ...とする。2. A→aの形式の規則を用いて、三角行列の初期状況を用意す る。
  • 25. アルゴリズムCKY法1. 入力語列をw1, w2, ...wnとする。2. A→aの形式の規則を用いて、三角行列の初期状況を用意す る。   for i = 1 to n  Ti,i = {A|A→wi}
  • 26. アルゴリズムCKY法 1. 入力語列をw1, w2, ...wnとする。 2. A→aの形式の規則を用いて、三角行列の初期状況を用意す る。   for i = 1 to n  Ti,i = {A|A→wi}3. A→BCの形式の規則を用いて、対角線上の要素を右上に向け て理めていく。 
  • 27. アルゴリズムCKY法 1. 入力語列をw1, w2, ...wnとする。 2. A→aの形式の規則を用いて、三角行列の初期状況を用意す る。   for i = 1 to n  Ti,i = {A|A→wi}3. A→BCの形式の規則を用いて、対角線上の要素を右上に向け て理めていく。   for d = 1 to n-1 for i = 1 to n-d j = i+d for k = i to j-1 Ti,j = Ti,j U {A|A→BC, B∈Ti,k, C∈Tk+1,j} U
  • 28. チャート法
  • 29. 文脈自由文法の補強
  • 30. 構文解析における選好
  • 31. アルゴリズムの比較