基礎セミ言語とコンピュータ第12回目資料

言語とコンピュータ
第12回
domitry

進行
1. 前回までの復習
2. 構文解析とは
3. 構文解析の2つの手法
4. +α
5. 小テスト

前回までの復習
コンピュータで言語を処理するには色々な処理が必要
・形態素解析
・構文解析
・意味解析

前回までの復習
コンピュータで言語を処理するには色々な処理が必要
・形態素解析
・構文解析
・意味解析
今回話すのはこの処理

構文解析①
・修飾関係等、文構造を解析する処理。
・文構造は通常木構造で表現される。
・ツールが公開されている。
・日本語ではKNPやChaboChaが有名

構文解析②
例：宇宙と科学の本
宇宙/と/科学/の/本
(名詞/助詞/名詞/助詞/名詞)

構文解析②
((宇宙と科学)の本)？
((宇宙)と(科学の本))？

構文解析②
宇宙と科学の本宇宙と科学の本
N
N N
N N
N
N
N
N
N
二つの候補を木構造で表現
((宇宙と科学)の本)？
((宇宙)と(科学の本))？

文脈自由文法
・実際の文は文脈判断が重要だが、簡単のため文脈を無視
・文法規則に基づいて木構造を作る
S PP* V
PP NP P
NP ADJ* N
S 文
PP 後置詞句
NP 名詞句
N 名詞
V 動詞
P 助詞
ADJ 形容詞

文脈自由文法
・文脈自由文法には2つの観点で2つの種類がある。
・トップダウン法 … 根本(文全体)から探索
・ボトムアップ法 … 下部(単語)から探索
・縦型探索 … とりあえず一つ選び、ダメだったら戻ってくる
・横型探索 … すべての状態を保存しながら進める

トップダウン法
S PP* V
PP NP P
NP ADJ* N
例：今日/の/授業/は/休み/に/なった。
(N/P/N/P/N/P/V)
S

S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
S
PP PP* V

S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
S
PP PP* V
NP P

S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
S
PP PP* V
NP P
ADJ ADJ* N
最小単位まで分割できたので比較

S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
S
PP PP* V
NP P
N
少し戻ってもう一度比較

S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
S
PP PP
V
NP
PN
NP
PN
NP
PN
PP
今日の授業は休みになった。

ボトムアップ法
S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
VPN PN PN

S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
V
NP
PN
NP
PN
NP
PN

S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
V
NP
PN
NP
PN
NP
PN
PP PP PP

S PP* V
PP NP P
NP ADJ* N
(N/P/N/P/N/P/V)
V
NP
PN
NP
PN
NP
PN
PP PP PP
S

トップダウン?ボトムアップ?
 トップダウンにもボトムアップにも手法が色々
・CKY法,チャート法,アーリー法,一般化LR法…etc.
 優劣はトップダウンかボトムアップかよりもアル
ゴリズムによる。
 そもそもトップダウンとボトムアップの両方を使
う手法もある。

(＋α)確率文脈自由文法

確率文脈自由文法①
・教科書には記述がないので補足になります。
・複数の文構造の候補から一つ選ぶ
・形態素解析の時と同じように条件付確率を用いる手法
詳しく知りたい方はこちら：
奥村学「自然言語処理の基礎」
(総合図書館に置いてあります)

確率文脈自由文法②
・Aがβに書き換えられる条件付確率𝑃 β 𝐴 (Ex. S→PP V)
𝑃 β 𝐴 =
𝐶(β → A)
𝐶(𝐴)
・文Sからある構造木Tが生成される確率𝑃 𝑇 𝑆 はTを
構成する文法規則rの確率の乗算で求められる。
𝑃 𝑇 𝑆 =
𝑖=1
𝑚
𝑃 𝑟𝑖 𝐿𝑒𝑓𝑡(𝑟𝑖)
※ 𝐿𝑒𝑓𝑡(𝑟𝑖)は左側の枝を示す

確率文脈自由文法③
・実際に例文を構文解析してみる。
例：”Astronomers saw stars with ears.”
S→NP VP 1.0 NP→NP PP 0.4
PP→P NP 1.0 NP→astronomers 0.1
VP→V NP 0.7 NP→ears 0.18
VP→VP PP 0.3 NP→saw 0.04
P→with 1.0 NP→stars 0.18
V→saw 1.0 NP→telescope 0.1

S→NP VP 1.0 NP→NP PP 0.4 P→with 1.0
PP→P NP 1.0 NP→astronomers 0.1 V→saw 1.0
VP→V NP 0.7 NP→ears 0.18 NP→stars 0.18
VP→VP PP 0.3 NP→saw 0.04 NP→telescope 0.1
S
NP VP
V NP
NP PP
NPP
astronomers
saw
stars
with ears
S
NP VP
V NP PP
NPP
astronomers
saw stars
with ears
VP
候補① 候補②

S
NP VP
V NP
NP PP
NPP
astronomers
saw
stars
with ears
S
NP VP
V NP PP
NPP
astronomers
saw stars
with ears
VP
候補① 候補②1.0
0.1 0.7
1.0 0.4
0.18 1.0
1.0 0.18
1.0
1.0 1.0
1.0
1.0 1.0 1.0
1.0 0.18

S
NP VP
V NP
NP PP
NPP
astronomers
saw
stars
with ears
S
NP VP
V NP PP
NPP
astronomers
saw stars
with ears
VP
0.1 0.7
1.0 0.4
0.18 1.0
1.0 0.18
1.0
1.0 0.3
1.0
1.0 1.0 1.0
1.0 0.18
1.0*0.1*0.7*…*0.18=0.0009072 1.0*0.1*1.0*…*0.18=0.0006804

S
NP VP
V NP
NP PP
NPP
astronomers
saw
stars
with ears
S
NP VP
V NP PP
NPP
astronomers
saw stars
with ears
VP
0.1 0.7
1.0 0.4
0.18 1.0
1.0 0.18
1.0
1.0 0.3
1.0
1.0 1.0 1.0
1.0 0.18
1.0*0.1*0.7*…*0.18=0.0009072 1.0*0.1*1.0*…*0.18=0.0006804
こちらの方がもっともらしい！

今日のまとめ
 構文解析は修飾関係等の文構造を解析する処理
 構文解析には主に文脈自由文法が使われる
 文脈自由文法には大きく分けてトップダウン法と
ボトムアップ法がある
 複数の候補から選び出すには確率文脈自由文法が
使われる

問題
次の文章を以下の文法規則にもとづいて縦型探索の
トップダウン法で解析し、木構造を書いてください。
「庭/に/大きな/ゴリラ/が/いる。」
(N/P/ADJ/N/P/V) S PP* V
PP NP P
NP ADJ* N

解答
S PP* V
PP NP P
NP ADJ* N
庭/に/大きな/ゴリラ/が/いる。
(N/P/ADJ/N/P/V)
S

解答
S PP* V
PP NP P
NP ADJ* N
(N/P/ADJ/N/P/V)
S
PP PP* V

解答
S PP* V
PP NP P
NP ADJ* N
(N/P/ADJ/N/P/V)
S
PP PP* V
NP P

解答
S PP* V
PP NP P
NP ADJ* N
(N/P/ADJ/N/P/V)
S
PP PP* V
NP P
ADJ ADJ* N

解答
S PP* V
PP NP P
NP ADJ* N
(N/P/ADJ/N/P/V)
S
PP PP* V
NP P
N

解答
S PP* V
PP NP P
NP ADJ* N
(N/P/ADJ/N/P/V)
S
PP PP
V
NP
PN
NP
ADJ PN
庭に大きなゴリラがいる。

ご清聴ありがとうございました

基礎セミ言語とコンピュータ第12回目資料

Recommended

Recommended

More Related Content

What's hot

What's hot (17)

Recently uploaded

Recently uploaded (9)