1. 言語処理のための機械学習4. 分類 (4.1～4.2)

2. ４章のもくじ 4.1：準備 4.2：ナイーブベイズ分類器 4.3：サポートベクトルマシン 4.4：カーネル法 4.5：対数線形モデル 4.6：素性選択 4.7：まとめ

3. 4.1 準備 分類 ある事例をあらかじめ決めたグループに分けること 自然言語処理における具体例 電子メールの分類 品詞タグ付け 係り受け解析 メール 仕事 関係 プライベート スパムメール クラス・カテゴリ

4. 分類器の構築 規則ベース手法 人間の知識や直感を規則化 分類規則に基づく分類 例)『「い」で終わる単語は形容詞である』 センタリング理論に基づいた照応解析 話題を追跡できれば、 照応/省略が解決できる 話題として意識されている概念は照応/省略の対象になりやすい

5. 分類器の構築 データから自動的に分類器を構築 ナイーブベイズ分類器 (4.2) SVM (4.3) ラベル付きデータ集合が必要 データ集合： ：事例 ：ラベル ：ラベルの集合

6. 学習手法 教師付き学習 ラベル付きデータを用いて行う学習 分類問題 教師なし学習 ラベル無しデータを用いて行う学習 クラスタリング

7. 4.2 ナイーブベイズ分類器 確率に基づく分類器 事例dに対して、P(c|d)が最大となるクラスc∈Cを出力 P(c|d)を求めるため、工夫を行う ベイズの定理 分母は クラスには依存しない の計算は容易でない

8. ナイーブベイズ分類器 本節では、文書分類を想定 文書dに対するクラスcを求める 文書dに簡単化したモデルを仮定し、P(d|c)の値を求める 多変数ベルヌーイモデル 多項モデル

9. 多変数ベルヌーイモデル 単語の生起・不生起をモデル化 モデルの導入 語彙V：単語の集合 ：ベルヌーイ分布に従う確率変数 単語ｗ クラスｃ ・単語wがクラスcの事例内で出現する場合に1の値をとる ：各ベルヌーイ分布を規定するパラメータ ・これらのベルヌーイ分布は互いに独立とする P(d|c)は多変数ベルヌーイ分布に従う （１.３.４）

10. 多変数ベルヌーイモデル 文書dの生起確率 多変数ベルヌーイモデル ・クラスcが与えられているときに 各単語wが生起するかどうかを表す確率 ：単語wが文書dに出現した場合、値が1になる

11. パラメータの最尤推定 対数尤度関数 データ集合： ：クラスcの訓練文書数 ：クラスcであり、かつ単語wを含む訓練文書数

12. パラメータの最尤推定 以下の制約付き最適化問題を解く ラグランジュ未定乗数法を用いる Max s.t ：求めたいパラメータの集合

13. パラメータの最尤推定 (クラスcに属する訓練文書のうちwを含む文書の数) (クラスcに属する訓練文書数) (クラスcに属する訓練文書数) (訓練文書数) と合わせると

14. 例題4.1 “good bad good good” “exciting exciting” P氏 “good goodexciting boring” “bad boringboringboring” “bad good bad” N氏 “bad badexciting boring” 統計値の一部 同じ文書における頻度情報は パラメータ計算に影響しない パラメータの一部

15. 例題4.2 以下の文書を分類 “good goodbad boring” 上の文書はN氏に書かれたと予測している

16. 例題4.3 文書1を変更 “fine”以外の単語に関するパラメータは変化しない 以下の文書を分類 “good bad good good fine” “bad badboring boringfine” ある単語がデータに出現しなかったため 上の文書はP氏に書かれたと予測している

17. MAP推定 パラメータの事後確率を最大にする値をパラメータの推定値とする手法 ベイズの定理より ：ディリクレ分布 ディリクレ分布 最大化する目的関数

18. MAP推定 ラグランジュ未定乗数法により解く ：クラス数 と合わせると αはデータの生起回数全体に 下駄をはかせていると解釈できる

19. 例題4.4 例題4.3のデータからMAP推定によりナイーブベイズ分類器を構築 パラメータの一部 “good bad good good fine” “exciting exciting” P氏 “good goodexciting boring” “bad boringboringboring” “bad good bad” N氏 “bad badexciting boring”

20. 例題4.4 最尤推定とMAP推定のパラメータの比較 MAP推定のほうがパラメータの値が極端ではなくなる (スムージング)

21. 例題4.5 以下の文書を分類する “bad badboring boringfine” 上の文書はN氏に書かれたと予測している MAP推定と最尤推定では大抵の場合、 MAP推定のほうが分類性能が高い

22. 多項モデル 文書中の各位置についてどんな単語が起こるかをモデル化 モデルの導入 語彙Vの中から1つの単語を選ぶ操作を|d|回繰り返すことで文書を生成 P(d|c)を多項分布でモデル化 ：文書d内の単語数 ：クラスcの時に、単語ｗが選ばれる確率 ：|V|個の値(単語)を取りうる確率変数 ：クラスを値とする確率変数

24. 文書の長さを決定しないとならないため、求める分布は

25. 文書の長さがクラスに依存しない仮定を置かない場合、以下の確率を考える必要があるK：文書の長さを表す確率変数

26. 多項モデル 多項モデル 最大化するクラスを出力

27. ２つのモデルの比較 多変数ベルヌーイモデル 文書での単語の生起情報により文書を表現 単語が生起しない情報も考慮 多項モデル 文書での単語の生起回数により文書を表現 生起しない単語は無視

28. 最尤推定 対数尤度関数

29. 最尤推定 以下の制約付き最適化問題を解く ラグランジュ未定乗数法を用いる Max s.t と合わせると と合わせると

30. 最尤推定 パラメータの比較 多項モデル 多変数ベルヌーイモデル (クラスcに属する訓練文書全体のうちwの出現回数) (クラスcに属する訓練文書全体の全単語の出現回数) (クラスcに属する訓練文書のうちwを含む文書の数) (クラスcに属する訓練文書数)

31. 例題4.6 “good bad good good” “exciting exciting” P氏 “good goodexciting boring” “bad boringboringboring” “bad good bad” N氏 “bad badexciting boring” 統計値の一部 パラメータの一部 単語に関する和を取る

32. 例題4.7 以下の文書を分類 “good goodbad boring” 上の文書はP氏に書かれたと予測している 一部のパラメータが0になるという 問題点は同様に存在

33. MAP推定 事前分布にディリクレ分布を用いる

34. MAP推定 |W|は単語の種類数 と合わせると ：クラス数 と合わせると