More Related Content
More from Arata Honda
はじめてのパターン認識第八章
- 2. 目次 8.1 サポートベクトルマシンの導出 8.1.1 最適識別超平面 8.1.2 KKT条件 8.2 線形分離可能でない場合への拡張 8.3 非線形特徴写像（カーネル法） 8.4 ν-サポートベクトルマシン（発表しません） 8.5 1クラスサポートベクトルマシン（発表しません）
- 3. SVMに入る前に 分類(識別)問題のアプローチは三つある ● 生成モデル : データの生成過程から考える(ベイズの定理使用) ● 識別モデル : 観測データから分類の境界線自体をモデル仮定 ● 識別関数 : 観測データの写像を考える https://www.slideshare.net/tadahirotaniguchi0624/11-46861748 生成モデル：それぞれのデータが生成さ れる分布をもとめるので、結果的にどの分 布に属しているかで分類 識別モデル：境界線になる確率分布を直 接求めに行く(仮定できる分布はなるべく 仮定する)
- 7. この線って最適な線なの？
- 8. いっぱい引けるよね？
- 12. SVMの式で置き換えてみる SVM: a → w y,b →0 c → b -1 or 1なので1になる これがマージン (1つのサポートベクタに対する )
- 14. ラグランジュ未定乗数法 定理(証明はしません)： 前提：f(x, y), g(x, y)で、両関数が一階微分可能で導関数 条件g(x, y)=0の下で、f(x, y)が点(a, b)において極値を持つとき、 次のいずれかが成り立つ 1：g(x, y)に関して、下記が成り立つ 2 : ある実数λにおいて、下記が成り立つ (特異点と呼ぶ) 2’: ある関数L(x, y, λ)=f(x,y)-λg(x,y) において、下記がry
- 15. 例題 g(x, y) = x^2+y^2-1 = 0 の下でf(x, y)=xyの最大値・最小値を求めよ 定理の1を試す。 g_x(x, y) =2x, g_y(x, y)=2y g_x(x, y) = g_y(x, y) = 0を満たす点は(0, 0)だけど、 g(x, y)には通ってない＝特異点はない 定理の2 Lx(a, b, λ) = b-2λa =0 Ly(a, b, λ) = a-2λb =0 Lx(a, b, λ) = a^2+b^2-1 =0 とくと、λ=±1/2, a=±1/√2, b=±1/√2 あとは、f(x, y)に代入して最大値・最小値を求めればいい
- 16. ラグランジュ未定乗数法をさらに拡張 ラグランジュの未定乗数法は、制約条件が等式の場合の手法 不等式なので、もう少し拡張する必要がある。 g(x) = 0の場合とg(x) < 0の場合を分けて考える 1. g(x)=0の場合： そのままラグランジュ未定乗数で解けばいい→λ>0 2. g(x) < 0 の場合にf(x)の局所がある場合は、ただ単にf(x)の最大値推定になる →λ=0 （さっきの例だと、円の中に最小値がある →点(0, 0)が最小＝＞f(x,y)を単に推定しているだけ） 二つの条件を合わせると、λg(x) = 0
- 28. カーネル法の前に ● 与えられた入力変数から未知の変数を予測(回帰問題) ● 入力に非線形な処理(基底関数の導入)でモデルの表現力を上げる ● 基底関数はいろんなものがある(3章序章) ● 基底関数に対して線形なパラメータｗを扱うので”線形回帰モデル”
- 29. 線形回帰モデルの解
- 32. リプレゼンター定理
- 33. どゆこと？
- 34. この定理の嬉しいところ
- 36. 線形回帰→カーネル回帰へ
- 37. カーネルトリック
- 40. カーネル函数の例：ガウスカーネル
- 41. なんで無限次元？
- 42. ほかにもあるよ、カーネル函数
- 44. お疲れ様でした。