Recommended
More Related Content
What's hot
What's hot (12)
Recently uploaded
Recently uploaded (8)
02 機械学習
- 1. 機械学習
- 2. 1.線形回帰モデル ✦学習種類：教師あり学習，タスク：予測 ✦そもそも回帰とは？→ある入力から出力を予測 ✦特に、入力を説明変数（ベクトル），出力を目的変数（スカラー）と呼ぶ ✦線形とは?→直線（y=ax+b）：予測したyにはハット（^）をつける ✦ここで、wはパラメータと呼び、未知の値→これを求めるのが目的 ✦どうやって求める？→最小二乗法で求める！！ ✦x,yは固定値なのでwを変えるしかない ̂ y = wT x + w0 = m ∑ j=1 wmxm + w0 MSE = 1 n n ∑ i=1 ( ̂ y − y) 2 → ̂ w = arg min MSE ̂ w = (XT X)−1 XT y
- 4. 2.非線形回帰モデル ✦学習種類：教師あり学習，タスク：予測 ✦線形構造では表現できないモデルに対して、行う ✦ここで、f()を基底関数と呼ぶ ✦基底関数の種類 ✦多項式関数 ✦ガウス型基底関数 ✦スプライン関数／Bスプライン関数 ✦未学習underfittingと過学習overfitting ✦未学習→表現力の高いモデルを使用する ✦過学習→学習データの数を増やす、不要な基底関数を削除、正則化法を利用 yi = f(xi) + ϵi → yi = w0 + m ∑ j=1 wjϕj(xi) + ϵi
- 6. 3.ロジスティック回帰モデル ✦学習種類：教師あり学習，タスク：分類 ✦分類の簡単なイメージ：m次元のベクトルから0or1を出力する ✦ロジスティック回帰は線形結合をシグモイド関数に入力する ✦出力はy=1となる確率 ✦シグモイド関数：出力値は0∼1，aが大きいと0付近での勾配が大きくなる ✦ロジスティック回帰モデルのパラメータの求め方→尤度関数L(w)を最大に ✦ f(x) = 1 1 + exp(−ax) f′(x) = af(x)(1 − f(x)) E(w) = − log L(w) = − ∑ (yi log pi + (1 − yi)log(1 − pi))
- 8. 5.アルゴリズム ✦学習種類：教師なし学習，タスク：クラスタリンク ✦k近傍：最近傍のデータをk個取ってきて，それらが最も多く所属するクラスに識別 →kの値が変われば，結果も変わる • kが大きいほど，決定境界（クラスを識別する線）は滑らかになる ✦k-平均法（k-means）：k個のクラスタに分類する ✦手順 • 各クラスタの中心の初期値を設定する（ここはユーザに依存する） • 各データ点に対して，各クラスタ中心との距離を計算し，最も距離が近いクラスタ を割り当てる • 各クラスタの中心を計算 • 上記を繰り返し，中心を（収束するまで）更新 ✦最初の中心を変えるとクラスタリングの結果も変わる→k-means++という手法もある • 初期値が離れている→うまくクラスタリングできる • 初期値が近い→うまくクラスタリングができない
- 9. 6.サポートベクターマシン ✦学習種類：教師あり学習，タスク：分類 ✦主な目的：2クラス分類→SVMでは，正負で判断する • 正負の境目を分類境界（その関数を決定関数）と呼び，境界線から最も近 いデータまでの最短距離をマージンと呼ぶ→特にこのデータをサポートベ クトルと呼ぶ • SVMでは，このマージンを最大化する ✦ハードマージンとソフトマージン • ハードマージン：マージン内にデータを含むことを許容しない • 訓練データに関しては，完璧に分類できるが過学習の恐れあり • ソフトマージン：マージン内にデータを許容する（誤分類を含む） • 正則化係数Cを持つ→C= ならハードマージンと一致，C=0なら誤分類は 多くなるが過学習は防げる
- 10. 6.サポートベクターマシン ✦SVMは線形分類が基本→非線形のデータ群に対してはどうするか？ ✦カーネルを用いて，非線形へ拡張する ✦主なカーネル • 多項式カーネル • ガウスカーネル • シグモイドカーネル • RBFカーネル • 2つのデータの距離が近いとカーネルの値は1に近くなる • 2つのデータの距離が遠いとカーネルの値は0に近くなる • 正規化線形カーネル [xT i xj + c]d <latexit sha1_base64="A2oF+SUDQDwAb37wdOtLqTkInHg=">AAACm3ichVHLSsNAFD3G97vqRhChWBRBKLcqKK6KbkRc+KoKtS1JnNbRNAlJWqzFH/AHFFwpuBB/wZ0bf8BFP0FcKrhx4W0aES3WGyZz5tx77pzharYhXY+o0qQ0t7S2tXd0dnX39Pb1hwYGt12r4OgioVuG5exqqisMaYqEJz1D7NqOUPOaIXa0o6VqfqcoHFda5pZXskUqr+ZMmZW66jGVTh5nZHrrOHM4pafS+5lQhKLkR7gexAIQQRBrVugee9iHBR0F5CFgwmNsQIXLXxIxEGzmUigz5zCSfl7gFF2sLXCV4AqV2SP+5/iUDFiTz9Werq/W+RaDl8PKMMbpiW7plR7pjp7p489eZb9H1UuJd62mFXam/2x48/1fVZ53DwffqoaePWQx73uV7N32meor9Jq+eHL+urmwMV6eoGt6Yf9XVKEHfoFZfNNv1sXGZQM/X04czmZ5nfKoYr8HUw+2p6OxmSitz0bii8HQOjCCMUzyZOYQxzLWkOCbHFzgCtfKqLKkrCirtVKlKdAM4UcoiU+YOZf8</latexit> exp( || xi xj||2 ) <latexit sha1_base64="iU6otIUqZQqOd8PApfrIdsFlN+E=">AAACqnicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQtIx6RWFGjoxqQn5uYm1tToVsRnAnFWTU2ckWa8gLKBngEYKGAyDKEMZQYoCMgX2MMQw5DCkM+QzFDKkMuQypDHUAJk5zAkMhQDYTSDIYMBQwFQLJahGihWBGRlguVTGWoZuIB6S4GqUoEqEoGi2UAyHciLhormAfkgM4vBupOBtuQAcRFQpwKDqsFVg5UGnw1OGKw2eGnwB6dZ1WAzQG6pBNJJEL2pBfH8XRLB3wnqygXSJQwZCF143VzCkMZgAXZrJtDtBWARkC+SIfrLqqZ/DrYKUq1WM1hk8Bro/oUGNw0OA32QV/YleWlgatBsPO6BuaQIKJsGxLXAqDJEjxhMRpiRnqGxnkGgibKDEzTSOBikGZQYNIAxY87gwODBEMAQCrSpkWE5wwaGjUw6TEFMkUzREKVMjFA9wgwogCkFAH6knVU=</latexit> tanh(bxT i xj + c) <latexit sha1_base64="nEqy2b70xwATjWRm3pVhGD5FTMI=">AAACoXicSyrIySwuMTC4ycjEzMLKxs7BycXNw8vHLyAoFFacX1qUnBqanJ+TXxSRlFicmpOZlxpaklmSkxpRUJSamJuUkxqelO0Mkg8vSy0qzszPCympLEiNzU1Mz8tMy0xOLAEKxQsIxZQk5mVoJFXEZ8aFVMRnaSdrxgsoG+gZgIECJsMQylBmgIKAfIE9DDEMKQz5DMkMpQy5DKkMeQwlQHYOQyJDMRBGMxgyGDAUAMViGaqBYkVAViZYPpWhloELqLcUqCoVqCIRKJoNJNOBvGioaB6QDzKzGKw7GWhLDhAXAXUqMKgaXDVYafDZ4ITBaoOXBn9wmlUNNgPklkognQTRm1oQz98lEfydoK5cIF3CkIHQhdfNJQxpDBZgt2YC3V4AFgH5Ihmiv6xq+udgqyDVajWDRQavge5faHDT4DDQB3llX5KXBqYGzcbjHphLioCyaUBcC4wqQ/SIwWSEGekZGusZBJooOzhBI42DQZpBiUEDGDPmDA4MHgwBDKFAmyoY5jEsZ1jBpMzkyRTAFARRysQI1SPMgAKYogGG8ZmV</latexit> exp( ||xi xj||2 2 2 ) <latexit sha1_base64="aGz8M0DKwreqU3IzVDah+1qGFf0=">AAACtXichVE9T9tQFD1xgQJtIdAFqUvUKIgORDehEogJlYWRBBIikdSyzXN44C/ZThTq5A+g7h2YQOpQdevabCz8gQ78BMRIpS4deuMYVYBKr/X8zjv3nvvO09U9SwYh0WVKeTIyOvZ0fGLy2fMXU9Ppmdlq4LZ8Q1QM13L9mq4FwpKOqIQytETN84Vm65bY0Q/XB/mdtvAD6Trb4ZEnGrbWdKQpDS1kSk3P10XHW1ism75mRN1uR5WLHfWg231f7EXFeiCbtsbwjZrOUp7iyDwEhQRkkcSmm+6jjj24MNCCDQEHIWMLGgL+dlEAwWOugYg5n5GM8wI9TLK2xVWCKzRmD/nf5NNuwjp8HvQMYrXBt1i8fFZmkKMf9IVu6IK+0hX9/mevKO4x8HLEuz7UCk+dPp7b+vVflc17iP2/qkc9hzCxEnuV7N2LmcErjKG+/eHTzdZqORfN0xlds/9TuqRzfoHT/ml8LonyySN+bp34nDV59XhUhfuDeQiqxXxhKU+lt9m1d8nQxvEKr7HAk1nGGjawiQrf9BHf8B19ZVlpKHuKOSxVUonmJe6E4v4BgRGiTg==</latexit> xT i xj ||xi||||xj|| <latexit sha1_base64="k3OuMKG/3lsXFpePSlqDUJ6QA3g=">AAACr3ichVE9T9tQFD2YftC0NIEuSF2iRiCm6Lqt1IoJwcJIQr4kPoztvsBLHNuynQiws3bgDzAwtVKHClaYurHwBzrwE6qOVGJh4NoxQoCg13q+5517z3vn6RquJf2A6GxIGX7y9NnzkReZl69GX2dzY+M13+l6pqiajuV4DUP3hSVtUQ1kYImG6wm9Y1iibrTn43q9JzxfOnYl2HbFakffsGVTmnrAlJbLrzQ93Qy3NLlW2dJa/TCKGEdRPs6tKOpruQIVKYn8faCmoIA0Fp3cL6zgCxyY6KIDARsBYws6fP6WoYLgMreKkDmPkUzqAn1kWNvlLsEdOrNt/m/wbjllbd7HZ/qJ2uRbLF4eK/OYpN/0k87plA7oD10+eFaYnBF72eZsDLTC1bK7E0sX/1V1OAfYvFE96jlAE58Tr5K9uwkTv8Ic6Hs7e+dLM+XJcIq+01/2/43O6IRfYPf+mT9Korz/iJ9rJx5Xm7ziUal3B3Mf1N4X1Q9FKn0szM6lQxvBW7zDNE/mE2axgEVU+aavOMQRjhVVqStryvqgVRlKNW9wKxR5BZu7oUI=</latexit>
- 11. 実装演習結果 (一部抜粋)
- 23. 6．サポートベクターマシン ✦[5][6]でテストデータに対して予測を実行 ✦[7]で予測結果を出力 • 実線：境界線 • 波線：マージン • 波線上の点：サポートベクトル