Downloaded 80 times
![Infinite SVM [改] - ICML 2011 読み会](https://cdn.slidesharecdn.com/ss_thumbnails/isvm-icml11a-110719050617-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
SVM&R with Yaruo!!#2
- 1. やる夫は SVM を実装したようです& やる夫で学ぶ非線形な SVM Hatena id:repose Twitter id :y_benjo
- 2. 前回までのおさらい 使おうと思っていた ライブラリが使えずぶん投げて逃げた やる夫であった…
- 3. つうか やっつけスライドな のに大勢に見られた挙句、投げっぱ なしなのは恥ずか しいので
- 4.
- 5.
- 6. 前回発表したように、 線形 SVMで問題にな るのは、 超平面まで の最大化問題 だお…
- 7.
- 8. 問題は、行列が半正 定値行列になってし まう事だお…最初試した solve.QP は正定値行列にしか 対応してない し…
- 9. 正定値行列と、半正 定値行列のおおまか な違いは、行列式の値が≧ 0 か、＞ 0 かの 差なんだお…
- 10. 今度は kernlab パッケージの ipop を試して 見るお… こっちなら半正定値 行列でもきっと……
- 11. 引数は多いわ、 1 次元行列なのにエラー吐 くわ、引数と違う形式 でもエラー吐かない わイミフすぎるお！
- 12. こうなりゃヤケだお！ 適当にそれっぽい変 数作りまくってエラーが消えるまで試し続 けるお！
- 13.
- 14.
- 15. これで超平面が引け るお！ SVMが完成し たお！これで勝つる！
- 16.
- 17.
- 18. これまで解いていた のは マージン（距離）の最大化問題。 ここで得られた解は 超平面そのものでは ない。 あと 1 ステップ必要
- 19.
- 20.
- 21. じゃあ次は 非線形な SVMを実装してもらう。 ここまで来たら後は簡 単（な筈）
- 22.
- 23.
- 24.
- 25.
- 26. そもそも「 非線形な SVM」ってどんな感じ なんだお…？
- 27. じゃあ簡単な質問。 このような一次元の データをSVM でどう 分割する？
- 28. そんなの楽勝だお。 こんな風に赤い点と青 い点の間に超平面を引っ張ればいいお。
- 29.
- 30. ちょっと待つお… これは明らかに直線で 分割するSVM では無 理だお…
- 31.
- 32. こうするとどうだろう？ SVM でのデータ分割は可能だろうか
- 33.
- 34. これが非線形分離を 行う SVMの原理。 データを線形分離可 能な 高次元空間まで 写像 して分離する。
- 35.
- 36.
- 37. さて、先ほど 「高次元空間に写像する」 と言いました。これは地味ながらも SVM の特徴的な 部分です。
- 38. 何故ならば、他のデータ 分析やクラス判別の手法 では、「データの次元をい かに落とすか 」という点に 焦点を置いていたからで す。
- 39. しかし、線形分離可能な 高次元空間とはどんな状 態なのでしょうか？また、 その空間への写像はどの ように記述 すればいいの でしょうか？
- 40. ここで、「 カーネルトリック 」という手法が用いられます。
- 41. 証明その他諸々を省くと、 これは 「写像がどんな形かわか らなくても 、 ベクトルの内 積だけで表せたら楽 なん じゃね？ｗｗｗｗｗうはｗｗ ｗｗｗｗｗｗｗｗ」 という方法です
- 42. それが更に発展し 「じゃあ φ(x1)φ(x2)って書 くより K(x1,x2) みたいな 関 数で代用 できるんじゃねｗ ｗｗｗｗｗｗ天才現るｗｗｗ ｗｗｗｗｗ」となりました。 この時の関数 K を カーネル 関数 と呼びます。
- 43. この時用いられるカーネ ルの代表的なものに ガウシアンカーネル があります。
- 44. さて、ここで現れるのはベ クトルの内積です。 これをSVM の式に代入し て見ましょう。
- 45. 前回のスライドじゃずれ ちゃってたんですが、 線形分離の SVM に置ける最適 化問題 はこのようになって います。
- 46. この 後半部はベクトルの 内積になっています。 つまり、 ここをカーネル関 数で置き換えて やると…
- 47.
- 48. あとは R で実装するならば行列を少しだけ書き換え て ipop に投げてやれば良 い、という事ですね。
- 49.
- 50. この場合問題となるの は、適切なパラメータ。 例えばガウシアンならば、 σ をどうするか、で 結果が変わってくる
- 51. それでもこれならきっ となんとかなるお！ これで卒論も修論も楽勝だおｗｗｗｗｗｗ ｗｗ
- 52. 研究室楽勝すぎる おｗｗｗｗｗｗ 数理計画系の研究室涙目だおｗｗｗｗ ｗｗｗｗｗｗ
- 53.
- 54. 言い忘れていた。 あなたが今回 Rで実装 した SVM だが、あのま までは 実用に堪えがた いほど重い 。
- 55. それにうちの研究室で は、 SVMを発展させた OCSVM や 多クラスの SVM 、そして線形回帰 に応用させた SVR に取 り組むのがメイン
- 56. なので今後は C++ でSVM を実装してもらう。
- 57.
- 58.
- 59. ネタではない。 R のSVM パッケージでは対 応できないような応用 を行う為には実装が必 要
- 60.
- 61.
- 62. 次回 やる夫で学ぶ RandomForest