Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

データマイニング勉強会3

5,859 views

Published on

データマイニング勉強会3

  1. 1. 機械学習入門 – SVMによる画像分類 yokkuns: 里 洋平 第3回 データマイニング+WEB 勉強会
  2. 2. 機械学習入門 – SVMによる画像分類 yokkuns: 里 洋平 第3回 データマイニング+WEB 勉強会
  3. 3. AGENDA  自己紹介  機械学習  SVM  マージンの最大化  カーネル関数を用いた柔軟なモデリング  ハードマージンとソフトマージン  ラグランジュ乗数  パラメータ推定の定式化  RによるSVMの使用例
  4. 4. 自己紹介  id : yokkuns  名前 : 里 洋平  職業 : Webエンジニア  出身 : 種子島  趣味 : プログラミングとかカラオケとか  主催してる勉強会 : Tokyo.R、数式ニヤニヤ勉強会 統計とか機械学習やりはじめたのは割と最近なので 、 突っ込み大歓迎です!
  5. 5. 機械学習とは
  6. 6. 機械学習とは  人間が自然に行っている学習能力と同じ機能をコン ピュータで実現させる技術・手法  サンプルデータを対象に解析を行い、そのデータか ら有用な規則、ルールなどを抽出  大きく以下のように分類出来る  教師あり学習  教師なし学習  強化学習
  7. 7. 記憶ベース推論 車
  8. 8. 記憶ベース推論 テレビ
  9. 9. 記憶ベース推論 ギター
  10. 10. 記憶ベース推論 車 今までの経験・記憶がベースとなって 判断している! ギター テレビ
  11. 11. コンピュータにやらせる! 車 学習データ 特徴を抽出して、 学習データと比較! ギター テレビ
  12. 12. 認識系の構成 特徴抽出 識別演算 前処理部 部 部 車 照合 識別辞書 識別部
  13. 13. 認識系の構成 特徴抽出 識別演算 前処理部 部 部 車 照合 ・ノイズ除去 識別辞書 ・正規化など グレースケール化など 識別部
  14. 14. 認識系の構成 特徴抽出 識別演算 前処理部 部 部 車 照合 識別辞書 識別に必要な本質的な 特徴のみを抽出! 配色、輪郭など 識別部
  15. 15. 認識系の構成 特徴抽出 識別演算 前処理部 部 部 車 照合 あらかじめ識別辞書を用意し、 識別辞書 抽出された特徴をこの辞書と照合 することにより、入力対象を分類す る 識別部
  16. 16. サポートベクターマシン(SVM)
  17. 17. サポートベクターマシン  実データの解析に広く利用されている判別手法  特徴  マージン最大化を基準とすることで、高い判別性能を実 現  カーネル関数を用いた柔軟なモデリング  パラメータ推定が凸2次最適化問題として定式化されるた め、高速な最適化アルゴリズムが利用可能
  18. 18. サポートベクターマシン  実データの解析に広く利用されている判別手法  特徴  マージン最大化を基準とすることで、高い判別性能を実 現  カーネル関数を用いた柔軟なモデリング  パラメータ推定が凸2次最適化問題として定式化されるた め、高速な最適化アルゴリズムが利用可能
  19. 19. マージン最大化
  20. 20. マージン最適化
  21. 21. マージン最大化
  22. 22. マージン最大化
  23. 23. マージン最大化
  24. 24. マージン最大化
  25. 25. マージン最大化 超平面のパラメータをともに 定数倍しても境界は不変なので、 以下の条件を付加しても影響ない
  26. 26. マージン最大化 また、学習データのクラス を使って、以下のように書ける
  27. 27. マージン最大化
  28. 28. マージン最大化  よって、以下のように定式化出来る  を解きやすい に置き換えている
  29. 29. サポートベクターマシン  実データの解析に広く利用されている判別手法  特徴  マージン最大化を基準とすることで、高い判別性能を実 現  カーネル関数を用いた柔軟なモデリング  パラメータ推定が凸2次最適化問題として定式化されるた め、高速な最適化アルゴリズムが利用可能
  30. 30. カーネル関数を用いた柔軟なモデリング  この特徴空間上の分布は 、明らかに線形分離可能で はない x2  カーネル関数を使って、元 のデータよりも高い次元の 空間に写像する x1
  31. 31. 非線形変換  データを高次元の空間へ写す  内積は
  32. 32. 非線形変換  高次元に写像することで、線形分離可能になる φ3(x) x2 φ1(x) φ2(x) x1
  33. 33. ハードマージンとソフトマージン  今までの前提  線形分離可能  出来ない場合でも、高次元空間への写像を使うことで線 形分離可能  このように、学習線形分離可能をという条件のマー ジンをハードマージンという
  34. 34. ハードマージンとソフトマージン  高次元空間への写像でも線形分離可能になるとは 限らない  線形分離可能でない場合、基準を少し緩めたソフト マージンを最大化する  多少の誤識別を許す 特徴2 特徴1
  35. 35. サポートベクターマシン  実データの解析に広く利用されている判別手法  特徴  マージン最大化を基準とすることで、高い判別性能を実 現  カーネル関数を用いた柔軟なモデリング  パラメータ推定が凸2次最適化問題として定式化されるた め、高速な最適化アルゴリズムが利用可能
  36. 36. パラメータ推定  マージン最大化の学習過程は、ラグランジュ関数を 用いることで、凸2次計画問題になる  サンプル数が増えると急激に計算量がふえるため、 分割統治法の考え方を用いた手法が提案されてい る
  37. 37. パラメータ推定  マージン最大化の学習過程は、ラグランジュ関数を 用いることで、凸2次計画問題になる  サンプル数が増えると急激に計算量がふえるため、 分割統治法の考え方を用いた手法が提案されてい る
  38. 38. 関数をベクトルで考える  1次関数 は、 平面上で、各点 に高さ を 与えると、 空間中の平面を表す
  39. 39. 勾配  x軸に平行な方向に1だけ進むと関数値は、aだけ増 え、 y軸に平行な方向に距離1だけ進むと 関数値はbだけ増える  x軸、y軸方向への勾配の大きさがそれぞれ、a,b。これらを成 分とするベクトルを勾配と呼ぶ  勾配は、関数値がもっとも急激に増大する方向を表す
  40. 40. 関数の等高線と勾配  xy平面上で関数値が一定の軌跡を等高線と呼ぶ。  点(x, y)での関数値をcとすると、点(x, y)は等高線 上にある。  の勾配は、等高線 と直交す る  勾配は、関数値がもっとも増大する方向  等高線がもっとも増大する方向は垂直方向  等高線 の法線ベクトルは勾配
  41. 41. n変数関数への拡張  以上のことは、n変数関数でも成り立つ  n変数関数の勾配は、次のように定義される  n変数関数 の勾配 は、 等値面              の法線ベクトルである
  42. 42. ラグランジュの未定乗数法  制約条件が1つの場合 制約条件 のもとで関数 が極値を とる点は と置くと、次の式を満たす
  43. 43. ラグランジュの未定乗数法  制約条件が1つの場合 制約条件 のもとで関数 が極値を とる点は と置くと、次の式を満たす ラグランジュ乗数
  44. 44. ラグランジュの未定乗数法  解となる点を通る等高線は 、制約式に接していなけれ ばならない  このことは、接点で両者の 法線ベクトルが平行である ことを意味する 制約条件
  45. 45. 双対原理  用いたのは等高線と制約条 件が接するという事実のみ なので、どちらが等高線で どちらが制約条件かは無関 係  等高線と制約条件が逆でも 同じ解が得られる。 制約条件 双対原理
  46. 46. ラグランジュ未定乗数法  制約条件が複数の場合 制約条件 のもとで関数 が極値を とる点は と置くと、次の式を満たす
  47. 47. 線形計画と非線形計画  線形計画  線形制約条件のもとで線形関数を最大、最小にする 問題  シンプレックス法とか使える  非線形計画  非線形制約条件のもとで非線形関数を最大、最小に する問題  一般的な理論も解法も存在しない  制約条件や目的関数のもつ性質ごとに種々の定理が成立 し、さまざまな解法が存在する
  48. 48. 線形計画と非線形計画  線形計画  線形制約条件のもとで線形関数を最大、最小にする 問題  シンプレックス法とか使える  非線形計画  非線形制約条件のもとで非線形関数を最大、最小に する問題  一般的な理論も解法も存在しない  制約条件や目的関数のもつ性質ごとに種々の定理が成立 し、さまざまな解法が存在する
  49. 49. 非線形計画とラグランジュ乗数  問題A  は上に凸、 は全て下に凸、 は全て1 次式とする
  50. 50. 非線形計画とラグランジュ乗数  このとき、以下のような関数を考える  上の式を、問題Aのラグランジュ関数と呼ぶ  また、このとき、KKT条件が成り立つ  問題Aの解が存在する必要十分条件は、次の条件が成 り立つような が存在すること
  51. 51. 双対問題  ラグランジュ関数Lにおいて、ラグランジュ乗数 {λi}、{μi}を定数とみなしてxに関して最大化した値 は{λi}、{μi}の関数である。これを と置くと、次の問題を問題Aの双対問題と呼ぶ  問題B
  52. 52. パラメータ推定の定式化  マージンの最大化
  53. 53. パラメータ推定の定式化  ラグランジュ乗数αを導入すると、ラグランジュ関数は、
  54. 54. パラメータ推定の定式化
  55. 55. パラメータ推定の定式化  よって、相対形式として、以下の凸2次計画問題を解 けばよい  これを解く手法として、SMOなどがある
  56. 56. RによるSVMの使用例
  57. 57. スパムメールの学習と判別 4601 の電子メールを58 項目に分けて記録したもの 第58 列がクラス情報spam,nonspam で、残りの57 項目はメールの特徴
  58. 58. ご清聴ありがとうございました。
  59. 59. 参考文献  わかりやすいパターン認識  データマイニング手法― 営業、マーケティング、カスタマーサポートのための顧客分析  Rによるデータサイエンス - データ解析の基礎から最新手法まで  パターン認識 (Rで学ぶデータサイエンス 5)  マシンラーニング (Rで学ぶデータサイエンス 6)  これなら分かる最適化数学―基礎原理から計算手法まで

×