Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み

11,892 views

Published on

  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

Tokyor45 カーネル多変量解析第2章 カーネル多変量解析の仕組み

  1. 1. カーネル多変量解析 第2章  カーネル多変量解析の仕組み 里  洋平(@yokkuns) yokkuns0511@gmail.com 第45回TokyoR   Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  2. 2.  カーネルで画像検索 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  3. 3.  過去のカーネルに関係する発表 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  4. 4.  過去のカーネルに関係する発表 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  5. 5.  【参考】カーネル多変量解析 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  6. 6.  AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
  7. 7.  AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
  8. 8.  里  洋平(@yokkuns) Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø  やってたこと Ø  Webアプリ開発 Ø  統計解析/データマイニング Ø  マーケティング
  9. 9.  TokyoR R言語の東京コミュニティ  Tokyo.R  を主催 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  10. 10.  著書 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  11. 11.  AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
  12. 12.  線形回帰モデル Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  13. 13.  線形回帰モデル Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  14. 14.  直線の関係になっていない場合 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  15. 15.  線形回帰では無理 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  16. 16.  線形回帰では無理 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ×
  17. 17.  大きく二つのアプローチ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ①  データ同士の「近さ」に着目した方法 ②  データを何らかの関数で非線形変換する方法
  18. 18.  大きく二つのアプローチ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ①  データ同士の「近さ」に着目した方法 ②  データを何らかの関数で非線形変換する方法
  19. 19.  データ同士の”近さ”に注目した考え方 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ①
  20. 20.  データ同士の”近さ”に注目した考え方 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ① !?
  21. 21.  データ同士の”近さ”に注目した考え方 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ①
  22. 22.  ”近さ”の定義の例 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  23. 23.  ”近さ”の定義の例 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ① ③ ① ⑦
  24. 24. これがカーネル関数 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  25. 25.  カーネルを使った回帰モデル Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x(j)とxの近さ
  26. 26.  カーネルを使った線形回帰 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 入力データ データ同士の 近さ 線形回帰
  27. 27.  パラメータの推定方法:最小二乗誤差 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved が最小になるようなパラメータを求める 実測値 モデルで算出した予測値
  28. 28.  Rで実行 h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
  29. 29.  そのまま実行すると・・・ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  30. 30.  そのまま実行すると・・・ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ×
  31. 31.  正則化 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved が最小になるようなパラメータを求める 実測値 モデルで算出した予測値 ペナルティ
  32. 32.  Rで正則化(λ  =  0.01) h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
  33. 33.  正則化した実行結果(λ  =  0.01) Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  34. 34.  Rで正則化(λ  =  0,  0.0001,  0.01,  1) h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
  35. 35.  λを変えた時の様子 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved λ  =  0 λ  =  0.0001 λ  =  0.01 λ  =  1
  36. 36.  大きく二つのアプローチ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved ①  データ同士の「近さ」に着目した方法 ②  データを何らかの関数で非線形変換する方法
  37. 37. Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved  非線形変換という考え方:例)多項式フィッティング
  38. 38.  非線形変換という考え方:例)多項式フィッティング Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  39. 39.  非線形変換という考え方:例)多項式フィッティング Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  40. 40.  パラメータの推定方法:最小二乗誤差 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved が最小になるようなパラメータを求める 実測値 モデルで算出した予測値
  41. 41.  多項式フィッティングとは結局のところ何か? Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 入力データ 特徴ベクトル 線形回帰
  42. 42. ところで Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  43. 43.  カーネル関数  =  データ同士の近さ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved x ③ ⑦ ① ③ ① ⑦
  44. 44.  データ(特徴ベクトル)同士の近さ  =  内積 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  45. 45.  つまり Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 入力データ データ同士の 近さ 線形回帰
  46. 46.  つまり Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 入力データ 特徴ベクトル データ同士の 近さ=内積 線形回帰 入力データ データ同士の 近さ 線形回帰
  47. 47.  カーネル法がやってることは Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved とある高次元空間 x ③ ⑦ ① カーネル関数 特徴抽出 特徴ベクトル同士の 近さ(=内積)の計算
  48. 48.  カーネル法がやってることは Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved とある高次元空間 x ③ ⑦ ① カーネル関数 特徴抽出 特徴ベクトル同士の 近さ(=内積)の計算
  49. 49. これがカーネルトリック Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  50. 50.  最初の例:ガウスカーネル h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
  51. 51.  多項式カーネル h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
  52. 52.  Rで多項式カーネル h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-­‐sasaki-­‐0413.pdf
  53. 53.  多項式カーネルの実行結果 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved
  54. 54.  まとめ Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved とある高次元空間 x ③ ⑦ ① カーネル関数 特徴抽出 特徴ベクトル同士の 近さ(=内積)の計算
  55. 55.  AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
  56. 56.  参考:サンプル領域外での値 Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved 多項式カーネル ガウスカーネル カーネルを使った回帰は、サンプル領域外に弱い サンプル領域外では発散する サンプル領域外では0に近づく
  57. 57.  データをモデルを訓練データと検証データに分ける① h<p://www.slideshare.net/sfchaos/ss-­‐33703018
  58. 58.  データをモデルを訓練データと検証データに分ける② h<p://www.slideshare.net/sfchaos/ss-­‐33703018
  59. 59.  分けて何をするのか h<p://www.slideshare.net/sfchaos/ss-­‐33703018
  60. 60.  検証データで成績が良いハイパーパラメータを使う h<p://www.slideshare.net/sfchaos/ss-­‐33703018
  61. 61.  AGENDA Copyright  DATUM  STUDIO  Co.,  Ltd  All  Rights  Reserved Ø 自己紹介 Ø カーネル多変量解析 Ø カーネルによる非線形回帰 Ø 特徴抽出による非線形回帰 Ø 汎化能力の評価とモデル選択
  62. 62. Enjoy!

×