Tokyor45 カーネル多変量解析第２章カーネル多変量解析の仕組み

カーネル多変量解析
第２章カーネル多変量解析の仕組み
里洋平（@yokkuns）
yokkuns0511@gmail.com
第４５回TokyoR
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

カーネルで画像検索
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

過去のカーネルに関係する発表
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

【参考】カーネル多変量解析
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

AGENDA
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
Ø 自己紹介
Ø カーネル多変量解析
Ø カーネルによる非線形回帰
Ø 特徴抽出による非線形回帰
Ø 汎化能力の評価とモデル選択

里洋平（@yokkuns）
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
Ø  やってたこと
Ø  Webアプリ開発
Ø  統計解析/データマイニング
Ø  マーケティング

TokyoR
R言語の東京コミュニティ Tokyo.R を主催
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

著書
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

線形回帰モデル
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

直線の関係になっていない場合
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

線形回帰では無理
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

線形回帰では無理
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
×

大きく二つのアプローチ
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
① データ同士の「近さ」に着目した方法
② データを何らかの関数で非線形変換する方法

データ同士の”近さ”に注目した考え方
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
x
③
⑦
①

データ同士の”近さ”に注目した考え方
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
x
③
⑦
①
！？

”近さ”の定義の例
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

”近さ”の定義の例
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
x
③ ⑦
①
③
①
⑦

これがカーネル関数
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

カーネルを使った回帰モデル
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
x(j)とxの近さ

カーネルを使った線形回帰
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
入力データ
データ同士の
近さ
線形回帰

パラメータの推定方法：最小二乗誤差
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
が最小になるようなパラメータを求める
実測値モデルで算出した予測値

Rで実行
h<p://nlp.dse.ibaraki.ac.jp/~shinnou/zemi2012/kernel/kernel-‐sasaki-‐0413.pdf

そのまま実行すると・・・
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

そのまま実行すると・・・
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
×

正則化
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
が最小になるようなパラメータを求める
実測値モデルで算出した予測値
ペナルティ

Rで正則化（λ = 0.01）

正則化した実行結果（λ = 0.01）
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

Rで正則化（λ = 0, 0.0001, 0.01, 1）

λを変えた時の様子
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
λ = 0 λ = 0.0001
λ = 0.01 λ = 1

Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
　非線形変換という考え方：例）多項式フィッティング

非線形変換という考え方：例）多項式フィッティング
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

多項式フィッティングとは結局のところ何か？
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
入力データ特徴ベクトル線形回帰

ところで
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved

カーネル関数 = データ同士の近さ
Copyright
DATUM
STUDIO
Co.,
Ltd
All
Rights
Reserved
x
③ ⑦
①
③
①
⑦

最初の例：ガウスカーネル

多項式カーネル

Rで多項式カーネル

データをモデルを訓練データと検証データに分ける①
h<p://www.slideshare.net/sfchaos/ss-‐33703018

データをモデルを訓練データと検証データに分ける②

分けて何をするのか

検証データで成績が良いハイパーパラメータを使う

Tokyor45 カーネル多変量解析第２章カーネル多変量解析の仕組み

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (12)

Similar to Tokyor45 カーネル多変量解析第２章カーネル多変量解析の仕組み

Similar to Tokyor45 カーネル多変量解析第２章カーネル多変量解析の仕組み (20)

More from Yohei Sato

More from Yohei Sato (20)