More Related Content
Similar to Partial least squares回帰と画像認識への応用 (20)
Partial least squares回帰と画像認識への応用
- 2. はじめに
• Partial Least Squares(PLS)
– 部分最小二乗、偏最小二乗
• 1975年にHerman Woldによって提案された
• CVでは2009年のICCVにて人検出に適用
HOG
共起特徴
17万次元
PLS
20次元
2次判別分析
高速かつ高精度な検出
- 4. PLS回帰の概要
y
相関性を考慮
X
PCA:データの分布をよく表す部分空間
PLS:クラスラベルを考慮、識別に有効な部分空間
➡ 予測・識別に有効な部分空間を作成できる
- 6. PLSアルゴリズム
NIPALS
(Nonlinear Iterative Partial Least Squares)
• 一般的なPLSアルゴリズム
• シンプルで実装が容易
• PLS1…単出力
• PLS2…多出力
NIPALS PLS1
入力
説明変数:X∈Rn×d
目的変数:y∈Rn×1
(n:サンプル数,d:次元数)
出力
回帰係数:b
1. X,yを標準化
2. w = XTy / ||XTy||2
3. t = Xw
4. c = yTt (tTt)-1
5. p = XTt (tTt)-1
6. X = X-tpT
7. y = y-tcT
8. 任意の数まで繰り返す
9. b = W(PTW)-1cT
SIMPLS
• 特異値分解を用いたアル
ゴリズム
- 8. 前処理
• 標準化(平均0分散1)
μx:学習データの平均ベクトル:学習データの標準偏差
μy:ラベルの平均値:ラベルの標準偏差
• 中心化(平均0)
標準化もしくは中心化
アルゴリズムによってバラバラ…
- 13. 繰り返し
再度、共分散を求める処理に戻る
→ 前の基底wi-1と新しい基底wiは直交する
w w1 2
新たな基底ベクトルwiから第2成分を求める…
繰り返す度、部分空間の次元が増える
最適な成分数(次元数)はCross validationで最適化
- 20. 実装
• MATLAB
– plsregress関数(要Statistics toolbox)
– SIMPLS algorithm
(SVDにより回帰係数を求める)
• Python
– scikit-learn
- 21. 参考資料
Kernel Method for Pattern Analysis
John Shawe-Taylor (著), Nello Cristianini (著)
✓ 多クラスPLSのMATLABコード掲載
✓ オープンアクセス
訳本
カーネル法によるパターン解析
John Shawe-Taylor (著), Nello Cristianini (著), 大北剛(翻訳)
- 24. 実験
• 識別器
– PLS vs SVM
• 回帰分析
– PLS vs
主成分回帰,SVR
- 25. 実験
• 識別器
– PLS vs SVM
• 回帰分析
– PLS vs
主成分回帰,SVR
- 26. 実験環境
• INRIA Person Dataset
– 学習画像
• positive:2416枚
• negative:12180枚
• 5-fold Cross Validation
– SVMのコスト/ PLSの成分数最適化
– 評価画像
• positive:1126枚
• negative:4530枚
– 評価画像にnegative追加
• SceneClass13(36140枚)
- 29. 実験
• 識別
– PLS vs SVM
• 回帰
– PLS vs
主成分回帰,SVR
- 31. 脂肪滴計数の特徴量
複数特徴量間HLAC特徴
- 異なる特徴量にマスクパターンを適用
- 9種類の特徴量
• 81(=9x9)特徴組み合わせ
• 1次のマスクパターンの拡張
→ 9✕9画素マスクパターン(41マスクパターン)
• 3,321次元(41マスク✕81組み合せ)
- 32. 実験環境
評価指標
Mean absolute error Mean deviation error
• 学習画像:80枚
⁃ 5-fold Cross Validation
• 評価実験:19枚
- 33. 実験結果
MAE MDE 最適な成分数
サポートベクター回帰11.05 0.314 ー
主成分回帰6.16 0.264 948
PLS回帰5.16 0.126 139
PLS回帰の計数誤差が最小
最適な成分数PCAの1/7成分
→ 識別・回帰の次元削減に有効
- 35. 歩行者計数
比較実験
元の空間でSVR
Original PLSR (PLSの部分空間+重回帰)
PLS+SVR(PLSの部分空間+SVR)
PLSの部分空間
ラベルごとに分離した空間
- 36. 歩行者計数
実験設定
学習画像1,200枚、テスト画像800枚
5 fold cross validation
平均人数32人(最小13人、最大53人)
比較結果
MAE MDE
SVR 3.57 0.111
Original PLS
(PLS+重回帰)
2.98 0.093
PLS+SVR 2.86 0.090
- 37. まとめ
PLS回帰
– PLS回帰のアルゴリズムについて説明
– シンプルなアルゴリズム
– 分離に有効な部分空間を生成できる
– 部分空間上で回帰分析、識別