Downloaded 67 times
![みんな大好きirisで
16
x <- as.matrix(iris[,-5])
y <- iris[,5]
iris_cv <-
cv.glmnet(x, y, family="multinomial", type.measure="class")
species_cv <-
predict(iris_cv, newx=x, type="class", s="lambda.min")
table(y, species_cv)](https://image.slidesharecdn.com/tokyor4820150620-150620100123-lva1-app6891/85/5-glmnet-16-320.jpg)
5分でわかるかもしれないglmnet
- 1.
- 2.
- 3. 俺や • ID: @teramonagi •職種：データ分析おじさん • 業務：ブカーの育成&会議＆翻訳 • 言語：/R/F#/Ruby/Python/C++/ • 特技：早起き・根回し 3 優秀な新人怖い
- 4.
- 5. glmnetとは • 愛の鞭(正則化)を一般化線形モデル (GLM)に適用できるパッケージ • 愛の鞭(正則化)の種類 –Lasso(ラッソ, L1正則化) –Ridge(リッジ , L2正則化) –Elastic-net(L1+L2正則化) • カバーされているGLMなモデル –線形、（多項 or 多クラス）ロジス ティック、ポアソン、コックスモデル 5
- 6.
- 7. パラメータ計算 • パラメーター推定のアルゴリズム –Coordinate Descent •詳細 –Friedman, J., Hastie, T. and Tibshirani, R. (2008) Regularization Paths for Generalized Linear Models via Coordinate Descent, Journal of Statistical Software, Vol. 33(1), 1-22 Feb 2010 –http://www.jstatsoft.org/v33/i01/ 7
- 8.
- 9. データの取得 • irisじゃつまらないので、 UCImachine learning repositoryからワインデータ取得 9 library(dplyr) #ワインデータの読み込み（ダウンロード） URL <- "http://archive.ics.uci.edu/ml/machine-learning- databases/wine-quality/winequality-white.csv" df <- read.csv(URL, sep = ";", stringsAsFactor=FALSE) #ワインの質(quality)が5, 6のものだけ残して,0,1化する wine <- df %>% filter(quality==5|quality==6) %>% mutate(quality=quality-5)
- 10. glmとの比較(2クラス分類) 10 #statsパッケージのglm（説明変数は適当） wine_glm <- glm( quality~ residual.sugar+sulphates+alcohol, data=wine, family=binomial) #質(quality)の予測（確率が0.5以上ならクラス1) quality_glm <- predict(wine_glm, wine, type='response') table(wine$quality, round(quality_glm)) ※glmでの答え（混同行列）
- 11. glmとの比較(2クラス分類) 11 #いちいち行列に変換する必要がある x <- wine%>% select(residual.sugar, sulphates, alcohol) %>% as.matrix y <- wine %>% select(quality) %>% unlist #glmと同じ結果を出させる #lambda単一の値は非推奨（らしい）が動く… #lamdbaに複数入れておいて、predictの引数をs=0にするでもOK wine_glmnet <- glmnet(x, y, family=“binomial”, lambda=0) quality_glmnet <- predict(wine_glmnet, newx=x, type=“class”) table(wine$quality, quality_glmnet) ※glmnetでの答え（混同行列） ※愛の鞭なしでglmと一致
- 12. glmnetのクロスバリデーション • クロスバリデーションで愛の鞭の痛さを調整できます 12 #CVで最適な"お仕置き"を決定して計算 wine_cv <- cv.glmnet(x,y, family="binomial", type.measure="class") quality_cv <- predict(wine_cv, newx=x, type="class", s="lambda.min") table(wine$quality, quality_cv) ※正解率が改善
- 13. 多クラスロジスティック回帰 • glmnetは多クラスロジステック回帰できる – 分類すべきクラス数が２ではなく複数 –一対他分類器 ではない!!! • 他にもこれができるパッケージある – VGAMのvglm関数(2015年更新確認) – mlogitのmlogit関数(2013年更新停止) – nnetのmultinom関数(2015年更新確認) • でも、愛の鞭(正則化)があるし、あと開発者ら が「統計的学習の基礎」の著者らなんで、 glmnetでいきたい…（ちなみにnnetはRのコア メンバーBrian Ripley氏が開発されています） 13
- 14. 多クラスロジスティック回帰 • family=“multinomial”とするだけ • ワインデータはワイン全種類のも のを使用（複数クラスなんで） 14 x<- df %>% select(residual.sugar, sulphates, alcohol) %>% as.matrix y <- df %>% select(quality) %>% unlist wine_cv <- cv.glmnet(x, y, family="multinomial", type.measure="class") quality_cv <- predict(wine_cv, newx=x, type="class", s="lambda.min")
- 15.
- 16. みんな大好きirisで 16 x <- as.matrix(iris[,-5]) y<- iris[,5] iris_cv <- cv.glmnet(x, y, family="multinomial", type.measure="class") species_cv <- predict(iris_cv, newx=x, type="class", s="lambda.min") table(y, species_cv)
- 17.
- 18. ここがイケてないよglmnet • 引数(x, y)が行列限定 •引数(x)が”数値”限定で、因子不可 • ガンガン使うようだったら、使い やすいように修正したパッケージ 作っちゃった方が楽かも？ 18
- 19. 参考 • glmnetパッケージのvignette – http://web.stanford.edu/~hastie/glmnet/glmnet_alpha.html •Friedman, J., Hastie, T. and Tibshirani, R. (2008) Regularization Paths for Generalized Linear Models via Coordinate Descent, Journal of Statistical Software, Vol. 33(1), 1-22 Feb 2010 – http://www.jstatsoft.org/v33/i01/ • LASSO and Ridge regression – http://d.hatena.ne.jp/isseing333/20110309/1299675311 • リッジ/Ridge回帰、Lasso回帰、Elastic Net (R - glmnet) – http://highschoolstudent.hatenablog.com/entry/2015/02/08/142354 • RでL1 / L2正則化を実践する – http://tjo.hatenablog.com/entry/2015/03/03/190000 19
- 20.