20170707 rでkaggle入門
•Download as PPTX, PDF•
2 likes•6,118 views
fukuoka.R#08 https://fukuoka-r.connpass.com/event/60156/
More Related Content
What's hot
What's hot (20)
More from Nobuaki Oshiro
More from Nobuaki Oshiro (20)
Recently uploaded
Recently uploaded (14)
20170707 rでkaggle入門
- 3. アジェンダ • 自己紹介 • R & Kaggle紹介 • Titanicチュートリアル紹介 • 解析例① ジェンダーモデル • 解析例② 決定木 • 解析例③ ランダムフォレスト • まとめ
- 4. アジェンダ • 自己紹介 • R & Kaggle紹介 • Titanicチュートリアル紹介 • 解析例① ジェンダーモデル • 解析例② 決定木 • 解析例③ ランダムフォレスト • まとめ
- 5. 自己紹介 • 大城信晃 • twitter : doradora09 • 沖縄 出身 -> 東京 -> 福岡 • Webエンジニア -> データ分析者 • ヤフー -> DATUM STUDIO -> LINE Fukuoka
- 7. その他 • 執筆 • Rではじめるビジネス統計分析 • 勉強会 • Tokyo.R • 2010-2016の運営メンバー • fukuoka.R • 2017- #07回からJOIN • 7/7(金)に#08 開催予定 • 意思決定のためのデータ分析勉強会 • 2017/06 - • 主催
- 8. アジェンダ • 自己紹介 • R & Kaggle紹介 • Titanicチュートリアル紹介 • 解析例① ジェンダーモデル • 解析例② 決定木 • 解析例③ ランダムフォレスト • まとめ
- 11. そこでR & kaggle !!
- 18. Irisデータ中身
- 19. ちなみに • Rだと標準のデータセットにirisデータが入ってたりします > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species1 5.1 3.5 1.4 0.2 setosa2 4.9 3.0 1.4 0.2 setosa3 4.7 3.2 1.3 0.2 setosa4 4.6 3.1 1.5 0.2 setosa5 5.0 3.6 1.4 0.2 setosa6 5.4 3.9 1.7 0.4 setosa
- 24. Fork Scriptで編集 & 実行できます (いつの間に・・)
- 25. Fork Scriptで編集 & 実行できます (いつの間に・・)
- 26. Web上で実行までできる
- 27. 超便利！！
- 30. 賞金や名誉もあります！
- 31. 賞金：コンペ • Kaggleでは企業等が資金を出す分析コンペがあります • 大まかな流れ 1. トレーニングデータを使ってモデル構築&学習 2. データをアップロードして正答率でランキング化 • 国内企業の事例だとリクルートが2015年にポンパレのコンペを 実施
- 34. 名誉：Kaggle Master • Kaggle Masterになると色々なところから声がかるようです • 条件 • ２つの公開コンペで上位10%に入る • そのうち１つは10位以内に入る • 国内で類似の事例だと新日鉄住金ソリューションズのチームは データ分析コンペのKDD Cup 2015で2位となり、一躍有名にな りました (2014はKaggle上でやってた模様)
- 38. アジェンダ • 自己紹介 • R & Kaggle紹介 • Titanicチュートリアル紹介 • 解析例① ジェンダーモデル • 解析例② 決定木 • 解析例③ ランダムフォレスト • まとめ
- 41. 課題とデータセット • 課題：下記のデータを使って乗客の生存率を予測する • train.csv : トレーニングデータ • test.csv : テストデータ
- 42. データ読み込みと中身確認 ## 作業フォルダに移動 setwd('/Users/st20909/Desktop/r_titanic') ## オブジェクトクリア rm(list = ls(all.names = TRUE)) ## ファイル読み込み train <- read.csv("train.csv", stringsAsFactors=F) test <- read.csv("test.csv", stringsAsFactors=F) ## 上位数件を確認 head(train, n=2) head(test, n=2) > head(train, n=2) PassengerId Survived Pclass1 1 0 32 2 1 1 Name Sex Age1 Braund, Mr. Owen Harris male 222 Cumings, Mrs. John Bradley (Florence Briggs Thayer) female 38 SibSp Parch Ticket Fare Cabin Embarked1 1 0 A/5 21171 7.2500 S2 1 0 PC 17599 71.2833 C85 C
- 48. 男性は0、女性は1のフラグを立てて kaggleにsubmitする ### シンプルな戦略：ルールベース(性別) ### 男性は0、女性は1として生存予測 ## データ加工用にdplyr入れておく install.packages('dplyr') library(dplyr) ans_1 <- test %>% dplyr::select(PassengerId, Sex) %>% dplyr::mutate(Survived=ifelse(Sex=='female', 1, 0)) %>% dplyr::select(PassengerId, Survived) %>% print() head(ans_1) write.table(ans_1, 'ans_1.csv', quote=F, row.name=F, sep=',') ## 作成したファイルはkaggle上でsubmitしてみる
- 57. まずはtrain.csvで決定木の学習 #### 決定木 install.packages('rpart') library(rpart) train.rpart <- rpart(Survived ~ Sex + Age+ Pclass, data = train) print(train.rpart) > print(train.rpart) n= 891 node), split, n, loss, yval, (yprob) * denotes terminal node 1) root 891 342 0 (0.61616162 0.38383838) 2) Sex=male 577 109 0 (0.81109185 0.18890815) 4) Age>=6.5 553 93 0 (0.83182640 0.16817360) * 5) Age< 6.5 24 8 1 (0.33333333 0.66666667) * 3) Sex=female 314 81 1 (0.25796178 0.74203822) 6) Pclass>=2.5 144 72 0 (0.50000000 0.50000000) 12) Age>=38.5 12 1 0 (0.91666667 0.08333333) * 13) Age< 38.5 132 61 1 (0.46212121 0.53787879) 26) Age>=5.5 117 57 1 (0.48717949 0.51282051) 52) Age< 12 8 0 0 (1.00000000 0.00000000) * 53) Age>=12 109 49 1 (0.44954128 0.55045872) * 27) Age< 5.5 15 4 1 (0.26666667 0.73333333) * 7) Pclass< 2.5 170 9 1 (0.05294118 0.94705882) * 補足： Survived ~ Sex + Age+ Pclass 目的変数 ~ 説明変数
- 58. まずはtrain.csvで決定木の学習 ### 図示してみる install.packages('rpart.plot') library(rpart.plot) rpart.plot(train.rpart, type=2, extra=101) 891人おり、生存率は38% 女性の場合314人 おり、 生存率は74% 男性の場合577人おり、 生存率は19% 各条件での生存率(12%- 95%)とボリュームn
- 59. 次に、test.csvに対して予測 ### 予測 ans_2 <- predict(train.rpart, test, method='class') head(ans_2) hist(ans_2) ## 一旦0.5を閾値に生存、非生存を分ける ans_2b <- test %>% dplyr::select(PassengerId) %>% cbind(ans_2) %>% dplyr::mutate(Survived=ifelse(ans_2 >= 0.5, 1, 0)) %>% dplyr::select(PassengerId, Survived) %>% print() write.table(ans_2b, 'ans_2.csv', quote=F, row.name=F, sep=',')
- 60. 次に、test.csvに対して予測 ### 予測 ans_2 <- predict(train.rpart, test, method='class') head(ans_2) hist(ans_2) ## 一旦0.5を閾値に生存、非生存を分ける ans_2b <- test %>% dplyr::select(PassengerId) %>% cbind(ans_2) %>% dplyr::mutate(Survived=ifelse(ans_2 >= 0.5, 1, 0)) %>% dplyr::select(PassengerId, Survived) %>% print() write.table(ans_2b, 'ans_2.csv', quote=F, row.name=F, sep=',') > head(ans_2) 1 2 3 4 5 6 0.11547344 0.08333333 0.11547344 0.11547344 0.53787879 0.11547344
- 66. 問題点と対策 • 対策 • モデルをチューニングする • 木の深さや学習回数などのパラメータチューニング • 説明変数を変える • うまく説明がつく別の切り口がないか探索 (feature engineering) • モデルを変更する • 例えば、ランダムフォレスト
- 68. その３：ランダムフォレストを試す ##ランダムフォレスト install.packages('randomForest') library(randomForest) train2 <- train test2 <- test #前処理：AgeがNAのものを補完 train2$Age <- ifelse(is.na(train$Age), mean(na.omit(train$Age)), train$Age) test2$Age <- ifelse(is.na(test$Age), mean(na.omit(test$Age)), test$Age) #randomeforestでエラー吐くのでchr型の変数をfactor型に変換 train2$Survived <- as.factor(train2$Survived) train2$Sex <- as.factor(train2$Sex) test2$Sex <- as.factor(test2$Sex) #学習 train.rf <- randomForest(Survived~Sex+Age+Pclass, data=train2) pred <- predict(train.rf, test2)
- 69. その３：ランダムフォレストを試す #予測&ファイル作成 pred <- predict(train.rf, test2) ans_4<- test2 %>% dplyr::select(PassengerId) %>% dplyr::mutate(Survived=pred) %>% dplyr::select(PassengerId, Survived) %>% print() write.table(ans_4, 'ans_4.csv', quote=F, row.name=F, sep=',')
- 72. ちなみに • Rで色々な手法を試すなら{caret}パッケージが便利です • methodのパラメータ指定変えるだけで手法を変更可能 • randomForestだけでも5種類 (他の手法合わせると200以上) http://topepo.github.io/caret /available-models.html
- 73. アジェンダ • 自己紹介 • R & Kaggle紹介 • Titanicチュートリアル紹介 • 解析例① ジェンダーモデル • 解析例② 決定木 • 解析例③ ランダムフォレスト • まとめ
- 74. まとめ：今回語られてないこと • 過学習対策 • 本当なら学習データを分割して使った方が良いです • 交差検証(クロスバリデーション)など • 特徴量生成 • 例えば、氏名からMr.やMrs.といった敬称を抽出して変 数化 • パラメータチューニング • Rだと自動でやってくれるので使い方を覚えると便利で す • 複数モデルの連携 • 異なるモデルの予測値を説明変数に使う、なども有効な ことがあるようです • 黒魔術的なテクニック、などなど • set.seed(71)
- 75. まとめ：今回語られてないこと • 過学習対策 • 本当なら学習データを分割して使った方が良いです • 交差検証(クロスバリデーション)など • 特徴量生成 • 例えば、氏名からMr.やMrs.といった敬称を抽出して変 数化 • パラメータチューニング • Rだと自動でやってくれるので使い方を覚えると便利で す • 複数モデルの連携 • 異なるモデルの予測値を説明変数に使う、なども有効な ことがあるようです • 黒魔術的なテクニック、などなど • set.seed(71) Kaggleであれば 先人の手法が公開されている ので勉強にも最適！ (特に、Titanic)
- 76. まとめ：結びに • データ分析を始めたい、という方にはKaggleがオススメ • 先人が残してくれたRのサンプルも多数存在 • 上位に入れれば賞金や名声、自慢もできるのでまずはトライして見 てはいかがでしょうか
- 77. ご清聴ありがとうございました！！