20170707 rでkaggle入門

1. Rでkaggle入門 ~いつものTitanicを例題に~ 2017/07/07 doradora09

2. はじめに • 以下は個人的見解のスライドになります • 所属する企業の見解ではありませんのでご注意ください

3. アジェンダ • 自己紹介 • R & Kaggle紹介 • Titanicチュートリアル紹介 • 解析例① ジェンダーモデル • 解析例② 決定木 • 解析例③ ランダムフォレスト • まとめ

5. 自己紹介 • 大城信晃 • twitter : doradora09 • 沖縄出身 -> 東京 -> 福岡 • Webエンジニア -> データ分析者 • ヤフー -> DATUM STUDIO -> LINE Fukuoka

6. 関わったことのあるサービス(抜粋)

7. その他 • 執筆 • Rではじめるビジネス統計分析 • 勉強会 • Tokyo.R • 2010-2016の運営メンバー • fukuoka.R • 2017- #07回からJOIN • 7/7(金)に#08 開催予定 • 意思決定のためのデータ分析勉強会 • 2017/06 - • 主催

9. なぜこのテーマか？ • よく聞く悩みデータ分析は興味がるけどデータが無いし基盤もないなぁ

10. なぜこのテーマか？ • よく聞く悩みデータ分析は興味がるけどデータが無いし基盤もないなぁ無料で使える便利なツールといい感じのデータセットと使い方の事例がどこかに落ちてないかなぁ・・無料で。

11. そこでR & kaggle !!

12. Rとは https://ja.wikipedia.org/wiki/R%E8%A8%80%E8%AA%9E R言語（あーるげんご）はオープンソース・フリーソフトウェアの統計解析向けのプログラミング言語及びその開発実行環境である。 Wikipediaよりパッケージが豊富。しかも無料。

13. Kaggleとは Kaggleは企業や研究者がデータを投稿し、世界中の統計家やデータ分析家がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォーム及びその運営会社である。 Wikipediaより https://ja.wikipedia.org/wiki/Kaggle データとサンプルコードも充実

14. Kaggleのサイト説明 https://www.kaggle.com/

15. データセットタブ色々なデータセットがある

16. データセットタブ Irisデータもあるよ！

17. Irisデータの場合ここからデータを落とせる

18. Irisデータ中身

19. ちなみに • Rだと標準のデータセットにirisデータが入ってたりします > head(iris) Sepal.Length Sepal.Width Petal.Length Petal.Width Species1 5.1 3.5 1.4 0.2 setosa2 4.9 3.0 1.4 0.2 setosa3 4.7 3.2 1.3 0.2 setosa4 4.6 3.1 1.5 0.2 setosa5 5.0 3.6 1.4 0.2 setosa6 5.4 3.9 1.7 0.4 setosa

20. データだけ？いえ、サンプルコードもあります対応言語

21. サンプルはマークダウンで書かれてます(Jupyterかな?) https://www.kaggle.com/c34klh123/iris-data-with-ggplot-shiny

22. サンプルはマークダウンで書かれてます(Jupyterかな?) https://www.kaggle.com/c34klh123/iris-data-with-ggplot-shiny

23. コードもあります。Forkできます https://www.kaggle.com/c34klh123/iris-data-with-ggplot-shiny

24. Fork Scriptで編集 & 実行できます (いつの間に・・)

25. Fork Scriptで編集 & 実行できます (いつの間に・・)

26. Web上で実行までできる

27. 超便利！！

28. よっしデータもあるし Rも(Pythonも)使えるしバッチリだわ！

29. よっしデータもあるし Rも(Pythonも)使えるしバッチリだわ！でも練習だけだと物足りないなぁ。欲をいえば賞金や名誉ももらえないかなぁ。

30. 賞金や名誉もあります！

31. 賞金：コンペ • Kaggleでは企業等が資金を出す分析コンペがあります • 大まかな流れ 1. トレーニングデータを使ってモデル構築&学習 2. データをアップロードして正答率でランキング化 • 国内企業の事例だとリクルートが2015年にポンパレのコンペを実施

32. http://www.recruit.jp/news_data/release/2015/0716_15946.html

33. 調べてたら2017年にgoogleがkaggle買収してたようです。賞金100万ドル・・！！ http://jp.techcrunch.com/2017/03/11/20170310google-partners-with- vcs-to-host-its-own-machine-learning-startup-competition/

34. 名誉：Kaggle Master • Kaggle Masterになると色々なところから声がかるようです • 条件 • ２つの公開コンペで上位10%に入る • そのうち１つは10位以内に入る • 国内で類似の事例だと新日鉄住金ソリューションズのチームはデータ分析コンペのKDD Cup 2015で2位となり、一躍有名になりました (2014はKaggle上でやってた模様)

35. http://www.nssol.nssmc.com/technology/data-analysis/kdd-cup-2015.html 名誉：データ分析コンペ上位ランカー

36. http://it.impressbm.co.jp/articles/-/12969 きっかけにWeb連載が始まったり

37. この辺の会社から声がかかることもあるようです https://www.itnex.jp/datarobot/

39. 本日はKaggleチュートリアルとして有名なTitanicの例題をご紹介

40. Titanic号タイタニック（RMS Titanic）は、20世紀初頭に建造された豪華客船である。処女航海中の1912年4月14日深夜、北大西洋上で氷山に接触、翌日未明にかけて沈没した。犠牲者数は乗員乗客合わせて1,513 人（他に1,490人、1,517人、1,522〜23人 1609人など様々な説がある）であり、当時世界最悪の海難事故であった[1]。その後、映画化されるなどして世界的にその名を知られている。 Wikipediaより https://ja.wikipedia.org/wiki/%E3%82%BF%E3%82%A4 %E3%82%BF%E3%83%8B%E3%83%83%E3%82%AF_(% E5%AE%A2%E8%88%B9)

41. 課題とデータセット • 課題：下記のデータを使って乗客の生存率を予測する • train.csv : トレーニングデータ • test.csv : テストデータ

42. データ読み込みと中身確認 ## 作業フォルダに移動 setwd('/Users/st20909/Desktop/r_titanic') ## オブジェクトクリア rm(list = ls(all.names = TRUE)) ## ファイル読み込み train <- read.csv("train.csv", stringsAsFactors=F) test <- read.csv("test.csv", stringsAsFactors=F) ## 上位数件を確認 head(train, n=2) head(test, n=2) > head(train, n=2) PassengerId Survived Pclass1 1 0 32 2 1 1 Name Sex Age1 Braund, Mr. Owen Harris male 222 Cumings, Mrs. John Bradley (Florence Briggs Thayer) female 38 SibSp Parch Ticket Fare Cabin Embarked1 1 0 A/5 21171 7.2500 S2 1 0 PC 17599 71.2833 C85 C

43. Rstudioの場合は表形式でデータ確認可能ですオブジェクトをクリックすればOK

44. • test.csv • train.csv train.csvにのみ生存のフラグが付与されている。 test.csvはここが不明なので、ここの1, 0を予測する

45. データセット各項目 http://www.mirandora.com/?p=1804

46. 基礎集計性別だけでもだいぶ生存の傾向が見て取れる

47. シンプルな戦略：ルールベース(性別) • まずは単純に、女性は生存、男性は非生存というルールベース (のモデル？)で予測してみる • 各手法で正答率を上げる前のベースラインとして活用 (データの分布によっては全部0や全部1だけでも7割以上当たる可能性もあるので、注意が必要)

48. 男性は0、女性は1のフラグを立てて kaggleにsubmitする ### シンプルな戦略：ルールベース(性別) ### 男性は0、女性は1として生存予測 ## データ加工用にdplyr入れておく install.packages('dplyr') library(dplyr) ans_1 <- test %>% dplyr::select(PassengerId, Sex) %>% dplyr::mutate(Survived=ifelse(Sex=='female', 1, 0)) %>% dplyr::select(PassengerId, Survived) %>% print() head(ans_1) write.table(ans_1, 'ans_1.csv', quote=F, row.name=F, sep=',') ## 作成したファイルはkaggle上でsubmitしてみる

49. 作ったcsvファイルをドラッグ&ドロップでsubmit

52. 今回は正解率0.76555の5275位正解率76%。ルールベースも意外と侮れない

53. 上位ランカーは0.88くらい (1もいるが多分チートなので無視)

54. 参考：2016/10/21時点のスコア分布 http://www.mirandora.com/?p=1804

55. その２：決定木 • お手軽な方法として、決定木で分類してみる

56. 決定木とは機械学習の分野においては決定木は予測モデルであり、ある事項に対する観察結果から、その事項の目標値に関する結論を導く。内部節点は変数に対応し、子節点への枝はその変数の取り得る値を示す。葉（端点）は、根(root)からの経路によって表される変数値に対して、目的変数の予測値を表す。 Wikipediaより https://ja.wikipedia.org/wiki/%E6%B1%BA%E5%AE%9 A%E6%9C%A8

57. まずはtrain.csvで決定木の学習 #### 決定木 install.packages('rpart') library(rpart) train.rpart <- rpart(Survived ~ Sex + Age+ Pclass, data = train) print(train.rpart) > print(train.rpart) n= 891 node), split, n, loss, yval, (yprob) * denotes terminal node 1) root 891 342 0 (0.61616162 0.38383838) 2) Sex=male 577 109 0 (0.81109185 0.18890815) 4) Age>=6.5 553 93 0 (0.83182640 0.16817360) * 5) Age< 6.5 24 8 1 (0.33333333 0.66666667) * 3) Sex=female 314 81 1 (0.25796178 0.74203822) 6) Pclass>=2.5 144 72 0 (0.50000000 0.50000000) 12) Age>=38.5 12 1 0 (0.91666667 0.08333333) * 13) Age< 38.5 132 61 1 (0.46212121 0.53787879) 26) Age>=5.5 117 57 1 (0.48717949 0.51282051) 52) Age< 12 8 0 0 (1.00000000 0.00000000) * 53) Age>=12 109 49 1 (0.44954128 0.55045872) * 27) Age< 5.5 15 4 1 (0.26666667 0.73333333) * 7) Pclass< 2.5 170 9 1 (0.05294118 0.94705882) * 補足： Survived ~ Sex + Age+ Pclass 目的変数 ~ 説明変数

58. まずはtrain.csvで決定木の学習 ### 図示してみる install.packages('rpart.plot') library(rpart.plot) rpart.plot(train.rpart, type=2, extra=101) 891人おり、生存率は38% 女性の場合314人おり、生存率は74% 男性の場合577人おり、生存率は19% 各条件での生存率(12%- 95%)とボリュームn

59. 次に、test.csvに対して予測 ### 予測 ans_2 <- predict(train.rpart, test, method='class') head(ans_2) hist(ans_2) ## 一旦0.5を閾値に生存、非生存を分ける ans_2b <- test %>% dplyr::select(PassengerId) %>% cbind(ans_2) %>% dplyr::mutate(Survived=ifelse(ans_2 >= 0.5, 1, 0)) %>% dplyr::select(PassengerId, Survived) %>% print() write.table(ans_2b, 'ans_2.csv', quote=F, row.name=F, sep=',')

60. 次に、test.csvに対して予測 ### 予測 ans_2 <- predict(train.rpart, test, method='class') head(ans_2) hist(ans_2) ## 一旦0.5を閾値に生存、非生存を分ける ans_2b <- test %>% dplyr::select(PassengerId) %>% cbind(ans_2) %>% dplyr::mutate(Survived=ifelse(ans_2 >= 0.5, 1, 0)) %>% dplyr::select(PassengerId, Survived) %>% print() write.table(ans_2b, 'ans_2.csv', quote=F, row.name=F, sep=',') > head(ans_2) 1 2 3 4 5 6 0.11547344 0.08333333 0.11547344 0.11547344 0.53787879 0.11547344

62. 結果、全然ダメ・・！！(0.74163)

63. 試しに0.7を閾値に設定してsubmit

64. ちょっと上がった(0.75598) が、ジェンダーモデルには勝てず。

65. 問題点 • 結局、うまく分離できないケースが存在この辺が微妙な分類結果

66. 問題点と対策 • 対策 • モデルをチューニングする • 木の深さや学習回数などのパラメータチューニング • 説明変数を変える • うまく説明がつく別の切り口がないか探索 (feature engineering) • モデルを変更する • 例えば、ランダムフォレスト

67. ランダムフォレスト • 決定木をたくさん作って多数決を取るアイディア • 木ごとにバリエーションが生まれれば単一の木では分離できないケースも解けることがある http://chaya.webcrow.jp/r%E3%81%A7%E3%83%A9%E3%83%B3%E3%83%80%E3%83%A0%E3 %83%95%E3%82%A9%E3%83%AC%E3%82%B9%E3%83%88%EF%BC%88random-

68. その３：ランダムフォレストを試す ##ランダムフォレスト install.packages('randomForest') library(randomForest) train2 <- train test2 <- test #前処理：AgeがNAのものを補完 train2$Age <- ifelse(is.na(train$Age), mean(na.omit(train$Age)), train$Age) test2$Age <- ifelse(is.na(test$Age), mean(na.omit(test$Age)), test$Age) #randomeforestでエラー吐くのでchr型の変数をfactor型に変換 train2$Survived <- as.factor(train2$Survived) train2$Sex <- as.factor(train2$Sex) test2$Sex <- as.factor(test2$Sex) #学習 train.rf <- randomForest(Survived~Sex+Age+Pclass, data=train2) pred <- predict(train.rf, test2)

69. その３：ランダムフォレストを試す #予測&ファイル作成 pred <- predict(train.rf, test2) ans_4<- test2 %>% dplyr::select(PassengerId) %>% dplyr::mutate(Survived=pred) %>% dplyr::select(PassengerId, Survived) %>% print() write.table(ans_4, 'ans_4.csv', quote=F, row.name=F, sep=',')

70. 結果・・上がった！！(0.77512)

71. ここまで • Ageの補完もあるが、ノーチューニングでそこそこの値が出たのでやはりランダムフォレストは便利 • まだまだスコアを上げるための手段はありますが、雰囲気は掴んでいただけたのではないでしょうか

72. ちなみに • Rで色々な手法を試すなら{caret}パッケージが便利です • methodのパラメータ指定変えるだけで手法を変更可能 • randomForestだけでも5種類 (他の手法合わせると200以上) http://topepo.github.io/caret /available-models.html

74. まとめ：今回語られてないこと • 過学習対策 • 本当なら学習データを分割して使った方が良いです • 交差検証(クロスバリデーション)など • 特徴量生成 • 例えば、氏名からMr.やMrs.といった敬称を抽出して変数化 • パラメータチューニング • Rだと自動でやってくれるので使い方を覚えると便利です • 複数モデルの連携 • 異なるモデルの予測値を説明変数に使う、なども有効なことがあるようです • 黒魔術的なテクニック、などなど • set.seed(71)

75. まとめ：今回語られてないこと • 過学習対策 • 本当なら学習データを分割して使った方が良いです • 交差検証(クロスバリデーション)など • 特徴量生成 • 例えば、氏名からMr.やMrs.といった敬称を抽出して変数化 • パラメータチューニング • Rだと自動でやってくれるので使い方を覚えると便利です • 複数モデルの連携 • 異なるモデルの予測値を説明変数に使う、なども有効なことがあるようです • 黒魔術的なテクニック、などなど • set.seed(71) Kaggleであれば先人の手法が公開されているので勉強にも最適！ (特に、Titanic)

76. まとめ：結びに • データ分析を始めたい、という方にはKaggleがオススメ • 先人が残してくれたRのサンプルも多数存在 • 上位に入れれば賞金や名声、自慢もできるのでまずはトライして見てはいかがでしょうか

77. ご清聴ありがとうございました！！

20170707 rでkaggle入門

20170707 rでkaggle入門

Recommended

More Related Content

What's hot

What's hot(20)

More from Nobuaki Oshiro

More from Nobuaki Oshiro(20)

Recently uploaded

Recently uploaded(8)

20170707 rでkaggle入門