Ｒによるデータ分析手順入門
•Download as PPTX, PDF•
3 likes•4,022 views
Ｒのインストールからデータの読み込み、統計・検定・機械学習による予測・判別の方法を説明したものです
More Related Content
What's hot
What's hot (20)
Similar to Ｒによるデータ分析手順入門
Similar to Ｒによるデータ分析手順入門 (20)
More from Michitaro Okano
More from Michitaro Okano (20)
Ｒによるデータ分析手順入門
- 2. Agenda • Ｒによるデータ分析手順 • 前提：Ｒのインストール • データを読み込む • データ分析を行う • 分析結果の表示 • 予測 • データ分析の詳細 2 ※「Ｒによるデータ分析手順」のシートが最重要！これを体得する 「手法」とかかれたシートは必要なときに見ればよい。残りのシートは理解すればよい
- 3. Ｒによるデータ分析手順 • Ｒの操作手順 • データ分析の手順 – 全体→詳細な仮説データを読み込む データフレームという形へ持っていく (read.csv等) データ分析を行う（繰り返す） 分析のための準備 分析（各種ある） 分析結果の表示 summary:テキスト表示 plotグラフ表示 分析方法によりsummary,plot,predict等は出力内容が異なる 予測 predict:予測 全体像を眺める 基本統計量・散布図・クロス表 仮説構築まで グループ化（クラスタリング） 因子分析・決定木 仮説検証・検定 カイ２乗、t検定 SEM 予測 回帰、 判別(SVM) 3 重要
- 4. 前提：Ｒのインストール • Rのサイトに行く – https://www.r-project.org/ • ダウンロードをクリック – ミラーサイト一覧へ • 日本の統計数理研究所(ism)を選ぶ – https://cran.ism.ac.jp/ • ダウンロード – OS別に分かれている 4
- 5. データを読み込む 5
- 6. データを読み込む • 以下の方法などがある – CSVファイルで読み込む • 次シートで詳しく – 直接入力する • 最終的に、データフレームの形にすればOK – データフレーム→列見出しと、データ（行列） • もともと入っているデータがある – Iris,cars,AirPassengers, JohnsonJohnsonなど – 詳しくは http://www.trifields.jp/r-sample-data-491 データフレーム入力例 6
- 8. データ分析を行う 8
- 9. データ分析 • 読み込んだデータフレームを各種関数を使って分析する • 分析する関数は、分析内容ごとに異なり、必要なパッケー ジも異なる – library(パッケージ名)でパッケージが使える – パッケージを始めて読むときはインストールする↓ • install.packages(“パッケージ名", dependencies = TRUE) – 分析する前に、前処理が必要なものもある • 相関を求めたり、ダミー変数化したり・・・ – 詳細は、後述「データ分析の詳細」で記述 • 前処理方法、関数の使い方などを記述 • 分析結果は、(分析する関数が異なっても）summary,plotを 使い、何か出せることが多い 9
- 10. 分析結果の表示 10
- 11. 分析結果の表示 • 分析結果に対して以下の 関数を実行すると、その 分析にあわせた結果を 表示する – summary：文字で表示 – plot：図で表示 • これ以外にもヒストグラム (hist)など、いろいろ • 画像ファイルにする場合 – ファイル種別(png()等） – 書き出し(plot,hist等） – dev.off() • 分析しないで、結果表示 させると以下を表示 – summary:基本統計量 – plot:散布図 • 分析後の結果表示は、後述 「データ分析の詳細」で記述 コマンド例 出力 11 手法
- 12. 予測 12
- 13. 予測・判別 • 関数predictを用いる – 分析しモデルを作成 • 教師データを用いて分析 （学習）させる – 評価するデータを作成 – 関数predict()を実行 • モデルと、評価データを 入力 • 予測/判別結果を出力 • 分析手法が違っても、 この流れは共通 • 例 irisの決定木、SVM による判別 ck.csv:irisのID49,50,99,100,149,150 tr.csv:irisの残りのデータ 13 手法
- 15. 分析の大まかな流れ • まずは、全体像を眺める – １変数・２変数間 • 仮説構築まで – 特徴を知る – 仮説構築 • 仮説検証 – 検定・共分散構造分析 • 予測・判別 – 回帰 – 判別分析 15
- 16. まずは、全体像を眺める • １変数 – 基本統計量：平均・分散等→summaryで表示 • ２変数 – ２変数とも数量データ：散布図→plotで表示 – ２変数ともカテゴリデータ：クロス表 – 数量とカテゴリ変数：カテゴリ毎に箱ひげ図等 • 外れ値の状態などを見るために、全体像を見 ることは大事 16
- 17. クロス表(table) • table(データフレーム名$項目名, データフレーム名$項目名)で２次 元のクロス表が作れる • tableの引数となる２つの項目は、 カテゴリーデータ • 例： HairEyeColorをデータ化し、HairとEyeでクロス表作成 [参考]HairEyeColorなど、Rのサン プルデータの中にはクロス表形 式のものがある。 下の例では、 expand.tableでデー タ化して利用している 17 手法
- 18. カテゴリ毎に箱ひげ図 • １変数が数量データで他変 数がカテゴリデータの場合、 カテゴリ種別ごとにまとめて、 箱ひげ図を作ると、傾向が 取れやすい – これ以外でも、方法はある。 たとえば、数量データをカテ ゴリ化し、クロス表で見る等 • 例： irisのSpecies ごとに、 Petal.Widthの箱ひげ図作成 18 ←結果 手法
- 19. 仮説構築まで • 特徴を知る – 対象のグループ化：クラスタリング • 階層型クラスタリング・非階層型クラスタリング – 属性（項目）のグループ化：次元圧縮 • 主成分分析等 – カテゴリーデータで • コレスポンデンス分析 • 仮説構築 – 因子を探す • （探索的）因子分析 – モデルを作る • 決定木 19
- 20. クラスタリング：階層型クラスタリング • hclustを利用する – 似たものをデンド ログラム（樹形 図）で表示する • plotで表示 – 前処理として、距 離(dist)を求める 必要がある • 例：「予測・判別」のとき に用いたck.csvデータを クラスタリングする 20 手法
- 21. クラスタリング：非階層型クラスタリング • k-meansが良く使わ れる – いくつかのグループ に分けることが可能 – 本当は何回か繰り 返し、答えを確認し たほうがいい（変わ る可能性がある） • 例：irisデータを３種類に わける 21 手法
- 22. 主成分分析 • アンケートで強い相関項 目（多重共線性） – 回帰使えない – →次元を圧縮できる • 主成分分析： prcomp – 「指標」のようなものを出し たいときに使う – 次元圧縮になる • 他の「変数を減らす方法」 – 因子分析：主成分分析と は行う意味が異なる – 多次元尺度構成法：次元 圧縮で目的は同じ • 例：アメリカの弁護士 （ USJudgeRatings）の主成 分分析 22 ※詳細は以下のサイトが参考になる Ｒと主成分分析 https://www1.doshisha.ac.jp/~mjin/R/24/24.html 手法
- 23. コレスポンデンス分析 • カテゴリーデータを次元 圧縮 – 特に２次元にして図示 – レコードと項目が同時に同 じ評価軸で見られる • 他の手法 – 数量化Ⅲ類：同じ事を行っ ている • 例：HairEyeColorの多重 対応分析 23 すみません。 例が悪いだけ で通常はもっ ときれいに見 えます ←結果 ※詳細は以下のサイトが参考になる HairEyeColor：多重クロス表を多重対応分析 http://monge.tec.fukuoka-u.ac.jp/r_analysis/analysis_corresp02.html 手法
- 24. 因子分析：探索的因子分析 • 因子分析には２種類 – 探索的：因子を見つける – 確証的：因子を確認 • ※因子：背後に潜む変数 • 探索的はfactanalを使う – 因子数を予め入れる必要があ る – この数を固有値プロット（スク リープロット）で決めることもあ る • 確証的因子分析 – 共分散構造分析:cfaのこと • 例：USJudgeRatings – スクリープロット的には因子は ２だが、２だとエラーになるの で、４にする 24 ↓以下省略 手法
- 25. 決定木 • 目的変数がカテゴリー データの場合 – カテゴリーへの分類基 準を図示：機械学習 • それ以外：目的変数が – ２値：ロジスティック回帰 – 数値：回帰 • 他の機械学習との違い – SVM等は分類基準が はっきりしないことも • 例：irisのSpeciesの決定木 • 結果 25 予めtextまで 書いておきコ ピー％ペース トする 手法
- 26. 仮説検証 • 検定 – 言いたいことの反対の仮説（帰無仮説）をたて、検定を行 い、「帰無仮説はまず、起こらない」ことを示し、結果として 「言いたいことが起こる」とする – 検定手法 • 母集団は正規分布に従う：パラメトリック – カテゴリーデータ：カイ２乗検定 – 数値データ： » ２つのグループの差：ｔ検定 » ３つ以上のグループの差：分散分析（F検定） • 母集団は正規分布に従わない：ノンパラメトリック – 今回は入門編なので省略（U検定などがある） • 仮説検証 – 共分散構造分析・確証的因子分析など 26 ※詳細は、「パラメトリック検定とノンパラメトリック検定の違い」 http://www.study-channel.com/2015/06/parametric-nonparametric-test.html
- 27. カイ２乗検定 • カテゴリーデータにおい て、２変数が独立であ ることを示す – 棄却される＝独立でな い＝関連がある • chisq.testを使う – P値（p-value）が5%(0.05) 以下なら棄却（有意） • 例： HairEyeColorのHair とEyeの検定 27 手法 ※参考 ２変数のクロス表(分割表)のデータ解析 http://monge.tec.fukuoka-u.ac.jp/r_analysis/test_crosstable00.html
- 28. ｔ検定 • ２つのグループの平均に 有意差があるか見る • 以下のケースで式が異な る – 対応のあるt検定 – 対応のないt検定 • 分散が等しい • 分散が異なる • 上記の違いはt.testの引 数paird, var.equalで指定 • ※分散の違いは、F検定 を行って確認 – var.testを行う • 例：irisのsetosaとvirginica のPetal.Widthについて 28 手法
- 29. 分散分析 • ３グループ以上の差を 見る場合に用いる • F分布を元にしているの だが、実際に使う関数 はaov • 結果はanovaか summaryで見る – どちらを使ってもOK • 例：irisのSpecies（３種） に対するPetal.Width 29 手法
- 30. 共分散構造分析 • すでにモデルが出来てい て、そのモデルに対して データの当てはまりのよ さを確認する • パッケージは2つある – lavaan ,SEM • lavaanの場合 – 共分散構造分析:sem – 確証的因子分析：cfa • 使い方は既に書いた[1] • 例：Setosaの分類にSepal.Length、 Sepal.Widthは寄与しない 30 install.packages("lavaan") library(lavaan) #データよみこみ data<-read.csv("iris1.csv",header=T) #寄与しない場合のモデル mymodel<-' y1~x3+x4 y2~x3+x4 y1~~y1 y2~~y2 ' fit<-sem(mymodel,data) summary(fit) AIC(fit) #寄与する場合のモデル mymodel<-' y1~x3+x4+x1+x2 y2~x3+x4+x1+x2 y1~~y1 y2~~y2 ' fit<-sem(mymodel,data) summary(fit) AIC(fit) [1]仮説とデータ解析の関係2（６シート目） http://www.slideshare.net/michitarookano/2-67702627 [1]より 引用 手法
- 31. 予測・判別 • 予測・判別 – 目的変数がカテゴリーデータや２値（Y/N）の場合 • 決定木 • SVM • ディープラーニング（パッケージh2o,mxnet)など・・・ – 目的変数は２値だが、確率を求める • ロジスティック回帰(glm:パラメータfamily=binomialまたはnls) – 目的変数が数値 • 説明変数も数値で線形：線形回帰(lm) • 説明変数にカテゴリを含む：数量化１類(Rはlmで出来る） • 説明変数も数値だが非線形：非線形回帰(nls) • 今回は入門編なので、SVMと線形回帰のみ説明 – 決定木はすでに説明した 31
- 32. 線形回帰 • データから、回帰式を 学習し、予測する – 説明変数、目的変数と も数値データ – 説明変数が２つ以上だ と重回帰分析 • lmで行う – lmでモデル作成 – ２つ以上のモデルでの 適合度比較：AIC – 予測：predict • 例：テオフィリンの薬物 動態の実験？ （Theoph）でWtを予測 32 手法
- 33. SVM • SVM:機械学習の判別 分析の一種 – カーネルトリックを使うと 線形でない境界も判別 できる • 目的変数がカテゴリー データでカテゴリに分 類するときに用いる • 例 irisのSpecies判別 33 手法
- 34. 付録 34
- 35. 参考サイト • 基本的操作 – ここで触れなかった、データの結合・分割や関数の書き方 などは、以下のサイトが詳しい • http://cse.naro.affrc.go.jp/takezawa/r-tips/r.html • 統計 – 統計とRについてであれば、以下のサイト • http://mjin.doshisha.ac.jp/R/ • Wiki – RjpWiki：http://www.okadajp.org/RWiki/ • そして – 本家：https://www.r-project.org/ – 統計数理研究所：https://cran.ism.ac.jp/ 35