More Related Content
What's hot
What's hot (14)
Similar to 2016年12月18日AITC女子会 データ分析勉強会第７回「Rを使ったデータ分析の基礎・分析手法について知る」
Similar to 2016年12月18日AITC女子会 データ分析勉強会第７回「Rを使ったデータ分析の基礎・分析手法について知る」 (12)
More from aitc_jp
More from aitc_jp (20)
2016年12月18日AITC女子会 データ分析勉強会第７回「Rを使ったデータ分析の基礎・分析手法について知る」
- 1. R 入門編 2016年12月18日 AITC女子会 「データ分析勉強会第7回＆ 交流会」資料 1.01版(公開用PDF) 1
- 6. "R"とは？ R言語の慣用的な呼び方 統計解析向け言語・開発実行環境 基礎的な統計学の知識が必要 CRANからの一元的配信 ◦ The Comprehensive R Archive Network CRANの読み方は「しーらん」派と「くらん」派でわかれるそう です。 ◦ オープンソース、マルチプラットフォーム対応 6
- 7. “R”の利用環境について Rを単体起動した”R Console”はCUIで初学者 が使用するのは熟練がいりそう 利用者のタイプに合わせてRの利用環境を拡張する のがおススメ Rのプログラミング知識より手っ取り早くデータを統計 的に分析したい方向け R Commander が使いやすいです Rのプログラミングを本格的にやりたい R Studio の使用がお勧めです 7
- 8. R + R Commander R言語プログラミングの知識が無 くてもできます Rを使って統計の基礎を復習し ながら簡単なデータ分析をして みよう 8
- 11. Rcmdrを起動する Rcmdrを起動する ◦ [パッケージ]-[パッケーパッケージの読み込み …]から起動する 一覧から「Rcmdr」を選択して[OK]ボタンをクリックす る ◦ コマンドで起動 library(Rcmdr) 11
- 12. Rcmdrを起動する Rcmdrを再起動する ◦ 間違ってRcmdrを終了させてしまったら Commander() Rcmdrを解放する ◦ あんまり使うことはないと思いますが… detach("package:Rcmdr", unload=TRUE) 12
- 13. Rcmdrを起動する 13
- 14. Rcmdrのメニュー概説 [データ] ◦ データセットを扱うためのメニュー [統計量] ◦ 統計量算出、検定、分析、モデル適合（回帰分 析） [グラフ] ◦ 各種グラフの描画 [モデル] ◦ モデル適合結果に対する診断等 [分布] ◦ 各種分布に基づく計算、描画 [ツール] ◦ R/Rcmdr用のパッケージ選択、オプション設定14
- 15. Rcmdrのメニュー概説 [統計量] [要約] 各種統計量の算出、および、統計量に対する検定 [分割表]分割表に対する検定 [平均]平均値に対する検定 [比率]比率に対する検定 [分散]分散に対する検定 [ノンパラメトリック検定] ◦ ノンパラメトリックな検定 [次元解析] ◦ 主成分分析、因子分析、クラスタ分析等の多変量解析 [モデルへの適合] ◦ 回帰分析関係 統計量とは？（Wikipedia） 要約統計量：標本の性質を表すもの 順序統計量：大小の順番で表すもの 検定統計量：検定に利用するための これらを算出するのが[統計量]メニュー 青色のメニューは全て検定に関わるもの 15 標本から仮説の正 しさを判定すること を統計的仮説検定
- 16. Rcmdrのメニュー概説 [グラフ] [色パレット] ◦ 利用する色を変更する [インデックスプロット…] [ヒストグラム…] [密度推定…] [幹葉表示…] [箱ひげ図…] [QQプロット…] ---------- [散布図…] [散布図行列…] › [折れ線グラフ…] › [条件付き散布図] › [平均値のプロット…] › [ドットチャート] ---------- › [棒グラフ…] › [円グラフ…] ---------- › [3次元グラフ…] › [グラフをファイルに保存] 16
- 18. 利用するデータセットについて データセット iris（Edgar Anderson's Iris Data） ◦ 別名：フィッシャーのあやめのデータ 北米に生息する菖蒲の萼片と花弁に関するデータ ◦ データ項目はSepal（しーぱる）と Petal（ぺたる） Sepal.Length : 萼片の長さ Sepal.Width : 萼片の幅 Petal.Length : 花弁の長さ Petal.Width : 花弁の幅 Species : 菖蒲の種類（品種） setosa versicolor virginica 出典：http://biostor.org/reference/11559 Sepal Petal 18
- 19. データの読み込み Rcmdrでサンプルデータを読み込む ◦ [データ]-[パッケージ内のデータ]-[アタッチされたパッケージ からデータセットを読み込む…]を実行する ◦ 「dataset」-「iris」を選択し[OK]ボタンを押下する ◦ または、[データセット名を入力]欄に「iris」と入力して [OK]ボタンを押下する ◦ または data(iris) 19
- 20. データ全体を眺めてみる Rcmdrでデータが読み込まれたことを確認する ◦ Rcmdrの画面上部「データセット：」の部分に「iris」と表示されている ◦ [iris]ボタンでデータセットの 選択が可能（複数読み込んだ 場合） ◦ [データセットを表示]ボタンを 押下して左図のような「iris」 ウィンドウが表示される 20
- 22. グラフを眺めてみる [グラフ] ヒストグラム 横軸 データをある一定の範囲ごと に分けた各区間、階級 縦軸 各区間に入るデータの個数、 度数、頻度 例) 左図のようなふた山型のヒス トグラムになった場合、母集 団の異なるデータが混在して いると考えられる 要因を突き止め層別をし、 ヒストグラムを作り直す必要 がある 22
- 23. グラフを眺めてみる [グラフ] ヒストグラム（層別） 母集団の異なるデータ混在の影響を層別してグラフ 化することで取り除く [グラフ]-[ヒストグラム]を実行する 「Petal.Length」を選択し、[層別のプロット]ボタンを押下する 層別変数 [Species]を選んでOK押下する 23
- 25. グラフを眺めてみる [グラフ] 箱ひげ図（boxplot） ◦ データの分布傾向(バラツキ)を確認するためによく 利用されます 25
- 26. 箱ひげ図の見方 26 𝑚𝑎𝑥 最大値 (外れ値を除く) 上ヒンジ 第3四分位点 全データの最小値から75%点 median 中央値 (第2四分位点) 下ヒンジ 第1四分位点 全データの最小値から25%点 𝑚𝑖𝑛 最小値 (外れ値を除く) 𝑚𝑎𝑥 四分位範囲(IQR) 𝐼𝑄𝑅 = 上ヒンジ − 下ヒンジ データのばらつきを示す統計量。 外れ値 上ヒンジ + 1.5 × 𝐼𝑄𝑅 より大きい値 下ヒンジ − 1.5 × 𝐼𝑄𝑅 より小さい値 箱から箱の大きさの1.5倍より 離れた値が外れ値となる。 𝑚𝑖𝑛 𝐼𝑄𝑅 𝑚𝑒𝑑𝑖𝑎𝑛 IPA Software Engineering Centerより引用
- 28. 要約統計量を眺めてみる 要約統計量＝「データ全体の傾向」を数値で考 えたもの [統計量] ◦ [要約] [アクティブデータセット] summary() 各データ項目に対する最小値、中央値、平均値、最大値、分 位値を表示します 非数値のデータ項目（因子）に対しては、個々のデータ数を表 示します 28
- 30. 要約統計量を眺めてみる [統計量] [要約] [数値による要約] numSummary() 任意のデータ項目に対する平均値、標準偏差、平均の標準誤 差、分位範囲、変動係数、歪度、尖度の中から任意の項目を 表示します 30
- 31. 中心位置を推測するための統計量 平均 𝑥 = 𝑥1 + 𝑥2 + ⋯ + 𝑥 𝑛 𝑛 = 𝑖=1 𝑛 𝑥𝑖 𝑛 メディアン (中央値) 𝑥 データを大きさの順に並べて データが奇数個ならば中央の値 データが偶数個ならば中央の2つの値の平均値 最頻値 データの中で最も頻繁に出現する値 後述するヒストグラムにおいて、棒状のグラフが最も高い (頻度の最 も多い) 区間の中心値 31 メディアン (中央値) や最頻値は異常値や外れ値の影響を 受けにくい。このような統計量はロバスト (頑健) であるといいます 代表値と呼ばれ、たくさんのデータをひとつの数値で表す
- 38. さらにグラフを眺めてみる [グラフ] 散布図行列 散布図行列 このグラフの意味は、多数 の変数を組み合わせて散 布図にしたものです。 この散布図行列を見れば 、どのデータの組み合わせ で「正の相関・負の相関・ 相関なし」のどれに該当 するのかを一目でざっくり わかると思います。 もちろんこれだけで何か統 計的な結論を出せるわけ ではありませんが、詳細な 分析をするデータを絞り 込む際に活用します。 38
- 41. ヒストグラムで身近な「代表値 ～ 平均・中央 値・最頻値 ～」を眺めてみる 厚生労働省 国民生活基礎調査を見てみよう http://www.mhlw.go.jp/toukei/list/20-21kekka.html 41 平成7年から比較してどんなこと が言えるのでしょうか？ 考えてみてください
- 43. 利用するデータセットについて データセット football01.xlsx ◦ 日刊スポーツから引用 ◦ http://www.nikkansports.com/soccer/japan/member/jp- member01.html ◦ データ項目は A代表、五輪代表、U-20代表、U-17代表 名前、位置、背番号、所属、生年月日、年齢、 身長、体重、代表(A代表、五輪代表、U-20代 表、U-17代表) 43
- 45. データの読み込み RcmdrでExcelファイルからデータを読み込む ◦ [データ]-[データのインポート]-[エクセルファイルから…]を実行する 使用するファイル ： football01.xlsx ◦ 45
- 46. 演習データの読み込み ダイアログボックスの設定 ◦ データセット名を入力 ： Dataset01 ◦ 表：A ◦ 46
- 47. 演習データの読み込み [ OK ] でExcelデータが読み込まれます。 ◦ データセットを表示するで 内容を確認する データセットがDataset01 を確認する 47
- 48. データ分析の基本をやってみよう 1. データから最初にグラフを書いてみる ヒストグラム、箱ひげ図 2. 要約統計量を見てみる これによってデータの全体的傾向をつかん でみる 3. 散布図または散布図行列で関連性を確 認してみる 4. 傾向からデータの本来持つ性質について の可能性(仮説）を考えてみる 48
- 53. 53 平均を利用したデータの散らばりの指標 - 標準偏差 平均 標準偏差5.7 平均 178.48CM 標準偏差 5.7CM 「データが平均値の周辺にどのくらいの広がりや散らばりを持っているか」という ことを表す統計量です。
- 55. 標本標準偏差と母標準偏差 55 偏差とはデータのばらつきの度合いを表すものです。 偏差には二つの種類があります ので、注意が必要です。 ひとつは標本標準偏差です。標本標準偏差のことを不偏標準偏差 （母標準偏差 の不偏推定値）ということもあります。 標本標準偏差を求めるエクセルの関数は、 「STDEV」です。 もうひとつは母標準偏差があり、こちらはエクセルの関数では、 「STDEVP」があります。 「STDEV」と「STDEVP」の二つの偏差は呼び名は似ていますが、 考え方の上で大き な違いがありますので、きちんと理解しておくことが大切です。 標本標準偏差では、得られたデータは全体の集団（これを母集団と呼びます）の一 部であり、全体の集団から抜き取られた データである、という考えに基づいています。 母標準偏差は、得られているデータすべてが考える対象の集団の要素である場合に 使います。 標本標準偏差:標本の個数：ｎとするところをｎ－１と置き換えて計算する 母標準偏差:標本の個数：ｎ ｎが大きくなると次第に両者の偏差の値は近づいてきます。 このことからも分かるよう に、母集団の偏差を精度良く推定するためには、サンプル数をたくさん取ることが必要 です。
- 56. 56 平均を利用したデータの散らばりの指標 - 標準偏差 標準偏差は、平均値と合わせて見ることによって、データを正しく把握すること ができます。 なぜ「平均値」だけでは、正しく把握できないのでしょうか？ りんご 品種 平均重量 100グラム単価 売価 ①アップルペン 200グラム 150円 200円 ②あっぽーぺん 200グラム 100円 200円 あなたは、200グラムのりんごが良く売れる果物屋さんを経営している立場で、 PPAP効果でりんごブーム到来のため10個仕入れて売るなら、どちらを仕入 れますか？ どちらも平均200グラムで色も味も同じとします。 単価の安い「あっぽーぺん」仕入れることにしました。 正しい判断でしょうか？
- 57. 57 平均を利用したデータの散らばりの指標 - 標準偏差 注文してから標準偏差のデータを仕入れ先いただきました りんご 品種 平均重量 100グラム単価 売価 重さ標準偏差 ①アップルペン 200グラム 150円 200円 5 ②あっぽーぺん 200グラム 100円 200円 100 ①アップルペン バラツキの範囲 195グラム～205グラム ②あっぽーぺん バラツキの範囲 100グラム～300グラム 届いた②のりんごは 100グラムが5個 300グラムが5個でした。 200グラムのりんごが良く売れるのに200グラムぐらいのリンゴはゼロ
- 59. 演習データの読み込み RcmdrでExcelファイルからデータを読み込む ◦ [データ]-[データのインポート]-[エクセルファイルから…]を実行する 使用するファイル ： football01.xlsx ◦ 59
- 60. データの読み込み ダイアログボックスの設定 ◦ データセット名を入力 ： Dataset02 ◦ 表：ALL ◦ 60
- 61. 61 中央値を使った散らばりの指標 – 四分位、パーセンタイル、箱ひげ図 Rcommanderで要約統計量を確認する 身長の中央値は？ 身長の範囲は？
- 63. 63 中央値を使った散らばりの指標 – 四分位、パーセンタイル、箱ひげ図 中央値 四分位範囲 Q1 Q3 75パーセンタイル 25パーセンタイル
- 64. 64 中央値を使った散らばりの指標 – 四分位、パーセンタイル、箱ひげ図 中央値 四分位範囲 Q1 Q3 75パーセンタイル 25パーセンタイル 四分位範囲×1.5 四分位範囲×1.5 を超えなくてデータ のあるところまで
- 65. 65 中央値を使った散らばりの指標 – 四分位、パーセンタイル、箱ひげ図 Rcommanderで箱ひげ図を確認して比較してみます
- 67. 演習データの読み込み RcmdrでExcelファイルからデータを読み込む ◦ [データ]-[データのインポート]-[エクセルファイルから…]を実行する 使用するファイル ： saitamal01.xlsx ◦ 67
- 68. データの読み込み ダイアログボックスの設定 ◦ データセット名を入力 ： saitama 68 注：使用するデータは正規分布とは言えないため計算方法を理解して ください。
- 69. データとデータの関係の見方 – 相関係数 69 Rcmdrで散布図を表示する。 ◦ 外国人数とアジアエスニックレストラン ◦
- 71. データとデータの関係の見方 – 相関係数 71 相関係数は相関行列で求める。 ◦ 外国人数とアジアエスニックレストラン ◦
- 72. データとデータの関係の見方 – 相関係数 72 相関係数は相関行列で求める。 ◦ 外国人数とアジアエスニックレストラン 相関係数は 0.692 ◦
- 74. データとデータの関係の見方 – 相関係数 74 オープンデータの活用 ◦ 国勢調査の活用 婚活のため未婚者の多い地域へ転居を考えたとき、未婚者の多い地域 はどんな特徴があるのか？ 横浜市神奈川区のデータを使ってみる ・ 未成年の割合の多い地域？ 年齢（５歳階級）、男女別人口（総年齢、平均年齢及び外国人- 特掲） （町丁・字別） ・ 未婚者の多い地域は？ 配偶関係（３区分）、男女別15歳以上人口 （町丁・字別） ・ 民営の借家が多い地域では？ 住居の種類・住宅の所有の関係（６区分）別一般世帯数、一般世帯 人員及び１世帯当たり人員 （町丁・字別）
- 76. 演習データの読み込み RcmdrでExcelファイルからデータを読み込む ◦ [データ]-[データのインポート]-[エクセルファイルから…]を実行する 使用するファイル ： kanagawa01.xlsx 76 Excelインポートダイアログボックスの設定 データセット名を入力 ： kanagawa
- 77. 演習 二つの値を選んで散布図を表示して相関を確認してみてください。 相関行列で相関係数を求めてみてください。 結果について考えてみてください。 77
- 78. 78 データとデータの関係の見方 – 相関係数 相関係数の値 相関の強弱 １～０．７ 強い正の相関 ０．７～０．４ やや相関あり、中程度の正の相関 ０．４～０．２ 弱い正の相関 ０．２～０～ー０．２ ほとんど相関無し －０．２～－０．４ 弱い負の相関 －０．４～ー０．７ やや相関あり、中程度の負の相関 －０．７～ー１ 強い負の相関 相関係数の値と評価基準
- 79. 79 データとデータの関係の見方 – 相関係数 相関係数はー１~１の範囲の値 相関係数は直線的な関係を示す 1に近いほど直線的な正の強さ －１に近いほど直線的な負の強さ 相関係数は因果関係を表す指標ではない 相関関係は2つの事象が関連して生じる 一定した時間的方向性がない 例：数学の成績と物理の成績
- 81. 81 データとデータの関係 – 回帰分析 単回帰分析について 回帰分析では独立変数と従属変数の間の関係を表す式を統計的手法によっ て推計します。 従属変数（目的変数）とは、説明したい変数（注目している変数）を指します。 独立変数（説明変数）とは、これを説明するために用いられる変数のことです。 1つ（単回帰分析）の説明変数と、1つの目的変数の関係を求め、説明変数か ら目的変数を推定します。 目的変数Y 説明変 数 X Y = （回帰係数または決定係数：グラフの傾き）× X ＋ グラフの切片
- 82. データとデータの関係 – 回帰分析 先の演習で使用したデータセット kanagawa01 を使用する 〔統計量〕－〔モデルへの適合〕－〔線形回帰〕を使用する。
- 84. データとデータの関係 – 回帰分析 R Commanderの出力結果を確認する 残差分布の四分位 範囲 切片、傾きの推定値 検定結果 決定係数
- 85. データとデータの関係 – 回帰分析 Coefficients:の解説 Estimate：係数 Std.Error：標準誤差 t value：t値 pr(>|t|)：p値 Intercept：切片 回帰分析において y=a+bx は b=0 となることはあってならず、b=0となると y=a となり、x は y に影響を与えないことになる。 それでは回帰分析が成立しないので（ここでいう b=0 のことを帰無仮説とよぶ）、 b=0となることを棄却できるかどうか考えなくてはならない。 そこで ｐ値を見る。ｐ値は帰無仮説が発生する確率なので、0.01以下ならばそ の推定値は99%の有意水準、0.1以下ならば90%の有意水準ということになる。 また、有意であるならば横に *（星）がつく。何パーセントかは Signif. codes: 0 `***' 0.001 `**' 0.01 `*' 0.05 `.' 0.1 ` ' 1 をみればわかる。 星は‘***’で、p値が小さければ小さいほど良い。 決定係数は説明変数による予測力を表す指標 ０ ≤ 決定係数 ≤ １ 決定係数が１に近づくほど回帰モデル（直線）がデータによくフィットしている 相関係数の2乗とイコールである
- 86. データとデータの関係 – 回帰分析 決定係数は説明変数による予測力を表す指標 ０ ≤ 決定係数 ≤ １ 決定係数が１に近づくほど回帰モデル（直線）がデータによくフィットしている 相関係数の2乗とイコールである 決定係数が０．５未満はあてはまりがよくない 回帰式の精度および回帰係数の判定の順番とその判定 ①寄与率(Multiple R-squared）を見る。目安として、0.5以上と考える ②分散分析のF検定結果のｐ値が0.05を下回っていること確認する。クリアでき ない場合、データ不足の可能性もあり、データ追加の検討してもよい。これは、 データ数が多いことで回帰係数のｐ値が小さくなることがあるため ③単回帰分析においては、「回帰式精度確認のＦ検定結果のｐ値と回帰係数の ｔ検定結果のｐ値は数学的に一致する」しかし、「検定目的や結果の意味合いが 異なるので、回帰係数のｐ値も確認する」
- 91. 91 標本分布 母集団分布 母集団からｎ個の標 本抽出 統計量の算出が可能 平均、中央値、分散、標準偏差 母集団分布の 平均、分散、標準偏差 などの統計量が知りたい 母集団について 推定 （推定値）
- 97. 97 標本分布 演習 ① 母集団の推定を行うために標本抽出（100個）した標本から推定値を求め る ② ①をたくさん繰り返して正規分布になることを確認してみる 1000回ぐらいやってみる？ 一人でやると辛いから、一人１０回 10人でやると １０×１０ ＝ １００標本の推定値が集まる ③ 標本分布の平均（期待値）と標準偏差（標準誤差）を確認する ④ 母集団の平均と推定値を比較してみる
- 98. 引用、参考、参照資料 IPAソフトウェア開発データ白書2012-2013 ソフトウェアメトリクス統計分析入門 現場エンジニアによる直観的解説と実践ドリル 著者：小池利和 データ思考のソフトウェア品質マネジメント メトリクス分析による「事実にもとづく管理」の 実践 著者：野中誠、小池利和、小室睦 Rによるデータサイエンス 著者：金 明哲 無料で学べる大学講座 gacco 社会人のためのデータサイエンス入門 総務省統計局 厚生労働省 国民生活基礎調査 日刊スポーツWebサイト 埼玉県市町村公開統計データ 98
- 102. EOF 102