Rを用いた外国語教育データの整理・要約
•
0 likes•2,113 views
川口勇作 (2017, August). 「Rを用いた外国語教育データの整理・要約」 外国語教育メディア学会 第57回全国研究大会 ワークショップ. 名古屋学院大学.
Recommended
More Related Content
What's hot
Viewers also liked
Viewers also liked (12)
Similar to Rを用いた外国語教育データの整理・要約
Similar to Rを用いた外国語教育データの整理・要約 (20)
More from Yusaku Kawaguchi
More from Yusaku Kawaguchi (17)
Recently uploaded
Recently uploaded (7)
Rを用いた外国語教育データの整理・要約
- 3. この講習について • 目的 –データの整理・要約の基本的な手法を習得す ること • 内容 –統計解析環境 R の導入 –記述統計量の算出、度数分布図の作成など について、解説・実習
- 4. この講習で扱わないもの • 統計的仮説検定（e.g., t検定、分散分析）など の推測統計 – この短い時間ではカバーしきれない – 推測統計やる前に記述統計やりましょう • 高度なデータハンドリング – Nagoya.Rなど、各地で開催されているR勉強 会にお越しください • 10月末に開催予定
- 5. 導入編 • Rのインストール・アップデート • Rの起動・終了 • Rの基本操作 • 四則演算、履歴機能、補完機能 • 変数・関数 • 行列 • データの読み込み • パッケージを使う
- 6. とは • 統計処理のためのプログラミング言語で、無償＋ オープンソースのソフトウェア • 追加機能を入れることで、多くの統計処理が可能 • データとコードを（正しい形で）残しておくと、簡単に 分析結果の再現や共有ができる – 研究のみならず、実務でも使用可能
- 7. Windows ユーザーの方へ • ユーザー名（ユーザーフォルダ名）に2バイト文字 （漢字・ひらがな・カタカナ）が含まれていないか確認 – 含まれている場合、後々不具合が発生するおそ れがある • 対策 – ユーザー名を英数字のみに変更する – R使用時専用の、名前が英数字のみのユーザー を新規作成する
- 8. のインストール • http://www.r-project.org/にアクセス –“download R” をクリック –ダウンロード元の CRAN（ミラーサイト）を、 Japanの中から選択 • どれでもOK –使っているOS のリンクをクリック –欲しいバージョンを選択し、ダウンロード
- 15. のアップデート • http://www.r-project.org/にアクセス • 新しいバージョンが出ているか確認 • 新規にインストール用ファイルをダウンロード してインストール • 要するに、再インストール
- 18. の起動・終了
- 19. の起動 • Windows – スタート > R > R x64 3.X.X • Mac – Launchpad > – アプリケーション > R.app • 「RGui」もしくは「Rコンソール」が表示されるか確 認してください
- 21. の終了 • Windows・Mac OS 共通 –OSの「閉じる」ボタン – q() と入力して Enter （終了コマンド）
- 22. の基本操作
- 23. 以下 > から始まる式を コンソールに 入力してください > は入力不要です #から始まる行はコメント行なので、 入力不要です
- 24. R version 3.0.1 (2013-05-16) -- "Good Sport" Copyright (C) 2013 The R Foundation for Statistical Computing Platform: i386-w64-mingw32/i386 (32-bit) R は、自由なソフトウェアであり、「完全に無保証」です。 一定の条件に従えば、自由にこれを再配布することができます。 配布条件の詳細に関しては、'license()' あるいは 'licence()' と入力してください。 R は多くの貢献者による共同プロジェクトです。 詳しくは 'contributors()' と入力してください。 また、R や R のパッケージを出版物で引用する際の形式については 'citation()' と入力してください。 'demo()' と入力すればデモをみることができます。 'help()' とすればオンラインヘルプが出ます。 'help.start()' で HTML ブラウザによるヘルプがみられます。 'q()' と入力すれば R を終了します。 >｜ ← ここから入力 入力している部分は赤く表示されます
- 25. 四則演算 • 以下の記号を使います • 足し算：+ • 引き算：- • 掛け算：* • 割り算：/ • 累乗：^
- 26. 四則演算 • 式を入力して、 Enter を押す > 3+5 > 10-3 > 2*3 > 100/20 > (12+34-56)*78/90 8 7 6 5 -8.666667
- 27. 累乗 • 「 ^ 」を使う > 10^2 #10の2乗 > 100^2 #100の2乗
- 28. 累乗 • 次の違いは？ > 100^1/2 50 > 100^(1/2) 10 1001 2 100 1 2
- 30. R基本操作 まとめ • 命令を打ち込んでEnter、それだけ • 過去に入力したものは、履歴機能で呼び 出すと楽
- 31. 変数を使う
- 33. 変数とは • １つ以上のデータをまとめて入れておく「箱」 のようなもの • 統計処理を行う際には、複数のデータをま とめて扱うことが多いため、変数を用いて データをまとめることが重要 • 変数に数値を入れることを「代入」という
- 34. 変数に データを 代入する • 変数の名前を書き、- と > で矢印を作る • 右辺には、変数に入れたいデータを記入す る > # hakoという名の変数に 5 という数字を代入する > hako <- 5 > # hakoという名の変数の中身を確認 > hako [1] 5
- 35. 変数の名前 • どのような名前でも使える – 2バイト文字も使用できるが、いちいち変換するのは面倒 ＆ エラー を吐かれることも多いので使わないようにする • 後で見返したときに、どのようなデータが入っているかわかるよう な名前をつけるようにすること • 既存の変数にデータを代入すると、新しいデータで上書きされ るので注意 – 例） > hako <- 5 > hako <- 10 > hako [1] 10
- 36. 1 2 34 5
- 37. 変数に データを 代入する 1. 変数の名前を ”hako” とする 2. c関数で、値を1つにまとめる – このまとまりをベクトルと呼ぶ 3. まとめた値を ”hako” という変数に代入する <- は矢印を表現 4. 代入したら中身を確認する > hako <- c(1, 2, 3, 4, 5) > hako
- 38. 入力中に「+」が出たら • 入力中に誤って Enter キーを押すと、待 機状態を示す「＋」が出る –そのまま入力を続けても問題ない –気になる人は、 ボタン、もしくは Escキー で入力をキャンセル > hako <- c( +
- 39. 変数に データを 代入する • hako という名前の変数に 1~5 という値 を代入する場合、以下のような3パターンの 表記が可能 > hako <- c(1, 2, 3, 4, 5) > c(1, 2, 3, 4, 5) -> hako > hako = c(1, 2, 3, 4, 5)
- 40. 関数を使う
- 42. 平方根を算出 • sqrt という関数を使用 ( sqrt = square root ) > sqrt(2) 1.414214 > sqrt(144) 12 > sqrt(104976) 324
- 44. 平方根を一気に > sqrt(hako) [1] 1.000000 1.414214 1.732051 2.000000 2.236068
- 45. 変数を使うとこんなに楽 使った場合 > sqrt(hako) 使わない場合 > sqrt(1) > sqrt(2) > sqrt(3) > sqrt(4) > sqrt(5)
- 47. 変数と関数 まとめ • 変数を使って、複数のデータをまとめて扱う • 関数で、変数の中の値を一気に処理 • 関数には、c関数や sqrt関数、help関数 などいろいろな関数がある
- 48. 行列を作る
- 50. 行列の例 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80
- 52. 行 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80 1行目
- 53. 行 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80 2行目
- 54. 行 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80 3行目
- 55. 行 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80 4行目
- 56. 行 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 805行目
- 58. 列 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80 1列目
- 59. 列 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80 2列目
- 60. この行列を作る 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80
- 61. 行列を作る関数 • matrix関数 –matrix(要素, 行の数, 列の数) • 要素：行列の中身 –先程の行列をRで作成にするには • 要素はc関数でベクトルの形にする > matrix(c(180, 170, 165, 175, 1 90, 75, 65, 60, 70, 80), 5, 2)
- 62. 行列を変数に代入 • まず作った行列を変数に代入 > karada <- matrix(c(180, 170, 1 65, 175, 190, 75, 65, 60, 70, 80), 5, 2)
- 63. 行列の要素を取り出す • 行列の中から、ベクトルとして取り出したい行や列を指定 – 行を取り出す：変数名[行番号,] – 列を取り出す：変数名[,列番号] > #2行目を取り出す場合 > karada[2,] [1] 170 65 > #2列目を取り出す場合 > karada[,2] [1] 75 65 60 70 80
- 64. イメージ [,1] [,2] [,3] [,4] [,5] [1,] [2,] [3,] [4,] [5,]
- 65. イメージ 身長 体重 A 180 75 B 170 65 C 165 60 D 175 70 E 190 80 [,1] [,2] [1,] [2,] [3,] [4,] [5,]
- 66. 行列の要素を取り出す • , の前後で、行番号と列番号を両方指定 すると、1つのデータを取り出せる > #2行1列にあるデータを取り出す > karada[2,1] [1] 170
- 67. 行列の要素を取り出す • 複数行・複数列をまとめて取り出すときは c()関数を使う > #2・4行目のデータを取り出す > karada[c(2,4),] [,1] [,2] [1,] 170 65 [2,] 175 70
- 68. 行列 まとめ • 横方向が行、縦方向が列 • matrix関数で行列を作る • 行列から必要な要素を取り出すには、 変数名[行番号,列番号]
- 69. データの読み込み
- 71. データフレーム形式 • 文字データや数字データを一緒くたにして並べ たもの • 今回は以下の2つの方法を演習 – Excelファイルから、データフレーム形式でRに読み 込む方法 – csvファイルから、 データフレーム形式でRに読み 込む方法
- 73. データの読み込みに使う関数 • read.table 関数 –タブ区切りのデータ（txtファイル・Excelファイ ル）を読み込む • read.csv 関数 –カンマ区切りのデータ（csvファイル）を読み 込む
- 74. クリップボードからの読み込み • read.table関数 – データフレーム形式のタブ区切りデータを読み込む – 一つ目の引数を"clipboard"/pipe("pbpaste")と することで、コピーしたデータを読み込むことが可能 > # Windows / Linuxの場合 > read.table("clipboard", header = T) > # Macの場合 > read.table(pipe("pbpaste"), header = T)
- 75. クリップボードからの読み込み • read.table関数 –2つ目の引数 で「見出し行」の有無を指定 • Tならあり、Fならなし > # 見出し行がある場合 > read.table("clipboard", header = T) > # 見出し行がない場合 > read.table("clipboard", header = F)
- 76. クリップボードからの読み込み • 読み込んだデータは、必ず変数に代入する –読み込んだだけでは、コンソールに表示される だけで終わってしまう > # 読み込んだデータを、 hako2という変数に代入する > hako2 <- read.table("clipboard", header = T)
- 77. 演習 • 見出し行のある身長・体重のデータを、Excelファイル 「karada_excel.xlsx」を開き、コピーして読み込んで、 「dat1」という名前の変数に代入してみましょう – Excelファイルの黄色い範囲を選択し、右クリックメニューから 「コピー」をクリックし、以下のコマンドを入力 > # Windows / Linuxの場合 > dat1 <- read.table("clipboard", header=T) > # Macの場合 > dat1 <- read.table(pipe("pbpaste“), header=T)
- 78. csvファイルからの読み込み • 下準備 – getwd関数で、現在の作業ディレクトリの場所を 確認 • データを読み込みたいファイルを置く場所 – その作業ディレクトリに、配布したcsvファイルを移 動してください > getwd() [1] "C:/Users/yusaku/Documents"
- 79. csvファイルからの読み込み • read.csv関数 –データフレーム形式のカンマ区切りデータを読 み込む –1つ目の引数を"ファイル名"とする • ファイル名には、拡張子（.csv）を含める > read.csv("ファイル名", header = T)
- 80. csvファイルからの読み込み • read.csv関数 –2つ目の引数 で「見出し行」の有無を指定 • Tならあり、Fならなし > # 見出し行がある場合 > read.csv("ファイル名", header = T) > # 見出し行がない場合 > read.csv("ファイル名", header = F)
- 81. csvファイルからの読み込み • 読み込んだデータは、必ず変数に代入する –読み込んだだけだと、コンソールに表示されるだ けで、Rにデータが残らない > # 読み込んだデータを、 hako3という変数に代入する > hako3 <- read.csv("ファイル名", header = T)
- 82. 演習 • 見出し行のある身長・体重のデータを、csvファイル （karada.csv）から読み込んで、「dat2」という名前 の変数に代入してみましょう > dat2 <- read.csv("karada.csv", header=T)
- 83. ちなみに • データフレームから要素を取り出す場合は、 列名を指定することが可能 > # dat1から身長データを取り出す場合 > dat1$height [1] 147 160 174 168 185 161 140 179 148 174 173 171 191 162 145 166 162 175 （以下省略）
- 85. データ管理の鉄則 • 理由1：再現性の問題 （Open Science Collaboration, 2015） –クリップボードから読み込むと、後でどの範囲を 読み込んだのかがわからない → 分析結果が再現できないおそれがある
- 86. データ管理の鉄則 • 理由2：Excelファイルは手間がかかる – RでExcelファイルを読み込むには、専用の追加 機能（e.g., xlsx パッケージ）をインストールする必要 がある – Excelファイルを読み込めるようにするための下準 備が必要 • シート名を英数字にする、セルの結合を解除する、な ど • csvで保存すれば、強制的にシートは1枚、余計な書 式情報も残らない
- 88. パッケージを使う
- 89. パッケージとは • パッケージとは、便利な機能・関数がまとめ られているもの • Rにデフォルトで入っているパッケージだけで も色々できる • デフォルトで入っていない関数を使うために は、パッケージを追加する必要がある
- 90. パッケージのインストール • メニューを使ってインストールする –Rのメニューの中の「パッケージ」> 「パッケージ のインストール」> ほしいパッケージを選択 –簡単だが、複数のパッケージをインストールした い場合、手間がかかる
- 91. パッケージのインストール • コードを書いてインストールする –install.packages("ほしいパッケージ名") • ""で囲むことを忘れないように –c関数でまとめれば、複数のパッケージを同時に インストール可能 > install.packages("psych") > install.packages(ｃ("psych", "beeswarm"))
- 93. パッケージの読み込み • インストールした後 –インストールしただけではパッケージはまだ使える 状態ではない –インストールできたらlibrary 関数で読み込む • library(読み込みたいパッケージ名) > install.packages("psych") > library(psych)
- 95. パッケージ まとめ • パッケージは、 –install.packages 関数でインストール –library関数で読み込み
- 96. データの整理・要約編 • 一変量データの要約 • ヒストグラム、箱ひげ図 • 記述統計の算出 • 二変量データの要約 • 散布図 • 相関係数の算出
- 97. 一変量データの要約
- 98. 一変量データの要約 • 記述統計 • 度数分布表・ヒストグラムの作成 • 箱ひげ図の作成
- 100. 記述統計 • 合計値を求める： sum • データの個数を求める： length • 平均値を求める： mean • 中央値を求める： median • 最頻値を求める： mode • 最大値を求める： max • 最小値を求める： min • 標準偏差を求める： sd
- 101. 演習 • 合計値を求める： sum • データの個数を求める： length • 平均値を求める： mean • 中央値を求める： median • 最頻値を求める： mode • 最大値を求める： max • 最小値を求める： min • 不偏分散を求める： var • 標準偏差を求める： sd > mean(dat[,1]) • 以上の関数を使って、dat1の身長の記述統計を 算出してください – 引数はベクトル形式にしてください
- 103. 記述統計 • 歪度・尖度 – 分布の偏り具合・尖り具合 – デフォルトではこれらを算出できる関数が用意され ていない – 以下のパッケージの関数を用いて、歪度・尖度を 算出可能 • e1071パッケージのskewness関数・kurtosis関数 • psychパッケージのskew関数・kurt関数
- 104. 記述統計 • psychパッケージのdescribe関数を用い て記述統計を一通り算出 > library(psych) > describe(変数名)
- 105. 度数分布表の作成 • table関数で度数分布表を作成し、身長/ 体重の分布を観察する –さきほどの練習で作ったdat1のデータを使う > table(dat1[,1]) #身長の度数分布表 > table(dat1[,2]) #体重の度数分布表
- 106. ヒストグラムの作成 • hist関数でヒストグラム（度数分布図）を描 き、身長/体重の分布を観察する –さきほどの練習で作ったdat1のデータを使う > hist(dat1[,1]) #身長のヒストグラム > hist(dat1[,2]) #体重のヒストグラム
- 107. 身長の分布 Histogram of dat1[, 1] dat1[, 1] Frequency 130 140 150 160 170 180 190 200 02468101214 体重の分布 Histogram of dat1[, 2] dat1[, 2] Frequency 40 50 60 70 80 051015
- 108. 箱ひげ図の作成 • boxplot関数で箱ひげ図（box plot）を作成 –csvファイル「words.csv」を読み込んで、 「words」という名の変数に代入し、学習者と 母語話者の英作文の語数のばらつきを箱ひげ 図を観察して比較しましょう > words <- read.csv("words.csv", header = T) > boxplot(words)
- 110. 蜂群図を箱ひげ図に重ねる • 蜂群図（beeswarm plot）を箱ひげ図に重 ね描きして、一人ひとりのばらつきを把握す る –beeswarmパッケージのbeeswarｍ関数を 使用 –さっき描いた箱ひげ図はそのままで以下のコー ドを入力 > beeswarm(words, add=T) # addは重ね描きをするオプション
- 111. と、その前に • beeswarm関数はそのままでは使えない –Rにはもともと入っていない関数だから –まず、beeswarm関数が含まれている、 beeswarmパッケージをインストールし、読み 込まないといけない > install.packages("beeswarm") > library(beeswarm) > beeswarm(words, add=T) # addは重ね描きをするオプション
- 113. 二変量データの要約
- 115. 散布図 • 散布図を作成して、相関関係を観察 –csvファイル「toeic.csv」を読み込んで、 「toeic」という変数に代入 –plot関数で、散布図を描画して、TOEICスコ アと英作文の語数の相関関係を観察しましょ う > toeic <- read.csv("toeic.csv", header=T) > plot(toeic$score, toeic$words)
- 116. 300 400 500 600 700 800 900 1000 150200250300350 toeic$score toeic$words
- 117. 相関係数 • 2つの変数の相関関係の強さを0.00~1.00の 間で数量的に表現 – ピアソンの積率相関係数 • データが正規分布していたり、間隔尺度以上のときに 使用 – スピアマンの順位相関係数 – ケンドールの順位相関係数 • データが正規分布していなかったり、順序尺度のときに 使用
- 118. 相関係数・相関行列の算出 • 変数「toeic」の中の、TOEICスコアと英作 文の語数との相関係数を算出しましょう > # 相関係数の算出 > cor(toeic$score, toeic$words, method = "相関係 数の種類") > # 相関行列の算出 > cor(toeic, method = "相関係数の種類")
- 119. 相関係数の種類 • 積率相関係数 – データが、間隔尺度以上の場合、正規分布している場合に用いる – ピアソンの積率相関係数：method = "pearson" • 順位相関係数 – データが順序尺度以下の場合、正規分布していない場合に用いる – スピアマンの順位相関係数： method = "spearman" – ケンドールの順位相関係数： method = "kendall"
- 120. 相関係数・信頼区間の算出と 無相関検定 • cor.test関数を用いて、相関係数、ならび に母相関係数の信頼区間の算出、無相 関検定を行う > cor.test(toeic$score, toeic$words, method = " 相関係数の種類")
- 121. 答え > # ヒストグラムを描いて分布を確認 > hist(toeic$score) > hist(toeic$words) > # 記述統計を算出して尖度・歪度を確認 > describe(toeic) > cor.test(toeic$score, toeic$words, method = “spearman")
- 122. 描いた図は • 右クリックメニューからコピー可能 – メタファイルにコピー（オススメ） • 拡大してもきれいだが、WordやPowerPoint標準のPDF 化機能を使用するとたまにバグる – 他のPDF化ソフトを用いればバグの回避は可能 – ビットマップにコピー • 拡大するとあまりきれいではないが、PDFにしてもバグらな い – Wordファイル、Excelファイルなど、適当なファイルに貼 り付けて保管することも可能
- 123. で困ったときは… • とりあえず Let's google it. • もしくはこれらのサービスを駆使する – seekR (http://seekr.jp/) – RjpWiki (http://www.okadajp.org/Rwiki/) – R-Tips (http://cse.naro.affrc.go.jp/takezawa/r-tips/r.html) – Rによる統計処理 (http://aoki2.si.gunma-u.ac.jp/R/) – r-wakalang (https://r-wakalang.slack.com/) • 解説記事：http://qiita.com/uri/items/5583e91bb5301ed5a4ba – help関数