教育データマイニングによる英語学習の実態把握

1. 教育データマイニングによる英語学習の実態把握小林雄一郎（日本大学） 1

2. 自己紹介 • 小林雄一郎（こばやしゆういちろう） – 日本大学生産工学部専任講師 – 博士（言語文化学） – 関心領域 • コーパス言語学 • 自然言語処理 • 英文自動評価 • 教育データ分析 etc. 2

3. 本日のお話の流れ • はじめに • 初級編 – 記述統計、層別分析、可視化など • 中級編 – 検定、相関、回帰など • 上級編 – テキストマイニング、機械学習など • デモ – 層別分析、テキストマイニング（時間があれば） • おわりに 3

5. • データマイニング – 統計学、パターン認識、人工知能などのデータ解析の技法を大量のデータに網羅的に適用することで知識を取り出す技術 – 明示されておらず、今まで知られていなかったが、役立つ可能性があり、かつ、自明でない情報をデータから抽出すること – 関連する用語 • KDD (knowledge-discovery in databases) • Data Science • Big Data • Machine Learning etc. はじめに 5 https://ja.wikipedia.org/wiki/データマイニング

6. • 教育データマイニング – 学習者の成績や学習行動履歴をデータベース化 – 大量に蓄積されたデータを統計的に分析 – 教育に有益な情報を抽出 • 学習者の成績を予測（未受験のテストの点数の予測、卒業時成績の予測、留学・退学の可能性の予測など） • 様々な学習要因の関係をモデリング（アンケート結果などに見られる学習動機・学習履歴と成績の関係、授業満足度との関係、学習者プロフィール（入試形態・通学時間など）と成績の関係など） • より広範な学習行動履歴を分析（出席管理システム、e- learningシステムのログイン情報など） etc. 6

9. 本日のお話と関わる教育データ • テストの成績 • アンケートの回答 • 英語のライティング・スピーキング etc. 9

11. 記述統計 • データの概要を把握するための手法 – 手許にあるデータを何らかに数値に要約 • データの「中心」を調べる • データの「ばらつき」を調べる • データの「中心」からの「ばらつき」具合を調べる etc. – グラフを用いた可視化 • データの「形」や「構造」を直感的に把握 11

12. • データの例 – 100人の学生の期末試験の結果 12 student score S001 67 S002 31 S003 93 S004 74 S005 75 ... ... S100 22

13. データの「中心」 • データ分析の最初の一歩 – どんなに大量のデータであっても、データの特徴を1 つの数値で表現できれば、直感的に把握しやすい • データの「中心」を表す指標 – 平均値（データの総和をデータの個数で割った値） – 中央値（データを小さい順、もしくは大きい順に並び替えて、真ん中の位置になる値） – 最頻値（データ中に最も多く現れる値） etc. 13

14. • 平均値と中央値の違いに関するよくある説明 – 外れ値（他のデータよりも極めて大きい、もしくは小さい値）の影響を受けやすい – たとえば、収入の分布においては、平均値はあまり意味を持たず、中央値の使用が適している – 単純化した例 • 年収100万、200万、300万、400万、500万の平均値は、300 万 • 年収100万、200万、300万、400万、500万の中央値は、300 万 • 年収100万、200万、300万、400万、5000万の平均値は、 1200万 • 年収100万、200万、300万、400万、5000万の中央値は、 300万 14

15. • 教育現場における「外れ値」の例 – 高め：語学の授業における帰国子女、留学生 – 低め：出席不良者、テスト欠席者（＝欠損値） 15 * データの可視化については、後述

16. データの「ばらつき」 • データの「中心」となる値の有効性を確認 – 全員が同一の点数であれば、平均点はデータの特徴を（これ以上ないほど）よく表している – 最低点と最高点の差が大きくなるほど、平均点がデータの特徴をよく表している度合いは下がる • データの「ばらつき」を表す指標 – 分散・標準偏差（平均値に基づく指標） – 5数要約（中央値に基づく指標） etc. 16

17. • 分散 – 個々のデータが平均値からどれほど離れているか（ばらついているか）を要約 • 標準偏差 – 分散の平方根（2乗されたデータの単位を元に戻す） – 例：cm → cm2 → cm 17

18. • 5数要約 – データを小さい順に並び替えて、0%（＝最小値）、 25%（＝第1四分位数）、50%（＝中央値）、75% （＝第3四分位数）、100%（＝最大値）の位置になる値をそれぞれ計算 – 数学的に「外れ値」を特定することも可能（「第3四分位数＋（第3四分位数-第1四分位数）×1.5よりも大きい値」、もしくは「第1四分位数−（第3四分位数- 第1四分位数）×1.5よりも小さい値」） 18

19. • 5数要約（と外れ値）の可視化 – 箱ひげ図 19 40 60 80 100 Final Exam

20. • 5数要約（と外れ値）の可視化 – 箱ひげ図 20 40 60 80 100 Final Exam ← （外れ値を除く）100% ← （外れ値を除く）75% ← （外れ値を除く）50% ← （外れ値を除く）25% ← （外れ値を除く）0% ← （数学的に求めた）外れ値

21. 「中心」からの「ばらつき」具合 • 学習者全員のばらつき（＝データの散布度） – 分散・標準偏差は、全員の点数を1つの値に要約 – 5数要約は、全員の点数を5つの値に要約 ↓ • 個々の学生のばらつき（＝平均からの距離） – 標準得点 – 偏差値 etc. 21

22. • 標準得点 – 同じ100点満点のテストでも、「70点」という点数が持つ意味は、そのテストの難しさによって変わる（平均点が50点の場合、70点の場合、90点の場合など） – 異なるテストの結果を比較する場合には、そのテストの難しさ（平均）と点数のばらつき（標準偏差）を考慮した標準得点で比較する必要がある 22

23. • 偏差値 – 入学試験などでよく用いられる指標（説明不要） 23

24. 層別分析 • データ分析の基本は、何かと何かを比べること • 単一のデータだけから画期的な結論を導くのは困難 ↓ • データを何らかの単位に分割して比較（層別分析） – 学生Aと学生Bと学生C … の比較 – 集団Aと集団Bと集団C … の比較 – 過去と現在の比較（中間 vs 期末、昨年度 vs 今年度） etc. ↓ • 利用可能な情報が多ければ、深い分析が可能 – 学部別・学科別 – 入学形式別 – 担当教員別 etc. 24

25. • データの例 – クラスや担当教員などの情報がついている成績 25 student class prof sex faculty score S001 A P03 M F01 86 S002 A P03 F F01 96 S003 A P03 M F01 52 S004 A P03 F F01 72 S005 A P03 F F01 74 ... ... ... ... ... ... S790 S P09 F F08 86

26. 可視化 • 層別分析と可視化は相性がいい – 大量の数値の羅列を見るのはつらい（勿論、厳密な統計的比較をする場合は数値を使用） • データ全体をまとめて可視化しても、得られる情報はそれほど多くない（無意味ではない） 26 Final Exam score number of students 20 40 60 80 100 0 20 40 60 80 100

27. • データ全体の可視化が有効な場合 – 分布の「形」を把握（特に、直感が効かないデータの場合） – データが正規分布しているかの確認（正規分布しているか否かは、統計手法の選択にも影響） – たとえば、平均点がまったく同じであったとしても、データの分布がまったく異なることはあり得る – その分布の「形」如何によっては、指導法を変える必要がある 27

28. • 分かりやすいように、少し極端な例 – 以下の4つのクラスの平均点は全て55点 28

29. 層別分析＋可視化 • ヒストグラム（学部別） – 分布の「形」を比較するのに有効 – ただし、数が多くなると分かりにくくなる 29 score Percent of Total 0 5 10 15 20 25 30 20 40 60 80 100 F01 F02 20 40 60 80 100 F03 F04 F05 0 5 10 15 20 25 30 F06 0 5 10 15 20 25 30 F07 20 40 60 80 100 F08 F09

30. • 箱ひげ図（クラス別） – 成績の良し悪しが分かりやすい – 必要に応じて、成績が高い順に並び替える 30 A B C D E F G H I J K L M N O P Q R S 0 20 40 60 80 100

31. • 平均値±標準偏差のプロット（クラス別） – 平均値に基づく議論をしたい場合に有効（箱ひげ図は、中央値に基づく可視化） 31 55 60 65 70 75 80 85 Final Exam class score A B C D E F G H I J K L M N O P Q R S n=28n=26n=27n=31n=34n=35n=37n=46n=40n=46n=52n=52n=46n=44n=45n=46n=46n=41n=46

32. 探索的データ分析 • Exploratory Data Analysis (EDA) – 1960年代、統計学者J. W. Tukeyが提唱 – データ分析にあたって、いきなりモデルの当てはめや確率計算（検定など）をするのではなく、可視化などで、データの性質をまず理解するのが重要 – 大規模なデータを分析するデータマイニングで再評価されたアプローチ 32

34. 推測統計 • 記述統計 – 手許にあるデータの性質に関心 ↓ • 推測統計 – 手許にあるデータの背後にある、より大きなデータの性質に関心 – 手許のデータから得られた分析結果を（統計的に）一般化できるか？ – つまり、手許のデータ分析結果は「たまたま」「偶然に」「誤差の範囲で」得られたものではないものではない、ということを確認したい 34

35. 検定 • t検定 – 2つのデータに対する平均値の差の分析 • クラスAとクラスBの平均点の差を調べて、その差が統計的に意味のあるものか？（＝誤差の範囲ではないと言えるものか？） • 同じ集団が受けた事前テストと事後テストの平均点の差を調べて、その差が統計的に意味のあるものか？（＝誤差の範囲ではないと言えるものか） etc. – 3つ以上のデータを比較したい場合は、別の検定 – 平均値以外の値を比較したい場合も、別の検定 35

36. • データの例 – 事前テスト事後テストの点数 36 student pre post S001 78 95 S002 76 69 S003 79 72 S004 62 75 S005 56 70 … … …

37. • 可視化 – スパケティ・プロット（個別推移図）、箱ひげ図 37 test score 50 60 70 80 90 pre post 点数の上がった学生が多い事後テストの点数の方が高い

38. • 事前テストと事後テストの点数の差を統計的に意味のある差とみなせるか？ – t検定（対応あり）を実行すると、誤差とみなせない程度の差があることが分かる 38 Paired t-test t = -4.9628, df = 29, p-value = 2.813e-05 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -10.026024 -4.173976 sample estimates: mean of the differences -7.1 「なぜ」点数が上がったのかは、別途考察が必要

39. 相関 • 相関分析 – 複数の値がどの程度の強さで相互に関係しているかを分析する手法 • 正の相関：（例）「気温」が上がると、「アイスクリームの売上」が上がる • 負の相関：（例）「気温」が下がると、「ホッカイロの売上」が上がる • 無相関：2つの値の変化に関連性が見られない – 相関係数 • 相関の強さ（相互に関連している度合いの強さ）を表す数値 • -1から1までの値をとり、負の値は負の相関、正の値は正の相関、0は無相関 • 複数の相関係数が存在（分析データに応じて、使い分ける） 39

40. – 相関係数を解釈する1つの目安（あくまで1つの目安） • 0.0～0.2：ほとんど相関なし • 0.2～0.4：弱い相関あり • 0.4～0.7：比較的強い相関あり • 0.7～1.0：強い相関あり 40

41. • データの例 – 中間テストと期末テストの点数（量的データ） • mid: 中間テストの点数 • end: 期末テストの点数 41 student mid end S001 86 99 S002 96 82 S003 52 77 S004 72 47 … … …

42. • Pearsonの積率相関係数（量的データに使用） – 中間テストと期末テストの点数の相関は、0.62 – 比較的強い相関 42

43. • データの例 – アンケートの回答（質的データ） • suki: 科目の好き嫌い • manzoku: 授業の満足度 • rikai: 授業の理解度 43 student suki manzoku rikai S001 5 5 5 S002 3 5 5 S003 5 2 3 S004 4 3 4 … … … …

44. 44 • Spearmanの順位相関係数（質的データに使用） – 3つ以上の相関を求める場合は、相関行列（以下）の形式で表示 suki manzoku rikai suki 1.00 manzoku 0.18 1.00 rikai 0.50 0.52 1.00 • 好き – 満足度：0.18（ほとんど相関なし） • 好き – 理解度：0.50（比較的強い相関あり） • 満足度 – 理解度：0.52（比較的強い相関あり）

45. 回帰 • 回帰分析 – 原因となる値（説明変数、予測変数）と結果となる値（目的変数、結果変数）との関係をモデリング（数式化）する手法 – 手許のデータから作成した数式を用いて、未知のデータの値を予測 – 回帰分析の種類 • 線形回帰分析 • 非線形回帰分析 etc. 45

46. • 回帰式（線形単回帰分析） – y = a + bx • x が原因となる値、y が結果となる値 • a とb は、数学的に計算 46 20 30 40 50 60 70 80 20 40 60 80 中間試験期末試験切片 a 傾き b

47. • データの例 – 中間テストと期末テストの点数 • mid: 中間テストの点数 • end: 期末テストの点数 47 student mid end S002 54 47 S003 73 65 S004 63 60 S005 44 62 S006 42 58 … … … * S001は、欠損データ

48. • 中間テストの点数から期末テストの点数を予測 – 線形単回帰分析 – end = 0.73 × mid + 14.51 – 期末テスト欠席者の点数の予測などに応用可能 48

49. • リーダビリティ – 文章の読みやすさを測るための指標 – 英語圏で最も有名なものとしては、Flesch-Kincaid Grade Level – 分析対象のテキストをアメリカの何歳程度の子供が理解できるかを推定 – 回帰分析（線形重回帰分析）の応用例 49

51. テキストマイニング • テキストマイニング – テキスト（言語データ）を対象とするデータマイニングの理論および技術の総称 – 大量のテキストを解析し、データの背後に潜む有益な情報を探し出すことが目的 – 関連する用語 • Text Analytics • Corpus Linguistics • Natural Language Processing etc. 51

52. • データの例 – 授業評価アンケートの自由記述 • 100名分 • 授業の良かった点、悪かった点など 52 先生の熱意が感じられた点。レポートのテーマが複数あるとよかったと思います。1つだけだと、どうしても興味を持てない学生が出てきてしまいます。締切まで余裕を持って、レポートのテーマをもう少し早く発表して頂きたかったです。いつもスライドのテンポが速いので、授業で使ったスライドをプリントととして配布してほしい。レポートの書き方を丁寧に教えてもらえたのがよかった。卒論を書く際にも役に立ちそう。 …

53. • 名詞の頻度集計（Top 20） 53

54. • 「教室」の用例検索（一部） -------------------- 1 -------------------- 授業で使っている [ 教室 ] の WiFi が弱くて -------------------- 2 -------------------- 。試験のときに [ 教室 ]が暑くて、問題 -------------------- 3 -------------------- て、うれしかった。 [ 教室 ] の時計がいつも数 -------------------- 4 -------------------- ありません。いつも [ 教室 ] が寒いのは、 -------------------- 5 -------------------- がいいと思う。 [ 教室 ] の冷房が寒すぎる -------------------- 6 -------------------- にしてほしい。 [ 教室 ] がきれいで、涼しかっ -------------------- 7 -------------------- に入ってから、 [ 教室 ] が暑くてつらかった -------------------- 8 -------------------- 弱めなのと、 [ 教室 ] の電源が少なめな 54 教室のWi-Fi、温度、電源などに問題がありそう

55. • 形容詞の頻度集計（Top 20） 55

56. • 「ほしい」の用例検索（一部） -------------------- 1 -------------------- ととして配布して [ ほしい ] 。レポートの書き方を -------------------- 2 -------------------- 速いので、レジュメが [ ほしい ] です。先生の話し方 -------------------- 3 -------------------- にも質問して [ ほしい ] 。試験のときに -------------------- 4 -------------------- もっと質問をして [ ほしい ] 。特になし。学生 -------------------- 5 -------------------- ので、どうにかして [ ほしい ] 。先生の話が -------------------- 6 -------------------- 。レジュメにして [ ほしい ] 。教室がきれいで -------------------- 7 -------------------- でも配布して [ ほしい ] です。授業で扱う -------------------- 8 -------------------- 座席指定をやめて [ ほしい ] 。その日の気分 56 レジュメの配布、学生への質問、座席指定などに関する要望

57. • 副詞の頻度集計（Top 20） 57

58. • 「もう少し」の用例検索（一部） -------------------- 1 -------------------- 、レポートのテーマを [ もう少し ] 早く発表して頂き -------------------- 2 -------------------- 締切が厳しいので、 [ もう少し ] 時間を長めにとってほしかっ -------------------- 3 -------------------- ほしかった。後期は [ もう少し ] 余裕をもったスケジュール -------------------- 4 -------------------- 回転が速いので、 [ もう少し ] ゆっくりだと理解が -------------------- 5 -------------------- たが、価格が [ もう少し ] 安いとよかったです -------------------- 6 -------------------- てつらかったです。 [ もう少し ] 温度を下げられたら -------------------- 7 -------------------- 、レポートの字数を [ もう少し ] 少なめにして頂き -------------------- 8 -------------------- 字が小さいので、 [ もう少し ] 大きく書いて頂けると 58 授業進度、板書などに関する不満「もっと」の用例検索なども有効

59. 機械学習 • 機械学習 – 「訓練データ」もしくは「学習データ」と呼ばれるデータからの学習により自動で改善するコンピューターアルゴリズムもしくはその研究領域 – 学習結果を用いて、何らかのタスクをこなす – たとえば、過去のスパムメールを訓練データとして用いて学習し、スパムフィルタリングというタスク – 主なアルゴリズム • 決定木 • ニューラルネットワーク • ランダムフォレスト etc. 59

60. • 決定木 – 機械学習のアルゴリズムの1つ – 原因となる値（説明変数）と結果となる値（目的変数）との関係を木構造で可視化 60

61. • データの例 – スパムフィルタリング – メール（4601通）中の単語や記号の頻度を使用 61 make address all num3d our over remove internet order mail receive … type 0 0.64 0.64 0 0.32 0 0 0 0 0 0 … spam 0.21 0.28 0.5 0 0.14 0.28 0.21 0.07 0 0.94 0.21 … spam 0.06 0 0.71 0 1.23 0.19 0.19 0.12 0.64 0.25 0.38 … spam … … … … … … … … … … … … … 0.3 0 0.3 0 0 0 0 0 0 0 0 … non spam 0.96 0 0 0 0.32 0 0 0 0 0 0 … non spam 0 0 0.65 0 0 0 0 0 0 0 0 … non spam 学習用の正解データ↑

62. • スパムフィルタリング（決定木） 62

63. テキストマイニング＋機械学習 • 自動採点 – 学習者の作文（ライティング）や発話（スピーキング）の中で使われている単語や文法項目の頻度を用いて、作文や発話を自動評価 63

64. • データの例 – 日本人英語学習者1281人の発話 (NICT-JLE Corpus) における63種類の言語項目の頻度、スピーキングテストのスコア 64 SST level amplifiers analytic negations causative adverbial subordinators ... WH-relatives in subject position 1 0.00 0.00 0.00 ... 0.00 1 0.00 0.00 0.00 ... 0.00 1 0.00 0.00 0.00 ... 0.00 2 0.29 0.00 0.00 ... 0.00 2 0.00 2.78 0.00 ... 0.00 ... ... ... ... ... ... 9 0.85 1.56 0.57 ... 0.21 9 0.32 2.00 0.56 ... 0.08

65. • ランダムフォレスト – 機械学習のアルゴリズムの1つ – 大量の決定木を生成し、それら全ての決定木から得られる結果の多数決によって、最終的な分類を行う手法 65

66. • スピーキングテストのスコアの予測結果 – 9レベルの予測で、60.11% 66 1 2 3 4 5 6 7 8 9 Accuracy 1 0 3 0 0 0 0 0 0 0 0.00% 2 0 21 14 0 0 0 0 0 0 60.00% 3 0 2 145 74 1 0 0 0 0 65.32% 4 0 0 33 407 40 2 0 0 0 84.44% 5 0 0 0 102 119 14 1 0 0 50.42% 6 0 0 0 19 61 39 5 5 1 30.00% 7 0 0 0 1 21 24 21 9 1 27.27% 8 0 0 0 0 12 14 22 4 4 7.14% 9 0 0 0 0 1 5 14 6 14 35.00% Total accuracy 60.11%

68. • 成績データの層別分析（小林・濱田・水本, 2020, Ch.3） • 授業評価アンケートのテキストマイニング（小林, 2018, Ch.3） 68

70. おわりに • データ分析を行う際の注意点 – 適切なデータを用いる • 分析の目的と異なる目的で集められたデータ、ノイズの多いデータからは正しい結果が得られない – 適切な手法を用いる • 統計手法が前提とする仮定に留意し、その手法に適した形式でデータ集計を行う – 適切な考察を行う • データが数値で示していることと、分析者が推測していることを区別する 70

71. 主な参考文献 – 小林雄一郎 (2018). 『Rによるやさしいテキストマイニング［活用事例編］』オーム社. – 小林雄一郎 (2019). 『ことばのデータサイエンス』朝倉書店. – 小林雄一郎 (2020). 「学習者コーパス研究と自動採点」石井雄隆・近藤悠介 (編)『英語教育における自動採点―現状と課題』(pp. 73-93). ひつじ書房. – 小林雄一郎・濱田彰・水本篤 (2020). 『Rによる教育データ分析入門』オーム社. – Kobayashi, Y., & Abe, M. (2016). Automated scoring of L2 spoken English with random forests. Journal of Pan-Pacific Association of Applied Linguistics, 20(1), 55-73. 71

72. Thank you for your time and attention https://pixabay.com/ja/