Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

教育データマイニングによる英語学習の実態把握

明海大学外国語学部FD研修会 講演資料 (2021.02.05)
 
具体的なデータ処理の方法については、拙著『Rによる教育データ分析入門』をご参照ください。 https://www.ohmsha.co.jp/book/9784274225918/
 
(註)slideshareの仕様により、一部のフォントや強調がおかしくなっています。

  • Be the first to comment

  • Be the first to like this

教育データマイニングによる英語学習の実態把握

  1. 1. 教育データマイニングによる 英語学習の実態把握 小林 雄一郎 (日本大学) 1
  2. 2. 自己紹介 • 小林 雄一郎(こばやし ゆういちろう) – 日本大学 生産工学部 専任講師 – 博士(言語文化学) – 関心領域 • コーパス言語学 • 自然言語処理 • 英文自動評価 • 教育データ分析 etc. 2
  3. 3. 本日のお話の流れ • はじめに • 初級編 – 記述統計、層別分析、可視化など • 中級編 – 検定、相関、回帰など • 上級編 – テキストマイニング、機械学習など • デモ – 層別分析、テキストマイニング(時間があれば) • おわりに 3
  4. 4. 本日のお話の流れ • はじめに • 初級編 – 記述統計、層別分析、可視化など • 中級編 – 検定、相関、回帰など • 上級編 – テキストマイニング、機械学習など • デモ – 層別分析、テキストマイニング(時間があれば) • おわりに 4
  5. 5. • データマイニング – 統計学、パターン認識、人工知能などのデータ解析の技法 を大量のデータに網羅的に適用することで知識を取り出す 技術 – 明示されておらず、今まで知られていなかったが、役立つ 可能性があり、かつ、自明でない情報をデータから抽出す ること – 関連する用語 • KDD (knowledge-discovery in databases) • Data Science • Big Data • Machine Learning etc. はじめに 5 https://ja.wikipedia.org/wiki/データマイニング
  6. 6. • 教育データマイニング – 学習者の成績や学習行動履歴をデータベース化 – 大量に蓄積されたデータを統計的に分析 – 教育に有益な情報を抽出 • 学習者の成績を予測(未受験のテストの点数の予測、卒業時 成績の予測、留学・退学の可能性の予測など) • 様々な学習要因の関係をモデリング(アンケート結果などに 見られる学習動機・学習履歴と成績の関係、授業満足度との 関係、学習者プロフィール(入試形態・通学時間など)と成 績の関係など) • より広範な学習行動履歴を分析(出席管理システム、e- learningシステムのログイン情報など) etc. 6
  7. 7. 7
  8. 8. 8
  9. 9. 本日のお話と関わる教育データ • テストの成績 • アンケートの回答 • 英語のライティング・スピーキング etc. 9
  10. 10. 本日のお話の流れ • はじめに • 初級編 – 記述統計、層別分析、可視化など • 中級編 – 検定、相関、回帰など • 上級編 – テキストマイニング、機械学習など • デモ – 層別分析、テキストマイニング(時間があれば) • おわりに 10
  11. 11. 記述統計 • データの概要を把握するための手法 – 手許にあるデータを何らかに数値に要約 • データの「中心」を調べる • データの「ばらつき」を調べる • データの「中心」からの「ばらつき」具合を調べる etc. – グラフを用いた可視化 • データの「形」や「構造」を直感的に把握 11
  12. 12. • データの例 – 100人の学生の期末試験の結果 12 student score S001 67 S002 31 S003 93 S004 74 S005 75 ... ... S100 22
  13. 13. データの「中心」 • データ分析の最初の一歩 – どんなに大量のデータであっても、データの特徴を1 つの数値で表現できれば、直感的に把握しやすい • データの「中心」を表す指標 – 平均値(データの総和をデータの個数で割った値) – 中央値(データを小さい順、もしくは大きい順に並 び替えて、真ん中の位置になる値) – 最頻値(データ中に最も多く現れる値) etc. 13
  14. 14. • 平均値と中央値の違いに関するよくある説明 – 外れ値(他のデータよりも極めて大きい、もしくは 小さい値)の影響を受けやすい – たとえば、収入の分布においては、平均値はあまり 意味を持たず、中央値の使用が適している – 単純化した例 • 年収100万、200万、300万、400万、500万の平均値は、300 万 • 年収100万、200万、300万、400万、500万の中央値は、300 万 • 年収100万、200万、300万、400万、5000万の平均値は、 1200万 • 年収100万、200万、300万、400万、5000万の中央値は、 300万 14
  15. 15. • 教育現場における「外れ値」の例 – 高め:語学の授業における帰国子女、留学生 – 低め:出席不良者、テスト欠席者(=欠損値) 15 * データの可視化については、後述
  16. 16. データの「ばらつき」 • データの「中心」となる値の有効性を確認 – 全員が同一の点数であれば、平均点はデータの特徴 を(これ以上ないほど)よく表している – 最低点と最高点の差が大きくなるほど、平均点が データの特徴をよく表している度合いは下がる • データの「ばらつき」を表す指標 – 分散・標準偏差(平均値に基づく指標) – 5数要約(中央値に基づく指標) etc. 16
  17. 17. • 分散 – 個々のデータが平均値からどれほど離れているか (ばらついているか)を要約 • 標準偏差 – 分散の平方根(2乗されたデータの単位を元に戻す) – 例:cm → cm2 → cm 17
  18. 18. • 5数要約 – データを小さい順に並び替えて、0%(=最小値)、 25%(=第1四分位数)、50%(=中央値)、75% (=第3四分位数)、100%(=最大値)の位置にな る値をそれぞれ計算 – 数学的に「外れ値」を特定することも可能(「第3四 分位数+(第3四分位数-第1四分位数)×1.5よりも大 きい値」、もしくは「第1四分位数−(第3四分位数- 第1四分位数)×1.5よりも小さい値」) 18
  19. 19. • 5数要約(と外れ値)の可視化 – 箱ひげ図 19 40 60 80 100 Final Exam
  20. 20. • 5数要約(と外れ値)の可視化 – 箱ひげ図 20 40 60 80 100 Final Exam ← (外れ値を除く)100% ← (外れ値を除く)75% ← (外れ値を除く)50% ← (外れ値を除く)25% ← (外れ値を除く)0% ← (数学的に求めた)外れ値
  21. 21. 「中心」からの「ばらつき」具合 • 学習者全員のばらつき(=データの散布度) – 分散・標準偏差は、全員の点数を1つの値に要約 – 5数要約は、全員の点数を5つの値に要約 ↓ • 個々の学生のばらつき(=平均からの距離) – 標準得点 – 偏差値 etc. 21
  22. 22. • 標準得点 – 同じ100点満点のテストでも、「70点」という点数が 持つ意味は、そのテストの難しさによって変わる (平均点が50点の場合、70点の場合、90点の場合な ど) – 異なるテストの結果を比較する場合には、そのテス トの難しさ(平均)と点数のばらつき(標準偏差) を考慮した標準得点で比較する必要がある 22
  23. 23. • 偏差値 – 入学試験などでよく用いられる指標(説明不要) 23
  24. 24. 層別分析 • データ分析の基本は、何かと何かを比べること • 単一のデータだけから画期的な結論を導くのは困難 ↓ • データを何らかの単位に分割して比較(層別分析) – 学生Aと学生Bと学生C … の比較 – 集団Aと集団Bと集団C … の比較 – 過去と現在の比較(中間 vs 期末、昨年度 vs 今年度) etc. ↓ • 利用可能な情報が多ければ、深い分析が可能 – 学部別・学科別 – 入学形式別 – 担当教員別 etc. 24
  25. 25. • データの例 – クラスや担当教員などの情報がついている成績 25 student class prof sex faculty score S001 A P03 M F01 86 S002 A P03 F F01 96 S003 A P03 M F01 52 S004 A P03 F F01 72 S005 A P03 F F01 74 ... ... ... ... ... ... S790 S P09 F F08 86
  26. 26. 可視化 • 層別分析と可視化は相性がいい – 大量の数値の羅列を見るのはつらい (勿論、厳密な統計的比較をする場合は数値を使用) • データ全体をまとめて可視化しても、得られる 情報はそれほど多くない(無意味ではない) 26 Final Exam score number of students 20 40 60 80 100 0 20 40 60 80 100
  27. 27. • データ全体の可視化が有効な場合 – 分布の「形」を把握(特に、直感が効かないデータ の場合) – データが正規分布しているかの確認(正規分布して いるか否かは、統計手法の選択にも影響) – たとえば、平均点がまったく同じであったとしても、 データの分布がまったく異なることはあり得る – その分布の「形」如何によっては、指導法を変える 必要がある 27
  28. 28. • 分かりやすいように、少し極端な例 – 以下の4つのクラスの平均点は全て55点 28
  29. 29. 層別分析 + 可視化 • ヒストグラム(学部別) – 分布の「形」を比較するのに有効 – ただし、数が多くなると分かりにくくなる 29 score Percent of Total 0 5 10 15 20 25 30 20 40 60 80 100 F01 F02 20 40 60 80 100 F03 F04 F05 0 5 10 15 20 25 30 F06 0 5 10 15 20 25 30 F07 20 40 60 80 100 F08 F09
  30. 30. • 箱ひげ図(クラス別) – 成績の良し悪しが分かりやすい – 必要に応じて、成績が高い順に並び替える 30 A B C D E F G H I J K L M N O P Q R S 0 20 40 60 80 100
  31. 31. • 平均値±標準偏差のプロット(クラス別) – 平均値に基づく議論をしたい場合に有効 (箱ひげ図は、中央値に基づく可視化) 31 55 60 65 70 75 80 85 Final Exam class score A B C D E F G H I J K L M N O P Q R S n=28n=26n=27n=31n=34n=35n=37n=46n=40n=46n=52n=52n=46n=44n=45n=46n=46n=41n=46
  32. 32. 探索的データ分析 • Exploratory Data Analysis (EDA) – 1960年代、統計学者J. W. Tukeyが提唱 – データ分析にあたって、いきなりモデルの当てはめ や確率計算(検定など)をするのではなく、可視化 などで、データの性質をまず理解するのが重要 – 大規模なデータを分析する データマイニングで再評価 されたアプローチ 32
  33. 33. 本日のお話の流れ • はじめに • 初級編 – 記述統計、層別分析、可視化など • 中級編 – 検定、相関、回帰など • 上級編 – テキストマイニング、機械学習など • デモ – 層別分析、テキストマイニング(時間があれば) • おわりに 33
  34. 34. 推測統計 • 記述統計 – 手許にあるデータの性質に関心 ↓ • 推測統計 – 手許にあるデータの背後にある、より大きなデータ の性質に関心 – 手許のデータから得られた分析結果を(統計的に) 一般化できるか? – つまり、手許のデータ分析結果は「たまたま」「偶 然に」「誤差の範囲で」得られたものではないもの ではない、ということを確認したい 34
  35. 35. 検定 • t検定 – 2つのデータに対する平均値の差の分析 • クラスAとクラスBの平均点の差を調べて、その差が統計的 に意味のあるものか?(=誤差の範囲ではないと言えるもの か?) • 同じ集団が受けた事前テストと事後テストの平均点の差を調 べて、その差が統計的に意味のあるものか?(=誤差の範囲 ではないと言えるものか) etc. – 3つ以上のデータを比較したい場合は、別の検定 – 平均値以外の値を比較したい場合も、別の検定 35
  36. 36. • データの例 – 事前テスト事後テストの点数 36 student pre post S001 78 95 S002 76 69 S003 79 72 S004 62 75 S005 56 70 … … …
  37. 37. • 可視化 – スパケティ・プロット(個別推移図)、箱ひげ図 37 test score 50 60 70 80 90 pre post 点数の上がった学生が多い 事後テストの点数の方が高い
  38. 38. • 事前テストと事後テストの点数の差を統計的に 意味のある差とみなせるか? – t検定(対応あり)を実行すると、誤差とみなせない 程度の差があることが分かる 38 Paired t-test t = -4.9628, df = 29, p-value = 2.813e-05 alternative hypothesis: true difference in means is not equal to 0 95 percent confidence interval: -10.026024 -4.173976 sample estimates: mean of the differences -7.1 「なぜ」点数が上がったのかは、別途考察が必要
  39. 39. 相関 • 相関分析 – 複数の値がどの程度の強さで相互に関係しているか を分析する手法 • 正の相関:(例)「気温」が上がると、「アイスクリームの 売上」が上がる • 負の相関:(例)「気温」が下がると、「ホッカイロの売 上」が上がる • 無相関:2つの値の変化に関連性が見られない – 相関係数 • 相関の強さ(相互に関連している度合いの強さ)を表す数値 • -1から1までの値をとり、負の値は負の相関、正の値は正の 相関、0は無相関 • 複数の相関係数が存在(分析データに応じて、使い分ける) 39
  40. 40. – 相関係数を解釈する1つの目安(あくまで1つの目安) • 0.0~0.2:ほとんど相関なし • 0.2~0.4:弱い相関あり • 0.4~0.7:比較的強い相関あり • 0.7~1.0:強い相関あり 40
  41. 41. • データの例 – 中間テストと期末テストの点数(量的データ) • mid: 中間テストの点数 • end: 期末テストの点数 41 student mid end S001 86 99 S002 96 82 S003 52 77 S004 72 47 … … …
  42. 42. • Pearsonの積率相関係数(量的データに使用) – 中間テストと期末テストの点数の相関は、0.62 – 比較的強い相関 42
  43. 43. • データの例 – アンケートの回答(質的データ) • suki: 科目の好き嫌い • manzoku: 授業の満足度 • rikai: 授業の理解度 43 student suki manzoku rikai S001 5 5 5 S002 3 5 5 S003 5 2 3 S004 4 3 4 … … … …
  44. 44. 44 • Spearmanの順位相関係数(質的データに使用) – 3つ以上の相関を求める場合は、相関行列(以下)の 形式で表示 suki manzoku rikai suki 1.00 manzoku 0.18 1.00 rikai 0.50 0.52 1.00 • 好き – 満足度:0.18(ほとんど相関なし) • 好き – 理解度:0.50(比較的強い相関あり) • 満足度 – 理解度:0.52(比較的強い相関あり)
  45. 45. 回帰 • 回帰分析 – 原因となる値(説明変数、予測変数)と結果となる 値(目的変数、結果変数)との関係をモデリング (数式化)する手法 – 手許のデータから作成した数式を用いて、未知の データの値を予測 – 回帰分析の種類 • 線形回帰分析 • 非線形回帰分析 etc. 45
  46. 46. • 回帰式(線形単回帰分析) – y = a + bx • x が原因となる値、y が結果となる値 • a とb は、数学的に計算 46 20 30 40 50 60 70 80 20 40 60 80 中間試験 期末試験 切片 a 傾き b
  47. 47. • データの例 – 中間テストと期末テストの点数 • mid: 中間テストの点数 • end: 期末テストの点数 47 student mid end S002 54 47 S003 73 65 S004 63 60 S005 44 62 S006 42 58 … … … * S001は、 欠損データ
  48. 48. • 中間テストの点数から期末テストの点数を予測 – 線形単回帰分析 – end = 0.73 × mid + 14.51 – 期末テスト欠席者の点数の予測などに応用可能 48
  49. 49. • リーダビリティ – 文章の読みやすさを測るための指標 – 英語圏で最も有名なものとしては、Flesch-Kincaid Grade Level – 分析対象のテキストをアメリカの何歳程度の子供が 理解できるかを推定 – 回帰分析(線形重回帰分析)の応用例 49
  50. 50. 本日のお話の流れ • はじめに • 初級編 – 記述統計、層別分析、可視化など • 中級編 – 検定、相関、回帰など • 上級編 – テキストマイニング、機械学習など • デモ – 層別分析、テキストマイニング(時間があれば) • おわりに 50
  51. 51. テキストマイニング • テキストマイニング – テキスト(言語データ)を対象とするデータマイニ ングの理論および技術の総称 – 大量のテキストを解析し、データの背後に潜む有益 な情報を探し出すことが目的 – 関連する用語 • Text Analytics • Corpus Linguistics • Natural Language Processing etc. 51
  52. 52. • データの例 – 授業評価アンケートの自由記述 • 100名分 • 授業の良かった点、悪かった点など 52 先生の熱意が感じられた点。 レポートのテーマが複数あるとよかったと思います。1つだけだと、どうして も興味を持てない学生が出てきてしまいます。 締切まで余裕を持って、レポートのテーマをもう少し早く発表して頂きた かったです。 いつもスライドのテンポが速いので、授業で使ったスライドをプリントとと して配布してほしい。 レポートの書き方を丁寧に教えてもらえたのがよかった。卒論を書く際にも 役に立ちそう。 …
  53. 53. • 名詞の頻度集計(Top 20) 53
  54. 54. • 「教室」の用例検索(一部) -------------------- 1 -------------------- 授業 で 使っ て いる [ 教室 ] の WiFi が 弱く て -------------------- 2 -------------------- 。 試験 の とき に [ 教室 ]が 暑く て 、 問題 -------------------- 3 -------------------- て 、 うれしかっ た 。 [ 教室 ] の 時計 が いつも 数 -------------------- 4 -------------------- あり ませ ん 。 いつも [ 教室 ] が 寒い の は 、 -------------------- 5 -------------------- が いい と 思う 。 [ 教室 ] の 冷房 が 寒 すぎる -------------------- 6 -------------------- に し て ほしい 。 [ 教室 ] が きれい で 、 涼しかっ -------------------- 7 -------------------- に 入っ て から 、 [ 教室 ] が 暑く て つらかっ た -------------------- 8 -------------------- 弱め な の と 、 [ 教室 ] の 電源 が 少なめ な 54 教室のWi-Fi、温度、 電源などに問題があ りそう
  55. 55. • 形容詞の頻度集計(Top 20) 55
  56. 56. • 「ほしい」の用例検索(一部) -------------------- 1 -------------------- と として 配布 し て [ ほしい ] 。 レポート の 書き方 を -------------------- 2 -------------------- 速い ので 、 レジュメ が [ ほしい ] です 。 先生 の 話し方 -------------------- 3 -------------------- に も 質問 し て [ ほしい ] 。 試験 の とき に -------------------- 4 -------------------- もっと 質問 を し て [ ほしい ] 。 特に なし 。 学生 -------------------- 5 -------------------- ので 、 どうにか し て [ ほしい ] 。 先生 の 話 が -------------------- 6 -------------------- 。 レジュメ に し て [ ほしい ] 。 教室 が きれい で -------------------- 7 -------------------- で も 配布 し て [ ほしい ] です 。 授業 で 扱う -------------------- 8 -------------------- 座席 指定 を やめ て [ ほしい ] 。 その 日 の 気分 56 レジュメの配布、 学生への質問、 座席指定などに 関する要望
  57. 57. • 副詞の頻度集計(Top 20) 57
  58. 58. • 「もう少し」の用例検索(一部) -------------------- 1 -------------------- 、 レポート の テーマ を [ もう少し ] 早く 発表 し て 頂き -------------------- 2 -------------------- 締切 が 厳しい ので 、 [ もう少し ] 時間 を 長め にとって ほしかっ -------------------- 3 -------------------- ほしかっ た 。 後期 は [ もう少し ] 余裕 を もっ た スケジュール -------------------- 4 -------------------- 回転 が 速い ので 、 [ もう少し ] ゆっくり だ と 理解 が -------------------- 5 -------------------- た が 、 価格 が [ もう少し ] 安い と よかっ た です -------------------- 6 -------------------- て つらかっ た です 。 [ もう少し ] 温度 を 下げ られ たら -------------------- 7 -------------------- 、 レポート の 字数 を [ もう少し ] 少なめ に し て 頂き -------------------- 8 -------------------- 字 が 小さい ので 、 [ もう少し ] 大きく 書い て 頂ける と 58 授業進度、板書などに 関する不満 「もっと」の用例 検索なども有効
  59. 59. 機械学習 • 機械学習 – 「訓練データ」もしくは「学習データ」と呼ばれる データからの学習により自動で改善するコンピュー ターアルゴリズムもしくはその研究領域 – 学習結果を用いて、何らかのタスクをこなす – たとえば、過去のスパムメールを訓練データとして 用いて学習し、スパムフィルタリングというタスク – 主なアルゴリズム • 決定木 • ニューラルネットワーク • ランダムフォレスト etc. 59
  60. 60. • 決定木 – 機械学習のアルゴリズムの1つ – 原因となる値(説明変数)と結果となる値(目的変 数)との関係を木構造で可視化 60
  61. 61. • データの例 – スパムフィルタリング – メール(4601通)中の単語や記号の頻度を使用 61 make address all num3d our over remove internet order mail receive … type 0 0.64 0.64 0 0.32 0 0 0 0 0 0 … spam 0.21 0.28 0.5 0 0.14 0.28 0.21 0.07 0 0.94 0.21 … spam 0.06 0 0.71 0 1.23 0.19 0.19 0.12 0.64 0.25 0.38 … spam … … … … … … … … … … … … … 0.3 0 0.3 0 0 0 0 0 0 0 0 … non spam 0.96 0 0 0 0.32 0 0 0 0 0 0 … non spam 0 0 0.65 0 0 0 0 0 0 0 0 … non spam 学習用の正解データ↑
  62. 62. • スパムフィルタリング(決定木) 62
  63. 63. テキストマイニング + 機械学習 • 自動採点 – 学習者の作文(ライティング)や発話(スピーキン グ)の中で使われている単語や文法項目の頻度を用 いて、作文や発話を自動評価 63
  64. 64. • データの例 – 日本人英語学習者1281人の発話 (NICT-JLE Corpus) における63種類の言語項目の頻度、スピーキングテ ストのスコア 64 SST level amplifiers analytic negations causative adverbial subordinators ... WH-relatives in subject position 1 0.00 0.00 0.00 ... 0.00 1 0.00 0.00 0.00 ... 0.00 1 0.00 0.00 0.00 ... 0.00 2 0.29 0.00 0.00 ... 0.00 2 0.00 2.78 0.00 ... 0.00 ... ... ... ... ... ... 9 0.85 1.56 0.57 ... 0.21 9 0.32 2.00 0.56 ... 0.08
  65. 65. • ランダムフォレスト – 機械学習のアルゴリズムの1つ – 大量の決定木を生成し、それら全ての決定木から得 られる結果の多数決によって、最終的な分類を行う 手法 65
  66. 66. • スピーキングテストのスコアの予測結果 – 9レベルの予測で、60.11% 66 1 2 3 4 5 6 7 8 9 Accuracy 1 0 3 0 0 0 0 0 0 0 0.00% 2 0 21 14 0 0 0 0 0 0 60.00% 3 0 2 145 74 1 0 0 0 0 65.32% 4 0 0 33 407 40 2 0 0 0 84.44% 5 0 0 0 102 119 14 1 0 0 50.42% 6 0 0 0 19 61 39 5 5 1 30.00% 7 0 0 0 1 21 24 21 9 1 27.27% 8 0 0 0 0 12 14 22 4 4 7.14% 9 0 0 0 0 1 5 14 6 14 35.00% Total accuracy 60.11%
  67. 67. 本日のお話の流れ • はじめに • 初級編 – 記述統計、層別分析、可視化など • 中級編 – 検定、相関、回帰など • 上級編 – テキストマイニング、機械学習など • デモ – 層別分析、テキストマイニング(時間があれば) • おわりに 67
  68. 68. • 成績データの層別分析(小林・濱田・水本, 2020, Ch.3) • 授業評価アンケートのテキストマイニング (小林, 2018, Ch.3) 68
  69. 69. 本日のお話の流れ • はじめに • 初級編 – 記述統計、層別分析、可視化など • 中級編 – 検定、相関、回帰など • 上級編 – テキストマイニング、機械学習など • デモ – 層別分析、テキストマイニング(時間があれば) • おわりに 69
  70. 70. おわりに • データ分析を行う際の注意点 – 適切なデータを用いる • 分析の目的と異なる目的で集められたデータ、ノイズの多い データからは正しい結果が得られない – 適切な手法を用いる • 統計手法が前提とする仮定に留意し、その手法に適した形式 でデータ集計を行う – 適切な考察を行う • データが数値で示していることと、分析者が推測しているこ とを区別する 70
  71. 71. 主な参考文献 – 小林雄一郎 (2018). 『Rによるやさしいテキストマイ ニング[活用事例編]』 オーム社. – 小林雄一郎 (2019). 『ことばのデータサイエンス』 朝倉書店. – 小林雄一郎 (2020). 「学習者コーパス研究と自動採 点」 石井雄隆・近藤悠介 (編)『英語教育における自 動採点―現状と課題』(pp. 73-93). ひつじ書房. – 小林雄一郎・濱田彰・水本篤 (2020). 『Rによる教育 データ分析入門』 オーム社. – Kobayashi, Y., & Abe, M. (2016). Automated scoring of L2 spoken English with random forests. Journal of Pan-Pacific Association of Applied Linguistics, 20(1), 55-73. 71
  72. 72. Thank you for your time and attention https://pixabay.com/ja/

×