Download to read offline
![3.1. 分析方針
探索的・解釈的な分析
• トピック数は60を設定（瀧川 (2019) も K = 60）
注） トピック数の目安を得るプログラム [stm::searchK()] を使ったところ、5個前後
が最適と出るが、大雑把すぎて解釈可能性が低かった
9
stm::prepDocuments( … lower.thresh = 3, upper.thresh = 5000)
stm::stm( … K = 60, init.type ="Spectral")](https://image.slidesharecdn.com/jesele2022prsn2022-09-13-220913211221-420d54b2/85/slide-9-320.jpg)
Uploaded byTakunori Terasawa
日本の英語教育の学術的トレンド ―テキストマイニングによる自由研究発表要旨の分析―
研究概要 近年、英語教育の学術的トレンドを検討する学会誌分析（所収論文の量的・質的分析）が隆盛しつつある。こうした研究の意義は大きいが、方法論的に次のような限界がある。（１）カバレッジの問題。学会誌の分析は、査読トレンドの分析と同義であり、英語教育学全体のトレンドとずれている恐れがある（査読に通りやすいジャンルに偏る可能性があるため）。（２）データサイズの問題。学会誌分析が検討する論文の数は、二桁から多くても数百前後であり、各ジャンル・各テーマを細かく見ていく分析には不向きである。本研究では、以上の問題点を、学会大会の自由研究発表を分析対象とすることで解決する。具体的には、過去の一定期間の発表要旨をデータとして、テキストマイニングを行う。探索的な分析をもとに英語教育学の概略図を示し、その上で、先行研究の知見との共通点・相違点を議論したい。
More Related Content
Similar to 日本の英語教育の学術的トレンド ―テキストマイニングによる自由研究発表要旨の分析―
日本の英語教育の学術的トレンド ―テキストマイニングによる自由研究発表要旨の分析―
- 1. 日本の英語教育の学術的トレンド ―テキストマイニングによる自由研究発表要旨の分析― 寺沢拓敬 関西学院大学（在外研究中@University of BritishColumbia） 連絡先：https://terasawat.jimdo.com/ JASELE2022 8月6日 14室 10:40- 1 研究概要 近年、英語教育の学術的トレンドを検討する学会誌分析（所収論文の量的・質的分析）が隆盛しつつある。こうした研究の意 義は大きいが、方法論的に次のような限界がある。（１）カバレッジの問題。学会誌の分析は、査読トレンドの分析と同義であり、英語教育学 全体のトレンドとずれている恐れがある（査読に通りやすいジャンルに偏る可能性があるため）。（２）データサイズの問題。学会誌分析が検 討する論文の数は、二桁から多くても数百前後であり、各ジャンル・各テーマを細かく見ていく分析には不向きである。本研究では、以上の問 題点を、学会大会の自由研究発表を分析対象とすることで解決する。具体的には、過去の一定期間の発表要旨をデータとして、テキストマイニ ングを行う。探索的な分析をもとに英語教育学の概略図を示し、その上で、先行研究の知見との共通点・相違点を議論したい。
- 2. 0. 着想に至った経緯 • 某国際ジャーナルでの特集で、日本の英語教育研究のレビュー をする（かもしれない）ことに •過去の同タイプの特集論文を見ると、カバレッジに対する配慮 が緩い印象。とくに英文論文しか精査していないものなど。 • 英語文献だけで日本の英語教育研究を論じるのは、明らかにバ イアスがある。日本の英語教育研究の全体像が（とくに英語圏 では）検討されていない • 現状では、日本の（教育機関で働いている）英語教育（の一分野を）研究（している人による主観ベース）の全体像？ 2
- 3. １．問題の所在 学術的トレンドの量的内容分析（※） • 寺沢 (2010),Mizumoto et al. (2014), 本田ほか (2020), Honda et al. (2018), 深澤 (2020) • 共通項：特定の学会誌、解釈的コーディング 課題 • 学会誌というカバレッジ：査読トレンドの分析？コップの中の嵐？ • データサイズ：論文数はせいぜい2桁～数百 対案 • 学会誌よりも、（事実上の査読なし）学会発表（自由研究発表） 3 ※ なお、学会誌分析を、システマティック（系統的）レビュー（SR）と呼ぶべきではないと考えられる。SRにおける系統性は、 (1) 文献の系統的な収集（収集に関するプロトコルの設定）と、(2) 各研究結果の系統的な統合という2つの意味を持つが、学 会誌分析はほぼ常に前者を行っておらず（なぜなら検討対象＝特定の学会誌は所与の前提のため）、後者も限定的にしか 行っていない場合が多いため（特定のコードの出現率を算出することを「統合」とは呼ばない）。
- 4. 1.1. 膨大な量のテキストを分析する問題 対案：テキストマイニング（瀧川, 2019） •正確性：生起する単語をベースにするので客観的。仮説生成→検証が非常に容易 • 発見性：探索的な分析が可能。 • 分析時間：非現実的な分析量にはならない 4 正確 発見 現実的な 分析時間 大雑把な解釈的コーディング。印象批評的なレ ビュー × ○ ○ 無難な枠組みをもとに、決め打ち的にコードを 割り振る。コーディングは計1-2回程度 ○ × ○ 探索的に文献を解釈しながらコードを帰納的に 立ち上げる。それに応じてコーディングを多数 回実施。 ○ ○ × テキストマイニング △ △ ○ 正確性 vs. 発見性 vs. 分析時間というトリレンマ • 分析業務が長期におよび、解釈にブレ • ブレ低減のため無難なコーディング→発見性が犠牲に • 探索的な発見を重視→正確性が犠牲に
- 5. 1.2. 先駆的な先行研究：瀧川 (2019) •『社会学評論』（日本社会学会の学会誌）65年分の論文の本文（OCR化）をテキ ストマイニング • 構造的トピックモデルおよび頻度分析 5
- 6. 1.3. （構造的）トピックモデル • 文書内の単語の共起情報を利用して、文書の背後にあって各単 語を確率的に生起させているトピックを推定する手法（佐藤, 2015;石田 2020: 3章） • 単語図示型のテキストマイニングと違い、比較的少数のトピッ クに縮減可能 • 「1文書＝1トピック」ではなく、複数のトピックが重複可 6
- 7. 2. 分析対象 データ • 全国英語教育学会年次大会の発表概要（数百字／1件） •2004, 2010-2017, 2019, 2021年の計11回分（抜けている年次は入手できず） • 自由研究発表（実践・事例報告を含む）を対象 • 計2,323件の発表 • 日本語を解析（約１割を占める英語発表は、DeepL翻訳を用いて日本語に完全自動変 換） • 解析対象は、「発表題目＋要旨」を統合したもの 統計分析 R.4.2.0 • 形態素解析 {RMeCab} • 構造的トピックモデル {stm} 7
- 8.
- 9. 3.1. 分析方針 探索的・解釈的な分析 • トピック数は60を設定（瀧川(2019) も K = 60） 注） トピック数の目安を得るプログラム [stm::searchK()] を使ったところ、5個前後 が最適と出るが、大雑把すぎて解釈可能性が低かった 9 stm::prepDocuments( … lower.thresh = 3, upper.thresh = 5000) stm::stm( … K = 60, init.type ="Spectral")
- 10. 3.2. 推定結果：例として Topics1-3 • 各トピックを特徴づける単語（FREX：他と比較して当該トピック に特に出現する単語）の上位7つ • Topic 1：プロジェクト 協 学び 働 主体 リフレクション 振り返る • Topic 2：プレゼンテーション 論理 大会 コンテスト 要旨 論文 発信 スピーチ • Topic 3：肢 リスニング 多 選択肢 ディクテーション 錯乱 スペリング • 実際の文書の記述を考慮して、解釈的にラベル付与 • Topic 1 「協働学習・リフレクション」 • Topic 2 「フォーマルスピーチ」 • Topic 3 「テスティング：出題形式」 (※頻出語だけ見ると「リスニング」かなあと思うかもしれないが、実際の文脈を見ると、リスニング指導を論じた研究はなく、リスニングテストを含むテストの出題形式の 影響に関する研究が適切である) 10
- 11. 3.3. 全60トピック #55.....「～の影響」（因果デザイン） #50.....「プログラム」（留学と辞書が混在） #33.....CAN-DO #59.....CEFR #29.....ESP・ニーズ #37.....FonF/PPP #43.....L２処理・L2能力 #46.....誤り訂正 #16.....音韻 #32.....音読 #26.....学習方略 #15.....冠詞・名詞 #17.....教員養成・研修 #52.....教科書：本文の質的・量的分析 #08.....教師の成長 #01.....協働・リフレクション #39.....語・文の認知的処理 #04.....語彙a：コーパス分析 #19.....語彙b：学習タイミング・提示法 #45.....語彙c：意図的・付随的学習 #21.....構文・文型 #11.....コードスイッチング #44.....国際交流プログラム #22.....指導事例・授業改善の報告 #07.....指導法a：全般 #35.....指導法b：比較デザイン研究 #40.....社会文化比較全般 #54.....シャドーイング #18.....ジャンク1 #36.....ジャンク2 #25.....上位群 vs.下位群比較分析 #14.....小学校英語a：小中連携 #51.....小学校英語b：担任による指導 #05.....スピーキング活動 #27.....大学生対象の指導パッケージ #13.....大規模試験（大学入試・英検） #28.....大規模質問紙調査 #41.....タスク #20.....多読 #03.....テスティング：出題形式 #10.....テスト開発・妥当性検証 #12.....動機づけa：理論志向 #60.....動機づけb：非動機づけ #24.....読解a：推論 #34.....読解b：認知心理学 #48.....読解c：概要的理解 #58.....読解d：ストラテジー #31.....日本語母語話者の中間言語 #09.....発音表記論 #06.....評価手法：パフォーマンス評価・自動採点 #47.....品詞 #38.....不安 #02.....フォーマルスピーチ #53.....文学教材 #49.....文法指導（特定の文法事項に注目） #56.....文法習得（明示／暗示知識等） #30.....未知語・既知語の意味推測 #42.....訳（通訳・翻訳・和訳・英訳） #57.....ライティング訂正 #23.....流暢性 11
- 12. 3.3. 時代的トレンドが有意だったもの 上昇（経年増加） • #33CAN-DO • #59 CEFR • #01 協働・リフレクション • #28 大規模質問紙調査 • #12 動機づけa：理論志向 • #48 読解c：概要的理解 下降（経年現象） • #54 シャドーイング • #10 テスト開発・妥当性検証 • #04 語彙a：コーパス分析 • #21 構文・文型 • #23 流暢性 • #36 ジャンク2 12 ※時代的トレンド： p(Topici) ~ Year （線形回帰、学会年の1次項のみ）
- 13. 4. 推定結果から見る課題 納得がいく推定結果だが、発見性は低い。 • 分析するまでもなく自明のことを洗練された形で見せただけの「テキストマイニングあるある」 解決案1:分布の正確な推定 • どういうテーマが多いか／少ないかを明らかにする • トピックモデルでは、推定方法（例、仮定するトピック数）で結果が大きく変わり得るので、頑強性の高い方法（例、 単語の数え上げ）を使ったほうが無難 → 古典的内容分析 • テーマ分類は、データから帰納的に推定するより、既存の体系（英語教育学の概説書など）を利用するのが無難 解決案2: 時代的トレンド • Year項による説明力 • 直感が容易に働く10年程度だと実りが薄い。少なくとも数十年のスパンが必要 解決案3: 比較の視点（新たな変数の追加） • (a) 国内ELT学会（e.g. CELES, KATE, JACET, JALT） → コップの中の嵐のリスクあり？ • (b) 国外ELT学会（e.g. TESOL Assoc., AsiaTEFL）→日本的トレンドの推定 • (c) 他言語の学会（e.g. 日本語教育）→ 「言語教育」内部の変異の推定 • (d) 他教科の学会 → 「教育研究」内部の変異の推定 13
- 14. 4.1. 演繹的な古典的内容分析（簡易版） • 特定の単語にターゲットを絞る •注：現状では、キーワード集のようなものはないので、完全に演繹的にはやりき れない。勘で特定のキーワードを設定 • （クロス）集計 • 出現頻度の定義 • １つの文書（i.e. 1つの口頭発表）に 1回以上 出現した場合 = 1 • それ以外 = 0 14
- 15.
- 16. 四技能別 16 JASELE大会ト レ ン ド Percentage リ スニング スピーキング リ ーディ ング ラ イティ ング 聞 く |聴 く 話す 読 む 書 く リ スニング スピーキング リ ーディ ング ラ イティ ング 聞 く |聴 く 話 す 読 む 書 く 2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021 5 10
- 17. 三要素 17 JASELE大会ト レ ン ド Percentage 語 彙 発 音 文法 語 彙 発 音 文 法 2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021 5 10 15 20
- 18. 学校種別 18 JASELE大会ト レ ン ド Percentage 小 学 校 中学 校 高 校 |高 等 学 校 大 学 小 学 生 中 学 生 高 校 生 大 学 生 小 学 校 中 学 校 高 校 |高 等 学 校 大 学 小 学 生 中 学 生 高 校 生 大 学 生 2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021 0 5 10 15 20 25 30 35 40 45
- 19. 動機づけ 19 JASELE大会ト レ ン ド Percentage 動 機 動 機付 け 動 機 づけ 動 機 付 け|動 機 づけ 動 機 動 機 付 け 動 機 づけ 動 機 付 け|動 機 づけ 2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021 0 5 10
- 20. メソドロジー別 20 JASELE大会ト レ ン ド Percentage 実 験 コ ーパス 質 問紙 アンケート インタ ビュ エスノ グラ フ 実 験 コ ーパス 質 問 紙 アンケート インタ ビュ エスノ グラ フ 2004 2010 2011 2012 2013 2014 2015 2016 2017 2019 2021 0 5 10 15
- 21. 流行りの acronym 別 21 JASELE大会ト レ ン ド Percentage CEFR CLIL TBLT SLA CEFR CLIL TBLT SLA 20042010 2011 2012 2013 2014 2015 2016 2017 2019 2021 0 5
- 22. 4.2. AsiaTEFL との比較 •AsiaTEFL年次大会（2017年, 2020年）の Program Book 利用（数百 後の発表要旨）。自由研究発表を対象。（他の年次は入手でき ず…） • それぞれ、 n = 720, n = 284. • すべてDeepL Pro で日本語に（完全自動）翻訳 22
- 23. Estimated topics 0.00 0.05 0.100.15 Top Topics Expected Topic Proportions Topic 20: 誤用, 分詞, 節 Topic 15: 沈黙, ト ラ ン ス ラ ン ゲ ー ジ ン グ , 行為 Topic 3: モ デ リ ン グ , ス ピ ー キ ン グ タ ス ク , 自己 Topic 13: 修辞, www, 原文 Topic 18: テ キ ス ト , ア ウ ト ラ イ ン , マ ッ プ Topic 4: 副詞, 前置詞, 名詞 Topic 9: 読解, リ ー デ ィ ン グ ス ト ラ テ ジ ー , 推論 Topic 12: Vocabulary, 語義, 語彙 Topic 11: リ ス ニ ン グ , リ ス ナ ー , TOEIC Topic 7: 母音, 音韻, 音素 Topic 16: フ ィ ー ド バッ ク , 処置, 訂正 Topic 1: 開催, 助成, 原稿 Topic 2: 和, 合致, オ ー ス ト ラ リ ア Topic 6: DDL, ト ッ プ ダ ウ ン , 神経 Topic 17: マ ル チ メ デ ィ ア , 通信, Kahoot Topic 19: ELP, CLIL, 国民 Topic 14: ネ ガ テ ィ ブ , 発, Deci Topic 8: Extensive, 多読, 楽し む Topic 10: 実習, 新任, 現職 Topic 5: エ ン ジ ニ ア , EMI, Specific 23
- 24. Topic 10: 実習, 新任,現職, 初任, CF, リ フ レ ク テ ィ ブ ・ プ ラ ク テ ィ ス , 教職, Borg Topic 5: エ ン ジ ニ ア , EMI, Specific, ボ ラ ン テ ィ ア , 文学部, 飛躍, 大学院, 急務 Topic 17: マ ル チ メ デ ィ ア , 通信, Kahoot, ス マ ー ト , ガ , ジ ェ ッ ト , ICT, MALL Topic 19: ELP, CLIL, 国民, 労働, 史, 地球, 市民, 動向 Topic 16: フ ィ ー ド バッ ク , 処置, 訂正, CF, プ レ , Feedback, 書面, ポ ス ト Topic 2: 和, 合致, オ ー ス ト ラ リ ア , 省, 国々, 施行, 国語, 小学校 Topic 11: リ ス ニ ン グ , リ ス ナ ー , TOEIC, テ ス ト , TOEFL, ス ピ ー キ ン グ テ ス ト , セ ク シ ョ ン , Test Topic 9: 読解, リ ー デ ィ ン グ ス ト ラ テ ジ ー , 推論, 発問, イ ベ ン ト , ス ト ラ テ ジ ー , 出来事, 読 Topic 12: Vocabulary, 語義, 語彙, 単語, 英単語, コ ロ ケ ー シ ョ ン , 訳語, 辞書 Topic 4: 副詞, 前置詞, 名詞, フ ァ ー , 比喩, 抽象, 連語, 句 Topic 20: 誤用, 分詞, 節, 受動態, 接続詞, 用法, 動詞, 語句 AsiaTEFL JASELE Regression coef. 0.00 0.02 0.04 0.06 0.08 0.10 24 AsiaTEFL vs. JASELE 出現率に有意な差があったトピック JASELE ↑ ↓ AsiaTEFL ※ JASELEデータは2010年以降のみ stm::prepDocuments( … lower.thresh = 5, upper.thresh = 7000) stm::stm( … K = 20, init.type ="Spectral")
- 25. 25 diff_of_prob mean_of_prob EFL English The and for in is of on students that the to く る せる で き る ない ら れる わか る ア ン ケ ー ト イ ン タ ビ ュ ー イ ン ド ネ シ ア ク ラ ス グ ル ー プ コ ミ ュ ニ ケ ー シ ョ ン ス キ ル タ ス ク テ キ ス ト テ ス ト デ ー タ フ ィ ー ド バッ ク プ ロ グ ラ ム プ ロ セ ス モ デ ル ラ イ テ ィ ン グ リ ス ニ ン グ レ ベ ル 意識 意味 異なる 影響 英語 英文 音声 可能 課題 開発 外国 学 学ぶ 学校 学習 学生 活動 活用 関連 基づ く 教育 教員 教科書 教材 教師 教室 群 型 経験 結果 検証 検討 研究 見る 言語 語 語彙 効果 向上 構造 考え る 考察 行う 項目 高い 高校 作成 参加 使う 使用 指導 持つ 示す 示唆 自己 質問 実験 実施 実践 社会 授業 習得 重要 処理 書く 小学校 焦点 情報 生徒 説明 専門 多い 対象 大学 大学生 単語 知識 中学校 調査 動機 得る 特徴 読む 読解 内容 日本 日本人 認識 認知 能力 発音 発表 比較 必要 表現 評価 分析 文化文法 文脈 変化 報告 明ら か 目的 目標 問題 有意 与え る 用い る 要因 利用 理解 理論 論文 ←AsiaTEFL JASELE→ -0.5 -0.4 -0.3 -0.2 -0.1 0.0 0.1 0.2 0.05 0.1 0.2 0.4 0.8 頻出語の出現頻度： 学会による違い
- 26. 5. お願い 広く研究協力者（広義）を募集しますので、お気軽にご連絡ください。 • 共同研究・共著者（某ジャーナル） •共同研究者（英語教育研究の学術的トレンドの分析全般） • 意見交換 • 似たテーマ・似たアプローチを独立して検討 要旨集データを保存されている方、譲ってくれませんか…。 • JASELE: 2018年大会、および2009年以前の大会が missing（ウェブ サイトにもなし） • AsiaTEFL: 2017・2020以外すべての大会が missing • その他、有力大会、TESOL Assoc., JACET, JALT, KATE, CELES 等々 26
- 27.
- 28. ６．引用文献 • Mizumoto, A.,Urano, K., & Maeda, K. (2014). A Systematic Review of Published Articles in ARELE 1-24: Focusing on Their Themes, Methods, and Outcomes. ARELE, 25, 33-48. • Honda, K., Hoshika, M., Aoyama, T., Someya, F., & YAMAMOTO, T. (2018). A Systematic Review of Articles in KATE 1– 31 Changing Trends in the Field of English Education. KATE Journal, 32, 85-98. • 石田基広 (2020) 『実践 Rによるテキストマイニング』森北出版 • 佐藤一誠 (2015) 『トピックモデルによる統計的潜在意味解析』コロナ社 • 瀧川裕貴. (2019). 「戦後日本社会学のトピックダイナミクス」『理論と方法』34(2), 238-261. • 寺沢拓敬 (2010).「教育研究としての『外国語教育学』」 駒場言葉研究会・課題提起会 2010年6月26日 https://terasawat.hatenablog.jp/entry/20101102/1288721439 • 深澤清治. (2020). 『中国地区英語教育学会研究紀要』 第 1-49 号掲載論文における研究テーマ, 研究方法, 研究場面の系 統的レビュー. 中国地区英語教育学会誌, 50, 129-138. • 本田勝久, 田所貴大, 星加真実, & 染谷藤重. (2020). 小学校英語における研究動向―JES Journal のシステマティックレ ビュー―. 小学校英語教育学会誌, 20(01), 351-366. 28