「自然言語処理技術を用いた教育測定・評価における方法上の課題」 日本教育心理学会第57回総会 研究委員会企画チュートリアルセミナー 教育心理学研究のためのテキストデータの計量分析 Wed. Aug 26, 2015 4:00 PM - 6:30 PM メインホールB (2階) 企画・司会:星野崇宏(慶應義塾大学), 荘島宏二郎(大学入試センター), 講演:樋口耕一＃(立命館大学), 富田英司(愛媛大学)

1. 自然言語処理技術を用いた
教育測定・評価
における方法上の課題
富田英司
tomida@ehime-u.ac.jp
愛媛大学教育学部
1
日本教育心理学会第57回総会
研究委員会企画チュートリアルセミナー
教育心理学研究のためのテキストデータの計量分析
Wed. Aug 26, 2015 4:00 PM - 6:30 PM メインホールB (2階)
企画・司会:星野崇宏(慶應義塾大学), 荘島宏二郎(大学入試センター),
講演:樋口耕一＃(立命館大学), 富田英司(愛媛大学)

2. 2
自己紹介
● KH Coderの10年来のユーザー
● 専門：教授学習（議論教育，教育評価，個別学習支援）
● 最近の関心：国際交流を通したコミュニケーション力育成
● 近著：

3. 3
発表の概要
1.KH Coderとの出会い
2.商用ソフトにないKH Coderの魅力
3.自然言語処理を教育測定・評価に活かす
a)スクリプトによるコーディング
b)キーワードによる談話分析
➢学習過程の間テクスト的分析
4.まとめ：自然言語処理を教育心理学でさ
らに活用する上での今後の課題

4. 4
KH Coderとの出会い
● 山内保典氏（大阪大学）から「KH
Coderっていうのがあって便利だ
よ」と聞く
● 使ってみた感想
– 簡単便利
– 動作も軽快で安定
– 分析に柔軟性がある
– 当時まだ使いにくかった形態
解析プログラム「茶筅」が誰
でも扱える
● 以降，内容分析以外の用途で様々
なデータに適用（右記参照）
● 富田英司 2007 「議論のダイナミクスを生け捕る発話間引
用ネットワーク分析」 『九州大学心理学研究』 8: 73-83
● 富田英司 2007 「発話間引用ネットワーク分析（IQNA）に
よる授業中の話し合いの質の評価」 『言語処理学会第13
回年次大会発表論文集』 494-497
● 富田英司 2007 「生命倫理学をテーマとしたグループ・
ディスカッションの評価方法の提案」 （ワークショップ
「『科学技術リテラシーの育成』プロジェクトの構想と展
開」） 日本認知科学会第24回大会 9月3日
● Tomida, E. 2007 "Measuring Quality of Discussion:
Four Tools of Inter-Utterance Quotation Network
Analysis," Informatics 1(1): 5-17
● Tomida, E. 2007 "Finding an Index of a Student-
Centered Classroom Discussion Using Inter-Utterance
Quotation Network Analysis," 12th Biennial
Conference for Research on Learning and Instruction
(Budapest, Hungary: 8/29)
● 富田英司 2008 「反復的自己反駁課題による反省的思考の
深まり」 『日本教育心理学会総会発表論文集』 50: 566
● 富田英司 2010 「反論-再反論構造の判別しやすさを規定す
る談話指標の探索」 『日本教育工学会論文誌』
34(Suppl.): 97-100
● 富田英司 2010 「テキストマイニングによる議論構造の評
価」 日本教育心理学会第52回総会 於・早稲田大学 8月28
日
● 富田英司・沖林洋平・田村恭久 2012 「Moodle上の活動と
学習成績の関係」 『愛媛大学教育学部紀要』 59: 91-97
● Tomida, E. & Maruno, S. 2005 "Inferring
Conversational Functions in Japanese Discourse with
Discourse Marker Complex," The International
Workshop on Conversational Informatics collocated
with the 19th Annual Conference of the Japanese
Society for Artificial Intelligence

5. 5
商用ソフトにないKH Coderの魅力
● 無料である
● 動作の迅速さと安定性
● 汎用性の高い出力形式
– R等の他の統計パッケージで処理するのに便利
● アルゴリズムの透明性
– 商用ソフトはしばしば内部での処理過程がわかりにくい

6. 6
自然言語処理を教育測定・評価に活かす：
教育心理学的ニーズ
● 学習過程の研究ニーズの高まり
– 談話過程を測定・評価する手法が必要
● 談話過程の分析における課題
– 対象選択における恣意性の高さ
– コーディング手続きのコスト
– コーディングの信頼性における課題
→これらはKH Coderを活用することでか
なり改善することができる

7. 7
a)スクリプトによるコーディング
● 一般的なマニュアル・コーディング
– スキーマ作成 ➡ マニュアル作成 ➡ 複数のコーダーによる試行 ➡ スキーマとマ
ニュアルの改善 ➡ 複数のコーダーによる試行...
– 利点：複雑な構成概念を分析の対象とすることができる
– 限界：労力と時間を費やしても，分析結果次第ではやり直し
● スクリプトによるコーディング
– スキーマ作成 ➡ スクリプト作成 ➡ スクリプトの信頼性の検討 ➡ スクリプトの
改善...
– 利点：(1)分析結果を得るまでの期間が短く探索しやすい，(2)信頼性が高い，(3)
マニュアル・コーディングの判断基準が明確になる
– 限界：(1)局所解に陥りやすい，(2)分析対象となる構成概念が複雑な場合には言語
的特徴と結びつけ難い，(3)揺らぎや新語，誤り，省略の多い談話を分析しにくい
● 研究例
– 富田英司 2010 「反論-再反論構造の判別しやすさを規定する談話指標の探索」 『日本教育工学
会論文誌』 34(Suppl.): 97-100
– Tomida, E. & Maruno, S. 2005 "Inferring Conversational Functions in Japanese Discourse
with Discourse Marker Complex," The International Workshop on Conversational
Informatics collocated with the 19th Annual Conference of the Japanese Society for
Artificial Intelligence (Kita-Kyushu, Japan: 6/14 )

8. 8
事例：富田(2010)反論-再反論構造の判別しやすさを規定する
談話指標の探索(日本教育工学会論文誌 34,97-100)
● 目的：大学生の作文で，複数の主張を吟味するような「主張−反論−再反論」
の構造を判別するための談話的特徴を特定し，評価や指導に役立てる
● 分析：
– 「主張−反論−再反論」構造の有無と判断の難易度を２名の協力者が評定
– 人手による探索結果：「確かに～だが」や「～かもしれないが」，「～という人もいる
が」というような表現が「判断が容易な作文」に多い →「命題＋逆接パターン」
– 命題＋逆接パターンを特定するスクリプト（コーディングルール）の作成
（例）＊かもしれないと逆接が
seq(かも-しれる-が)[75]
＊かもしれない逆接パターン
( <＊かもしれと逆接が> & が(助詞-接続助詞) ) | seq(かも-しれる-しかし)[75] | seq(かも-しれる-けれど)
[75] | seq(かも-しれる-けれども)[75] | seq(かも-しれる-しかしながら)[75]
– 結果：「命題＋逆説パターン」を持っているにも関わらず構造の判断が難しい作文の特徴
（１）逆接の多用による構造の複雑化
（２）主張自体の曖昧さ・複雑さ
（３）主張の適用範囲の限定との混同
（４）理由・根拠の構造の曖昧さ
– 教育的示唆：命題＋逆説パターンを読者に分かりやすく書くためのコツとして利用可能

9. 9
b)キーワードによる談話分析
● キーワードを分析の単位とする分析
– ある語をある認知活動の証拠とみなす
– KWIC (keyword in context)を用いた例（Wegerif & Mercer, 1997）
● 推論の質の指標としてのキーワード
– ‘if’ used to link a reason to an assertion
– ‘so’ used to link a reason to an assertion
– ‘because/’cos’ used to link a reason to an assertion
● キーワードによる分析は学習過程の解明に特に役立つ
– 利点：(1)分析の意味が分かりやすい，(2)分析が容易
– 限界：(1)特定の語を特定の認知過程と強く結びつけ過ぎているため，学習者による意図的
な歪曲があれば，誤警報が起きやすい，(2)表現のバリエーションによる検出ミスに弱い

10. 10
学習過程の間テクスト的分析
• テクストとは：文学研究で用いられる語で，狭義には書かれたもの，広義に
は話された言葉を含む談話を全て含む
• テクストは常に他のテクストとの相互関係の中で成立（Kristeva, 1966）
• 様々な間テクスト性：学習は常に間テクスト的である
– 個人内：既有知識と関連づけて新しい概念が学習される
– 個人間：他者の発言と関連付けて生成される新しい発言
→換言すれば，主体がテクスト間に作る繋がりが深い処理を通した学習
– 談話内容の間テクスト性：学習理解の進展過程の分析に特に利用可能
– 談話ジャンルの間テクスト性：言語使用スキルの学習過程の分析に特に利用可能
• 研究例
– 富田英司 2007 「議論のダイナミクスを生け捕る発話間引用ネットワーク分析」 『九
州大学心理学研究』 8: 73-83
– 富田英司 2007 「発話間引用ネットワーク分析（IQNA）による授業中の話し合いの質
の評価」 『言語処理学会第13回年次大会発表論文集』 494-497
– 高垣・富田（2012）教室におけるアイデア伝播と受容の過程:水の状態変化を事例とし
て 認知科学 19(2), 175-190
10

11. 11
認知機能の社会的起源（Vygotsky, 1980）
• 文化的発達の一般発生的法則
– General Gentic Law of Cultural Development
• 「・・・子どもの文化的発達におけるすべての機能は，二
度，二つの水準にあらわれる．最初は社会的水準であり
，後に心理的水準にあらわれる．すなわち，最初は精神
間カテゴリーとして人々の間に，後に精神内カテゴリーと
して人々の間にあらわれる．このことは，随意的注意，論
理的記憶，概念形成，意志の発達など，いずれにも同じ
ようにあてはまる．」
11

12. 12
• 談話コンテンツの間テクスト的分析
– 神奈川県の私立小学校４年生理科単元
「水のすがたとゆくえ」（全 7 時間）
● 学習直後でも児童の約 7 割が水の沸騰時の泡を空気と考える(松
浦・遠西, 1986; 森本, 1989)
– 授業は班活動として実施され，教師が提案した問いに回答するために班
で議論を重ねる．教師は時折実験を実演し，それをヒントに班で検討．
– 授業の終わりには毎回児童が自分の理解内容を図として描画し，これを
分析対象とした
• 分析の観点
– 水の粒子特性が児童の間に広がっていく過程を分析
– 全ての談話データから,水の粒子特性を示す単語の出現位置を特定し，
その出現状況を時系列で整理
※ 網羅的に分析することで対象選択における恣意性を低減できる
12
事例：高垣・富田（2012）教室におけるアイデア伝播と受容の
過程 : 水の状態変化を事例として 認知科学, 19(2), 175-190

13. 13
図 1 授業中に作成された児童の理解モデル例
（高垣・富田，2012）

14. 14
表1 理解モデルの粒子特性の出現傾向
（高垣・富田，2012）
Group 1 2 3 4 5 6
ID WK TK KC MN UY HA SA KS OY DH SK JK HO MO TF KI H I HM TS NM TN IT IY NC KM HS KY
1st 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
3rd 1 1 0 0 1 0 0 0 1 1 1 1 1 1 1 0 0 0 0 1 1 0 0 0
4th 1 0 0 0 0 0 0 0 1 1 0 0 0 0 0 0 0 0 0 0 1 0 0
5th 1 1 0 1 1 0 0 1 0 1 0 0 1 1 1 0 1 1 0 0 1 1 0 1
Post 0 1 1 0 1 1 0 0 0 1 0 0 0 0 0 0 1 1 0 0 1 1 1 0

15. 15
● 教室で展開するアイデア伝播過程の特徴
①アイデアの投機性：理解の鍵となる重要なアイデア
を出した者がそのアイデアを用いて適切な理解に至
るとは限らない
②教師の再声化が教室内でのアイデア伝播を媒介して
いる
③個人がアイデアを受容するかどうか決めているの
は，(1)教師が再声化する文脈や状況，そして(2)グ
ループメンバーによるアイデア評価，(3)グループ内
で新しいアイデアに対して疑問が表明された際に十
分な説明があること
高垣・富田（2012）の結論

16. 16
談話ジャンルの間テクスト的分析の事例
• 1年生算数（2012年10月31日に公立小学校で実施された研究授業）
– 繰り上がりのある足し算
– M小学校１年生算数
– T教諭（1年○組の担任，教職5～6年目，女性）
• 問題の解き方について，個別活動の後にペア活動をおこなうことをパターンとしている
• ペア活動は児童が机を離れてパートナーを変えながら進める
• ペアで説明し合った後，友達に一言感想を述べる
• T教諭が持っている説明活動への期待
– 自分の考えを持って表現する
– 表現する喜びを味わう
– 相手意識を持って話す
– 友達の考えを最後まで聞いて，友達の考えについて話せる
16

17. 17
（1）表現の間テクスト的伝播
■１回目
【A】しき，３たす・・・８たす３は１１．理由は８台とまっていました，３だいくるまがきたの
で，こたえ１１台です．
【B】よくわかりやすいです．しき，８たす３は１１．理由は・・・えっと，８だい止まって，３
だいきたので１１だいです．
■２回目
【A】しき，８たす３は１１．理由は８だい止まっていました，３だいきたのでこたえ１１だ
いです．
【C】よくわかりやすかったです．しき，８たす３は１１です．８だい，最初に８だいとまっ
ていました．３だいきたから，答えは１１だいです．
【A】よくわかりやすいですね．
■３回目
【D】８たす３は１１で，理由は最初に８だいいて，３だいきたので１１だいです．
【A】しき，８たす３は１１．理由は８だい最初にとまっていました．８，あっ，３だいきた
ので，こたえ１１だいです．
【D】同じ考えですね．
【A】はい． 17

18. 18
（2）談話ジャンルの間テクスト的断絶
• 課題：「カキが13個なっています．9ことると，のこりはいくつです
か．」（ホワイトボードと磁石ブロックを使用）
1. 男児 式，１３－９＝３．理由は１３から９をひいて，１，２，３，４，５，６，
７，８，９．９ひくから３です（女児がブロックの動きを見つめる）．こたえ３
です（女児の目が泳ぐ．男児を見ないで女児は自分の式を消す）．
2. 女児 （自分の式を直して，小さい声で）わかりやすかったです．
3. 男児 ありがとうございます．（表情なし，目を見合うこともない）
4. 女児 式，１３－９＝３．わけは．．．
5. 男児 （直接女児のWBを指さして）４になっとる（消してあげる）
6. 女児 （聞き取れないが，立式してその理由を言う．ブロックを数えなが
ら移動させるが，式とブロックが対応しない）
7. 男児 ８よ，それ．
8. 男児 １，２，３，４，５，６，７，８，９．え？ １，２，３，４，５，６，７，８，９
．（女児のほうを見ながら呆然） なんで？
18

19. 19
談話ジャンルの間テクスト的分析
から分かること
● 表現やジャンルの伝播は容易に観察される
● 話型として教えた談話ジャンルは文脈に応じて運用されにくい
– 説明に誤りがない状況
● 学習内容の理解をチェックすることは可能
● 説明を通して学ぶことはあまりない
– 説明に誤りが見つかった状況
● 本来はこの時こそ相談することが期待される
● 誤りが見つかった時には，話型の使用が崩れ，コミュニケーションも破綻しやす
くなる
● しかし，このような状況こそ，学習内容をより深く理解するチャンスである
● 示唆：談話ジャンルが交差する瞬間が学びの機会
– この機会を活かす学習環境の設計が重要

20. 20
自然言語処理を用いた教育研究の発展に向けて：
一般的な方法上の課題
● 語の多様性や多義性の問題
– 概念辞書をより気楽に使える環境が必要
● コーディングの信頼性に関する合意形成
– マニュアル・コーディングの結果とどの程度
一致する必要があるか
– 一致率だけを問題にするだけで十分か：誤警
報，検出ミスの割合等
● マニュアル・コーディングとの併用

21. 21
自然言語処理を用いた教育研究の発展に向けて：
間テクスト的分析のための方法論の確立
● 分析単位の水準
– キーワード
– キーワード＋文脈情報
– 概念（同義語）
– 談話スタイル
● 文脈を示すスタイル（ジャンル）
● 文脈依存のスタイル
● 文脈一般のスタイル
● 分析の観点
– 縦断的分析と横断的分析
– 生活概念と科学概念の融合を測定する指標の開発
– 談話ジャンルの変容や切り替え
– 個人間の遷移

22. 22
結論
● KH Coderは汎用性の高い分析ツールである
● 今回は教育を目的とした学習過程の測定や評価を間テクス
ト性の面で追究
– 今回ご紹介した分析の多くは探索的
● これまでの研究事例に囚われない分析の可能性
– 新しい指標が気軽に提案される研究風土が発展に貢献
● お手元のデータをKH Coderで探索することできっと新しい
分析の観点が見えてきます