20170710 icon技術セミナー2 劉

© GAKKEN HOLDINGS CO., LTD. All rights reserved. (GRI – Gakken Research Institute for Learning and Education)
CBTとは何か
～CBTの考え方と社会の多様性～
劉東岳
学研ホールディングス
学研教育総合研究所(GRI)
技術標準WG連続セミナー「未来の学びをささえる技術」
第2回「CBT：基本的な考え方とその関連技術」
2017年7月10日

 米国の労働者の47％が、今後10～20年で自
動化される確率が高い職種に従事している
 マイケル・オズボーン／2013年9月
 日本の労働者の49％が、今後10～20年で自
動化される確率が高い職種に従事している
 野村総合研究所／2015年12月
 (米国で)今年小学校に入学する児童の65％
は、現時点で存在しない職業に就く
 キャシー・デビッドソン／2011年8月
2
近未来の職業事情

 平成27年1月16日高大接続改革実行プラン
 2種類の新テスト
 平成28年3月31日高大接続システム
改革会議の「最終報告」
 CBTとIRTの導入を検討
 年に複数回の受験機会を確保
 平成29年初頭に「実施方針」を公表予定
 5月-6月にパブリックコメントを募集
 英語四技能(民間試験)、記述式問題
 平成36年度以降のCBTとIRTの導入を継続検討
3
高大接続システム改革

そもそも、テストとは
 人の“潜在的な特性”を測定する仕組み
 学力、思考力、○○力
 仕組みの背景にある理論・技術
 品質管理、機能検証、運用効率
 社会インフラとしてのテスト
 理論的・技術的な正しさ
 運用面やコスト面などの実現可能性
 公益性、公平性、納得感

 なぜCBTなのか
 コンピュータやモバイル機器の普及
 学びの現場におけるICTの活用(教育のICT化)
 “学び”だけ？テストのCBT化は必然
 CBTの利点（紙では実現が困難・不可能）
 問題レベル：多様な問題形式と解答(反応)情報
 試験レベル：複雑な出題ロジック
 制度レベル：柔軟な運用体制
CBT(Computer-based Testing)

 複雑な出題ロジック
 ランダムな出題順
 複数の固定フォーム
 LOFT(Linear-On-the-Fly Testing)
 CAT(Computerized Adaptive Testing)
 柔軟な運用体制
 運用体制(監督モード)
 受験機会

 LOFT (Linear-On-the-Fly Testing)
 問題プールから、条件に従い問題を抽出する
 受験者ごとに問題の組み合わせが異なる
 条件：内容、難易度、問題形式、時間など
 CAT (Computerized Adaptive Testing)
 コンピュータ適応型テスト
 解答状況に従い、次に提示する問題を決める
 受験者ごとに異なった難易度の問題を出す
 LOFTとCATの実現には、問題の事前評価が必要

 運用体制に基づく配信形態の分類
 国際テスト委員会(ITC)のガイドライン
Mode 典型的な実施体制
Open オンライン、個人認証なし、無制限
Controlled オンライン、事前登録、IDとパスワード
Supervised オンライン、遠隔地から監督、受験環境
の標準化に限界(技術的な課題)
Managed CBT専用のテスト会場(標準化された受験
環境)、厳格な個人認証、不正対策

Managed ModeのCBT
 日本では、高等教育以降のテストで使用
 高等教育に関連するテスト
 医学・歯学・薬学の共用試験
 TOEFL、GRE、GMATなどの海外留学
 専門職、ライセンスに関連するテスト
 IT技術者認定試験
 業界特化資格試験(金融業界、保険業界)
 人材・雇用に関連するテスト
 適性検査

CBTの課題・懸念点
 柔軟な受験機会を提供するには、初出主義
に固執して (問題を使い捨て)、新たに問題を
作成し続けるのは非現実的 (良問は知的財
産である)
 かといって、同じ問題を無制限に繰り返して
出題し続けるわけにもいかない
 CBTに必要なのは
 良い問題を効率良く作成・品質管理する体制
 問題を安全に再利用するルール
 違う問題でも結果を比較できる解釈方法(理論)

テスト理論（測定理論）
 試験の結果を解釈する理論の枠組み
 古典的テスト理論(CTT、Classical Test Theory)
 項目反応理論(IRT、Ｉtem Response Theory）
 古典的テスト理論
 広く普及している理論(平均点、偏差値など)
 項目反応理論(現代テスト理論)
 CBTの導入にIRTが必要な場面が多い
 CTTと比べると、IRTは直感的に分かりにくい
 日本の初等中等教育では、使用例が少ない

CTT（Classical Test Theory）
 古典的テスト理論
 素点(得点)が能力水準に対応する理論
 素点が高いほど、能力水準が高いと判断
 素点の比較には同じ問題であることが前提
⇒ 偏差値が考案された
 偏差値は自分以外に誰が受験したかに依存
 得点の中身(正答パターン)は考慮されない
⇒ 問題の難易度は考慮しないのか？

IRT（Item Response Theory)
 項目反応理論
 特殊な確率モデルで“能力値”を算出
⇒ 主なモデルは3種類： 1PL、2PL、3PL
 基準集団おける問題の特性(難易度など)が考
慮される
 受験者に提示された問題が違うことが、確率
モデルに織り込み済みなので、違う問題でも
結果を公平に比較できる
 成績が問題と周囲の受験者に依存しない

CBTとIRTを導入するには
 問題を事前に評価する必要があるの？
 問題の漏洩にならないの？
 違う問題で成績を比較することになるの？
 簡単な問題が出た人が得をしないの？
 得点自体では成績が決まらない？
 100点満点で、素点78点の受験者が素点80点の
受験者より成績が良くなることがあるの？
 これって公平な仕組みになるの？
 社会インフラとしてのテストの表面的妥当性

テストにおける公平性
 テストにおける公平性の考え方
 「同じ内容」
 「同等の機会」
 「適切な内容」
 すべての受験者に「同じ内容」
 日本的正義：良くても悪くても、みんな一緒
だから公平性は保たれる
 問題漏洩を避けるため、一斉受験が大前提
 体調不良、自然災害：運も実力のうち

テストにおける公平性
 それぞれの受験者に「同等の機会」
 「みんな一緒に」という価値観を守り続けるの
が現実的でなくなってきた
 周囲との“シンクロ”を強要しないで済む制度
 IRTの枠組みで、違う問題でも成績は比較可能
 それぞれの受験者に「適切な内容」
 できる人には難しい問題、できない人には簡単
な問題 ⇒ CAT - 適応型
 幅広い能力水準に対応が可能

なぜ大学入試にCBTなのか？
 賢く使えば、変化や多様性と相性がいい
 新しい学力観
 対象者の多様化
 柔軟な運用体制
 実現に何が必要か
 理論的・技術的な正しさ
 運用面やコスト面などの実現可能性
 目的の明確化
 社会の意識

ご清聴、ありがとうございました。
劉東岳 DL.Liu@gakken.co.jp

20170710 icon技術セミナー2 劉

Recommended

Recommended

More Related Content

More from ICT_CONNECT_21

More from ICT_CONNECT_21 (16)

Recently uploaded

Recently uploaded (10)

20170710 icon技術セミナー2 劉