SlideShare a Scribd company logo
学習者評価
大西弘高
医学教育国際協力研究センター
導入
 今までに受けた中で,悪い意味で印象に
残っている評価(試験,テスト)を思い
浮かべてみてください
 理不尽に不合格にされた
 そもそも教育がしっかりしていなかった
 脅迫的で,緊張を強いる評価だった
評価の重要性
 Assessment drives learning (Miller)
評価は学習を導く
例)韓国では,医師国家試験に2009年から実技評価を
採り入れた.不合格者が3%程度出て,裁判沙汰にも
なるなどの社会現象を引き起こす一方,シミュレーション
教育が非常に盛んになった.ただ診療参加型臨床実習
(クラークシップ)を推進したかった教育関係者の中には
むしろ後退したと苦言を呈する者もいた
評価に関する議論は多い・・・
 誰もが通過し,それなりに思いを持って
対応してきた経験を持つ
 原理は単純(に見える)
評価と評定
 評価
 目標と比較し,フィードバックを提供
 評定
 評価をレベル分けや点数に結び付け,合否を
判定可能な形にする
 学習者は最終的には評定を気にするが,そこに
至る学習プロセスには評価全体が重要
評価の種類:対象範囲
 学習者評価(assessment)
 本日の主題.これだけでもなかなか難しい
 ミクロレベル,学習者個人のレベルの議論と学
習者全体のレベルの議論
 カリキュラム評価(evaluation)
 日本語は同じ“評価”なので,混同しやすい
 マクロレベル,学習者全体を越えて包括的なレ
ベルでの議論になる
評価の種類:時期・目的
形成的評価
(formative)
総括的評価
(summative)
カリキュラムに
おける時期
カリキュラムの途中 カリキュラムの終わり
主目的 改善点を示す,
フィードバックする
評定をし,合否判定
などの決断につなげる
信頼性 必要性低い 必要性高い
データ:量的か質的か
量的データ 質的データ
客観性 一見高い 低い
学習者間の比較 容易 困難
情報量 少ない 多い
情報の圧縮
Q: 講義に満足しましたか.
1) 非常に満足 2) 満足 3) 少し満足 4) 不満
肺炎の起炎菌
S. pneumoniae -
most common
H. influenzae
K. pneumoniae
1)です.彼女の講義はよくまとまってい
て,分かりやすいです.
2)です.分かりやすい講義でしたが,
時に単純過ぎました.
3)です.講義ノートはいいですが,
あの作り笑顔が嫌いなので.
4)です.彼女の洋服,あまりに
イケてないんだもの
カリキュラム開発
 6-step Approach (Kern)
1. 問題の定式化と全般的ニーズ
アセスメント(医療・公衆衛生)
2. 対象学習者の
ニーズアセスメント
3. 教育目標
(一般目標と
個別目標)
4. 教育方略(内容+方法)
5. 実施(人・物・金・
時間のリソース,
組織内政治・・・)
6. 学習者評価と
プログラム評価
●
●
●
●
●
●
評価のあるべき姿
 教育目標,各学生の学習,評価は一貫性
を持ったものでなければならない
 評価は学生を動機づけるものであるべき
 信頼性,妥当性に優れたものであるべき
個別学習目標の記載
 SMART
 Specific – 対象が特定しやすい
 Measurable – 測定可能
 Appropriate – 適切(色んな意味で)
 Realistic – 現実的(教員・学生に無理がない)
 Time-bound – 時間経過を特定した
教育目標分類と評価
 知識(認知領域)
 想起,解釈,問題解決などのレベル
 スキル(精神運動領域)
 態度(情意領域)
 スキルがあっても行動が変わるとは限らないが,
スキルに態度変容が加われば行動が変容する
教育目標分類はなぜ有用か
 知識>スキル>深い知識,態度,という
評価のバランスになってしまいがちなことが
分かりやすくなる
 認知領域において,知識は問題解決の
必要条件だが十分条件ではない
目標・教育・評価のバランス
全般的能力(パフォーマンス)
想起レベルの
知識
態度 スキル
問題解決
レベルの知識
例)医師国家試験
 免許授与の可否を問う試験
 浅い知識のみが問われる(全てMCQ)
 合否判定は試験作成者が決定
 世界的には医師国家試験を行う国は少数
 問題点
 態度,スキル,深い理解は問われない
 大学別合格率が大学評価に利用される?
様々な評価法(主なもののみ)
教育目標 評価手法
知識 MCQ,短答記述式
深い理解 口頭試問,小論文
スキル OSCE,実地観察
態度 評価表,ポートフォリオ
臨床評価の真正性レベル
Knows
Knows How
Shows
How
Does
知識に基づく評価
筆記試験やCBTなど
(Miller GE. Acad Med 1990; 65: S63-7.)
臨
床
評
価
の
真
正
性
行動・パフォーマンスに基づく評価
技能・コンピテンシーに基づく評価
現場での業務能力・態度も関係
シミュレーション可能な技能
机の前で勉強して
点数がとれるもの
OSCE
 Shows howの評価
 利点
 ステーション数増やせば信頼性高い
 様々なスキルを評価可能
 欠点
 OSCEの評価項目に合わせて実際の利用を考
慮しない学習が惹起される可能性
 総括的評価の場合など極度の緊張生じる
態度領域の評価
 基盤となる知識についてはテストも可能
 態度そのものについては形成評価(フィードバ
ック)を重視する.総括評価(合否判定)は
むしろパフォーマンス評価で行うべきか
 総括評価は良い学習をもたらさないことも
 何らかの行動として表れたのであれば,その
行動自体を評価・フィードバックする
 「最近よく文献調べて診療しているようだね」
業務に基づく評価
(work-based assessment)
 Does,パフォーマンスの評価が可能
 Mini-CEX(mini clinical evaluation exercise):
外来での実患者の診察に対する概略評価
 DOPS(direct observation of procedural skills):
目の前でのスキルの実演をチェックリストで評価
High-Stake Test
 合否が修了認定に関わり,社会的に大きく
影響するような試験
 合否判定に関し,信頼性が問題となる
 内的一貫性:問題・課題の数,一元性etc
 評価者間信頼性:客観試験でない場合,評価
観点の標準化,評価者トレーニング,評価表の
構成などが問題に
内容
試験のブループリント,領域に対する項目の代表性,達成領域に
対するテスト内容の論理的/経験的な関連性
処理
プロセス
学習者によるテストフォーマットへの慣れ,スコアや評価の正確性,
部分点の分析
内的構造
項目分析データ:項目の難易度と識別係数など,
他の変数と
の関係
収束的相関,弁別的相関,エビデンスの一般化可能性
結果
テスト結果が学習者や社会に与える影響,
妥当性に関わる情報
(Downing. Med Educ 2003;37:830を改編)
 信頼性は妥当性に関わる情報の一つ
測定の標準誤差,一般化可能性分析
合否基準スコア決定
方法の妥当性,合否結果:決定の信頼性と分類の正確さなど
項目の信頼性,
小グループ討論のテーマ
 組織レベルでの総括評価(進級や卒業,
修了認定などに関わるもの)を何か選び,
現状の問題点,どう改革すべきかを考えて
下さい

More Related Content

More from 東京大学医学系研究科医学教育国際研究センター

Information technology (it) itself does not facilitate your teaching
Information technology (it) itself does not facilitate your teachingInformation technology (it) itself does not facilitate your teaching
Information technology (it) itself does not facilitate your teaching
東京大学医学系研究科医学教育国際研究センター
 
How to improve clinical teaching
How to improve clinical teachingHow to improve clinical teaching
Medical education using standardized/simulated patients
Medical education using standardized/simulated patientsMedical education using standardized/simulated patients
Medical education using standardized/simulated patients
東京大学医学系研究科医学教育国際研究センター
 
1. clinical reasoning
1. clinical reasoning1. clinical reasoning
Values-based practice
Values-based practiceValues-based practice
Values-based practice
Values-based practiceValues-based practice
Interprofessional Care for the Elderly in Japan
Interprofessional Care for the Elderly in JapanInterprofessional Care for the Elderly in Japan
Interprofessional Care for the Elderly in Japan
東京大学医学系研究科医学教育国際研究センター
 
06 Trend in health professions education
06 Trend in health professions education06 Trend in health professions education
06 Leadership, management & how to lead changes
06 Leadership, management & how to lead changes06 Leadership, management & how to lead changes
06 Leadership, management & how to lead changes
東京大学医学系研究科医学教育国際研究センター
 
05 Project management
05 Project management05 Project management
05 Programme evaluation
05 Programme evaluation05 Programme evaluation
03 Educational strategies and learning in health professions education
03 Educational strategies and learning in health professions education03 Educational strategies and learning in health professions education
03 Educational strategies and learning in health professions education
東京大学医学系研究科医学教育国際研究センター
 
03 implementation of a curriculum
03 implementation of a curriculum03 implementation of a curriculum
03 Assessment issues
03 Assessment issues03 Assessment issues
02.Background for curriculum development
02.Background for curriculum development02.Background for curriculum development
01.Learning theories best teacher
01.Learning theories   best teacher01.Learning theories   best teacher
01. international cooperation for health professions education
01. international cooperation for health professions education01. international cooperation for health professions education
01. international cooperation for health professions education
東京大学医学系研究科医学教育国際研究センター
 
Japanese interprofessional care for elderly
Japanese interprofessional care for elderlyJapanese interprofessional care for elderly
Japanese interprofessional care for elderly
東京大学医学系研究科医学教育国際研究センター
 
身体診察
身体診察身体診察

More from 東京大学医学系研究科医学教育国際研究センター (20)

Information technology (it) itself does not facilitate your teaching
Information technology (it) itself does not facilitate your teachingInformation technology (it) itself does not facilitate your teaching
Information technology (it) itself does not facilitate your teaching
 
How to improve clinical teaching
How to improve clinical teachingHow to improve clinical teaching
How to improve clinical teaching
 
Medical education using standardized/simulated patients
Medical education using standardized/simulated patientsMedical education using standardized/simulated patients
Medical education using standardized/simulated patients
 
1. clinical reasoning
1. clinical reasoning1. clinical reasoning
1. clinical reasoning
 
Values-based practice
Values-based practiceValues-based practice
Values-based practice
 
Values-based practice
Values-based practiceValues-based practice
Values-based practice
 
Interprofessional Care for the Elderly in Japan
Interprofessional Care for the Elderly in JapanInterprofessional Care for the Elderly in Japan
Interprofessional Care for the Elderly in Japan
 
06 Trend in health professions education
06 Trend in health professions education06 Trend in health professions education
06 Trend in health professions education
 
06 Leadership, management & how to lead changes
06 Leadership, management & how to lead changes06 Leadership, management & how to lead changes
06 Leadership, management & how to lead changes
 
05 Project management
05 Project management05 Project management
05 Project management
 
05 Programme evaluation
05 Programme evaluation05 Programme evaluation
05 Programme evaluation
 
03 Educational strategies and learning in health professions education
03 Educational strategies and learning in health professions education03 Educational strategies and learning in health professions education
03 Educational strategies and learning in health professions education
 
03 implementation of a curriculum
03 implementation of a curriculum03 implementation of a curriculum
03 implementation of a curriculum
 
03 Assessment issues
03 Assessment issues03 Assessment issues
03 Assessment issues
 
02.Background for curriculum development
02.Background for curriculum development02.Background for curriculum development
02.Background for curriculum development
 
01.Learning theories best teacher
01.Learning theories   best teacher01.Learning theories   best teacher
01.Learning theories best teacher
 
01. international cooperation for health professions education
01. international cooperation for health professions education01. international cooperation for health professions education
01. international cooperation for health professions education
 
Japanese interprofessional care for elderly
Japanese interprofessional care for elderlyJapanese interprofessional care for elderly
Japanese interprofessional care for elderly
 
Ipe多職種連携教育
Ipe多職種連携教育Ipe多職種連携教育
Ipe多職種連携教育
 
身体診察
身体診察身体診察
身体診察
 

05 学習者評価