Downloaded 11 times
More Related Content
06 医学教育プログラム評価とPCM
- 1.
- 2.
- 3. カリキュラム開発 6-step Approach(Kern) 1. 問題の定式化と全般的ニーズ アセスメント（医療・公衆衛生） 2. 対象学習者の ニーズアセスメント 3. 一般目標と個別目標 4. 教育方略（内容＋方法） 5. 実施（人・物・金・ 時間のリソース， 組織内政治・・・） 6. 学習者評価と プログラム評価 ● ● ● ● ● ●
- 4.
- 9. プログラム評価のあり方 単に良い・悪いと一元的に決められる 評価など，きっとほとんどない 現状の改善，失敗からの学習，次回 に活かす・・・ 誰が，何を，誰のために，何のために， どのように，どのような枠組みにて，どの 程度のコストで，どの程度まで評価す ればよいのか
- 10. プログラム プログラム評価の文脈 何かの目的（ゴール）を達成するために， 人が中心となって行う活動全般 政策評価の文脈 あるアウトカム目標を実現するための施策， 事業の集合体
- 11. プログラム評価の定義 （Program Evaluation） Scriven(1967) 方法論的な活動により，実績データを目 標値と照らし合わせること Scriven(1991) 明確化および正当化された基準により， 物事（つまりプログラム）の価値を判断す ること 以前よりはプログラムのvalueを重視する定義 が増えている印象
- 12. 何を評価するか プロセス（process） 工程（operation） 機能（function） アウトカム・結果（outcome） 効果（effectiveness） アウトプット（output） インパクト（impact） 自律発展性（sustainability）
- 13. プログラム評価の目的 形成的評価（formative evaluation） 目的：プログラムの発展と改善 総括的評価（summative evaluation） 目的：アカウンタビリティ 価値判断や意思決定のための評価 評価を通じた知識の習得や付加 宣伝活動のための評価
- 14. 内部と外部の目 外部からの評価・分析 内部の政治から中立 一部の情報へはアクセスが困難 内部からの評価・分析 情報は豊富 評価が学習につながる 重要な側面が死角になる／隠蔽されること がある
- 15.
- 16.
- 17. デザイン，実施，推論の対応 デザイン 実施 研究テーマ 研究計画実際の研究 予定された サンプル集団 研究結果 研究範囲での 真理 普遍的真理 推論 推論 内的妥当性 目的とする 現象 予定された 観察因子 実際の測定 外的妥当性 実際の 研究参加者 目標母集団 誤差 誤差 (木原監訳．医学的研究のデザイン．p35)
- 18. 量的データによる評価の課題 対照群を設けること（教育しない群ができる）， ランダム割り付けすることは倫理的にOK？ 対照群は人口動態学的要因，心理学的要因 に関して実験群と同等か 全国展開するプログラムには比較群無し 真の実験デザインを選択すること自体が困難
- 19. 倫理的懸念を避けるデザイン ランダム化比較事前事後テスト E O1- - X - - O2 R C O1 - - - - - O2 ※対照群の学生は教育介入を受けられない 交代介入による比較事前事後テストデザイン E O1 - - X - - O2 - - - - - O3 R C O1 - - - - - O2 - - X - - O3
- 20. 広義の準実験デザインの工夫例 複数指標による１群事前事後テストデザイン O1A O1BX O2A O2B O1AとO1Bに有意差がなく， O2AとO2Bにも有意差がない O1AとO1Bの平均とO2AとO2Bの 平均との間には有意差がある Xが差をもたらしたと推測可能 履歴効果，成熟効果，測定 効果，テスト効果は，いずれ もゼロではないが，単なる事前 事後テストデザインよりははるか によい
- 21. 準実験デザインの工夫例 複数回の事前テストによる不等価統制群事 前事後テストデザイン 介入群において， 介入後の傾きの 変化が大きい EO1 O2 X O3 C O1 O2 O3 O1 O2 O3 E C
- 22. データの性質 量的データ 仮説検証 科学的モデルの利用 標準化され，客観的で （信頼性のある），再 現性を持つ，一般化可 能性のある結果の強調 ランク付けが可能 質的データ より自然な状況で 研究者自身を道具として 利用可能 分厚い記述 社会プロセスへの焦点 多種のデータ収集方法の 利用 研究目的ならばどちらかだけを使うことが多いが，評価目的なら 両方上手く用いるべき
- 23. 科学的側面と実用的側面 Donald Campbell(1969) 政策やプログラムに関する決定は，社会状況を 改善するための方法を検証する継続的な社会 実験から引き出されるべき Lee Cronbach (1982) 評価も科学的研究と同様の科学的手続はとる が，評価の目的は科学的研究から明確に区別 されるべき．利害関係者のニーズ充足を志向す べき．
- 24. 研究と評価の違い 研究 評価 探求の焦点 考察決定 結果の一般性 高 低 重要性の基準 真実 価値
- 25. カリキュラム評価論 行動目標的アプローチ（Tyler RW） ゴール・フリー評価（Scriven M） 羅生門モデル（Atkin JM）
- 26. 評価アプローチの観点 Objectives- oriented Management -oriented Consumer- oriented Expertise- oriented Adversary- oriented Participants -oriented Utilitarian Evaluation Intuitional- pluralist Evaluation • Stake’s Countenance Model • Transactional Ev •Illuminative Ev • Democratic Ev • Naturalistic Ev • Responsive Ev • Owen’s model • Judicial Ev • Formal/ informal Professional Review • Ad Hoc Panel/ individual Review • Educational Connoisseurship and Criticism • Scriven’s model (goal free Ev) • Tylerian Ev Approach • Logical method ------------------------ • Stufflebeam’s CIPP Ev Model
- 27. マネジメント志向型評価 ～CIPP評価モデル（Stufflebeam）～ Context：計画を評価．ニーズ調査 Input：システムを評価．リソース調査 Process：実施段階を評価．開始後の問 題点や改善点を調査 Product：アウトカムを評価．当初計画と 比較し見直しを図る
- 28. Project Cycle Management 計画，実施，評価の３つのプロセスからな るプロジェクトのライフサイクルを，PDM （ProjectDesign Matrix）を用いて運 営管理する方法 PDMを見れば，プロジェクトの概念構成が 一目で分かる 評価はマネジメント志向型
- 29. PDM: Project DesignMatrix プロジェクト要約 指標（客観的に提 示可能なもの） （データ） 入手手段 （満たすべき） 外部条件 上位目標 （インパクトレベル） プロジェクト目標 （アウトカムレベル） アウトプット 活動 インプット 前提条件
- 30. 上位目標 ラオス国において医師に対する臨床研修の質が改善される ﾌﾟﾛｼﾞｪｸﾄ 目標 セタティラート病院において医学部学生の臨床実習及び医学部卒業後2年以内の 医師の卒後早期臨床研修の質が改善される ｱｳﾄﾌﾟｯﾄ 1.セタティラート病院の教育病院としての臨床研修に関する知見が拡充される 2. セタティラート病院において研修管理体制が改善される 3. 臨床研修指導担当医の能力が強化される 活動 1-1. ベースライン調査を実施 1-2. 教科書や参考書を導入 1-3. 研修センターの建設と実習活動 1-4. 診療録の内容や管理方法を改善 1-5. 症例呈示のための学習教材作成 2-1. 病院の臨床研修の理念を設定 2-2. 研修管理委員会(TMC)を設置 2-3. TMCを開催する 2-4. TMCの議事を蓄積する 2-5. MTUの機能を向上する 2-6. 図書館の運営を改善する 2-7. 内部モニタリングを設定する 2-8. 保健省人材育成ワーキンググルー プでプロジェクト成果を反映 3-1. TOTカリキュラムを策定 3-2. TOTのための指導教材作成 3-3. 教育病院でTOT研修を実施 3-4. 医学教育セミナー開催 3-5. 指導医モニタリングの基準設定 3-6. 指導医をモニタリング 3-7. ニュースレター、ポスターによる教育 普及 PDMの例（ラオス）
- 31. プロジェクト要約 上位目標 （インパクト） 新しい医学教育システムがアフガ ニスタンで標準となる プロジェクト目 標 （アウトカム） カブール医科大学で総合医育成の 新しい医学教育モデルが導入され る アウトプット 1. 総合医育成教育の質改善 2.医学教育センターの機能強化 活動 1-1 FDの実施 1-2 教材作成 1-3 新しい教育方法の導入 1-4 評価システムの策定 1-5 教育の実施 2-1 情報収集システムの構築 2-2 医学教育ニュースの発行 2-3 EDCのスタッフ育成 2-4 評価への認識の向上 2-5 FDの計画，実施，運営 1. 基本政策が不変 2. 政府が総合医を重視 1. 権力側が卒前教育を重視 2. 保健省と教育省・カブール 医科大学の連携が上手く いく 1. 頭脳流出が起こらない 2. 医学教育センターの教員 や職員が仕事を継続 政治の安定 その他の前提条件 重要な外部条件 プロジェクト終了時評価の例（アフガン）
- 32.
- 33. ロジックモデル プログラムマネジメントの一環としてプログラムを 可視化するツール 因果関係の流れを示したチャート図において 各要因がif-thenでつながる（Kellogg Foundation,2001） 投入 input 活動 activity 結果 output 成果 outcome インパクト impact
- 34. 投入(input): 資源 プログラムに直接的・間接的に関わるもの ヒト → スタッフ，運営委員等 モノ → 物品，設備等 カネ → 資源にかける費用 場所 → 施設 時間 → 会議や運営にかける時間 情報 → 資源，運営に必要な情報
- 35. 活動(activity): 方略 プログラムの中身 講義，小グループ活動などの教育 医療サービスの提供そのもの カンファレンスや回診など混在したもの
- 36. 結果(output) プログラムによって直接的にもたらされる目標 活動の期間や回数 患者心理に関する小グループ学習が10回実施される 倫理ケアカンファレンスが週1回のペースで継続される プログラムが果たした機能や役割 患者心理への配慮に関する認識が高まる 倫理的ケアの分析方法を身に付ける
- 37. 成果(outcome, impact) プログラムによる受益者・利用者レベルの変化 患者や社会 倫理的なケアの問題の指摘が減少する，または内容 に客観的な変化が表れる 組織運営 倫理ケアカンファレンスが組織に根づき，継続される
- 38.
- 39.