科学技術コミュニケーション実践の評価Ver.3
•
1 like•379 views
Recommended
More Related Content
Viewers also liked
Viewers also liked (10)
Similar to 科学技術コミュニケーション実践の評価Ver.3
Similar to 科学技術コミュニケーション実践の評価Ver.3 (20)
More from Professional University of Information and Management for Innovation （情報経営イノベーション専門職大学）
More from Professional University of Information and Management for Innovation （情報経営イノベーション専門職大学） (20)
科学技術コミュニケーション実践の評価Ver.3
- 1. 科学技術コミュニケーション実践の 評価手法 ～評価の一般的定義と体系化の試み～ 北海道大学 高等教育推進機構 高等教育研究部科 学技術コミュニケーション教育研究部門 (CoSTEP) 石村源生
- 2. 科学技術コミュニケーション実践の 評価の現状 • 2004年頃より、国内での科学技術コミュニ ケーション実践事例の蓄積と拡大。 • より質の高い科学技術コミュニケーション実践 を持続的に行っていくために必要なこと。 – ステークホルダー、当事者にとって納得性、利用 可能性の高い評価の実施 – そのための「評価手法の体系化」 • 現状では、そのような体系化は十分なされて いるとは言い難い。
- 3. 「実践の評価体系の不備」はどのよう な問題をもたらすか 1. 異なる実践を相互比較するために利用できる 共通基盤を持てない。 2. 科学技術コミュニケーションの実践から理論 を構築していくことが難しい。 3. 科学技術コミュニケーション実践に公的資金 が投入されている場合、説明責任を果たすこ とが難しい。 4. 科学技術コミュニケーションの実践者が定 まった評価を得ることが難しい。
- 4. 科学技術コミュニケーション実践の評価 はなぜ難しいのか • 解くべき問題が明確に定義されていない。 – 「科学技術コミュニケーション」、「実践」といった概 念の定義が多様である。 – 「実践」の目的が多様である。 – 一つの実践の中に複数の目的が含まれており、 個々の実践ごとにその組み合わせも多様である。
- 5. 多様性の理由 1. アクターの多様性 – 理科教育関係者、科学館・博物館関係者、研究 者コミュニティ、科学ジャーナリスト、サイエンスライ ター、研究機関広報関係者、科学技術行政担当 者、産業界、科学技術社会論研究者、市民団体 など、さまざまなアクターが関与していること。 2. 対象の複雑性 – 科学技術コミュニケーション実践が扱う対象自体 のトランスサイエンス的な複雑性。
- 6. 発表者の立場 • 発表者は、これらの多様性は「解消されるべきもの」では なく、科学技術コミュニケーションにとってむしろ「本質的 なもの」である、という立場を取る。 • 本発表の主旨は、科学技術コミュニケーション実践の目 的を規範的に定めたり、何らかの原理から導出したりす ることによって望ましい実践評価の形を描出することに あるのではない。 • むしろ実践目的の多様性を前提とし、その多様性にも関 わらず評価のための共通言語を獲得するためにこそ、実 践評価の体系化の試みが必要かつ有効であると考える ものである。 • その場合、実践の「目的」もまた、評価体系における一 つの「変数」であると位置づけられる。
- 7. 他分野の評価手法の援用は可能か（１） • 「広報」「ソーシャル・マーケティング」「教育」と いった関連諸分野の評価手法を、科学技術コ ミュニケーション実践の評価のためのモデルと して使える可能性はある。
- 8. 他分野の評価手法の援用は可能か（２） • 科学技術コミュニケーションは、 – （伝統的な）広報の一方向的なコミュニケーション手法と異 なり、双方向性を重視する。 – 健康増進、貧困克服などを扱うソーシャル・マーケティング と異なり、「何が良きことか」について基本的な合意が得ら れないことが多い。 – 具体的な知識やスキルの獲得を目標としたカリキュラムの 枠組みが存在する教育の分野とは異なり、一般に、きわめ て多様な文脈の元でコミュニケーションが行われる。 • 部分的にこれらの関連諸分野の評価手法を参考にす ることは可能であるとはいえ、それをそのまま援用する ことは難しい（石村 2011）。
- 9. 目的ー手段の階層関係と設計可能性 • 科学技術コミュニケーション実践には目的があ り、そこにはさらに上位の目的がある。 • 一方で、目的を達成するための手段（＝下位 目的）があり、さらにその手段を達成するため の下位の手段がある。 • もしこれらが整然とした階層関係をなしており、 この階層関係を実践者が事前に設計できるの であれば、体系的な評価への道筋が開かれる。
- 10. 「双方向性」の問題（１） • 科学技術コミュニケーションで重要とされる「双 方向性」の概念を実践に適用しようとすると、 実践者は、「下位目的」の一部の決定を「参加 者」や「ステークホルダー」に委ねることになる。 • 双方向性の度合いを高めようとすればするほ ど、より上位の目的に関して、より多くの部分 の決定を参加者やステークホルダーに委ねる ことにつながる。
- 11. 「双方向性」の問題（２） • 評価は一般に、目的がどの程度達成されたか という観点で実施される。 • 目的自体が参加者やステークホルダーとの相 互作用によってダイナミックに変化する事態に おいては、評価対象を一意に定めることが困 難。 • 双方向性の概念に適合した、新しい評価手法 が必要。
- 12. 概念の整理
- 13. 概念の定義 • 科学技術コミュニケーション – 社会全体の集合的意思決定機能を向上させるために、科学技 術に関するコミュニケーションを行うこと。 • 実践 – 社会において具体的な活動を行い、個人や組織の意思決定に 何らかの影響を与えること。 • 科学技術コミュニケーション実践 – 社会全体の集合的意思決定機能を向上させるために、科学技 術に関する具体的なコミュニケーション活動を社会において行い、 個人や組織の意思決定に何らかの影響を与えること。 • 評価 – ある対象の情報を、その対象に影響を与える意思決定において、 意思決定主体が利用可能な情報に変換する行為。
- 14. 概念の定義 • これらの定義はいずれも極めて抽象的、一般 的な表現であるが、このような包括性を出発 点とすることでこそ、これらの定義を多様な実 践目的、実践内容、評価目的、評価対象、ス テークホルダーに共通して適用でき、のちの評 価の体系化に結び付けることができると考え る。
- 15. 評価行為の前提となる「仮定」 1. 時間的、空間的、概念的境界を持つ相対的 に独立した「評価対象」の存在 2. 評価対象の情報を「意思決定主体にとって 利用可能な情報に変換するプロセス」の存在 3. 意思決定の介在を可能にするための「時間 停止」 4. 意思決定主体の存在 5. 意思決定主体による対象への介入可能性 6. 評価対象の繰り返し出現可能性
- 16. 評価行為システム 評価 評価対象 意思決定主体 変換プロセス 評価対象 評価対象 評価結果 介入 （繰り返し可能性） 時間停止
- 17. 「実践」「評価」「意思決定」のステップ 実践 評価 意思決定 評価対象 意思決定主体 変換プロセス 評価対象 評価対象 評価結果 介入 （繰り返し可能性） 時間停止
- 18. 評価の目的 • 評価行為は、「それによって利用可能な情報を与えられた意思決定 主体が、評価対象に何らかの影響を与えることによって、意思決定 主体の設定した目的を実現する」ための適切な手段となっていなけ ればならない。 • 従って、評価の適切性・妥当性を検証することとは、「意思決定主 体が何らかの目的を実現するために、適切な評価対象を切り出し、 適切なタイミングで「時間停止」を行い、適切な変換プロセスを採用 して評価対象の情報を変換し、適切な介入に結びつくような意思 決定をすることができるかどうか、を検証すること」に他ならない。 • 意思決定主体の目的が実現されるとは、第一義的には意思決定 主体の持続可能性維持に貢献するということであろう。これは、意 思決定主体の環境変化への抵抗という保守的な意味と、環境変 化への適応、環境変化の創出、という革新的な意味の双方を持つ。 • また、評価とは本質的に対象の時間的「繰り返し」を仮定している。 「次の回の対象」をよりよいものにし、そこからより多くの資源を獲 得し、意思決定主体の維持を実現するために評価を行うのである。
- 19. 評価の限界 実践 評価 意思決定 外部からの諸入力
- 20. 評価の分類 1. 評価対象の種類 2. 時間停止のタイミング 3. 評価主体と意思決定主体の種類 4. 意思決定主体の評価目的 5. 意思決定主体の介入の種類 6. 評価指標
- 21. １．評価対象の種類 1. 実践 – 成果物 • 情報・コンテンツ・体験プログラム等 – 中間成果物 • 構想書、計画書、設計図、運営マニュアル等 2. 実践主体 – 実践の計画・運営者 • 会議等の運営プロセス、実践を担う組織のマネジメントプロセス、予算執行状況等 • 成果物や受益主体に与えた効果などから間接的に測定される計画・運営能力 – 実践者の所属する組織 3. 受益主体 – 実践の参加者個々人の経験 – 実践の参加者の相互作用 4. 実践・組織への資源提供主体 5. 実践・組織に関わる意思決定主体
- 22. 実践の時間軸： 成果物が受益主体や社会に影響を与えるプロ セス ※必ずしもこの順序で伝播するとは限らない。 ※逆方向・水平的・循環的プロセスも存在する。 成果物 評価対象 受益主体 知識の 態度の 注意 興味 行動 獲得 変化 行動の 組織化 社会 社会の 変化
- 23. ２．時間停止のタイミング 1. 実践構想前 2. 実践構想段階 3. 実践準備段階（更に細かく、計画／設計／ 制作に分けることもある） 4. 実践開始直前 5. 実践実施中 6. 実践終了直後 7. 実戦終了一定時間後
- 24. 評価における時間停止のタイミングと フィードバック 総括的評価 調査 構想 計画 設計 制作 実施 環境評価 プロト 事前評価 タイプ 形成的評価
- 25. ３－１．評価主体の種類 • 意思決定主体 – 一般に、資源提供主体でもある。両者が異なる場合も存在するが、ここでは 議論の簡略化のために同一のものとする。 – 評価行為は、主として意思決定の成否を判定するために行われる。 • 実践主体 – 実践の計画・運営者／実践者の所属する組織・団体。 – 評価行為は、実践の成否の判定、次回の実践の改善のための情報収集、意 思決定主体・資源提供主体への報告、広報、受益主体へのフィードバックなど の目的で行われる。 • 受益主体 – 情報の受け手／コンテンツの利用者／実践の参加者等。あるいは、間接的受 益主体を含む社会全体。 – 評価行為は、実践主体や意思決定主体へのフィードバック、自らの体験の再 確認、次回の体験や行動変容に向けての判断などの目的で行われる。 • 独立の第三者 – 意思決定主体、実践主体、受益主体のいずれとも何ら利害関係を持たない 独立した第三者。
- 26. ３－２．意思決定主体の種類 • 資源提供主体 – 意思決定主体としての資源提供主体は、評価情報を参照して、資源 の投入継続／停止／再配分等を決定する。場合によっては、実践の 内容に対して介入することもある。 • 実践主体 – 実践の計画・運営者／実践者の所属する組織・団体。 – 意思決定主体としての実践主体は、評価情報を参照して、自らの実 践を改善したり、組織学習の契機としたり、資源提供主体や受益主体 との関係を再構築したりする。 • 受益主体 – 情報の受け手／コンテンツの利用者／体験プログラムの参加者等。あ るいは、間接的受益主体を含む社会全体。 – 意思決定主体としての受益主体は、実践の「評判」を第三者に広めた り、資源提供主体に実践の評価をフィードバックしたり、自ら「資源提 供主体」として寄付、情報提供、人材供給などの形で実践主体を支援 したりする。
- 27. 意思決定主体・実践主体・受益主体・評価主体の関係 「実践主体」「受益主体」 はいずれも、ある場面で は自らの実施する／体験 する実践についての「意 意思決定主体 評価主体 思決定主体」となる。 評価４ （≒資源提供主体） •資源の投入継続 •資源の投入停止 意思決定主体」「実践主体」「受益主 •資源の再配分 評価情報の 体」のいずれもがある場面では「評価 •ディレクション 資源 フィードバック 主体」になるが、独立した第三者が担 •実践主体の組織再編成 う場合もある。どの場合も、評価１～ •規制 評価４のいずれかまたは複数を担う。 実践主体 評価行為 評価１ 変換 •情報・コンテンツ •体験 成果物 評価２ 提供 受益主体 評価３ 「間接的な受益主体・社 会全体」を含む。
- 28. ４．意思決定主体の評価目的 • 発表者は、評価を「ある対象の情報を、その対象に影響を与 える意思決定において、意思決定主体が利用可能な情報に 変換する行為」であると定義した。意思決定主体の評価目的 は究極的には主体自身の持続可能性維持であるが、より具 体的には、一般に「資源の投入継続／停止／再配分」「実践 の現状認識」「実践の改善」「他の実践の模倣」「ステークホル ダーへの応答責任遂行」「プロモーション」「組織学習」などで あると考えられる。 • 一般に、評価の目的は実践に先立って定められるが、実践終 了後にあらためて「発見」されることもある。後者がより創造 的な評価行為をもたらす可能性もあるため、これを排除すべ きではない。
- 29. ４．意思決定主体の評価目的 • 必ずしも「表面的な主体」自身の持続可能性維持を、いわば “自己目的化”するために評価が行われるわけではなく、「表 面的な主体」がより上位のミッション達成のための手段として 位置づけられるならば、上位のミッションを達成するためには 「表面的な主体」の存続は問わない、という意思決定もありう る。 • 評価においてはそもそも「どのような価値を抽出したいか」を 決めることが決定的に重要であり、極端に言えば、実践の目 的を明確に定めることよりも重要であるとも言える。つまり、 実践の目的が明確に定まっていなくとも、実践からどのような 価値を抽出したいかを途中段階で、あるいは事後的に決める ことはできるし、それに適合的な評価手法はその都度探してく ればよい。
- 30. ５．意思決定主体の介入の種類 • 原則的に、意思決定主体は資源提供主体でもあるので、主と して実践主体への「資源の投入」という形で支援的介入が行 われる。 • しかし、評価情報の種類や評価の結果によっては、「資源の 投入停止」「資源の再配分」「実践へのディレクション」「実践主 体の組織再編成」「規制」といった介入が行われることもある
- 31. ６．評価指標 • 評価の元になる評価対象の情報はさまざまな形で与えられる が、それらはそのままでは意思決定に利用できない。 • 評価対象の情報を意思決定に利用可能な形に変換するため の代表的な手法が、「評価指標」の設定である。 • 実践に投入した資源を「インプット」、実践の結果を「アウトプッ ト」、実践の効果・影響を「アウトカム」と呼ぶ。一般に、組織論 の観点からは、インプットは「手段」、アウトプットは「戦術」、ア ウトカムは「戦略」「ミッション」に結びつき、後者になるほど上 位目的に位置づけられる。 • 一般に、上位目的に関連する指標になればなるほど測定は難 しいが、何らかの形で定量化できる（少なくとも優劣を比較可 能）と仮定すると、評価指標には次のような種類がありえる。
- 32. ６．評価指標 評価指標 評価目的 1 インプット インプットの評価 2 アウトプット アウトプットの絶対評価 3 アウトプットA：アウトプットB アウトプットの相対評価 4 アウトカム アウトカムの絶対評価 5 アウトカムA：アウトカムB アウトカムの相対評価 6 アウトプット／インプット 効率（工程管理水準）の絶対評価 7 アウトカム／インプット 費用対効果の絶対評価 8 （アウトカムA／インプットA）： 費用対効果の相対評価 （アウトカムB／インプットB）
- 33. 評価コミュニケーションと実践主体の 生存戦略 • 評価とは「手紙」のようなものである。宛先があり、届ける目的があ る。 • 評価を設計するためには、「評価が誰にどのように利用され、その 結果がどのように評価対象にフィードバックされうるか」を先取りし て考えなければならない。 • このような評価に関わるコミュニケーションを、「評価コミュニケーショ ン」と呼ぶ。 • 実際の評価コミュニケーションは、複数の実践主体、受益主体、意 思決定主体、評価主体の間で、複線的、ネットワーク的に行われる。 このような評価コミュニケーションの全体を、「評価コミュニケーション 生態系」と呼ぶ。 • ここにおける実践主体の生存戦略とは、自らが“埋め込まれてい る”評価コミュニケーション生態系を認識し、個々の導線に対してそ れぞれどのような評価コミュニケーションを行っていくか、ということ である。 • 先に「評価指標」について述べたが、特定の評価コミュニケーション においては、評価指標の設定以外の評価コミュニケーション（例えば 「信念の感染」とでも言うべきもの）が重要となることもあり得る。
- 34. 評価コミュニケーション生態系 意思決定主体 評価主体 意思決定主体 評価主体 （≒資源提供主体） 評価主体 意思決定主体 （≒資源提供主体） 評価４ （≒資源提供主体） 資源 実践主体 実践主体 実践主体 評価１ 成果物 評価２ 受益主体 受益主体 受益主体 評価３
- 35. 評価コミュニケーション生態系（公共事業を例として） 市民 行政 意思決定主体 資源提供主体 評価４ ／資源提供主体 資源 実践主体 評価１ 成果物 評価２ 受益主体 評価３
- 36. 評価コミュニケーション生態系（公共事業を例として） 市民 行政 意思決定主体 意思決定主体 評価４ 評価４ ／資源提供主体 ／資源提供主体 資源 実践主体 評価１ 成果物 評価２ 受益主体 評価３
- 37. 評価コミュニケーション生態系（公共事業を例として） 市民 行政 意思決定主体 意思決定主体 評価４ 評価４ ／資源提供主体 ／資源提供主体 資源 ソーシャル ビジネス化 実践主体 評価１ 成果物 評価２ 受益主体 評価３
- 38. 抽象化の意義 • 様々な評価行為を俯瞰的に扱うことができる。 • これまで評価行為と認識されてこなかったものを、評価 行為の枠組みで論じることができる。 • その結果、評価コミュニケーションの選択肢が広がる。 • 本発表では、評価を「ある対象の情報を、その対象に影 響を与える意思決定において、意思決定主体が利用可 能な情報に変換する行為」と定義したが、そうであるなら ば、例えばブランディング、PR、プロモーションといったも のも広義の評価であると位置づけられる。 • 直接収益を上げない実践の、「定量的・科学的評価」以 外の評価コミュニケーションへの道筋を開くことができる。
- 40. 実践の事後的再解釈（１） • 科学技術コミュニケーションの実践者は、実践 を設計するにあたり、実践の目的ー手段の妥 当性に関する仮説を立てる。 • そうしなければ実践の最適化に向けた設計が できない。 • しかし評価に当たっては、前述した理由から、 単に事前に立てた仮説を検証することに拘泥 していてはうまくいかない。
- 41. 実践の事後的再解釈（２） • むしろ「実践の現場で生起した現象」を起点にして、そ こから事後的に、その実践が“結果として”科学技術コ ミュニケーションのどのような目的にかなう、どのような 手段によって構成されていたのかを“再解釈”し、それ に基づいた「目的―手段の階層構造のモデル」（＝プロ グラム理論）を描出し、そのプログラム理論の観点から 評価を行う手法を開発することを目指すべきではない か。 • このような再解釈はともすれば機会主義的な自画自賛 を招きかねないが、プログラム理論を明示することに よって第三者の検証に耐えるものとなりうる。
- 42. 実践の事後的再解釈（３） • それぞれの実践者がプログラム理論を明示す ることよって、それまでもしかしたら「同床異 夢」で共存していたかもしれない実践者たちの 間に、実践目的に関する本質的な対立が引き 起こされる可能性がある。 • そのような緊張関係を経てこそ、科学技術コ ミュニケーション実践は次の段階に進むことが できるのではないか。
- 43. プログラム理論 (program theory) • 社会プログラムの代表的な評価手法である「プログラム評 価」の構成要素（Rossiら 2004）。 • 社会プログラムの想定する目的ー手段関係ならびに因果 関係を論理的に概念化したもの。 • そのプログラムが採用してきた戦略や戦術と、期待される 社会的便益との関係に関する一連の仮説。 • プログラムの運営計画、そのプログラム活動が意図したアウ トカムにつなげる論理、プログラムの実施理由に対す理論 的根拠などからなる。 • この概念構造自体が評価の対象・焦点となる。 – プログラムの概念化が明確でかつ説得力があるほど、評価が焦 点を当てるべきプログラムの機能と効果を、評価者が識別する ことは容易になるであろう。 • 代表的なプログラム理論の記述法として「ロジック・モデル」 がある。
- 44. ロジック・モデル • プログラム全体の機能やオペレーションの論理を一定 のルールに従ってモデル化したもの（安田 2011）。 • プログラムへの資源投入から、期待される波及効果 までのプロセスを、各プロセス間の「因果関係の仮 定」に基づいて配置し、モデル化したもの。 アクティビ インプット アウトプット アウトカム インパクト ティ
- 45. ロジック・モデル • インプット – プログラムを実施していく上で直接的・間接的に必要なために、投入される資 源 • プログラムの運営者・サービス提供者全般／費用／設備／マネジメント／時間／情報／ 組織／社会関係資本 • アクティビティ – プログラムの中核となる活動／活動を支える組織構造的基盤 • アウトプット – アクティビティの実施により産出されるモノや状況 • 活動回数／活動期間／参加者数／配付資料数／ページビュー • アウトカム（即時的／中期的／長期的） – プログラムへの参加やサービス提供によって生じた参加者や利用者への効果 – 主に、行動・態度・意欲・知識・スキルなどの変化・変容 – 参加者・利用者側が得たメリット • インパクト – プログラムが一定期間後に、参加者のレベルを超えて派生的・副次的に及ぼ す広範囲の影響 （安田(2011)を参考に一部改変）
- 46. ロジック・モデルの例 （安田 2011）
- 47. ロジック・モデルの例 （佐藤 2011）
- 48. ロジック・モデルの例 2012年度CoSTEP 防災コミュニケーション実習 開始時のロジックモデル インプット 活動 アウトプット アウトカム アウトカム アウトカム インパクト （近位） （中位） （遠位） 組織 実践上の成果 予算 参加者の 適切な避 地域における防 参加者 知識と意 実習の 難行動 災文化の醸成 識の変化 年間計画 防災集会１ 企画 準備 の実施 （予定） スタッフ 2名 防災集会２ の実施 実践 実践 受講生 実践の （予定） ノウハウの ノウハウの 5名 普及 獲得 形式知化 プロジェクト 依頼者（専 門家） 教育上の成果 科学技術コ 科学と社会の 知識・スキ 実践体験 人材育成 ミュニケーショ よりよい関係 ルの向上 ンの質的向上 の実現 （※因果関係、目的ー手段関係のある要素をすべて書き出したものではない。）
- 49. 「プログラム評価」の問題点 • 「計画主義」的である。 – 以下のことを前提とする。 • 正しい目的・目標が自明である。 • 目的・目標を実現するための適切な手段、下位手段を 事前にすべて設計できる。 • 設計した手段は実行されるのが当然であり、実行され なかった場合には実行の担い手に問題がある。 • プログラムを実施するに当たり、「外乱」は無視できるほ ど小さい。 • 実行結果・効果は比較的容易に測定可能である。 • 評価のための人的・時間的・金銭的コストが大 きい。
- 50. 「事後的なプログラム理論の描出」に よる実践評価の可能性 1. 実践に先立って（あるいは実践の一部として）プログラム 理論（ロジックモデル）を策定する。 2. 実践を実施する。 3. 参加者やステークホルダーとの相互作用によってダイナ ミックに変化した種々の条件を取り入れて、いわば実践の 「再解釈」として、再びプログラム理論を描出する。 4. 描出した「事後的なプログラム理論」の観点から、「プログ ラム評価」の手法を援用して実践の評価を行う。 5. 異なる実践間で「事後的なプログラム理論」を比較する。 6. Temporal Logic Model (den Heyer, M. 2002) 7. 科学技術コミュニケーション実践は、その特質から考えて、 評価においてTemporal Logic Modelを利用すべき典型的 な対象である。
- 51. アクターが多様であり、目的が多様かつ変化する条件の下で・・・ 単一実践のロジックモデル の一連の更新履歴 相互比較、相互検 証、相互補完 あらゆるロジックモデルの集積としての、多様な実践の評 価の「集合知的体系化」
- 53. 「防災コミュニケーション実習」 • 背景 – CoSTEPでは、毎年一般からプロジェクトを公募し、適切な ものを一年間の実習授業として組み入れている。 – 2012年度は「北海道における津波防災教育プログラムの 実施」をテーマとした「防災コミュニケーション実習」を開講。 • 実習内容 – 道内の津波災害が懸念されるいくつかの地域で、津波防 災に関する双方向の防災集会（ワークショップ）を実施する。 – プロジェクト応募者であり、津波防災科学の専門家でもあ る西村裕一先生の指導を受ける。 – これまで同様の防災集会を実施してきたCoSTEP修了生に よるチーム（つなサップ）との連携を図る。
- 54. 企画・運営 支援 CoSTEP 教育プログラム 教員 提供 フィードバック 企画・運営 サイエンスコンテンツ 受講生 サイエンスイベント 提供 フィードバック フィードバック 地域 市民 子ども
- 55. 実習に関わるメンバーとその関係 CoSTEPスタッフ 西村先生 協力 CoSTEP受講生 つなサップ 現地関係者
- 56. 防災集会の様子
- 57. 「事後的なプログラム理論」の描出例 2012年度CoSTEP 防災コミュニケーション実習 開始時のロジックモデル インプット 活動 アウトプット アウトカム アウトカム アウトカム インパクト （近位） （中位） （遠位） 組織 実践上の成果 予算 参加者の 適切な避 地域における防 参加者 知識と意 実習の 難行動 災文化の醸成 識の変化 年間計画 防災集会１ 企画 準備 の実施 （予定） スタッフ 2名 防災集会２ の実施 実践 実践 受講生 実践の （予定） ノウハウの ノウハウの 5名 普及 獲得 形式知化 プロジェクト 依頼者（専 門家） 教育上の成果 科学技術コ 科学と社会の 知識・スキ 実践体験 人材育成 ミュニケーショ よりよい関係 ルの向上 ンの質的向上 の実現 （※因果関係、目的ー手段関係のある要素をすべて書き出したものではない。）
- 58. 「事後的なプログラム理論」の描出例 2012年度CoSTEP 防災コミュニケーション実習 現時点でのロジックモデル インプット 活動 アウトプット アウトカム アウトカム アウトカム インパクト （近位） （中位） （遠位） 組織 適切な避 難行動 実践上の成果 予算 参加者の 非参加者 約50名の 地域における防 知識と意 へのリー 実習の 参加者 災文化の醸成 識の変化 ダーシップ 年間計画 防災集会１ 企画 準備 口コミによ の実施 る参加者 スタッフ 層の拡大 1名 防災集会２ の実施 実践 実践 受講生 実践の （予定） ノウハウの ノウハウの 5名 普及 獲得 形式知化 プロジェクト 教育プログ 依頼者（専 ラムの改善 門家） 教育上の成果 過去の活 科学技術コ 科学と社会の 動の蓄積 知識・スキ 実践体験 人材育成 ミュニケーショ よりよい関係 ルの向上 ンの質的向上 の実現 現地の 協力者 （※因果関係、目的ー手段関係のある要素をすべて書き出したものではない。）
- 59. 論点 1. 事後的なプログラム理論における「変更」をど う捉えるか – 計画の失敗？ – 実施の失敗？ – 計画の妥当な変更？ 2. プログラム理論の構造 – 本来は循環的、階層構造 – システム理論の援用（田原ら 2012）
- 60. 「建設的な評価」のために • 「評価」というと、どうしても権力者による管理、といったイメー ジがつきまといがちだが、「狭義の意思決定主体／資源提供 主体」の権力に実践の現場を侵食されないための防波堤とし てこそ、実践者は評価体系を整備する必要がある。 • 外部から評価システムを与えられるのを待つのではなく、実践 者の側から率先して評価のあり方を提案していくような活動 も必要であろう。 • それに呼応する形で（もちろん、価値のある実践だと判断した 場合に限ってだが） 、市民一人一人が「広義の意思決定主体 ／資源提供主体」として、様々な「資源」を拠出しあってその 実践を支えることが重要になってくる。
- 61. 「建設的な評価」のために • また、意思決定主体／資源提供主体と実践主体は、資源を 巡って常に対立関係にあるわけでは無い。意思決定主体／ 資源提供主体は、さらに上位の意思決定主体／資源提供主 体との評価コミュニケーションを行うための手段を必要として いるに過ぎない場合もある。そのような場合には、意思決定 主体／資源提供主体の評価コミュニケーションを支援するよ うな評価情報を実践主体が提供することによって、両者は 「共闘関係」を築くこともできる。 • 評価は特定の個人や団体が単独で行うものではなく、実践を とりまく、実践共同体、学習共同体による評価体系の創造と 共有を循環的に営んでいくことによって、評価体系の整備と、 コミュニティの成長を同時に実現することが重要である。
- 62. 「建設的な評価」のために • 一方、 「実践主体の生存戦略」という観点からすると、実践 主体が特定の意思決定主体への評価コミュニケーションを最 適化することは、短期的には奏功するかもしれないが、それに 過度に依存してしまうことは公共的観点からは望ましくない。 功利的に考えても、特定の意思決定主体の判断基準が変 わったり、意思決定主体そのものが交代、消滅したりすること を考慮すると、大きなリスクを抱え込むことになる。多様な意 思決定主体に向けて評価コミュニケーションを複線化すること が、むしろ長期的な生存戦略としてはふさわしい。 • 実践者が自己満足に陥らず、「広義の意思決定主体／資源 提供主体」の創意工夫に対してオープンマインドであるために も、実践者は評価体系を整備する必要がある。 • 評価は価値を発見し、解釈し、伝達し、創出する、きわめてク リエイティブな行為である。
- 63. 「科学技術の評価」としての科学技術 コミュニケーション • 「科学技術の評価」としての科学技術コミュニ ケーション – 参加型テクノロジーアセスメント • コンセンサス会議、討論型世論調査等 – 科学報道／科学関連図書の出版 – 科学広報／科学教育 • 評価の入れ子構造 – 科学技術コミュニケーションへの科学技術コミュニ ケーションの自己適用
- 64. 文献 石村源生 2011: 「科学技術コミュニケーション実践の評価手法 : 評 価の一般的定義と体系化の試み」『 科学技術コミュニケーション』 10, 33-49 den Heyer, M. 2002, “The Temporal Logic Model Concept,“ The Canadian Journal of Program Evaluation Vol.17 No.2: 27-47. Rossi et al. 2004: Evaluation: A Systematic Approach, 7th edition 佐藤哲郎 2010: 「社会福祉協議会活動の評価方法について一考察 －プログラム評価におけるロジック・モデルの活用－」 田原敬一郎 高橋真吾 2012:「プログラム評価のための生存可能シ ステムモデルによる事例分析」,第27回研究・技術計画学会発表論 文集 安田節之 2011:『プログラム評価』