Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

社会分野における「エビデンス」活用

5,849 views

Published on

日本評価学会(2015.5.30)発表

Published in: Government & Nonprofit
  • Be the first to comment

社会分野における「エビデンス」活用

  1. 1. 社会分野における 昨今の「エビデンス」活用に関する批判的考察 SROIをめぐって 津 富 宏 静岡県立大学
  2. 2. 1 問題意識 2 SROIとは 3 Arvidson et al.(2010, 2013)によるSROIに 対する批判・指摘 4 具体例の検討 5 討論
  3. 3. 1 問題意識 評価研究者として NPO経営者として 発表の目的 SROIの安易な活用に対して警鐘を鳴らし、よ り建設的な活用を提案すること
  4. 4. 評価研究者として キャンベル共同計画へ参画 手続き自体に関する徹底したピアレビューに基づく 系統的レビューの産出 エビデンスとは 因果命題に関する、実証的検討を踏まえた上での言明 この観点からみて、SROIの厳密性に対する疑問
  5. 5. NPO経営者として NPO法人青少年就労支援ネットワーク静岡 http://www.sssns.org/ ・平成14年に任意団体として発足 ・地域ごとにボランティアを組織化(県内で300名) ・地域若者サポートステーション事業などを受託 ・地域づくりを目指す: 「事業」ではなく、「インフラ」 行政などの資金提供に頼らずに、若者を支えられる地域をつくる ことを目指す。 この観点からみて、SROIは、そもそも非営利活動にとって有 益なのかという疑問
  6. 6. もう一つの原体験 北欧とイギリスのユースセンターで働く スタッフ(ユースワーカー)の違い 北欧: 公的施設であり、ユースワーカーは 競争環境に置かれていない。自由にまった りとした居場所づくりが可能。 イギリス: 民間団体が競争で受託している ユースワーカーは評価される成果に追われ て活動し疲弊。
  7. 7. 単純化していえば SROIは、恣意的なツールであり、その恣意性 は、現時点での利害関係者への利益誘導 のために使われているのではないかという 疑問
  8. 8. 2 SROIとは SROI is an evidence-based measurement tool designed to help organizations plan, manage, and understand the social, environmental, and economic value created. --- SROI Canada. SROI is a standarised approach to ensure that all material costs and benefits – economic, social and environmental – are assigned an approximate and evidence-based value. --- Save the Children. By Frontiers own admission the estimates in this relatively new evidence based approach to assessing costs and benefits are conservative.--- Royal Voluntary Service (UK).
  9. 9. SROI(Social Return on Investment:社会的収益投 資、社会的投資収益分析、社会的投資収益率) 1990年代にアメリカで開発され、2000年代になってか らイギリスに導入された、非営利セクターの活動を評 価するための代表的ツール イギリス 2009 Office for the Third Sector, Cabinet Officeが、A guide to social return on investment (Nicholls et al., 2009)を発刊 2012 その改訂版(Nicholls et al., 2012)を発刊 非営利活動に対する政府助成プログラム評価の基本手法として位置付けられる
  10. 10. 非営利活動のあらゆる分野で応用 児童養護 就労支援 再犯予防 貧困対策 など
  11. 11. SROIの普及 国際的展開 SROI network(http://www.thesroinetwork.org/) を通じて、世界各国で急速に普及が図られている。 * 同団体のHPを見ると、2015年5月現在、SROIのガイ ドブックは、英語に加え、イタリア語、チェコ語、韓国語、 フランス語、スペイン語、中国語に翻訳されている。 わが国 ・SROIを紹介する章を含む書籍(塚本・関, 2012)の発刊 ・特定非営利活動法人SROIネットワークジャパン (http://www.sroi-japan.org/)の活動 ・実際の適用事例の報告 (http://www.sroi-japan.org/?cat=12)
  12. 12. SROIとは CBA(cost-benefit analysis: 費用便益分析)の一種 CBAを、社会的投資(social investment)の観点から、非営利活動を 評価するツールとして発展させたもの 社会的価値(social value)を貨幣換算し、それをもとに、費用 便益比率であるSROI比率を求めることが目的 非貨幣的な指標、定性的な評価も併用 CBAと比べて、評価におけるステークホルダーの関与を強調
  13. 13. 参考) 犯罪学におけるCBAの展開 研究としては取り組まれるが,政策判断への応用については謙抑的 施設処遇は,再犯抑止に関して,社会内処遇に劣ることはすでに示さ れているが,直ちに,廃止されるわけではない。その他の機能(正義 の実現,応報など)がある。 波及効果は読みづらい。犯罪がなくなれば,雇用や経済活動がなくな る。たとえば,刑事司法関係の雇用,警備業,各種保険,メディアなど。 つまり,負の波及効果がはかり知れない。多くの刑務所は,仕事のな い地域に立地し,地域経済を支えている。
  14. 14. SROIの原則(Nicholls et al., 2009) 1 ステークホルダーを巻き込む ステークホルダーを巻き込むことで、何を測定し、それをどのように 測定し価値づけるかを共有する 2 何が変化するのかを理解する どのように変化がつくり出されるかを明示し、意図的・非意図的な変 化およびプラス・マイナスの変化があることを認識しつつ収集したエビ デンスを用いて評価する 3 重要なものだけを評価する アウトカムの価値が認識できるように代替的な金銭指標を用いる。 多くのアウトカムは市場で取引されていないため、その価値が認識さ れていない
  15. 15. SROIの原則(Nicholls et al., 2009) 4 重要なものだけを含む ステークホルダーが、インパクトについて十分に合理的な結論を導 けるよう、真実かつ公平な評価となるように、どの情報とエビデンスを 計算に含めるのかを決定する 5 過大な主張をしない 組織が創りだしたといえる価値のみを主張する 6 透明性を保つ 分析が正確かつ廉直であるとみなしうる根拠を示し、それをステーク ホルダーに報告し議論する 7 結果を点検する 適切な独立した確認を行う
  16. 16. SROIの手順(Nicholls et al., 2009) 1 評価対象を決め、ステークホルダーを確定し、どのようにステークホルダーを巻き込むかを決める 2 アウトカムをマッピングする インパクトマップ(ロジックモデル(インプット→アウトプット→アウトカム→インパクト)をつくる 3 アウトカムについてエビデンスを手に入れ、価値を付ける アウトカム指標を決めデータを集める、アウトカムを価値づけする 4 インパクトを確定する 死荷重(deadweight:インプットなしでも生じうるアウトカム)、寄与率(attribution:アウトカムに対してイ ンプットが寄与する割合)、置換効果(displacement:インプットのもたらすアウトカムが、他のアウトカムを 置き換えてしまう割合)、ドロップ・オフ(drop-off:アウトカムの持続性)を考慮する 5 SROI比率を計算する 割引率を計算したうえで、総便益を総費用で割り、SROI比率を計算する、感度分析を行う 6 結果を報告し活用し内製化する: ステークホルダーに報告する、結果を活用する、結果を点検する
  17. 17. 3 Arvidson et al.(2010, 2013)による SROIに対する批判・指摘
  18. 18. 1 便益の価値の貨幣換算 収入の増加など貨幣換算されやすい便益が優先され、主観 的な満足度など目に見えにくい(intangible)な便益は、見逃さ れがちである。 公的セクターの支出削減の想定額を求めることによって貨幣 換算することも多いが、受益者本人に対する便益が見逃され がちになるだけでなく、固定費用と(それよりはるかに小さい) 変動費用が混同されがちである。 公的費用の支出削減額は長期的に回収されるはずの想定 額であって、直ちに削減されるわけではない。
  19. 19. 2 ボランティアの価値づけ 非営利組織においては、ボランティアが多く活用されている。 しかし、その価値づけは困難である。 第一に、ボランティア活動はインプットであると同時にアウト プット(ボランティアに対する便益)である。 第二に、インプットとしてのボランティアを貨幣換算することは 困難である。最低賃金で換算するアプローチ、雇用の機会費 用あるいは余暇の機会費用で換算するアプローチがあるが、 そもそも、金銭換算を好ましくないと考えているからこそ、ボラ ンティア活動は行われる。
  20. 20. 3 死荷重、寄与率、置換効果、ドロップ・オフの扱い 死荷重と寄与率を算定するには、本来は、反事実 (counterfactual)を入手する必要がある。しかし、それ 自体、不可能であり、また、ランダム化比較試験が行 われていることもまれであるため、適切な算定が行わ れない。 置換効果の推定も困難であり、進路支援サービスに ついて、80%~90%の死荷重を想定した例(NatCen et al., 2011)も、0%を想定した例(Wright et al., 2009)も 報告されるなど、これも恣意的になりがちである。
  21. 21. 4 判断と恣意性 SROIにどのインパクトを含めどの指標を用いるのかは、慎重 な判断を要する、恣意性が入りやすい。 ステークホルダー間の力関係が反映する/指標の入手可能 性、時間的制約、評価に投入しうる資源によって影響される /指標の測定期間について、判断の要素が入りこむ これらの判断のすべてが、政策動向によって影響を受け、ま た、政策決定者の意向に影響を与えることを意識して行われ る。しかしながら、SROI比率が低いということは活動が不成功 であることを必ずしも意味しない。
  22. 22. 5 SROIの活用と有用性 非営利組織がSROIを用いるもっとも一般的な理由は資金調 達のためであり、競争環境におかれた非営利組織は、自ら のイメージを向上させるため、マーケティングの手段として SROIを用いる。 SROI比率を比較することは好ましくないとされているが、この ような競争環境においては、SROIは結局のところ「勝者を選 ぶ」ために用いられる。 その結果、非営利組織は、SROI比率を誇張したり、インパクト をひいき目に表現したりする誘惑に誘われる。
  23. 23. 6 プロセスの軽視 SROIは、どのようにその変化がもたらされたかは十分 に明らかにせず、その結果、SROI率が高くても、介入 を改善したり普及したりするのには役立たない。 たとえば、保育サービスが、子どもにどれだけのイン パクトをもたらしたかは明らかにできるが、それが、ス タッフの質によるのか、施設の設備によるのか、親に 対する支援によるのかは明らかにしない。
  24. 24. 7 目標のすり替え 数量化されやすい目標に焦点があてられるため、数 量化されにくい目標の達成が軽視されがちになる。そ の結果、組織のミッション自体が、数量化されやすい 目標の達成へと(意図せずに)ずれていく。 8 SROIにかかる費用 SROIを行うための研修と時間には相当の費用が掛か る(数千ポンドから数十万ポンドまで)ため、規模の小 さな非営利組織では負担できない。
  25. 25. 4 具体例の検討
  26. 26. 1 RooP(Routes out of Prison Project) RooPは、スコットランドで行われた、ライフコーチといわれるメンターに よる、刑務所入所中から始まる出所者の支援 RCTによらず、比較群と比して介入群において、再犯率が減少(4%) Jardine and Whyte(2013)は、4%の差をもとに、公的費用の削減想定 額についての4つの推計(刑事司法に掛かる費用、被害者に掛かる費 用、加害者本人にかかる費用を算定した162,255ポンドから、刑務所 収容費用のみの33,244ポンドにわたる)と、4つの寄与率の推定 (100%から50%まで)を組み合わせてSROI比率を計算 → SROI比率は、4.6から0.4まで変動
  27. 27. 評価 SROI比率に影響する項目(変数)はもちろんこれ らだけに限られない それらも合わせて、各項目を掛け合わせていけ ば、上限と下限がさらに離れることになる 推計値の推計誤差を無視して、個々の項目につ いて、特定の推計値を選んで算定されてSROIは 恣意的にならざるを得ない
  28. 28. 2 「若者UPプロジェクト」に関するSROI http://koshaken.pmssi.co.jp/upfile/MSYR4.pdf 「若者UPプロジェクト」は、日本マイクロソフト社が地域若者サポートステーションを 運営する就労支援団体に提供したITスキル講習 SROIについての問題点 ・RCTによらずコントロール・グループを非受講者群としているため、cream skimmingが生じていると思われる。にもかかわらず、死荷重を考慮していない。 ・就職決定者の多くが1年間勤続できるとは想定できないにもかかわらず賃金を 年額換算し、ドロップ・オフも考慮していない。 ・本講習によって、市場における就労可能人口が増えたと想定できないのに、労 働市場における置換効果を0%と仮定している。 ・このほか、受講者のみを対象にアンケートを取り、受講者のデータのみを用いて、 賃金増分を計算している。 → 多くの仮定が、SROI比率を押し上げる方向で置かれている(その結果、SROI比 率は13.18)。
  29. 29. 評価 現時点では、事業者、評価者(そして、投資者)のすべ てにとって、SROI比率がより高いことが好ましい。 *すべてが社会的投資の推進者となっている その結果、SROI比率算定における恣意性が濫用され て、inflate された数値が出されやすい また、団体間には、SROI算定のコストの負担能力やSROI評価への ニーズに差がある。数値がinflateされる結果、事業性を志向しない、 地域に根差した団体への資源配分が縮小する可能性がある
  30. 30. 5 討論
  31. 31. 社会的投資は何のためにあるのか 社会のためなのではないか 社会=連帯
  32. 32. 北欧諸国 イギリス 経緯 もともと社会民主主義勢力の 強い国であり、1970年代の福 祉国家の黄金期から女性の就 労支援や子育て支援に取り組 んでいた 福祉国家の縮減期にあたる 1990年代半ばから女性の雇用 の活発化に取り組み始めた 社会的投資 21世紀において社会権を重層 的に再構築する取組み 個人を投資対象として位置付け 労働市場における商品価値を最 大化し国家の生産性を高めるた めの福祉の効率化の一環 社会的投資のス テークホルダー 当事者 投資者 濱田(2014)による整理 社会的投資の位置づけ
  33. 33. 北欧らしさ フィンランドは代表的な福祉国家の一つであるが、 1990年代以降学力ランキングを急上昇させた。フィン ランドの特徴は学力の学校間格差が世界で最小であ ることである。学力急上昇の背景には、学校間の競争 ではなく、アイディアを共有し問題を一緒に解くことを 重視した学校間ネットワークの形成政策(Aquarium Project)がある(Sahlberg, 2011)。
  34. 34. 社会的共通資本(Social Common Capital)(宇沢) *コモンズから発展させた概念 ゆたかな経済生活を営み,すぐれた文化を展開し,人間 的に魅力ある社会を持続的,安定的に維持することを可 能に するような自然環境や社会的装置 社会全体とっての共通の財産であり,それぞれの社会 的共通資本にかかわる職業的専門化集団により,専門 的知見と 職業的倫理観にもとづき管理,運営される 一人一人の人間的尊厳を守り,魂の自立を保ち,市民 的自由を最大限に確保できるような社会を志向し,真の 意味に おけるリベラリズムの理念を具現化する
  35. 35. SROIが、建設的に利用されるには、活用環境を、投資 者優位の競争環境から、当事者優位の協同環境に変 えていくことが必要である(cf. 藤井ほか、2013) しかし、現状においては、SROIをはじめとする社会的 投資のためのツールは,事業体間の競争的な環境を 促進しており,社会的共通資本を棄損してしまう SROIをはじめとする社会的活動の評価は,事業や組 織の評価としてではなく(投資対象の選別に役立てる 評価としてではなく),セクター全体を支援するために 行われるべきである。
  36. 36. 個人はそもそも投資対象なのか リターンの低い個人の社会権は守られないのか エビデンスが社会の共有財であるとするなら どのように活用されなければならないのか 倫理的な問いに応えるためには そもそもどのような「環境」を つくらなければならないのか
  37. 37. 文献 • Arvidson, Malin, Fergus Lyon, Stephen Mckay, and Domenico Moro. 2010. The ambitions and challenges of SROI (Third Sector Research Centre Working Paper 49). Third Sector Research Centre. • Arvidson, Malin, Fergus Lyon, Stephen McKay and Domenico Moro. Valuing the social? The nature and controversies of measuring social return on investment (SROI) Voluntary Sector Review 4(1): 3-18. • 藤井敦史、原田晃樹、大高研道(共編)2013『闘う社会的企業』勁草書房 • 濱田江里子 2014 21世紀における福祉国家のあり方と社会政策の役 割: 社会的投資アプローチ(social investment strategy)の検討を通じて 上智法学論集 58(1): 137-58. • Jardine, Cara and Bill Whyte. 2013. Valuing Desistance? A Social Return on Investment Case Study of a Throughcare Project for Short-Term Prisoners. Social and Environmental Accountability Journal 33(1): 20-32. • 株式会社公共経営・社会戦略研究所 2014 マイクロソフトコミュニティIT スキルプログラム「若者UPプロジェクト」(第4年次:2013年度)(ITを活用し た若者支援プロジェクト)SROIによる第三者評価報告書
  38. 38. 文献 • NatCen (National Centre for Social Research), Institute for Volunteering Research, University of Southampton, University of Birmingham and Public Zone. 2011. Formative evaluation o v: The National Young Volunteers’ Service: Final repot. London, NatCen. • Nicholls, Jeremy, Eilis Lawlor, Eva Neitzert and Tim Goodspeed. 2009. A guide to Social Return on Investment. London: Office of the Third Sector, Cabinet Office. • Sahlberg, Pasi . 2011. Finnish Lessons: What Can the World Learn from Educational Change in Finland? (The Series on School Reform). Teachers College Press. • 塚本一郎、関正雄(編著) 2012 『社会貢献によるビジネス・イノベーショ ン』丸善出版 • 宇沢弘文 2000 『社会的共通資本』岩波新書 • Wright, Steve, John D. Nelson, James M. Cooper and Stephanie Murphy. 2009. An evaluation of the transport to employment (T2E) scheme in Highland Scotland using social return on investment (SROI). Journal of Transport Geography 17: 457-67.

×