Etki Analizi (impact evaluation) kalkınma programlarının sonuçlarını hane, birey veya firma seviyesinde bilimsel olarak ölçmek için yapılır. Niceliksel ölçümlerde kullanılan metodlar bu iki günlük eğitimde örnekler ve vaka çalışmaları üstünden anlatılmaktadır. Eğitim programı ile ilgilenebilecek kurumlar: sosyal politika uygulayıcısı bakanlıklar, STK'lar ve vakıflar, belediyeler.

1. Development Analytics
31 Mektep Sokak Emirgan - Istanbul
research@developmentanalytics.org
www.developmentanalytics.org
Etki Analizi Eğitimi
1. Kısım : Etki Analizi Nedir?

2. Etki Analizi Eğitimi Bölümleri
www.developmentanalytics.org
1. Etki Analizi Nedir?
2. Etki Analizi Nasıl Yapılır?
3. Rastgele Dağıtım Yöntemi
4. Regresyon Süreksizliği Yöntemi
5. Fark İçinde Fark Yöntemi
6. Araç Değişkenler Yöntemi
7. Eğim Skoru Eşleme Yöntemi
8. Operasyonel Planlama ve Kapanış

3. Neden Değerlendirme Yapılmalıdır?
www.developmentanalytics.org
 Kalkınma program ve politikaları genellikle sonuçlarda
bir değişiklik yapmak amacıyla dizayn edilirler.
Örneğin; gelirleri artırmak, öğrenmeyi geliştirmek ya
da hastalıkları azaltmak.
 Bu değişimlerin gerçekten başarılıp başarılmadığını
anlamaksa çok önemli bir kamu politikası sorusudur.
 Etki analizleri (Impact evaluations) kanıta dayalı
politika yapmanın geniş çerçevesi içindeki bir
bölümdür.
Girdiler Süreç Çıktılar

4. Neden Değerlendirme Yapılmalıdır?
www.developmentanalytics.org
 Sorumluluk (Accountability)
 Öğrenme (Learning)
 Politik Sürdürülebilirlik (Political Sustainability) : The
Progresa/Oportunidades Conditional Cash Transfer
Program in Mexico
 İyileştirilmiş Kaynak Dağıtımı (Improved Resource
Allocation)

5. Atfetme (Attribution) ve Nedensellik
(Causal Inference)
www.developmentanalytics.org
 Etki analizi; bireylerin iyi olma hallerindeki bir
proje, program ya da politikaya atfedilebilecek
değişimleri değerlendirir.
 Atfetmeye önem verilmesi etki analizinin ayırıcı
özelliğidir. Dolayısıyla, etkili bir etki analizi
yapabilmek için aşılması gereken esas
zorluk, program ve politikalarla ilgilenilen sonuçlar
arasındaki nedensellik ilişkisinin tanımlanmasıdır.

6. İzleme (Monitoring)
www.developmentanalytics.org
 Kesintisiz devam eden bir süreçtir
 Bir program içerisinde neler olmakta olduğunun
takip edilmesidir
 Toplanan veriler programı bilgilendirmek için
kullanılır
 Günlük yönetim ve kararları bilgilendirir
 İdari veri kullanılır
 Program performansıyla programdan beklenen
sonuçları kıyaslar

7. Değerlendirme (Evaluation)
www.developmentanalytics.org
 Planlanan, sürmekte olan ya da bitmiş olan proje,
program ya da politikaların dönemsel ve objektif
değerlendirmeleridir.
 Değerlendirmeler program dizaynı, uygulaması ve
sonuçları ile ilgili belirli soruları cevaplamak için
kullanılır.
 Zaman içerisinde belli noktalarda yapılırlar.
 Genellikle program dışından olan teknik uzmanların
bakış açılarından yararlanılır.
 Dizaynları, metotları ve masrafları sorulan soru ve
kullanılan metodoloji çerçevesinde değişkenlik
gösterir.

8. Değerlendirme Yapmaya Karar Verme
www.developmentanalytics.org
 Tüm programlar etki analizine izin vermez:
 Değerlendirmeden elde edilecek kazançlar yüksek
olmalıdır-büyük bütçe ayrılmış programlar
 Stratejik etki göstermek için yapılan inovatif (ama küçük
ölçekli) programlar
 Yüksek kalitede bir etki analizi için gerekli olan teknik ve
finansal kaynakları mobilize etmeyi haklı gösterebilmek için,
analizi yapılacak olan programın:
 Inovatif (Innovative)
 Tekrarlanabilir (Replicable)
 Stratejik olarak alakalı (Strategically relevant)
 Test edilmemiş (Untested)
 Tesirli (Influential)
olması gerekir.

9. Etki Analizi Soruları
www.developmentanalytics.org
 En temel etki analizi sorusu «Bir programın
ilgilenilen çıktı üzerindeki etkisi nedir?» şeklinde
formüle edilebilir.
 Ortalama sonuçları test etmek:
«Gençlere verilen bir eğitim, girişimciliğin ve gelirlerin
artmasında etkili olmuş mudur?»
«Bir temiz su programı, güvenli su kaynaklarına erişimi
artırmış ve sağlık sonuçlarını iyileştirmiş midir?»
 Dağıtımsal etkiyi göstermek:
«Yeni müfredat kız ve erkek öğrencilerin sınav sonuçlarını
iyileştirmiş midir?»
«Gençlere verilen eğitim girişimciliğin ve gelirlerin yoksul
kesimde artmasında etkili olmuş mudur?»

10. Nedensellik (Causal Inference)
www.developmentanalytics.org
 Temel etki analizi sorusu bir nedensellik problemi
taşımaktadır.
 Çoğu politika sorusu neden-sonuç ilişkisi içerir:
 Öğretmenlere verilen eğitimler öğrencilerin test
sonuçlarını iyileştirir mi?
 Şartlı nakit transferi programları çocuklarda daha iyi
sağlık sonuçları alınmasını sağlar mı?
 Mesleki eğitim programları, eğitime katılanların gelirlerini
artırır mı?
Eğitime katılan kişinin eğitim sonrası gelirinde bir artış
olması nedensellik ilişkisinin kurulabilmesi için yeterli
değildir.

11. Programın Etkisi
www.developmentanalytics.org
 P programının Y çıktısına nedensel etkisi (causal
effect) nedir?
 Bu formül (P) programının (Y) çıktısı üzerindeki
nedensel etkisi (α)‟nın programın uygulanmış
olduğu (başka bir deyişle P=1 olduğundaki) (Y)
çıktısı ile programın uygulanmamış olduğu (P=0
olduğundaki) (Y) çıktısı arasındaki fark olduğunu
söyler.
 Mesleki eğitim programı örneği

12. Dünyanın iki farklı hali
www.developmentanalytics.org
 Daha başka bir şekilde söyleyecek
olursak, aynı gözlemin (bu durumda
bir kişinin) gelirini aynı anda ama
farklı iki dünya halinde ölçmek
istiyoruz.
 Rastlantının Böylesi (Sliding Doors
– Gwyneth Paltrow)
Gerçek hayatta İMKANSIZDIR.
İşte bu «karşıtgerçeklik problemi»‟dir.

13. Analiz birimi değişiklik
gösterebilir
www.developmentanalytics.org
 Temel etki analizi formülü analizi yapılan her tür
birim için geçerlidir (valid) - insan, hane, topluluk,
iş yeri, okul, hastane, ya da programdan
etkilenebilecek herhangi bir birim.
 Formül aynı zamanda uygulanmakta olan
programla makul bir şekilde ilgisi olan her tür
sonuç (Y) için de geçerlidir.

14. Program öncesi (Ex ante) ve Program
sonrası (Ex post) Değerlendirme
www.developmentanalytics.org
 Ex ante değerlendirme programın olası etkilerini
program müdahalesi gerçekleşmeden veri
kullanarak tahmin eder.
Program etkisinin bir simülasyonudur.
(Örn: Fiyatlara gelecek bir zammın hanelerin
yoksulluğuna olabilecek etkisi, çocuk bakımı
sübvansiyonunun iş gücüne katılıma olası etkisinin
simülasyonu)
 Ex post değerlendirme program uygulandıktan
sonra çıkan sonuçların değerlendirilmesidir.
Programın gerçek etkisini ölçmeye çalışır.

15. İki Etki Tahmini
Müdahale Etme Niyeti (ITT) ve Müdahalenin
Müdahale Görenlere Etkisi (TOT)
www.developmentanalytics.org
 Tahmin edilen etki olan α„ya “müdahale etme niyeti (intention-to-
treat)” tahmini denir. Bu, programa gerçekten katılmalarından
bağımsız olarak yalnızca programa katılmaları teklif edilmiş
birimlere temel formül uygulandığında bulunan tahmindir.
 ITT, programın hedeflediği popülasyondaki ortalama etkiyi
saptamak istediğimiz durumlar için önemlidir.
• Buna kıyasla, temel etki analizi formülü, programın teklif
edildiği ve programa gerçekten katılan birimlere
uygulandığında tahmin edilen etki α‟ya «müdahalenin
müdahale görenlere etkisi (treatment-on-the-treated)»
denir.
ITT=TOT, tüm teklif alanlar programa
katılırsa

16. Karşıtgerçeklik (Counterfactual)
www.developmentanalytics.org
 Karşıtgerçeklik; bir program katılımcısı için eğer
programa katılmasaydı, sonuç (Y)‟nin ne olmuş
olacağının tahminidir.
Program
katılımcıları için
sonuç (Y)
Karşıtgerçeklik
Karşıtgerçekliği
gözlemleyemeyiz,
tahmin edilmesi gerekir.

17. Karşıtgerçeklik tahmini
www.developmentanalytics.org
 Bunu yapabilmek için kıyas grupları kullanırız
(«kontrol grubu» da denir).
 Bu eğitimin geri kalanında karşıtgerçekliği doğru
bir şekilde yeniden üretebilecek ya da taklit
edebilecek geçerli (valid) kıyas grupları
belirlenebilmesi için kullanılabilecek çeşitli
metotlar üzerinde durulacaktır.
 Bu kıyas gruplarının belirlenmesi etki analizinin
püf noktasıdır.
 Geçerli bir karşıtgerçeklik tahmini
olmadan, programın etkisi saptanamaz.

18. Kıyas Grubu
www.developmentanalytics.org
Geçerli bir kıyas grubu programa katılmamış olmaları haricinde
programa katılanlarla («müdahale grubu») aynı özelliklere
sahip olmalıdır.
Geçerli bir kıyas grubu
belirlemeden
değerlendirme yapmaya
karar verirsek ne olur?

19. Karşıtgerçekliğin Sahte olan(Counterfeit)
İki Tahmini
Önce ve Sonrayı
Kıyaslamak
Müdahale Grubuyla
Kontrol Grubunu
Kıyaslamak
www.developmentanalytics.org
 Bir eğitim programına katılmayı
seçmiş bir grup gencin ortalama
geliriyle katılmamayı seçmiş bir
grup gencin ortalama gelirlerinin
kıyaslanması
 Diyelim ki sonuçlar programa
katılan gençlerin katılmayanlara
göre iki kat fazla kazandığını
gösteriyor olsun
Nedenselliğin kurulması
için önce-sonra
kıyaslaması neden
yeterli değildir?
Neden müdahale ve
kontrol gruplarının
kıyaslanması
nedenselliğin kurulması
için yeterli değildir?

20. Yanlış Örnek 1:
Önce ve Sonrayı Karşılaştıran Analiz
www.developmentanalytics.org
Programın
yaygınlaştırılmasını
önerir misiniz?

21. Yanlış Örnek 2:
Müdahale Grubu ile Kontrol Grubunu Karşılaştıran
Analiz
www.developmentanalytics.org
Programın
yaygınlaştırılmasını
önerir misiniz?

22. Yanlı Seçim (Selection Bias)
www.developmentanalytics.org
 Değerlendirmenin kıyas grubu geçerli değilse,
etkinin tahmini de geçerli olmayacaktır: programın
doğru etkisini tahmin etmeyecektir.
 İstatistiki terim kullanacak olursak, yanlı
(biased) olacaktır.
Neden programdan
yararlanacakların kendi
kendine karar verip
programa katılmaları
yanlı seçime sebep olur?
Bu durumun yaşandığı
bir örnek düşünebiliyor
musunuz?
Neden maksatlı program
yerleştirmesi yapmak
yanlı seçime sebep olur?
Bu durumun yaşandığı
bir örnek düşünebiliyor
musunuz?

23. Yanlı seçim = Gözlemlenemeyen
heterojenlik
www.developmentanalytics.org
B = Yanlı seçimden
dolayı yanılma

24. Bugün öğreneceğimiz konular:
www.developmentanalytics.org
1. Rastgele Değerlendirmeler (Randomized evaluations)
2. Eşleme yöntemleri (Matching methods), özellikle eğim skoru
eşleme (Propensity score matching)
3. Çifte Fark yöntemleri (Double-difference (DD) methods)
4. Araç değişkenler metodu (Instrumental variable (IV) methods)
5. Regresyon süreksizliği yöntemi (Regression discontinuity (RD)
design)
Tüm bu metotlar bir karşıtgerçeklik kurup programın etkisini tahmin
etmeye çalışır.

25. Tebrikler !
www.developmentanalytics.org
Etki Analizi Eğitimin 1. bölümünü tamamladınız.
Eğitimlerimiz ile ilgili daha detaylı bilgi almak
isterseniz bizimle kontağa geçebilirsiniz:
Development Analytics
31 Mektep Sokak Emirgan - Istanbul
research@developmentanalytics.org
www.developmentanalytics.org