EVALUASI DAN ANALISIS DAMPAK

1. M-9
Evaluasi dan Analisis Dampak
11/04/2017

2. Komponen
Utama Sistem
M&E

3. Komponen
Causal Analysis Framework
Logical Framework
Indikator Matriks
Pengumpulan Data dan Rencana Analisis

4. Causal Analysis Framework
Kerangka kerja analisis kausal berguna untuk
menjelaskan intervensi kunci dan
mengidentifikasi variabel yang dibutuhkan
untuk menilai sampai sejauh mana efek dari
suatu program

5. Analisis Kausal Pengembangan Hipotesis Design Proyek/Program
Penyebab/Kondisi
(knowledge/pengetahuan)
JIKA Intervensi
(attitude/sikap/pendirian)
DAN
(practice/praktek)
MAKA
Outcome yang diinginkan
Masalah
DENGAN DEMIKIAN
Konsekuensi/Akibat
DENGAN DEMIKIAN Tujuan Umum

6. Analisis Kausal Pengembangan Hipotesis Design Proyek/Program
Penyebab/Kondisi
Para ibu tidak tahu bahwa air yang
tidak bersih akan membuat bayi
sakit
(knowledge/pengetahuan)
JIKA para ibu sadar akan bahaya air
tidak bersih,
Intervensi
Mengedukasi para ibu tentang
bahaya air tidak bersih
Para ibu percaya bahwa ASI saja
tidak cukup bagi bayi berumur
dibawah 6 bulan
(attitude/sikap/pendirian)
DAN ASI memiliki kadar nutrisi yang
cukup untuk bayi berumur dibawah 6
bulan,
Mengedukasi para ibu tentang nilai
nutrisi ASI bagi bayi dibawah 6 bulan
Para ibu memberikan pengganti ASI
kepada bayi berumur dibawah 6
bulan
(practice/praktek)
MAKA para ibu akan secara ekslusif
memberikan ASI pada bayi mereka
untuk menghidari paparan air tidak
bersih
Outcome yang diinginkan
Meningkatnya pemberian ASI
secara eksklusif pada bayi dibawah
6 bulan
Masalah
Tingkat diare yang tinggi pada bayi
dibawah 6 bulan
DENGAN DEMIKIAN tindakan
tersebut akan berkontribusi dalam
mengurangi diare pada bayi umur
dibawah 6 bulan
Mengurangi tingkat diare pada bayi
usia dibawah 6 bulan
Konsekuensi/Akibat
Tingginya tingkat kematian bayi
DENGAN DEMIKIAN berkontribusi
dalam mengurangi tingkat kematian
bayi akibat diare
Tujuan Umum
Mengurangi tingkat kematian bayi
akibat diare

7. Logical Framework
Logframe adalah matriks yang
menspesifikasikan apa yang di inginkan dari
sebuah program/apa yang ingin dicapai dan
bagaimana pencapaian tersebut dapat diukur
(indikator)

8. Tujuan Program Indikator Cara Verifikasi Asumsi/Hipotesis
Tujuan Utama/Umum:
Pernyataan simple dan jelas
tentang apa yang ingin dicapai oleh
sebuah program
Indikator Dampak:
Cara kualitatif dan kuantitatif untuk
mengukur capaian
program/mengukur perubahan
yang berhubungan dengan capaian
tujuan
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor eksternal yang diperlukan
untuk mempertahankan dampak
jangka panjang, tetapi berada
diluar kendali program
Outcome:
Dampak perubahan yang
diperlukan untuk mencapai tujuan
utama
Indikator Outcome:
Cara kualitatif dan kuantitatif untuk
mengukur capaian outcome
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor eksternal yang diperlukan
jika pencapaian outcome dapat
berkontribusi terhadap capaian
tujuan utama
Output:
Barang dan jasa yang diperlukan
untuk mencapai outcome
Indikator Output:
Cara kualitatif dan kuantitatif untuk
mengukur capaian output
(mengukur langsung produk
aktifitas)
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor-faktor diluar kendali
program yang dapat menghambat
atau membatasi output dari
mencapai outcome
Aktifitas/Kegiatan:
Tugas-tugas yang harus
diselesaikan untuk menghasilkan
output
Indikator Proses:
Cara kualitatif dan kuantitatif untuk
mengukur capaian aktifitas yang
telah direncanakan
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor-faktor diluar kendali
program yang dapat menghambat
atau membatasi aktifitas dari
menghasilkan output
Input:
Sumberdaya yang digunakan
Indikator Input:
Cara kualitatif dan kuantitatif untuk
mengukur penggunaan input
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor-faktor diluar kendali
program yang dapat menghambat
atau membatasi akses ke input

9. Logframe harus di uji untuk memastikan
konsistensi logic yang digunakan.
Sebuah tes mudah adalah dengan menanyakan
apakah logframe dapat menjawab:
JIKA aktifitas ini diambil DAN asumsi yang
digunakan berlaku, MAKA output yang
diinginkan akan tercipta. JIKA output ini
dikeluarkan/dijalankan DAN asumsi yang
digunakan berlaku, MAKA tujuan akan dicapai.
JIKA tujuan tercapai DAN asumsi berlaku, MAKA
intervensi yang dilaksanakan akan berkontribusi
terhadap tujuan

10. Tujuan Program Indikator Cara Verifikasi Asumsi/Hipotesis
Tujuan Utama/Umum:
Meningkatkan tingkat kesehatan
masyarakat Desa Bintan Buyu
di Kab. Bintan dengan
mengurangi penjangkitan
penyakit polio
Indikator Dampak:
Tingkat anak dibawah umur 5
tahun yang menderita polio
Survey rumah tangga
Arsip kesehatan
Situasi keamanan di Indonesia
stabil dan memungkinkan untuk
implementasi program
Outcome:
Peningkatan imunisasi secara
menyeluruh pada anak dibawah
umur 5 tahun di Desa Bintan
Buyu
Indikator Outcome:
Tingkatan anak dibawah umur 5
tahun yang sudah di imunisasi
polio (cakupan imunisasi)
Survey rumah tangga
Arsip imunisasi
Komunitas Desa Bintan Buyu
menerima program imunisasi
Output:
Workshop Kesadaran Imunisasi
Polio
Indikator Output:
Jumlah masyarakat yang
berpartisipasi dalam workshop
imunisasi polio
Absensi kedatangan peserta
Focus Group Discussion
Kapasitas masyarakat dalam
mengukuti program imunisasi
polio tidak terhambat oleh
kegiatan lainnya
Aktifitas/Kegiatan:
Penerjemahan booklet
imunisasi polio
Produksi booklet imunisasi polio
Indikator Proses:
Jumlah booklet imuniasasi polio
yang diterjemahkan dan
diproduksi
Inventarisir jumlah booklet
Input:
Booklet, penyuluh, koordinator
imunisasi polio, dst.
Indikator Input:
Jumlah booklet imuniasasi polio
yang diproduksi, anggaran,
jumlah koordinator, relawan,
Inventarisir jumlah booklet, resi
pemesanan, dll.

11. Indikator Matriks
Indikator matriks adalah alat kritikal dalam
perencanaan dan mengelola koleksi, analisa dan
penggunaan data
Indikator matriks memperluas logframe dalam
mengidentifikasi kebutuhan informasi kunci bagi
tiap-tiap indikator dan merangkumnya kedalam
kunci tugas M&E sebuah program

12. Komponen:
Indikator
Definisi indikator
Metode/sumber
Frekuensi/jadwal
Orang-orang yang bertanggungjawab
Analisa data
Penggunaan informasi

13. indikator
Definisi
Indikator
Metode/Sumber
Orang-Orang yang
Bertanggungjawab
Frekuensi/Jadwal Analisa Data
Penggunaan
Informasi
Peningkatan
imunisasi
secara
menyeluruh
pada anak
dibawah umur 5
tahun di Desa
Bintan Buyu
(cakupan
imunisasi)
Anak, mengacu
pada umur 3
hingga 5 tahun
Imunisasi secara
menyeluruh
merujuk pada
pemberian
vaksin polio
berdasarkan
standar WHO
End-line
randomized
house-hold
survey
Focus Group
Discussion
Interview
informan kunci
Tim evaluasi
eksternal
Survey end-line
tergantung timeline
program
FGD bersama
murid, guru dan
administrator pada
akhir program
Pada awal program
berdasarkan jadwal
Kuesioner survey
end-line pending,
tergantung jadwal
program
Tim manajemen
program pada
saat meeting
Pertemuan
pasca program
dengan partner
(Dinas Kesehatan
Prov. Kepri dan
Kab Bintan)
Implementasi dan
keputusan program
bersama masyarakat
Proses monitoring
bersama Dinas
Kesehatan Prov.
Kepri dan Kab.
Bintan
Evaluasi dampak
untuk menjustifikasi
program kepada
Kementrian
Kesehatan

14. QUESTIONS?

15. Pengumpulan Data dan Rencana Analisis
Pengumpulan data dan rencana analisis
meluaskan informasi yang disediakan oleh
matriks indikator dengan menjelaskan secara
detail bagaimana data dan informasi akan
didefinisikan, dikumpulkan, diorganisasikan dan
di analisa.

16. Pengumpulan dan analisis data terdiri dari
kumpulan narasi dengan langkah-langkah yang
diperlukan untuk memastikan kualitas data dan
penelitian yang cermat
Komponen utama termasuk didalamnya:
unit analisa data, waktu dan model pengumpulan
data, metode sampling, daftar tanggungjawab
staf peneliti, dll

17. Sumber-sumber utama data dan informasi bagi
program monitoring dan evaluasi:
Data sekunder: data penting yang dapat diambil dari
penelitian, survey, dll, yang relevan dan sesuai dengan
kebutuhan.
Sample survey: survey berdasarkan sample random yang
diambil dari target sasaran.
Tes laboratorium: pengukuran secara tepat sebuah objek
atau fenomena, seperti berat bayi atau tes kualitas udara, air
dan tanah.

18. Participatory Rapid Appraisal (PRA):
menggunakan teknik yang melibatkan
masyarakat agar dapat mengerti pandangan
masyarakat tersebut terhadap sebuah isu
tertentu.
Biasanya berlangsung cepat, sekitar 2 hingga 3
minggu. Metode yang termasuk didalamnya:
interview, FGD, dan pemetaan masyarakat
(community mapping).

19. Rapid Appraisal: mengumpulkan data secara
sistematis, menggunakan metode kualitatif dan
kuantitatif seperti kunjungan ke lapangan,
observasi, dan menggunakan sample survey.
Review data statistik: review sensus jumlah
populasi, data penelitian, dan sumber data
statistik lainnya.

20. Komponen Lainnya…
Pelaporan Informasi
Capacity Building
Budgeting

21. Thanks!
Any questions?

22. Progress Tugas…???
Desain M&E menggunakan komponen-
komponen M&E diatas
Program/kebijakan/intervensi dan komponen M&E
dinarasikan/dijabarkan dalam bentuk tulisan.
Bentuk intervensi/program bebas.
Tugas kelompok.
Diperbolehkan menggunakan UP (usulan penelitian) dalam
mendesain M&E.
Pengumpulan tugas pada pertemuan ke-11.

23. Tools for Impact
Evaluation

24. Monitoring dan Evaluasi (M&E) serta Analisis Dampak dalam
kegiatan pembangunan dapat menyediakan pejabat publik,
development manager, dan masyarakat sipil suatu cara
yang lebih baik untuk belajar dari pengalaman masa lalu,
meningkatkan pelayanan, perencanaan dan alokasi sumber
daya dan menunjukkan hasil sebagai bagian dari
akuntabilitas kepada stakeholder.

25. Analisis Dampak
Sebagai komponen dari proses monitoring dan evaluasi,
evaluasi dampak merupakan instrumen penting untuk
menguji validitas dari pendekatan khusus untuk
pembangunan dan pengentasan kemiskinan.
Evaluasi dampak membantu mereka yang terlibat pada
sebuah proyek untuk menetapkan apakah ada atau tidak
hubungan sebab akibat antara sebuah intervensi dengan
outcome.
Analisis kontra-fakta yang digunakan oleh evaluasi dampak
adalah alat penting untuk menilai efektivitas intervensi
dalam pembangunan.

26. Evaluasi dampak masuk ke dalam rantai proses monitoring
dan evaluasi dalam beberapa cara:
Pertama, membantu untuk menilai hubungan kasual
antara intervensi dan outcome.
Kedua, memberikan bukti dasar untuk efektivitas intervensi,
yang dapat dibandingkan dengan intervensi lain yang
sejenis.
Ketiga, berfungsi membangun basis pengetahuan tentang
apa yang bekerja dalam pembangunan dan apa yang tidak.

27. Alat, Metode, dan Pendekatan
Beberapa alat dan pendekatan saling melengkapi;
beberapa merupakan pengganti. Beberapa memiliki
aplikasi yang luas, sementara yang lain cukup sempit dalam
penggunaannya.
Pilihan yang sesuai untuk konteks tertentu akan tergantung
pada berbagai pertimbangan. Ini termasuk penggunaan
M&E yang diperlukan, para stakeholder yang memiliki
kepentingan dalam temuan M&E, kecepatan informasi yang
dibutuhkan, dan biaya.

28. Performance Indicators
The Logical Framework Approach
Formal Surveys
Rapid Appraisal Methods
Participatory Methods
Public Expenditure Tracking Surveys
Cost-Benefit and Cost-Effectiveness Analysis
Impact Evaluation
Theory-based Evaluation

29. Formal Suvey
Survei Formal dapat digunakan untuk
mengumpulkan informasi standar dari sampel
yang dipilih, baik dari sampel individu maupun
dari sampel rumah tangga.
Survei sering digunakan untuk mengumpulkan
informasi yang dapat dibandingkan untuk jumlah
kelompok sasaran yang relatif besar.

30. PNPM Mandiri Perkotaan
Survei lapangan dilakukan pada bulan Januari-
Februari 2004 (baseline), Agustus 2005-Januari
2006 (jangka menengah), dan Agustus-
September 2007 (akhir). Sampel meliputi lebih
dari 15.000 anggota rumah tangga pada awal dan
putaran final, dan hampir 10.000 anggota rumah
tangga pada survei pertengahan periode di 73
kelurahan perlakuan dan 38 kelurahan kontrol di
seluruh Indonesia.

31. Dapat digunakan untuk apa?
▣ Menyediakan data dasar (baseline) dimana kinerja, strategi,
program, atau proyek dapat dibandingkan.
▣ Membandingkan kelompok yang berbeda pada titik waktu
tertentu.
▣ Membandingkan perubahan dari waktu ke waktu dalam
kelompok yang sama.
▣ Membandingkan kondisi aktual dengan target yang ditetapkan
dalam program atau desain proyek.
▣ Menggambarkan kondisi dalam sebuah komunitas atau
kelompok tertentu.
▣ Memberikan masukan kunci untuk evaluasi formal dari dampak
program atau proyek.
▣ Menilai tingkat kemiskinan sebagai dasar untuk menyusunan
strategi pengurangan kemiskinan.

32. Rapid Appraisal Method
Rapid Appraisal Method adalah cara murah untuk
mengumpulkan pandangan dan umpan balik dari
penerima manfaat dan stakeholder lainnya mengenai
kondisi geografis, atau sosio-ekonomi.
Memberikan informasi yang cepat untuk pengambilan keputusan,
terutama pada level proyek atau program.
Memberikan pemahaman kualitatif terhadap perubahan sosio-
ekonomi yang kompleks, interaksi sosial yang tinggi, atau nilai-nilai
masyarakat, motivasi, dan reaksi.
Menyediakan konteks dan interpretasi data kuantitatif yang
dikumpulkan dengan metode yang lebih formal.

33. Tools-Rapid Appraisal Method
Wawancara Informan Kunci
Focus Group Discussion - kegiatan diskusi yang difasilitasi.
Terdiri dari 8-12 peserta yang dipilih dengan cermat dan
dengan latar belakang yang sama. Peserta FGD, misalnya,
dapat diambil dari penerima manfaat atau staf program.
Wawancara Kelompok Masyarakat - serangkaian
pertanyaan dan diskusi yang difasilitasi dalam pertemuan
terbuka untuk semua anggota masyarakat.
Observasi Langsung
Survei Mini

34. Participatory Method
Metode Partisipatif merupakan proses pengumpulan data
yang melibatkan kerjasama aktif antara pengumpul data
dan responden. Pertanyaan-pertanyaan umumnya tidak
dirancang secara baku, melainkan hanya garis-garis
besarnya saja. Topik-topik pertanyaan bahkan dapat
muncul dan berkembang berdasarkan proses tanya-jawab
dengan responden
Melibatkan mereka yang berkepentingan dan responden
secara aktif dalam pengambilan keputusan dalam proyek,
program, atau strategi dan menghasilkan rasa kepemilikan
pada hasil M&E dan rekomendasi.

35. Kegunaan Metode Partisipatif
Belajar tentang kondisi lokal dan perspektif masyarakat
lokal dan prioritas untuk merancang intervensi yang lebih
responsif dan berkelanjutan.
Mengidentifikasi masalah dan memecahkan masalah
selama pelaksanaan.
Mengevaluasi proyek, program, atau kebijakan.
Memberikan pengetahuan dan keterampilan untuk
memberdayakan masyarakat.

36. Thanks!
Any questions?