EVALUASI DAN ANALISIS DAMPAK

1. M-5, 6 & 7
Evaluasi dan Analisis Dampak
07/03/2017
14/03/2017
21/03/2017

2. Monitoring &
Evaluasi

3. Monitoring
Monitoring merupakan prosedur analisis
kebijakan yang digunakan untuk memberikan
informasi sebab akibat dari kebijakan publik
Fungsi manajemen pada saat kegiatan sedang
berlangsung

4. Cakupan:
Penelurusan pelaksanaan kegiatan dan
keluarannya
(fokus pada input, proses dan output)
Pelaporan tentang kemajuan
(progress report)
Identifikasi masalah-masalah pengelolaan dan
pelaksanaan

5. Monitoring adalah pengumpulan sistematis dan
rutin informasi dari proyek dan program untuk
empat tujuan utama:
Agar belajar dari pengalaman untuk meningkatkan
praktek dan kegiatan dimasa depan
Untuk memiliki akuntabilitas internal dan eksternal dari
sumber daya yang digunakan dan hasil yang diperoleh
Untuk mengambil keputusan tentang masa depan
program
Untuk mempromosikan pemberdayaan penerima
manfaat dari program

6. Monitoring adalah tugas periodik berulang yang dimulai
pada tahap perencanaan suatu proyek atau program.
Monitoring memungkinkan hasil, proses dan pengalaman
untuk didokumentasikan dan digunakan sebagai dasar
untuk mengarahkan pengambilan keputusan dan proses
pembelajaran
Monitoring adalah memeriksa kemajuan terhadap rencana.
Data yang diperoleh melalui monitoring digunakan untuk
evaluasi

7. Tujuan
Melakukan modifikasi terhadap kebijakan apabila hasil
monitoring mengharuskan untuk itu
Menemukan kesalahan sedini mungkin sehingga
mengurangi resiko yang lebih besar
Menjaga agar kebijakan yang sedang
diimplementasikan sesuai dengan tujuan dan sasaran

8. Data dan Informasi
Monitoring membutuhkan data dan informasi
sebagai bahan penilaian terhadap proses
implementasi kebijakan. Data dan informasi
tersebut dapat diperoleh dengan beberapa
metode:
Metode dokumentasi
Metode survey
Metode observasi lapangan
Metode wawancara
Metode campuran (mix method)
Focus Group Discussion

9. QUESTIONS?

10. Evaluasi harus membantu untuk menarik
kesimpulan tentang lima aspek utama intervensi:
Relevansi
Efektivitas
Efisiensi
Dampak
Keberlanjutan
Informasi yang dikumpulkan dalam kaitannya
dengan aspek-aspek diatas selama proses
monitoring memberikan dasar untuk analisis
evaluatif

11. Mengapa Melakukan M&E?
M&E dapat menyediakan informasi tentang
program, kebijakan dan proyek pemerintah
M&E juga dapat mengidentifikasi program apa
yang bekerja dan apa yang tidak, dan alasan
kenapa program tersebut bekerja/tidak bekerja

12. Monitoring & Evaluation

14. Fokus M&E
Efisiensi
Menggambarkan bahwa pemanfaatan input telah
sesuai dengan output yang dihasilkan
Efektifitas
Ukuran apakah suatu kegiatan telah mencapai
tujuan yang ditetapkan
Impact
Apakah apa yang dilakukan memberikan dampak
terhadap masalah yang ingin diselesaikan

15. Secara umum, monitoring merupakan bagian
integral dari evaluasi
Selama evaluasi, informasi dari proses monitoring
digunakan untuk memahami cara-cara dimana
proyek atau program yang dikembangkan
mengalami perubahan

16. QUESTIONS?

17. Komponen
Utama Sistem
M&E

18. Komponen
Causal Analysis Framework
Logical Framework
Indikator Matriks
Pengumpulan Data dan Rencana Analisis

19. Causal Analysis Framework
Kerangka kerja analisis kausal berguna untuk
menjelaskan intervensi kunci dan
mengidentifikasi variabel yang dibutuhkan
untuk menilai sampai sejauh mana efek dari
suatu program

20. Analisis Kausal Pengembangan Hipotesis Design Proyek/Program
Penyebab/Kondisi
(knowledge/pengetahuan)
JIKA Intervensi
(attitude/sikap/pendirian)
DAN
(practice/praktek)
MAKA
Outcome yang diinginkan
Masalah
DENGAN DEMIKIAN
Konsekuensi/Akibat
DENGAN DEMIKIAN Tujuan Umum

21. Analisis Kausal Pengembangan Hipotesis Design Proyek/Program
Penyebab/Kondisi
Para ibu tidak tahu bahwa air yang
tidak bersih akan membuat bayi
sakit
(knowledge/pengetahuan)
JIKA para ibu sadar akan bahaya air
tidak bersih,
Intervensi
Mengedukasi para ibu tentang
bahaya air tidak bersih
Para ibu percaya bahwa ASI saja
tidak cukup bagi bayi berumur
dibawah 6 bulan
(attitude/sikap/pendirian)
DAN ASI memiliki kadar nutrisi yang
cukup untuk bayi berumur dibawah 6
bulan,
Mengedukasi para ibu tentang nilai
nutrisi ASI bagi bayi dibawah 6 bulan
Para ibu memberikan pengganti ASI
kepada bayi berumur dibawah 6
bulan
(practice/praktek)
MAKA para ibu akan secara ekslusif
memberikan ASI pada bayi mereka
untuk menghidari paparan air tidak
bersih
Outcome yang diinginkan
Meningkatnya pemberian ASI
secara eksklusif pada bayi dibawah
6 bulan
Masalah
Tingkat diare yang tinggi pada bayi
dibawah 6 bulan
DENGAN DEMIKIAN tindakan
tersebut akan berkontribusi dalam
mengurangi diare pada bayi umur
dibawah 6 bulan
Mengurangi tingkat diare pada bayi
usia dibawah 6 bulan
Konsekuensi/Akibat
Tingginya tingkat kematian bayi
DENGAN DEMIKIAN berkontribusi
dalam mengurangi tingkat kematian
bayi akibat diare
Tujuan Umum
Mengurangi tingkat kematian bayi
akibat diare

22. Analisis Kausal Pengembangan Hipotesis Design Proyek/Program
Penyebab/Kondisi
(knowledge/pengetahuan)
JIKA Intervensi
(attitude/sikap/pendirian)
DAN
(practice/praktek)
MAKA
Outcome yang diinginkan
Masalah
DENGAN DEMIKIAN
Konsekuensi/Akibat
DENGAN DEMIKIAN Tujuan Umum

23. Logical Framework
Logframe adalah matriks yang
menspesifikasikan apa yang di inginkan dari
sebuah program/apa yang ingin dicapai dan
bagaimana pencapaian tersebut dapat diukur
(indikator)

24. Tujuan Program Indikator Cara Verifikasi Asumsi/Hipotesis
Tujuan Utama/Umum:
Pernyataan simple dan jelas
tentang apa yang ingin dicapai oleh
sebuah program
Indikator Dampak:
Cara kualitatif dan kuantitatif untuk
mengukur capaian
program/mengukur perubahan
yang berhubungan dengan capaian
tujuan
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor eksternal yang diperlukan
untuk mempertahankan dampak
jangka panjang, tetapi berada
diluar kendali program
Outcome:
Dampak perubahan yang
diperlukan untuk mencapai tujuan
utama
Indikator Outcome:
Cara kualitatif dan kuantitatif untuk
mengukur capaian outcome
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor eksternal yang diperlukan
jika pencapaian outcome dapat
berkontribusi terhadap capaian
tujuan utama
Output:
Barang dan jasa yang diperlukan
untuk mencapai outcome
Indikator Output:
Cara kualitatif dan kuantitatif untuk
mengukur capaian output
(mengukur langsung produk
aktifitas)
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor-faktor diluar kendali
program yang dapat menghambat
atau membatasi output dari
mencapai outcome
Aktifitas/Kegiatan:
Tugas-tugas yang harus
diselesaikan untuk menghasilkan
output
Indikator Proses:
Cara kualitatif dan kuantitatif untuk
mengukur capaian aktifitas yang
telah direncanakan
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor-faktor diluar kendali
program yang dapat menghambat
atau membatasi aktifitas dari
menghasilkan output
Input:
Sumberdaya yang digunakan
Indikator Input:
Cara kualitatif dan kuantitatif untuk
mengukur penggunaan input
Metode pengukuran, sumber data,
dan pengumpulan frekuensi data
untuk mengukur indikator
Faktor-faktor diluar kendali
program yang dapat menghambat
atau membatasi akses ke input

25. Logframe harus di uji untuk memastikan
konsistensi logic yang digunakan.
Sebuah tes mudah adalah dengan menanyakan
apakah logframe dapat menjawab:
JIKA aktifitas ini diambil DAN asumsi yang
digunakan berlaku, MAKA output yang
diinginkan akan tercipta. JIKA output ini
dikeluarkan/dijalankan DAN asumsi yang
digunakan berlaku, MAKA tujuan akan dicapai.
JIKA tujuan tercapai DAN asumsi berlaku, MAKA
intervensi yang dilaksanakan akan berkontribusi
terhadap tujuan

26. Tujuan Program Indikator Cara Verifikasi Asumsi/Hipotesis
Tujuan Utama/Umum:
Meningkatkan tingkat kesehatan
masyarakat Desa Bintan Buyu
di Kab. Bintan dengan
mengurangi penjangkitan
penyakit polio
Indikator Dampak:
Tingkat anak dibawah umur 5
tahun yang menderita polio
Survey rumah tangga
Arsip kesehatan
Situasi keamanan di Indonesia
stabil dan memungkinkan untuk
implementasi program
Outcome:
Peningkatan imunisasi secara
menyeluruh pada anak dibawah
umur 5 tahun di Desa Bintan
Buyu
Indikator Outcome:
Tingkatan anak dibawah umur 5
tahun yang sudah di imunisasi
polio (cakupan imunisasi)
Survey rumah tangga
Arsip imunisasi
Komunitas Desa Bintan Buyu
menerima program imunisasi
Output:
Workshop Kesadaran Imunisasi
Polio
Indikator Output:
Jumlah masyarakat yang
berpartisipasi dalam workshop
imunisasi polio
Absensi kedatangan peserta
Focus Group Discussion
Kapasitas masyarakat dalam
mengukuti program imunisasi
polio tidak terhambat oleh
kegiatan lainnya
Aktifitas/Kegiatan:
Penerjemahan booklet
imunisasi polio
Produksi booklet imunisasi polio
Indikator Proses:
Jumlah booklet imuniasasi polio
yang diterjemahkan dan
diproduksi
Inventarisir jumlah booklet
Input:
Booklet, penyuluh, koordinator
imunisasi polio, dst.
Indikator Input:
Jumlah booklet imuniasasi polio
yang diproduksi, anggaran,
jumlah koordinator, relawan,
Inventarisir jumlah booklet, resi
pemesanan, dll.

27. Tujuan Program Indikator Cara Verifikasi Asumsi/Hipotesis
Tujuan Utama/Umum:
Indikator Dampak:
Outcome: Indikator Outcome:
Output: Indikator Output:
Aktifitas/Kegiatan: Indikator Proses:
Input: Indikator Input:

28. QUESTIONS?

29. Indikator Matriks
Indikator matriks adalah alat kritikal dalam
perencanaan dan mengelola koleksi, analisa dan
penggunaan data
Indikator matriks memperluas logframe dalam
mengidentifikasi kebutuhan informasi kunci bagi
tiap-tiap indikator dan merangkumnya kedalam
kunci tugas M&E sebuah program

30. Komponen:
Indikator
Definisi indikator
Metode/sumber
Frekuensi/jadwal
Orang-orang yang bertanggungjawab
Analisa data
Penggunaan informasi

31. indikator
Definisi
Indikator
Metode/Sumber
Orang-Orang yang
Bertanggungjawab
Frekuensi/Jadwal Analisa Data
Penggunaan
Informasi
Peningkatan
imunisasi
secara
menyeluruh
pada anak
dibawah umur 5
tahun di Desa
Bintan Buyu
(cakupan
imunisasi)
Anak, mengacu
pada umur 3
hingga 5 tahun
Imunisasi secara
menyeluruh
merujuk pada
pemberian
vaksin polio
berdasarkan
standar WHO
End-line
randomized
house-hold
survey
Focus Group
Discussion
Interview
informan kunci
Tim evaluasi
eksternal
Survey end-line
tergantung timeline
program
FGD bersama
murid, guru dan
administrator pada
akhir program
Pada awal program
berdasarkan jadwal
Kuesioner survey
end-line pending,
tergantung jadwal
program
Tim manajemen
program pada
saat meeting
Pertemuan
pasca program
dengan partner
(Dinas Kesehatan
Prov. Kepri dan
Kab Bintan)
Implementasi dan
keputusan program
bersama masyarakat
Proses monitoring
bersama Dinas
Kesehatan Prov.
Kepri dan Kab.
Bintan
Evaluasi dampak
untuk menjustifikasi
program kepada
Kementrian
Kesehatan

32. Indikator
Definisi
Indikator
Metode/Sumber
Orang-Orang yang
Bertanggungjawab
Frekuensi/Jadwal Analisa Data
Penggunaan
Informasi

33. QUESTIONS?

34. Pengumpulan Data dan Rencana Analisis
Pengumpulan data dan rencana analisis
meluaskan informasi yang disediakan oleh
matriks indikator dengan menjelaskan secara
detail bagaimana data dan informasi akan
didefinisikan, dikumpulkan, diorganisasikan dan
di analisa.

35. Pengumpulan dan analisis data terdiri dari
kumpulan narasi dengan langkah-langkah yang
diperlukan untuk memastikan kualitas data dan
penelitian yang cermat
Komponen utama termasuk didalamnya:
unit analisa data, waktu dan model pengumpulan
data, metode sampling, daftar tanggungjawab
staf peneliti, dll

36. Sumber-sumber utama data dan informasi bagi
program monitoring dan evaluasi:
Data sekunder: data penting yang dapat diambil dari
penelitian, survey, dll, yang relevan dan sesuai dengan
kebutuhan.
Sample survey: survey berdasarkan sample random yang
diambil dari target audience.
Tes laboratorium: pengukuran secara tepat sebuah objek
atau fenomena, seperti berat bayi atau tes kualitas udara, air
dan tanah.

37. Participatory Rapid Appraisal (PRA):
menggunakan teknik melibatkan masyarakat
agar mengerti pandangan masyarakat pada
sebuah isu tertentu.
Biasanya berlangsung cepat, sekitar 2 hingga 3
minggu. Metode yang termasuk didalamnya:
interview, FGD dan pemetaan masyarakat.

38. Rapid Appraisal: mengumpulkan data secara
sistematis, menggunakan metode kualitatif dan
kuantitatif seperti kunjungan ke lapangan,
observasi, dan menggunakan sample survey.
Review data statistik: review sensus jumlah
populasi, penelitian dan sumber data statistik
lainnya.

39. Komponen Lainnya…
Pelaporan Informasi
Capacity Building
Budgeting

40. Thanks!
Any questions?

41. Tugas
Desain M&E menggunakan komponen-
komponen M&E diatas
Program/kebijakan/intervensi dan komponen M&E
dinarasikan/dijabarkan dalam bentuk tulisan.
Bentuk intervensi/program bebas.
Tugas kelompok.
Diperbolehkan menggunakan UP (usulan penelitian) dalam
mendesain M&E.
Pengumpulan tugas pada pertemuan ke-11.