Dokumen tersebut membahas mengenai pentingnya monitoring dan evaluasi program kesehatan untuk mengetahui kemajuan pelaksanaan program dan hasil yang dicapai. Monitoring digunakan untuk memantau pelaksanaan secara berkelanjutan sedangkan evaluasi dilakukan secara periodik untuk menilai capaian program. Berbagai metode pengumpulan data seperti wawancara, observasi, dan focus group discussion dapat digunakan dalam monitoring dan evaluasi.
2. Out line
• Memahami proyek kesehatan
• Memahami program kesehatan
• Mengetahui pengertian monitoring dan evaluasi
• Pentingnya monev
• Tujuan dari monev
3. Pendahuluan
• Keberhasilan sebuah program dapat dilihat dari apa yang
direncanakan dengan apa yang dilakukan, apakah hasil yang
diperoleh berkesesuaian dengan hasil perencanaan yang dilakukan
• Suatu program kesehatan diadakan sebagai realisasi dari rencana
program kesehatan di bidang kesehatan yang akan memberikan
dampak pada peningkatan derajad kesehatan suatu masyarakat
• Program kesehatan adalah kumpulan dari proyek-proyek di bidang
kesehatan baik yang berjangka pendek maupun jangka panjang.
• Tidak sedikit pihak yang merancukan antara proyek dan program.
5. PROYEK PROGRAM
1. Dinamis dan non rutin
2. Siklus kegiatan relatif pendek
3. Intensitas kegiatan dalam
periode proyek berubah-ubah
(fluktuatif)
4. Kegiatan dibatasi anggaran dan
jadwal yang ketat
5. Interdisipliner
6. Keperluan sumber daya
cenderung berubah
1. Berulang dan rutin
2. jangka panjang
3. Intensitas kegiatan relatif
lama
4. Batasan jadwal dan anggaran
tidak setajam kegiatan proyek
5. Macam kegiatan terbatas
6. Keperluan sumber daya relatif
konstan
6. Proyek
• Proyek ialah suatu rangkaian kegiatan yang bersifat khusus untuk
mencapai hasil yang bersifat khusus pula.
• Sifat yang serba khusus itu mengakibatkan bilamana sesuatu hasil
yang diinginkan tersebut telah tercapai, maka rangkaian kegiatan
itu juga dihentikan, dan dalam jangka waktu pendek kegiatan
semacam itu tidak akan dilakukan lagi.
• Suatu proyek bukanlah suatu kegiatan rutin yang dilakukan terus
menerus, melainkan hanya menyangkut suatu jangka waktu
tertentu saja.
7. Program
• Program merupakan kegiatan yang terdiri dari beberapa proyek
• Perbedaan Program dengan Proyek dapat dilihat secara tegas,
dimana program lebih luas dari pada proyek.
• Program biasanya terdiri dari lebih dari satu proyek.
• Program merupakan operasionalisasi dari kebijakan publik dalam
rangka menyelesaikan masalah publik.
• Program kesehatan adalah kumpulan dari proyek-proyek di bidang
kesehatan baik yang berjangka pendek maupun jangka panjang
• Suatu program kesehatan diadakan sebagai realisasi dari rencana
program kesehatan di bidang kesehatan yang akan memberikan
dampak pada peningkatan derajad kesehatan suatu masyarakat
10. • Disain monitoring dan evaluasi adalah bagian penting
dan tidak terpisahkan dari perencanaan sebuah program.
• Setiap merencanakan sebuah program harus disertai
rencana monitoring dan evaluasi atas program tersebut.
• Apabila sebuah program tidak disertai dengan rencana
monitoring dan evaluasi maka tidak akan didapatkan
data akurat yang dapat digunakan sebagai dasar analisis
untuk perbaikan pelaksanaan program.
11. Definisi Evaluasi
• Evaluasi merupakan proses untuk memberikan
nilai kepada suatu intervensi dengan
mengumpulkan informasi yang valid dan reliable
tentang intervensi tsb secara sistematis dan
dengan membuat perbandingan yang bertujuan
untuk mebuat keputusan yang terinformasi
12. Monitoring dan evaluasi
Monitoring
• Penilaian secara terus menerus / kontinyu terhadap kemajuan suatu
program
• Untuk memastikan program berjalan sebagaimana mestinya untuk
mencapai tujuan
• Untuk mendapatkan umpan balik secara teratur
Evaluasi
• Penilaian secara periodik dimensi atau aspek tertentu dari suatu program
yang sedang berlangsung maupun yang sudah selesai (evaluasi proses dan
evaluasi hasil
• Untuk menilai kontribusi program terhapat perubahan
• Untuk menilai kebutuhan perbaikan, kelanjutan atau perluasan program
13. Perbedaan Monitoring dan Evaluasi
Monitoring Evaluasi
waktu Terus menerus Periodik
Apa yang di ukur Aktivitas keseharian, sering focus
pada input, proses dan output
Kemajuan dalam pencapaian
outcomes dan impacts
Siapa yang terlibat Pihak internal Pihak internal dan eksternal
Proses Rapat rutin, laporan, review
bulanan/ 3 bulanan
Rapat khusus, dibutuhkan
pengambilan data tambahan
Pengguna hasil Pihat internal Pihak internal dan eksternal
Penggunaan hasil Koreksi minor program Perubahan kebijakan, strategi
program termasuk pemberhentin
program
14. The Basic Logic Model (model logika dasar)
The W. K Kellog Fondation
Input
Proses
(aktivities) Output Outcome Impact
• Monitoring • Evaluasi
15. Input
• Sumberdaya yang di investasikan/ disediakan untuk pelaksanaan
program
Contoh : SDM, finansial, sarana, prasarana dan sumber daya lainnya
16. Proses atau aktivitas
• Apa yang dilakukan oleh program dengan sumber saya yang ada
• Akitivitas melipiti kegiatan, proses atau intervensi yang ditujukan
untuk mencapai hasil atau perubahan yang diharakan.
• Contoh pelatihan, penjangkauan
17. Output
• Produk atau hasil langsung dari implementasi aktivitas program
dapat meliputi jenis, level dan target yang dicapai program
Contoh : jumlah nakes terlatih
18. Outcomes
• Hasil jangkan pendek dan menengah dari program pada tingkat
populasi
• Contoh perubahan pada pengetahuan, sikap dan perilaku
19. Impact
• Perubahan fundamental yang diharapkan pada masyarakat atau
sistem sebagai hasil dari aktivitas program
• Contoh perubahan status kesehatan masyarakat
20. Fase-fase utama dalam evaluasi
Perencanaan (idealnya
direncanakan sejak perencanaan
program)
Pengumpulan & analisis data
Pelaporan & utilisasi
(penggunaan) hasil evaluasi
21. Mengapa perlu dilakukan evaluasi?
• Menyediakan informasi untuk pengembangan program
• Mengetahui proses implementasi
• Mengetahui efektivitas program
• Mengetahui apakah program bisa diterapkan di tempat lain -
transferabilitas
• Membandingkan program serupa untuk menentukan yang lebih
baik
• Meningkatkan dasar bukti ilmiah dari suatu topik
• Akuntabilitas
23. Tujuan & Pertanyaan Evaluasi
• Tujuan evaluasi dikembangkan dengan mempertimbangkan tipe
evaluasi, kepentingan pengguna, kriteria evaluasi yang digunakan
• Tujuan yang SMART:
• Specific: menggambarkan secara jelas dan terperinci tujuan yang hendak
dicapai
• Measurable: dapat didefinisikan dengan tepat sehingga tidak terjadi
pengukuran dan interpretasi yang ambigu
• Achievable: dapat dicapai oleh evaluasi
• Relevant: menghasilkan informasi yang dibutuhkan oleh pemangku
kepentingan
• Time bound: menjelaskan kapan perubahan tertentu diharapkan akan
terjadi
25. Indikator dalam Monev
Process
• Contoh Indikator
Proses:
• Pengembangan materi
KIE tentang
Hipertensi dilakukan
pada bulan Maret 2017
Output
• Contoh Indikator
Output:
• Seluruh anggota
keluarga binaan
mendapatkan KIE
tentang hipertensi
Outcome
• Contoh Indikator
Outcome
• Peningkatan
pengetahuan keluarga
angkat terkait dengan
hipertensi
• Peningkatan kepatuhan
minum obat Hipertensi
pada keluarga angkat
yang menderita
hipertensi
Impact
• Contoh Indikator
Impact
•Menurunkan angka
kejadian HT
•Menurunkan insiden
kematian akibat HT
26. Rancangan evaluasi
•Apa cara terbaik untuk membentuk evaluasi secara
keseluruhan untuk menjamin bahwa data yang valid &
komprehensif dapat dikumpulkan?
•Desain evaluasi (Ovretveit, 2002):
1. Deskriptif
2. Audit
3. Single before and after
4. Comparative
5. Randomised controlled trial
6. Impact intervensi pada organisasi kesehatan terhadap :
organisasi/staff dan/atau klien/konsumen
27. Rancangan evaluasi apa yang dapat
digunakan dalam IPE 3?
• Untuk evaluasi proses:
• Deskriptif: menggambarkan
• Audit: membandingkan dengan standar
• Untuk evaluasi hasil:
• Before – after: membandingkan keadaan sebelum dan sesudah intervensi
data baseline harus tersedia
• Comparative: membandingkan kelompok yang diberikan intervensi dengan
yang tidak
28. Berbagai metode pengumpulan data
• Kuantitatif
– Data diukur & disajikan dalam bentuk numerik
• Kualitatif
– Data non-numerik disajikan terkait dengan karakteristik atau kualitasnya
• Kombinasi metode kuantitatif & kualitatif
29. Bagaimana menentukan metode
pengumpulan data?
Tujuan & pertanyaan evaluasi akan memandu
pemilihan metode pengumpulan data
• Pertanyaan evaluasi akan menentukan data apa
yang diperlukan untuk menjawab pertanyaan tsb.
Dan metode apa yang paling sesuai untuk
mengumpulkan data tsb.
Tentukan sumber data, cara pengumpulan,
pengolahan serta analisis data
30. Perbandingan metode kualitatif & kuantitatif
Kualitatif Kuantitatif
Desain Umum
Fleksibel
Berkembang dalam proses
penelitian
Spesifik, jelas, terinci
Ditentukan secara mantap
sejak
awal
Menjadi pegangan langkah
demi
langkah
Tujuan Memperoleh pemahaman
makna
Mengembangkan teori
Menggambarkan realitas yang
kompleks
Menunjukkan hubungan
antara
variabel
Mentest teori
Mencari generalisasi yang
mempunyai nilai prediktif
Teknik
penelitian
Observasi
Wawancara terbuka
Eksperimen, survey, observasi
terstruktur
Wawancara terstruktur
31. Cont….
Kualitatif Kuantitatif
Instrumen
penelitian
Manusia
Buku Catatan
Recording
Test, angket, wawancara,
skala
Komputer, Kalkulator
Data Deskriptif
Dokumen pribadi, catatan
lapangan,
ucapan responden,
dokumen, dll
Kuantitatif
Hasil pengukuran
berdasarkan
variabel yang
dioperasionalkan
dengan menggunakan
instrumen
Sampel Kecil
Tidak representatif
Purposif
Besar
Representatif
Sedapat mungkin random
32. Cont…
Kualitatif Kuantitatif
Analisis Terus menerus sejak awal
sampai
akhir penelitian
Induktif
Mencari pola, model, tema
Pada taraf akhir setelah
pengumpulan data selesai
Deduktif
Menggunakan statistik
Hubungan
dengan
responden
Empati, akrab
Hubungan jangka lama
Berjarak, sering tanpa kontak
langsung
Hubungan jangka pendek
Usulan
desain
Singkat
Sedikit literatur
Pendekatan secara umum
Masalah yang diduga relevan
Tidak ada hipotesis
Fokus penelitian sering ditulis
setelah ada data yang
dikumpulkan
dari lapangan
Luas dan terinci
Banyak literatur yang berhubungan
dengan masalah
Prosedur yang spesifik dan terinci
langkah-langkahnya
Masalah diuraikan dan ditujukan
kepada fokus tertentu
Hipotesis dirumuskan dengan jelas
dan ditulis terinci dan lengkap
sebelum terjun ke lapang
33. Metode pengumpulan data
(Ovretveit, 2002)
1. Studi dokumentasi/ Review Dokumen:
• Data sekunder: data yang dikumpulkan untuk tujuan lain (bukan untuk
kepentingan evaluasi)
• Misalnya: data jumlah penduduk, data cakupan ANC, notulensi rapat,
catatan medis pasien
• Keunggulan: relatif murah, dapat menyediakan informasi bagi latar
belakang, dapat menghasilkan info yang tidak muncul dengan metode
lain
• Kelemahan: informasi tidak tersedia, tidak lengkap, tidak akurat,
ketinggalan jaman, memerlukan waktu lama untuk menumpulkan,
mereview dan menganalisis banyak dokumen
• Periksa: bagaimana data tsb. dikumpulkan dan dicatat
• Mengecek validitas & reliabilitas
• Bisa dibandingkan/tidak
• Memutuskan data bisa digunakan/tidak
34. Metode pengumpulan data
(Ovretveit, 2002)
2. Observasi
• Mengumpulkan data saat suatu kejadian
berlangsung
• Data tentang perilaku
• Observer independen atau partisipan
• Dengan atau tanpa pedoman observasi
• Field notes (catatan lapangan): sejujur & sefaktual mungkin
• Kekuatan: secara langsung melihat apa yang orang kerjakan (bukan
hanya yang mereka katakan), Tidak bergantung kepada kesediaan orang
dalam memberikan informasi
• Kelemahan: rentan terhadap observer bias, Hawthorne effect
(berperilaku lebih baik krn tahu diawasi, tidak dapat menjelaskan
mengapa orang berperilaku tertentu)
35. Metode pengumpulan data
(Ovretveit, 2002)
3. Wawancara
• Proses memperoleh informasi antara antara pewawancara dan yang
diwawancarai dengan atau tanpa pedoman
• In-depth interview (wawancara mendalam) data kualitatif
• Kekuatan:
• Dapat meningkatkan pemahaman mengenai pengalaman,
pemahaman, perasaan orang pada setting mereka dengan bahasa
mereka.
• Kelemahan:
• Tergantung keterampilan pewawancara
• Bias pewawancara
• Responden memberi jawaban yang ‘sesuai norma’
• Isu etika isu sensitif, pribadi, membangkitkan trauma
• Memerlukan waktu dan biaya yang relatif besar
36. Metode pengumpulan data
(Ovretveit, 2002)
4. Focus group discussion
• Sekelompok orang (6 -10 orang) berdiskusi tentang suatu topik
dengan dipandu oleh fasilitator/moderator
• Data kualitatif
• Kekuatan:
• Mampu memperoleh lebih banyak informasi secara lebih cepat dari
sekelompok orang
• Kelemahan:
• rentan terhadap bias pewawancara, dapat didominasi oleh beberapa
orang, data analisis perlu banyak waktu dan persiapan yang matang,
informasi tidak valid pada level individu & tidak dapat digeneralisir pada
kelompok lain
37. Metode pengumpulan data
(Ovretveit, 2002)
5. Survey kuesioner
• Wawancara atau self administered (diisi sendiri oleh responden)
• Untuk mengumpulkan data dengan topik yang dimengerti oleh populasi
• Kelebihan:
• Responden memiliki waktu untuk berpikir & merespon secara anonim
• Cepat, relatif murah, analisis mudah
• Kekurangan:
• Susah memperoleh response rate yg tinggi (>50%)
• Kesalahpahaman pertanyaan, respon tidak komplit
• Tidak bisa menggali temuan penting
38. Metode pengumpulan data
(Ovretveit, 2002)
6. Metode pengukuran
• Misalnya: pengukuran antopometri, pengukuran tekanan
darah, pengukuran kadar Hb
39. Bagaimana menentukan metode
pengumpulan data?
Tujuan & pertanyaan evaluasi akan memandu
pemilihan metode pengumpulan data
Pertanyaan evaluasi harus ditetapkan untuk
menentukan data apa yang diperlukan untuk
menjawab pertanyaan tsb. Dan metode apa yang
paling sesuai untuk mengumpulkan data tsb.
Tentukan sumber data, cara pengumpulan,
pengolahan serta analisis data
39
40. Analisis Data Kuantitatif
• Deskriptif:
Data digambarkan secara:
• Numerik: jumlah, persentase, rerata, median
• Grafis: tabel atau grafik
• Inferensial:
Dilakukan uji hipotesa (statistik):
• Uji parametrik
• Uji non-parametrik
41. Contoh penyajian data kuantitatif
90.10%
49.70%
9.90%
50.30%
0.00%
20.00%
40.00%
60.00%
80.00%
100.00%
Sekolah dengan KSPAN aktif Sekolah dengan KSPAN tidak
aktif/ tidak ada ekskul
KSPAN
Apakah pernah mendapatkan informasi
mengenai HIV-AIDS dari teman yang menjadi
anggota KSPAN?
Ya Tidak
p< 0.001
42. Analisis Data Kualitatif
• Thematic analysis
• Transkripsi hasil wawancara
• Membaca transkrip
• Koding
• Penentuan kategori, tema
43. Contoh Penyajian Data Kualitatif
• Bagi sebagian sekolah, dana masih menjadi faktor
penghambat bagi mereka untuk melaksanakan kegiatan
secara optimal.
“sekarang itu yang perlu diusulkan ke KPA provinsi, masalah
dana untuk KSPAN, jadi betul-betul kami tidak ada dana,
karena kami nggak bisa mungut apa-apa dari orangtua siswa
(itv_dks_na)
44. • Do not harm!
• Etik terkait dengan:
• Informed consent (aktif & pasif)
• Menjaga privacy (mencegah invasi terhadap kehidupan pribadi
peserta),
• Menjaga confidentiality (menjaga kerahasiaan peserta dengan
menyamarkan identitas peserta dalam analisis dan pelaporan),
• Anonimity (tidak mencantumkan nama, alamat, atau identitas
lain)
• Juga terkait dengan integritas evaluator (kode etik profesi):
menganalisis dan melaporkan hasil secara beretika, menghindari
penyalahtafsiran hasil evaluasi, plagiarisme, transparansi dan
penghargaan untuk partisipan
Etika dalam Evaluasi
Metode kuantitatif:
Berasal dari ilmu pasti
Perhitungan, catatan frekuensi
Test
Rating scales
Checklists (daftar periksa)
Pengumpulan data sekunder (Ekstraksi & kompilasi dari data base)
Pengukuran (untuk mengkuantifikasi) merupakan tujuan umum metode kuantitatif
Metode kualitatif
Berasal dari multi-disiplin ilmu, terutama ilmu sosial
Metode kualitatif biasanya dipilih untuk:
Mengobservasi
Mengidentifikasi
Menggambarkan
Menjelaskan dan menginterpretasikan
Observasi
Terstruktur & tidak terstruktur; partisipasi
Mapping (pemetaan), checklist, klasifikasi kategori
Wawancara
Terstruktur
Semi-terstruktur
Individual maupun kelompok, termasuk diskusi terarah
Studi kasus
Exploratori, kontekstual, menggunakan berbagai macam teknik kualitatif
Miller and Crabtree 1999
Evaluasi naratif
Serupa dengan pendekatan studi kasus
Meningkatkan partisipasi konsumen
Sesuai untuk kelompok dengan literasi yang rendah
Deskriptif dan kaya – menjawab bagaimana dan mengapa lebih baik dibandingkan apa yang telah berubah?
Masalah pada reliabilitas dan bias
Pengambilan foto
Manfaat seperti diatas, telah sukses diterapkan dalam bidang kesehatan mental