Dokumen ini membahas pentingnya sistem monitoring dan evaluasi (M&E) dalam manajemen pembangunan, termasuk pengertian, jenis, tujuan, dan proses evaluasi. Ditekankan bahwa evaluasi penting untuk akuntabilitas, pengambilan keputusan, dan meningkatkan transparansi serta efektivitas program. Selain itu, dokumen juga menguraikan persyaratan indikator kinerja yang harus SMART (Specific, Measurable, Attainable, Relevant, Timely).

1. BAPPENAS

2. www.dadangsolihin.com

3. Materi Menggabungkan M&E ke dalam Siklus Manajemen Pembangunan Gambaran Sistem M&E (Sekarang dan Akan Datang) Jenis-jenis Evaluasi Mengapa Perlu Melakukan Evaluasi? Mengapa Evaluasi Jarang Dilakukan? Perbedaan Monitoring dan Evaluasi Kerangka Konseptual Evaluasi Pengertian Indikator Kinerja Persyaratan Indikator Kinerja: SMART www.dadangsolihin.com

4. Menggabungkan M&E ke dalam Siklus Manajemen Pembangunan www.dadangsolihin.com Reporting (4) M & E (1) Planning (2) Budgeting (3) Implementation

5. Sederhana dan mudah dikontrol Kapasitas evaluasi yang kuat Informasi yang terbuka dan dapat dievaluasi Adanya penghargaan terhadap kinerja Kejelasan status hasil evaluasi Prinsip – Prinsip Dasar Pengembangan Sistem Evaluasi www.dadangsolihin.com

6. Gambaran Sistem M&E (Sekarang dan Akan Datang) www.dadangsolihin.com Sekarang Akan Datang Adanya berbagai macam peraturan yang mengamanatkan agar sektor (K/L) dan daerah menyusun laporan evaluasi kinerja pembangunan Depdagri LAN Menpan Departemen Keuangan Bappenas Setneg K/L terkait Tidak adanya implikasi/dampak dari pelaksanaan kegiatan evaluasi Sangat Mahal (Biaya dan Waktu) Evaluasi top-down Evaluasi fragmentasi 1 waktu Evaluasi pasif Kurangnya penghargaan terhadap hasil evaluasi Satu laporan dapat diakses oleh seluruh institusi (K/L) dan daerah Evaluasi dapat dilakukan secara komprehensif Sistem evaluasi yang baru diharapkan mewujudkan integrasi dan saling keterkaitan yang bersinergi dan mempengaruhi antara hasil evaluasi yang satu dengan yang lainnya Lebih efisien dan biaya rendah Memperkenalkan evaluasi yang terintegrasi, sistem top-down dan bottom-up Evaluasi yang kontinu untuk proses pembelajaran institusi Evaluasi aktif (melibatkan pihak eksternal) Menciptakan sistem insentif-disinsentif dari hasil evaluasi Adanya komunitas evaluator

7. www.dadangsolihin.com Who does what? + 30 Laws and Regulations regarding M&E Picture from John Mancini, ECM in State and Local Government

8. Pengendalian Serangkaian kegiatan manajemen yang dimaksudkan untuk menjamin agar suatu program/kegiatan yang dilaksanakan sesuai dengan rencana yang ditetapkan. Pemantauan/Monitoring Kegiatan mengamati perkembangan pelaksanaan rencana pembangunan, mengidentifikasi serta mengantisipasi permasalahan yang timbul dan/atau akan timbul untuk dapat diambil tindakan sedini mungkin. Evaluasi Rangkaian kegiatan membandingkan realisasi masukan (input), keluaran (output), dan hasil (outcome) terhadap rencana dan standar. Pengertian www.dadangsolihin.com Sumber: PP39/2006

9. Evaluasi www.dadangsolihin.com Tahap Perencanaan ( ex‑ante ) Tahap Pelaksanaan ( on‑going ) Tahap Pasca‑Pelaksanaan ( ex‑post ) dilakukan sebelum ditetapkannya rencana pembangunan untuk memilih dan menentukan skala prioritas dari berbagai alternatif dan kemungkinan cara mencapai tujuan yang telah dirumuskan sebelumnya dilakukan pada saat pelaksanaan rencana pembangunan untuk menentukan tingkat kemajuan pelaksanaan rencana dibandingkan dengan rencana yang telah ditentukan sebelumnya Dilaksanakan setelah pelaksanaan rencana berakhir untuk melihat apakah pencapaian (keluaran/ hasil/ dampak) program mampu mengatasi masalah pembangunan yang ingin dipecahkan untuk menilai efisiensi (keluaran dan hasil dibandingkan masukan), efektivitas (hasil dan dampak terhadap sasaran), ataupun manfaat (dampak terhadap kebutuhan) dari suatu program.

10. Kegunaan Evaluasi Memberikan umpan balik terhadap kebijakan, program dan kegiatan Menjadikan kebijakan, program dan kegiatan mampu mempertanggungjawabkan penggunaan dana publik Mambantu stakeholders belajar lebih banyak mengenai kebijakan, program dan kegiatan www.dadangsolihin.com

11. Evaluasi Memberikan Informasi mengenai: Strategi Apakah yang dilakukan sudah benar? Operasi Apakah cara yang ditempuh sudah benar? Pembelajaran Apakah ada cara yang lebih baik? www.dadangsolihin.com

12. Jenis-jenis Evaluasi menurut waktu pelaksanaan Evaluasi formatif: Dilaksanakan pada waktu pelaksanaan program Bertujuan memperbaiki pelaksanaan program Temuan utama berupa masalah-masalah dalam pelaksanaan program Evaluasi summatif: Dilaksanakan pada saat pelaksanaan program sudah selesai Bertujuan untuk menilai hasil pelaksanaan program Temuan utama berupa capaian-capaian dari pelaksanaan program www.dadangsolihin.com

13. Jenis-jenis Evaluasi menurut tujuan Evaluasi proses: Mengkaji bagaimana program berjalan dengan fokus pada masalah penyampaian pelayanan ( service delivery ). Evaluasi biaya-manfaat: Mengkaji biaya program relatif terhadap alternatif penggunaan sumberdaya & manfaat dari program. Evaluasi dampak: Mengkaji apakah program memberikan pengaruh yg diinginkan terhadap individu, rumahtangga, masyarakat, & kelembagaan. www.dadangsolihin.com

14. Mengapa Perlu Melakukan Evaluasi? (1) Setiap tahun dilaksanakan berbagai program, sebagian memakan biaya yang besar, tetapi hasil yang sebenarnya seringkali tidak diketahui. Muncul pertanyaan-pertanyaan: Apakah desain program-program tersebut sudah tepat?  pembelajaran Apakah sumberdaya yang tersedia telah digunakan secara efisien?  akuntabilitas Apakah hasil yang dicapai telah sesuai dengan yang diharapkan?  pengambilan keputusan www.dadangsolihin.com

15. Mengapa Perlu Melakukan Evaluasi? (2) Alasan Ekonomi Memperbaiki desain & keefektifan program Realokasi sumberdaya dari program yang kurang ke yang lebih efektif Alasan Sosial Meningkatkan transparansi & akuntabilitas Alasan Politik Meningkatkan kredibilitas pengambilan keputusan www.dadangsolihin.com

16. Mengapa Evaluasi Jarang Dilakukan? Alasan yg sering diajukan adalah bahwa evaluasi: biayanya mahal menghabiskan banyak waktu secara teknis sulit dilakukan temuannya sering bersifat politis laporannya sering terlambat Tetapi alasan yang lebih penting adalah banyak pelaksana program yang takut bahwa program mereka akan dinilai gagal. www.dadangsolihin.com

17. Perbedaan Monitoring dan Evaluasi www.dadangsolihin.com Monitoring Evaluasi menilai kemajuan dalam pelaksanaan program yang sedang berjalan memberikan gambaran pada suatu waktu tertentu mengenai suatu program Akuntabilitas penyampaian input program Dasar untuk aksi perbaikan Penilaian keberlanjutan program Akuntabilitas penggunaan sumberdaya Pembelajaran tentang hal-hal yg dapat dilakukan lebih baik di masa yad Apakah pelaksanaan sesuai dengan rencana? Apakah terdapat penyimpangan? Apakah penyimpangan tsb dapat dibenarkan? Relevansi Keberhasilan Keefekifan biaya Pembelajaran Dilaksanakan terus-menerus atau secara berkala selama program berjalan Umumnya dilaksanakan pada pertengahan dan akhir program

18. Kerangka Konseptual Evaluasi Menjadi bagian dari desain program Perencanaan yg baik sejak awal Dukungan dari pemangku kepentingan Menjadi bagian dari tanggung jawab pemimpin program Alokasi sumber daya yg memadai www.dadangsolihin.com

19. Proses Evaluasi (1) Menentukan tujuan evaluasi Untuk memperbaiki desain program Untuk mengukur dampak Pertimbangkan konteks Menyusun desain evaluasi yang kredibel Menentukan indikator & tolok ukur Menentukan metode analisis & kebutuhan data Menentukan jadwal pelaksanaan www.dadangsolihin.com

20. Proses Evaluasi (2) Mendiskusikan rencana evaluasi Penyandang dana program Pelaksana program Ahli evaluasi yg berkompeten Menentukan pelaku evaluasi Internal (pertentangan kepentingan) Eksternal (keahlian, objektivitas, pengalaman) Melaksanakan evaluasi Pengawasan kualitas data & analisis www.dadangsolihin.com

21. Proses Evaluasi (3) Mendiseminasikan hasil evaluasi Bahasa yg sederhana & mudah dimengerti Fokus pada temuan utama Adaptif terhadap umpan balik ( feedback ) Menggunakan hasil evaluasi Tuntutan perubahan; tidak sama dengan ancaman Pembelajaran organisasi Program atau kebijakan baru www.dadangsolihin.com

22. Kriteria Evaluasi Relevansi Sejauh mana kegiatan sejalan dengan prioritas dan kebijakan Efektifitas Suatu ukuran sejauh mana sebuah kegiatan mencapai tujuan Efisiensi Mengukur keluaran, kualitatif dan kuantitatif, dalam hubungan dengan masukan. Dampak Perubahan positif dan negatif yang dihasilkan oleh sebuah intervensi pembangunan, secara langsung maupun tidak, disengaja maupun tidak Keberlanjutan Mengukur apakah manfaat suatu kegiatan dapat terus dinikmati setelah anggaran tidak diberikan lagi. www.dadangsolihin.com

23. Metode & Sumber Data (1) Metode Kuantitatif Desain eksperimental Alokasi intervensi secara acak ( random ) Desain kuasi-eksperimental Menggunakan berbagai metode ekonometrik Pencocokan ( matching ) selisih ganda ( double difference ) variabel instrumen ( instrumental variable ) dll www.dadangsolihin.com

24. Metode & Sumber Data (2) Metode Kualitatif Berfokus pada pemahaman proses Menggunakan berbagai metode kualitatif: wawancara mendalam ( indepth interview ) diskusi kelompok terarah ( FGD ) pengamatan ( observation ) sejarah hidup ( life history ) ranking kesejahteraan ( wealth ranking ) pemetaan masyarakat ( community mapping ) dll www.dadangsolihin.com

25. Metode & Sumber Data (3) Sumber Data Data sekunder Susenas Sakernas Podes dll Data primer Survei Pengamatan Wawancara mendalam Kelompok diskusi terarah (FGD) dengan berbagai pemangku kepentingan www.dadangsolihin.com

26. Apa implikasi jika tidak ada M&E? Berbahaya, karena: penilaian kinerja pembangunan dan pengambilan keputusan terbatas pada ketersedian informasi parsial, mekanisme cross-check dan balance (dari masyarakat) tidak optimal Ide dasar sistem M&E tidak semata-mata berangkat dari tindakan melakukan atau menyediakan informasi M&E, NAMUN lebih difokuskan pada bagaimana penggunaan informasi M&E. www.dadangsolihin.com

27. Kenapa M&E diperlukan? Mendukung pembuatan kebijakan (khususnya keputusan anggaran) yaitu penyusunan anggaran berbasis kinerja & perencanaan nasional. Membantu pemerintah dalam: pengembangan & analisis kebijakan serta dalam pengembangan program; mengelola berbagai kegiatan pada tingkat sektor, program & kegiatan; Meningkatkan transparansi & akuntabilitas  apakah telah mencapai sasaran. www.dadangsolihin.com

28. Pengertian Indikator Kinerja Indikator Kinerja adalah uraian ringkas dengan menggunakan ukuran kuantitatif atau kualitatif yang mengindikasikan pencapaian suatu sasaran atau tujuan yang telah disepakati dan ditetapkan KEGUNAAN dasar penilaian kinerja, baik dalam tahap perencanaan (ex-ante), pelaksanaan (on-going), maupun setelahnya (ex-post) petunjuk kemajuan dalam rangka mencapai tujuan atau sasaran www.dadangsolihin.com

29. Pengertian Kinerja Gambaran mengenai tingkat pencapaian pelaksanaan suatu kegiatan/program/kebijaksanaan dalam mewujudkan sasaran, tujuan, misi, dan visi organisasi (LAN, 1999:3) Outcome hasil kerja keras organisasi dalam mewujudkan tujuan stratejik yang ditetapkan organisasi, kepuasan pelanggan serta kontribusinya terhadap perkembangan ekonomi masyarakat (Kane dan Johnson, 1995) Perilaku berkarya, penampilan atau hasil karya. Oleh karena itu kinerja merupakan bentuk bangunan yang multi dimensional, sehingga cara mengukurnya sangat bervariasi tergantung pada banyak faktor (Bates dan Holton 1995). www.dadangsolihin.com

30. Fungsi Indikator Kinerja Memperjelas tentang; what, how, who, and when suatu kegiatan dilaksanakan Menciptakan konsensus yang dibangun oleh stakeholders Membangun dasar pengukuran, analisis, dan evaluasi kinerja program pembangunan www.dadangsolihin.com

31. Kedudukan Indikator Kinerja www.dadangsolihin.com Perencanaan Pelaksanaan Pemantauan dan Evaluasi Indikator Kinerja Kuantitatif Kualitatif Sasaran dan Tujuan

32. Logic Model Theory www.dadangsolihin.com Hasil pembangunan yang diperoleh dari pencapaian outcome Apa yang ingin diubah DAMPAK Manfaat yang diperoleh dalam jangka menengah untuk beneficieries tertentu sebagai hasil dari output Apa yang ingin dicapai OUTCOME Produk/barang/jasa akhir yang dihasilkan Apa yang dihasilkan (barang) atau dilayani (jasa) OUTPUT Proses/kegiatan menggunakan input menghasilkan output yang diinginkan Apa yang dikerjakan KEGIATAN Sumberdaya yang memberikan kontribusi dalam menghasilkan output Apa yang digunakan dalam bekerja INPUT Metode Pelaksanaan Metode Penyusunan Sumber : Framework for Managing Programme Performance Information , National Treasury, Republic of South Africa, May 2007

33. Indikator Kinerja INPUT Indikator ini mengukur jumlah sumberdaya seperti anggaran (dana), SDM, peralatan, material, dan masukan lainnya yang dipergunakan untuk melaksanakan kegiatan. Dengan meninjau distribusi sumberdaya dapat dianalisis apakah alokasi sumberdaya yang dimiliki telah sesuai dengan rencana stratejik yang ditetapkan Contoh: Jumlah dana yang dibutuhkan Tenaga yang terlibat Peralatan yang digunakan Jumlah bahan yang digunakan www.dadangsolihin.com

34. Indikator Kinerja OUTPUT Indikator Keluaran dijadikan landasan untuk menilai kemajuan suatu kegiatan apabila tolok ukur dikaitkan dengan sasaran kegiatan yang terdefinisi dengan baik dan terukur. Oleh karena itu indikator ini harus sesuai dengan lingkup dan sifat kegiatan instansi. Contoh: Jumlah jasa/kegiatan yang direncanakan Jumlah orang yang diimunisasi / vaksinasi Jumlah permohonan yang diselesaikan Jumlah pelatihan / peserta pelatihan Jumlah jam latihan dalam sebulan Jumlah barang yang akan dibeli/dihasilkan Jml pupuk/obat/bibit yang dibeli Jumlah komputer yang dibeli Jumlah gedung /jembatan yg dibangun meter panjang jalanyang dibangun/rehab www.dadangsolihin.com

35. Indikator Kinerja OUTCOME Pengukuran indikator Hasil seringkali rancu dengan pengukuran indikator Keluaran . Indikator outcome lebih utama daripada sekedar output. Walaupun produk telah berhasil dicapai dengan baik, belum tentu secara outcome kegiatan telah tercapai. Outcome menggambarkan tingkat pencapaian atas hasil lebih tinggi yang mungkin menyangkut kepentingan banyak pihak. Dengan indikator outcome instansi dapat mengetahui apakah hasil yang telah diperoleh dalam bentuk output memang dapat dipergunakan sebagaimana mestinya dan memberikan kegunaan yang besar bagi masyarakat. www.dadangsolihin.com

36. Contoh: Ukuran Kinerja Indikator Outcome Jumlah/ % hasil langsung dari kegiatan Tingkat Pemahaman peserta terhadap materi pelatihan tingkat kepuasan dari pemohon/pasien (costumer) kemenangan tim dlm setiap pertandingan Peningkatan langsung hal-hal yg positif kenaikan prestasi kelulusan siswa peningkatan daya tahan bangunan Penambahan daya tampung siswa Penurunan langsung hal-hal yang negatif Penurunan Tingkat Kemacetan Penurunan Tingkat Pelanggaran Lalu lintas www.dadangsolihin.com

37. Indikator Kinerja IMPACT Indikator ini memperlihatkan pengaruh yang ditimbulkan dari manfaat yang diperoleh dari hasil kegiatan. Seperti halnya indikator manfaat, indikator dampak juga baru dapat diketahui dalam jangka waktu menengah dan panjang. Indikator dampak menunjukkan dasar pemikiran mengapa kegiatan dilaksanakan, menggambarkan aspek makro pelaksanaan kegiatan, tujuan kegiatan secara sektoral, regional dan nasional. Contoh: Peningkatan hal yg positif dlm jk panjang % Kenaikan Pendapatan perkapita masyarakat Peningkatan cadangan pangan Peningkatan PDRB sektor tertentu Penurunan hal yang negatif dlm jk panjang Penurunan Tingkat kemiskinan Penurunan Tingkat Kematian www.dadangsolihin.com

38. Persyaratan Indikator Kinerja: SMART S PESIFIC -jelas, tidak mengundang multi interpretasi M EASUREABLE -dapat diukur (“What gets measured gets managed”) A TTAINABLE -dapat dicapai (reasonable cost using and appropriate collection method) R ELEVANT (information needs of the people who will use the data) T IMELY -tepat waktu (collected and reported at the right time to influence many manage decision) www.dadangsolihin.com

39. Terima Kasih www.dadangsolihin.com

40. Tentang Narasumber www.dadangsolihin.com