Bahan Pelatihan Monitoring, Evaluasi, dan Pengendalian Pembangunan di Palu 12 Desember 2008.

1. Monitoring, Evaluasi , dan Pengendalian (Konsep dan Pendekatan) Randy R. Wrihatnolo Palu, 12 Desember 2008

2. Bagian 1 Persamaan dan Perbedaan Monitoring vs Evaluasi Bagian 2 Pemahaman Tentang Monitoring Bagian 3 Pemahaman Tentang Evaluasi Bagian 4 Aplikasi Monitoring dan Evaluasi Bagian 5 Kelembagaan Monitoring dan Evaluasi Bagian 6 Pengendalian Pembangunan Bagian 7 Indikator Monitoring, Evaluasi, dan Pengendalian Daftar Isi

3. ► Memahami konsep-konsep monitoring dan evaluasi ► Merancang sistem monitoring dan sistem evaluasi ► Menerapkan sistem monitoring dan sistem evaluasi ► Memahami konsep pengendalian pembangunan Pengantar

4. Bagian 1 Persamaan dan Perbedaan Monitoring vs Evaluasi

7. Sumber: Bank Dunia (2004) 10 Langkah Monitoring dan Evaluasi Monitoring Evaluasi Pengendalian  peran organisasi Fungsi manajemen

9. Sekilas Persamaan dan Perbedaan Montoring dan Evaluasi *) Akan dijelaskan bertahap makna dan manfaatnya. Memperbaiki perencanaan dan penganggaran program Rekomendasi kebijakan Progress report Sifat laporan Sesuai kebutuhan Survei, Sensus Sensus Alat ukur Harus terukur, ada baseline Rasio Ordinal  deskriptif Interval  kuantitatif Skala Indikator Harus mudah diukur Indikator outcome / impact Indikator output Level Indikator Metode ilmiah Teknik analitik Teknik deskriptif Metode ukur Perbedaan *) Aspek *) Maximasi efisiensi dan efektivitas Perbaikan kebijakan Perbaikan mekanisme proyek Kegunaan Dalam satu DIPA Program (agregat kegiatan) Kegiatan Level Substansi Dilaporkan kepada atasan langsung selaku KPA Unit Kerja eksternal Unit kerja internal Pelaku Dalam 1 tahun anggaran berjalan post project ( mid-project if needed to be continued ) on-going project Waktu Persamaan *) Evaluasi Monitoring

10. Bagian 2 Pemahaman Tentang Monitoring

12. Rencana monitoring sebaiknya mencakup langkah-langkah sebagai berikut: Langkah 1: Tentukan kegiatan dan keluaran utama yang harus dimonitor Untuk sektor kesehatan, misalnya, monitoring dapat difokuskan pada hal-hal seperti prasarana yang telah ditingkatkan, di mana peningkatan prasarana itu dilakukan, klien mana saja yang menerima pelayanan dan untuk apa, dan/atau obat gratis apa yang telah disediakan, untuk siapa dan untuk penyakit apa saja. Yang perlu kita ingat adalah jangan berusaha untuk memonitor segala aspek. Yang penting, kita memonitor apa yang telah dilakukan, keluaran apa yang dihasilkan, di mana, kapan, oleh siapa, dan untuk siapa. Kemudian, hasil monitoring itu dibandingkan dengan rencana semula, selisih antara rencana dan hasil monitoring dibuat laporannya, dan kemudian sejauh mungkin faktor-faktor penyebab perbedaan itu diidentifikasi. Tata cara penyimpanan data juga penting untuk mempermudah penyusunan laporan yang akurat dan tepat waktu. Sedapat mungkin sumber data yang telah dikumpulkan secara rutin dimanfaatkan. Ciptakan format pelaporan yang tidak terlalu rumit, dengan sebagian hasilnya disajikan secara visual/grafik. Rencana Monitoring (1)

13. Langkah 2: Tentukan pihak mana yang akan melakukan monitoring, dan kapan. Sebaiknya pihak yang melakukan monitoring yang dimaksud di sini bukan pihak pengelola program langsung, untuk menjaga independensi. Dengan menganut asas partisipatif, wakil-wakil penerima manfaat program/kegiatan sedapat mungkin bersama-sama melakukan monitoring. Mengenai frekuensi, hal ini sebaiknya dilakukan paling tidak setiap enam bulan sekali untuk sebuah program jangka menengah atau jangka panjang. Rencana Monitoring (2)

14. Langkah 3: Tentukan siapa saja yang akan menerima laporan hasil monitoring. Sebaiknya laporan hasil monitoring disebarkan tidak hanya pada pihak-pihak pemerintah (eksekutif dan legislatif), tetapi juga pada pihak pelaksana (misalnya: rumah sakit, kontraktor), instansi pemerintah pusat serta wakil-wakil kelompok penerima manfaat, dan juga OMS untuk meminta umpan balik. Buatlah pertemuan berkala untuk meninjau kembali tingkat kemajuan serta memutuskan apakah rencana implementasi perlu disesuaikan. Rencana Monitoring (3)

15. Bagian 3 Pemahaman Tentang Evaluasi

18. Jenis evaluasi ini berfokus pada apa yang telah dilakukan, bagaimana melakukannya, siapa yang menjadi penerima manfaat, serta apa respons mereka terhadap kegiatan program. Contoh: U ntuk program peningkatan pelayanan pendidikan, sekolah mana yang ikut serta, kegiatan apa yang telah dilakukan oleh sekolah itu, dan sejauh mana murid telah menerima manfaat dibandingkan jumlah anak usia sekolah keseluruhan? Jenis evaluasi ini didasarkan pada laporan-laporan monitoring dan penelaahan atas dokumendokumen program, wawancara, serta kunjungan lapangan. Jenis evaluasi ini relatif lebih mudah dilakukan dan sangat berguna bila laporan monitoring atau umpan balik dari lapangan menunjukkan bahwa terjadi keterlambatan, pengeluaran biaya yang melampaui anggaran, dan ada keluhan dari penerima manfaat atau persoalan dalam pengelolaan program. Evaluasi atas Proses

19. Jenis evaluasi ini berusaha mengungkapkan siapa sebenarnya yang memperoleh manfaat dari program dan berapa besar manfaatnya; dengan kata lain, sejauh mana hasil/manfaat (dan dampak) yang diharapkan telah tercapai. Contoh: pada program peningkatan pelayanan pendidikan, kita tidak hanya melaporkan apa yang telah dilakukan dan berapa murid yang terlibat, tetapi juga sejauh mana mereka memperoleh pendidikan gratis dan pendidikan yang lebih bermutu, bersekolah lebih lama, serta sejauh mana hasil pendidikan mereka lebih baik dibandingkan dengan murid yang bersekolah di sekolah yang tidak mempunyai program peningkatan pelayanan pendidikan. Jenis evaluasi ini bisa saja cukup mahal bila kelompok sasaran besar sekali atau bila kita harus membuat perbandingan dengan, misalnya, kelompok-kelompok masyarakat di luar program. Yang jelas, kita harus merancang evaluasi sesuai dengan sumber daya yang kita miliki, dengan misalnya menggunakan sampel responden yang memadai jumlahnya untuk mengetahui sejauh mana program telah menciptakan lapangan kerja, peningkatan pendapatan, peningkatan status kesehatan atau pendidikan, atau manfaat lain bagi wilayah atau kelompok masyarakat sasaran. Dalam kedua jenis evaluasi itu, perlu dibuat penilaian kembali berdasarkan asumsi dasar dan rancangan program (suatu hal yang relatif tidak sering dilakukan). Faktanya adalah bahwa banyak program/kegiatan (dan kebijakan) gagal mencapai hasil yang diinginkan karena asumsi-asumsi dasar dan rancangan program itu sendiri tidak benar. Evaluasi Dampak

21. ► Untuk mengukur kemajuan, sudah jelas bahwa kita memerlukan gambaran konkret dan rinci tentang situasi awal atau data acuan (baseline). ► Tentang metodologi, evaluasi terbaik menggunakan kombinasi teknik-teknik kuantitatif dan teknik-teknik kualitatif. ► Dalam membuat analisis, kita harus sangat hati-hati dalam mengambil kesimpulan bahwa keseluruhan perubahan dalam suatu kondisi (atau indikator) yang direkam adalah hasil atau dampak dari program yang sedang dievaluasi. Mungkin ada faktor-faktor lain juga. Misalnya, peningkatan pendapatan rata-rata dalam kelompok penerima manfaat belum tentu seluruhnya berasal dari kegiatan program. Para evaluator ahli yang cukup berpengalaman mempunyai teknik-teknik untuk membedakan antara dampak yang jelas dihasilkan oleh sebuah program atau kegiatan dan dampak yang berasal dari faktorfaktor lain. Beberapa Catatan Penting

22. Bagian 4 Aplikasi Monitoring dan Evaluasi

24. Monitoring dan evaluasi yang dilakukan selama ini (yang “konvensional”) lebih ditujukan untuk memenuhi keperluan administratif dan pertanggungjawaban internal, sebagaimana dilihat dari sudut pandang “yang punya program”. Segala aspek rancangan dan pelaksanaannya ditentukan oleh instansi yang mendanai program. Khusus mengenai evaluasi, biasanya hal itu dilakukan oleh pihak evaluator yang dikontrakkan. Hasilnya baru diterima setelah beberapa bulan telah berlalu dan relatif jarang disampaikan kepada para klien/penerima manfaat program (dalam bentuk yang mudah dipahami). Monitoring dan Evaluasi Konvensional

25. Monitoring dan evaluasi partisipatif  dianggap lebih diperlukan untuk memonitor dan mengevaluasi program-program sosioekonomi . Dalam pendekatan partisipatif, para klien/penerima manfaat lebih besar perannya dalam merancang serta melakukan monitoring dan evaluasi, dengan dibantu fasilitator (staf proyek/petugas lapangan bisa juga terlibat). Masyarakat penerima manfaat ikut memilih indikator-indikator keberhasilan, dan pelaksanaan monitoring dan evaluasi dilakukan dengan sejumlah teknik dan metode sederhana yang sesuai dengan budaya setempat. Dengan cara ini, hasil atau kesimpulan monitoring dan evaluasi langsung dapat diperoleh masyarakat tanpa harus menunggu lama. Yang penting, melalui pendekatan partisipatif, masyarakat penerima manfaat diberdayakan untuk semakin berperan dalam mengawasi serta memperbaiki pelaksanaan program/kegiatan. Dengan desentralisasi ada keperluan dan peluang bagi pemerintah daerah untuk mengembangkan berbagai sistem dan teknik monitoring dan evaluasi untuk menghasilkan dampak program yang lebih besar. M onitoring dan Evaluasi Partisipatif

26. Monitoring dan evaluasi merupakan komponen esensial dari setiap penyusunan program, dan kita perlu merancangnya pada tahap desain program/proyek atau paling lambat pada tahap pemantapan rencana pengelolaan implementasi. Pengalaman menunjukkan bahwa bila sistem monitoring dan evaluasi dirancang setelah pelaksanaan program, kita akan menghadapi berbagai persoalan sebagai berikut: 1) Penyebutan sasaran dan hasil secara kurang jelas (tidak jelas persis apa yang akan dilakukan dan apa yang akan dihasilkan); 2) Target-target yang kabur, tidak konsisten, dan sering berubah; 3) Kurang jelasnya status awal (benchmarks) serta langkah-langkah pelaksanaan yang akan ditempuh, sehingga sulit diketahui kemajuan yang telah dicapai; 4) Kurang tepatnya indikator-indikator (mengukur hal-hal yang tidak tepat, atau hanya mengukur masukan dan kuantitasnya, bukan keluaran dan kualitasnya); 5) Kebutuhan akan data yang terlalu sulit dikumpulkan atau yang tidak konsisten antara beberapa periode waktu, sehingga kita tidak dapat mengukur hasil yang riil dan/atau tidak dapat membandingkan hal yang sama antara beberapa kurun waktu; 6) Kurang atau tidak adanya keterlibatan calon penerima manfaat dan pemangku kepentingan lainnya dalam proses monitoring dan evaluasi. Merancang Monitoring dan Evaluasi Sebelum Implementasi

27. Perhatian besar pada 5 hal utama untuk finalisasi rancangan program dan rencana pengelolaan implementasi: 1) penetapan sasaran dan hasil yang realistis dan terukur (measurable); 2) penentuan indikator, target, dan basis data yang solid; 3) penyiapan dan pelaksanaan sistem monitoring; 4) perumusan, penyebarluasan, dan pelaksanaan kerangka dan rancangan evaluasi; 5) keikutsertaan klien, OMS, dan pihak-pihak lain baik dalam perancangan maupun pelaksanaan monitoring dan evaluasi. Ada kemungkinan akan timbul resistensi terhadap pengembangan dan pelaksanaan sistem monitoring dan evaluasi yang kokoh. Untuk mencegah atau mengurangi resistensi tersebut, keterlibatan semua pihak sangat penting, begitu pula pemahaman yang jelas mengenai kegunaan monitoring dan evaluasi. Fungsi monitoring dan evaluasi (kecuali monitoring internal) harus berada di luar tanggung jawab pihak pengelola (manager) program. Pada hakikatnya, karena setiap program pembangunan menggunakan dana publik, maka monitoring dan evaluasi pelaksanaan dan hasil program-program itu merupakan tanggung jawab bersama pemerintah, pelaksana, penerima manfaat, masyarakat luas, perguruan tinggi, serta organisasi masyarakat sipil. 5 hal utama untuk finalisasi rancangan program

28. Bagian 5 Kelembagaan Monitoring dan Evaluasi

29. Kelembagaan dan Pengembangan Kapasitas Monitoring dan Evaluasi Pada beberapa instansi/pemerintah daerah belum dikembangkan kapasitas, keterampilan, lembaga, dan sumber daya yang diperlukan untuk merancang serta melaksanakan sistem monitoring dan evaluasi program. Pada kebanyakan instansi/pemda belum disiapkan dana yang mencukupi (dan mungkin juga belum ada kebutuhan) untuk membiayai sebuah lembaga (atau satuan kerja) khusus untuk melakukan monitoring dan evaluasi. Dengan demikian, sebaiknya kita mulai melakukan pengembangan kapasitas tersebut pada skala kecil dulu, kemudian selangkah demi selangkah kapasitas itu ditingkatkan. Kelembagaan dan Pengembangan Kapasitas Monitoring dan Evaluasi

30. Berbagai pertimbangan yang dapat kita pikirkan dalam kaitannya dengan hal ini: 1) Kegiatan monitoring dan evaluasi sebaiknya difokuskan pada program/proyek yang relatif lebih penting dan besar, dengan jangka waktu pelaksanaan 2–4 tahun. 2) Ciptakanlah sebuah proses yang mengantarkan hasil monitoring dan evaluasi secepat mungkin kepada para pengambil keputusan utama, sehingga perubahan/penyesuaian yang diperlukan dalam program/proyek dapat dilakukan sedini mungkin. Dengan kata lain, sebaiknya monitoring dan evaluasi tidak menjadi urusan tingkat bawah dalam struktur pemerintahan. 3) Lembaga-lembaga perencanaan utama (terutama BAPPEDA dan Badan Keuangan) sebaiknya diberi tanggung jawab dan keterampilan yang diperlukan supaya dapat menyediakan bantuan teknis/pengarahan pada SKPD, untuk menjamin bahwa semua program yang penting dan besar tidak hanya memiliki sasaran, indikator, dan target yang jelas, tetapi juga memiliki rencana pengelolaan implementasi termasuk monitoring dan evaluasi. Peran lembaga perencanaan ini juga dapat menjamin objektivitas dan transparansi proses monitoring dan evaluasi. 4) Dengan bantuan teknis dari pemerintah pusat, misalnya, atau dari perguruan tinggi, lakukanlah pengembangan kapasitas bagi kelompok perencana dan pengelola program dalam bentuk pelatihan mengenai monitoring dan evaluasi. Untuk beberapa referensi sumber daya teknis, lihat bagian Sumber-sumber/Referensi di bawah ini. 5) Untuk basis data sistem monitoring dan evaluasi, sedapat mungkin agar memanfaatkan data yang tersedia (yang dikumpulkan secara berkala). Upaya pengumpulan data tambahan dibatasi hanya pada informasi yang benar-benar diperlukan sebagai pelengkap. Dengan demikian, kita dapat menekan biaya, mempercepat proses, serta memanfaatkan basis data itu untuk program-program yang penting dan besar di masa depan. 6) Gunakanlah teknik-teknik partisipatif dalam monitoring dan evaluasi. Teknik-teknik partisipatif tidak hanya digunakan untuk memperoleh masukan dan umpan balik dari para klien program, tetapi juga untuk menjamin objektivitas serta memaksimalkan pemanfaatan keahlian/pengetahuan lokal (Untuk lebih lanjut mengenai strategi pengembangan kapasitas, lihat Bab 8 di bawah.). Kelembagaan dan Pengembangan Kapasitas Monitoring dan Evaluasi

31. Bagian 6 Pengendalian Pembangunan

36. Bagian 7 Indikator Monitoring dan Evaluasi

37. Hirarki Substansi Pembangunan dan Hirarki Indikator Pembangunan Pengukuran Kinerja (Monitoring, Evaluasi, dan Pengendalian) Perencanaan dan Penganggaran Program Pembangunan Hirarki Substansi Pembangunan Hirarki Indikator Pembangunan RPJMN/RPJMD

38. Besaran untuk Sasaran Prioritas ditandai oleh indikator impact (dampak). Suatu besaran akan didefinisikan sebagai indikator impact apabila besaran yang ada merupakan perwujudan pengaruh yang ditimbulkan (baik positif maupun negatif) oleh setiap tingkatan indikator outcome maupun indikator output berdasarkan asumsi yang telah ditetapkan.  Biasanya dinyatakan dengan angka/tingkat. Besaran untuk Program ditandai oleh indikator outcome (hasil). Suatu besaran akan didefinisikan sebagai indikator outcome apabila besaran yang ada merupakan perwujudan pencapaian hasil/manfaat dari beberapa output (keluaran).  Biasanya dinyatakan dengan kapasitas, frekuensi, dsj. Besaran untuk Kegiatan ditandai oleh indikator output (keluaran). Suatu besaran akan didefinisikan sebagai indikator output apabila besaran yang ada merupakan perwujudan suatu produk/jasa (fisik dan/atau non fisik) sebagai pencapaian hasil langsung dari pelaksanaan suatu kegiatan berdasarkan input yang telah dipergunakan.  Biasanya dinyatakan dengan jumlah dalam satuan metrik (meter, persegi, volume), atau minimal satuan interval (sekian kali, sekian laporan, dsj). Besaran dan Skala Indikator Pembangunan

40. Indikator impact (dampak)  1 satuan indikator outcome dikalikan dengan 1 satuan indikator outcome lainnya. Misal: Ketahanan pangan sebesar 40 juta ton untuk 200 juta penduduk. Ketahanan pangan adalah dampak dari Produksi gabah 5 ton per hektar per 3 bulan (1 kali panen), Penyediaan air, Penyediaan modal kerja petani, …. Dimensi Indikator Pembangunan (2)

41. Menguji Validitas Indikator

43. TERIMA KASIH

44. Jabatan: Kepala Sub-Direktorat Evaluasi Kinerja Perekonomian pada Deputi Evaluasi Kinerja Pembangunan - Badan Perencanaan Pembangunan Nasional (Bappenas). Karya Tulis (buku), antara lain: Manajemen Pembangunan Indonesia (Gramedia/Elexmedia Komputindo, 2006) Manajemen Pemberdayaan: Sebuah Pengantar dan Panduan untuk Pemberdayaan Masyarakat (Gramedia/Elexmedia Komputindo, 2007) Pencapaian Millennium Development Goals Indonesia 2007 (UNDP/Bappenas, 2007) Manajemen Privatisasi BUMN (Gramedia/Elexmedia Komputindo, 2008) Website: www.wrihatnolo.blogspot.com www.slideshare.net/wrihatnolo Email: [email_address] [email_address] Telepon (HP) 0811.112266 Biodata Ringkas