Panduan Monitoring dan Evaluasi    Riset Unggulan Terpadu
1. Latar Belakang               Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan      evaluasi adal...
dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya    terbatas. Batasan tersebut pada umumnya dite...
dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan      evaluasi kinerja lembaga yang dinilai mempuny...
2. Tujuan          Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini    ditujukan bagi terealisasikannya sis...
3. Pengertian      Unit Riset           adalah unit dimana sekelompok peneliti melakukan penelitiannya                    ...
tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan    dan pelaksanaan program serta ketetapan a...
kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk      memenuhi kebutuhan suatu evaluasi. Oleh...
4. Sistem MONEV KMNRT          Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai    karakter, misi dan po...
memegang peranan penting dalam proses kelancaran, efektivitas, berbasis       monitoring dan evaluasi riset di Indonesia.M...
menganalisisnya menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas     masing-masing lembaga riset. Berdasark...
5. Struktur Data MONEV KMNRT               Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan      tekn...
6. Evaluasi Formatif dan Sumatif            Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di     unit...
Evaluasi Formatif                           Evaluasi Sumatif                  −     Evaluasi formatif memerlukan         −...
Evaluasi Formatif             Evaluasi Sumatif             Frekuensi            Monitoring yang sedang       Terbatas     ...
Evaluasi Formatif                           Evaluasi Sumatif                 Tahap 2:                                     ...
7. Sistem MONEV RUT              Khusus untuk riset unggulan, dalam hal ini RUT (Riset Unggulan Terpadu),     sistem monit...
Disamping itu, KMNRT setiap tahun berkewajiban melakukan monitoring      dan evaluasi kinerja pengelolaan program RUT baik...
riset yang menaunginya, baik dalam hal mencari informasi program riset terbaru,     perubahan mendasar tentang kebijakan r...
ALIRAN PROSES                                              BASIS DATA, BD                                Penerimaan Propos...
7.2. Uraian proses seleksi, monitoring dan evaluasi RUT        Penerimaan Proposal            Format Proposal RUT disusun ...
Peer Reviewer                  Peer Reviewer adalah pakar dengan keahlian sesuai dengan substansi                  proposa...
Hasil seminar pembahasan dituangkan dalam Berita Acara Hasil Seminar        Pembahasan Proposal RUT sebagai lampiran Surat...
Monitoring dan Evaluasi Kegiatan            Tim monev RUT yang berintikan tim panel, sekretariat RUT – sebagai            ...
Dampak, luaran berupa pengembangan SDM, pengembangan Iptek,                dan yang mendukung upaya pembangunan.     7.3. ...
dihasilkan lebih obyektif. Melalui metode yang sama dapat dilakukan analisis             hubungan antar indikator kinerja....
IV               TOTAL     −   Tenaga Fungsional         Yang dimaksud tenaga fungsional adalah tenaga kerja yang direkrut...
ini dapat dipergunakan untuk menganalisis kualifikasi, tingkat                     kompetensi setiap individu sekaligus un...
taraf komersial menyebabkan data yang ada belum mampu         mengindentifikasi indikator kinerja seperti return on invest...
Total               −     Informasi                     Layanan informasi terakhir dapat dibedakan atas layanan manual dan...
−   Agenda Riset Tahunan, ART         Yang dimaksudkan dengan agenda riset tahunan adalah kegiatan riset         yang meli...
−     Pengajuan dan Hasil Seleksi Proposal                     Baik kegiatan pengusulan maupun hasil seleksi proposal seyo...
riset. Dalam model DIP dan DIK, keberadaan kedua jenis alokasi dana         tersebut seringkali terintegrasi dan tidak sec...
lingkungan internal maupun eksternalnya. Olehkarena kedua indikator                     tersebut dapat memandu pengelola p...
No.   Item subjek monitoring dan evaluasi      7.   Dampak riset (internal, eksternal)           - dampak internal (tinggi...
Jenis Produk Riset               −     Artikel saintifik                                                                  ...
−   Sistem                                                         Uraian              Pemakai/          Manfaat terhadap ...
8. Bahan Bacaan         Herman, J.L., Morris, L.L., and Fitz-Gibbon, C.L., “Evaluator’s Handbook”, The         Regents of ...
38   Panduan Monitoring dan Evaluasi RUT
Upcoming SlideShare
Loading in...5
×

Laporan panduan monitoring dan evaluasi

12,171

Published on

ok

Published in: Technology, Economy & Finance
0 Comments
2 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
12,171
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
433
Comments
0
Likes
2
Embeds 0
No embeds

No notes for slide

Laporan panduan monitoring dan evaluasi

  1. 1. Panduan Monitoring dan Evaluasi Riset Unggulan Terpadu
  2. 2. 1. Latar Belakang Dari seluruh aspek yang tergolong dalam manajemen riset, monitoring dan evaluasi adalah satu-satunya aspek yang belum terimplementasikan secara baik, tepat dan berkesinambungan. Disamping indikator kinerja yang diperlukan sukar ditemukan. Kalaupun ditemukan, masih sukar untuk diukur, dibebani lagi oleh ketidakcukupan dana pendukung, maka aktivitas tersebut acapkali tidak dilaksanakan secara disiplin dan konsekuen. Faktor lain yang turut mereduksi nilai pelaksanaan monitoring dan evaluasi adalah tumpang tindihnya berbagai program riset di Indonesia. Sebagaimana telah diketahui bahwa Direktorat Pembinaan Penelitian dan Pengabdian pada Masyarakat, Ditbinlitabmas Ditjen Dikti mengalokasikan sejumlah dana riset untuk membiayai beragam program riset bagi perguruan tinggi. Program tersebut adalah Penelitian Dosen Muda, PDM yang dahulu dikenal sebagai Berbagai Bidang Ilmu, BBI, Penelitian Hibah Bersaing, PHB; Penelitian Dasar, PD; Penelitian Hibah Tim, PHBT; Penelitian Doktor Baru, PDB; Domestic Collaborative Research Grant, DCRG; Studi Lingkungan; Kajian Wanita dan lain-lain. Setiap program membawa misi yang berbeda-beda, karenanya alokasi biayanyapun beragam. Ada program riset yang membawa misi menciptakan nuansa, iklim dan keterampilan riset di perguruan tinggi (PDM), riset-riset yang berorientasi kepada eksplorasi fenomena alam semesta dan pemantapan platform riset suatu bidang studi (PD, PHT, PDB, Kajian Wanita, DCRG, dll), ada yang berorientasi pada pemenuhan kebutuhan industri (PHB). Di lain pihak Kantor Menteri Negara Riset dan Teknologi, KMNRT pun mempunyai program riset berskala nasional, yaitu Riset Unggulan Terpadu, RUT; Riset Unggulan Kemitraan, RUK; Riset Unggulan Kemasyarakatan dan Kemanusiaan, RUKK; dan Riset Pembinaan Iptek Kedokteran, Risbiniptekdok; dengan misi yang juga berbeda. Jika program riset Ditbinlitabmas hanya mengijinkan dosen perguruan tinggi yang berpartisipasi aktif, maka dana KMNRT disamping perguruan tinggi juga LPND, Litbang Departemen, LD dapat turut bersaing memperebutkan biaya riset yang dialokasikan. Hibah riset yang berasal dari luar negeri seperti Asahi Glass Foundation, Toray Foundation, Toyota Foundation, Sumitomo Foundation, dan lain-lain melengkapi sumberPanduan Monitoring dan Evaluasi RUT 1
  3. 3. dana riset yang telah diuraikan sebelumnya. Riset semacam ini pada umumnya terbatas. Batasan tersebut pada umumnya diterapkan pada bidang-bidang ilmu tertentu sehingga kelompok peneliti yang eligible untuk berpartisipasi, juga terbatas. Batasan semacam itu, bahkan dalam konteks bidang ilmu dapat dikatakan cukup ekstrim berlaku bagi program ARM yang khusus diperuntukkan bagi peneliti bidang pertanian; RUKK bagi bidang sosial dan humaniora; Risbiniptekdok, bagi bidang kedokteran, dll. Sementara itu, setiap perguruan tinggi juga mengalokasikan sejumlah dana riset bagi dosen-dosennya. Pada umumnya jumlahnya terbatas untuk menciptakan nuansa dan adaptasi riset bagi dosen mudanya. Industri pun meskipun dalam skala yang masih kecil, telah turut berperan serta dalam program riset perguruan tinggi. Demikian pula litbang-litbang yang departemennya mampu menggalang dana semacam dana reboisasi telah mengalokasikan sebagian dananya bagi program riset di lingkungannya. Hasil studi yang telah dilakukan baik oleh KMNRT maupun Ditjen Dikti menunjukkan bahwa pola monitoring dan evaluasi berlangsung secara sentralistik. Institusi atau lembaga pelaksana riset lebih mengandalkan institusi penyandang dana riset untuk melaksanakan monitoring sekaligus evaluasi. Jadi, asas desentralisasi belum sepenuhnya dipahami. Disamping itu, tim pemantau yang diharapkan dapat sekaligus bertindak sebagai peer reviewer tidak dapat terpenuhi, olehkarena substansi riset seringkali tidak serasi dengan kepakaran tim yang jumlahnya terbatas. Akibatnya, alokasi dana yang tersedia pada umumnya hanya memungkinkan aktivitas monitoring dan evaluasi menyentuh sisi administrasi riset, namun belum sisi substansinya. Apalagi jika monitoring dan evaluasi dimaksimalkan dengan mencakup sisi manfaat dan dampak riset itu sendiri. Dapat dibayangkan, bagaimana sebenarnya profil monitoring dan evaluasi riset di Indonesia saat ini, jika baru dari dua sumber dana (Ditjen Dikti dan KMNRT) implementasi aspek tersebut tidak optimal. Patut pula diperhatikan bahwa aktivitas riset di banyak lembaga riset Indonesia tidak hanya mengenal dan memanfaatkan kedua sumber dana tersebut, melainkan juga dari departemen teknis atau non departemen lainnya. Olehkarena itu, dipandang perlu untuk merumuskan kebijakan yang berkaitan dengan peningkatan produktivitas, efisiensi2 Panduan Monitoring dan Evaluasi RUT
  4. 4. dan mekanisme monitoring dan evaluasi lembaga riptek serta melaksanakan evaluasi kinerja lembaga yang dinilai mempunyai posisi strategis dalam mengupayakan tingginya efisiensi dan nilai yang diperoleh dari aktivitas monitoring dan evaluasi riset di Indonesia. Sejak tahun 1993 dan tahun-tahun setelahnya, KMNRT telah memperkenalkan berbagai program riset unggulan dan strategis, antara lain RUT, RUK, RUKK dan RUSNAS. Sebagai institusi fungsional, KMNRT tidak berada pada posisi untuk melaksanakan program-program tersebut secara operasional. Implementasi program-program riset termaksud dilaksanakan oleh LPND yang berada di bawah koordinasinya, seperti LIPI dan BPPT. KMNRT lebih diposisikan sebagai perencana dan pengawas program. Olehkarena itu, di dalam buku panduan ini diuraikan sistem dan mekanisme monev yang berlaku untuk setiap program KMNRT dan model monev khusus untuk RUT. Dengan demikian, masih perlu disusun suatu model monev lain untuk RUK, RUKK dan RUSNAS, karena program-program tersebut membawa misi yang berlainan. Otonomi Daerah yang mulai diberlakukan sejak bulan Januari 2001 dan didirikannya Dewan Riset Daerah (DRD) serta institusi sejenis dengan nama lain di banyak propinsi, menjadi parameter lain dalam menetapkan pola atau mekanisme monitoring dan evaluasi riset. Beberapa alternatif dapat dilakukan misalnya mendesentralisasikan pengelolaan basis data riset dari KMNRT ke DRD. KMNRT mengakses situs web DRD untuk memantau kegiatan dan produk riset di setiap propinsi.Panduan Monitoring dan Evaluasi RUT 3
  5. 5. 2. Tujuan Buku panduan monitoring dan evaluasi yang diterbitkan KMNRT ini ditujukan bagi terealisasikannya sistem serupa di setiap unit riset. Jadi tidak hanya menjadi kewajiban bagi penyandang dana untuk melakukan swakarya, tetapi harus merupakan budaya dan kewajiban unit riset itu sendiri dan suprastruktur pengelola di lembaganya yang lebih tinggi. Meskipun disadari dalam skala dan karakter unit riset tertentu, buku panduan ini belum dapat diterapkan, namun harapan agar kegiatan monitoring dan evaluasi disadari sebagai bagian dari kewajiban suatu unit riset, setidak-tidaknya dapat terpenuhi.4 Panduan Monitoring dan Evaluasi RUT
  6. 6. 3. Pengertian Unit Riset adalah unit dimana sekelompok peneliti melakukan penelitiannya dan memiliki 4 (empat) kriteria berikut, yaitu (1) melakukan manajemen riset, (2) mempunyai sumber daya riset, (3) mempunyai kebijakan riset atau mengaplikasikan temuannya, dan (4) mempunyai program riset. Di dalam unit riset terdapat seorang pemimpin sedangkan lainnya adalah anggota unit. Sebagai contoh unit riset antara lain: laboratorium, kelompok bidang keahlian, Unit Pelaksana Teknis, UPT; balai penelitian, pusat penelitian, pusat antar universitas, bidang dan sejenisnya. Monitoring adalah suatu kegiatan observasi yang berlangsung terus menerus untuk memastikan dan mengendalikan keserasian pelaksanaan program dengan perencanaan yang telah ditetapkan. Evaluasi adalah suatu teknik penilaian kualitas program yang dilakukan secara berkala melalui metode yang tepat. Pada hakekatnya evaluasi diyakini sangat berperan dalam upaya meningkatkan kualitas operasional suatu program dan berkontribusi penting dalam memandu pembuat kebijakan di seluruh strata organisasi. Dengan menyusun, mendesain evaluasi yang baik dan menganalisis hasilnya dengan tajam, kegiatan evaluasi dapat memberi gambaran tentang bagaimana kualitas operasional program, layanan, kekuatan dan kelemahan yang ada, efektivitas biaya dan arah produktif potensial masa depan. Dengan menyediakan informasi yang relevan untuk pembuat kebijakan, evaluasi dapat membantu menata seperangkat prioritas, mengarahkan alokasi sumber dana, memfasilitasi modifikasi dan penajaman struktur program dan aktivitas serta memberi sinyal akan kebijakan penataan ulang personil dan sumber daya yang dimiliki. Disamping itu, evaluasi dapat dimanfaatkan untuk menilai dan meningkatkan kualitas serta kebijakan program. Ilustrasi tentang peran evaluasi dalam meningkatkan kualitas dan kebijakan program dilukiskan secara sederhana seperti tampak pada Gambar 1. ModelPanduan Monitoring dan Evaluasi RUT 5
  7. 7. tersebut menunjukkan interaksi antara formulasi dengan implementasi kebijakan dan pelaksanaan program serta ketetapan atau keputusan dan evaluasi tentang kualitas program. Pada lingkaran ganda pertama, yang merupakan tingkat paling sederhana, kebijakan program diformulasikan untuk memandu dan menetapkan arah pelaksanaan program. Akan tetapi, karena operasionalisasi program merupakan sasaran interpretasi suatu kebijakan, dan berkorelasi erat dengan kemampuan adaptasi individual, maka pelaksanaan program bukanlah suatu cerminan akurat dari suatu pedoman kebijakan. Olehkarena itu, kebijakan dan pelaksanaan program selanjutnya dikombinasikan untuk menghasilkan kualitas aktual program (atau kualitas operasional organisasi). Melalui proses evaluasilah suatu kualitas program dinilai. Hal ini dapat dilakukan baik melalui proses yang bersifat kualitatif maupun kuantitatif. Meskipun harus diakui pula bahwa masing- masing pola tersebut hanya mampu menetapkan sebagian dari total kualitas pelaksanaan program dan dampaknya. Setelah melalui fase penilaian – sesuai lingkaran ganda kedua – dari serangkaian proses evaluasi dilakukan pengambilan keputusan tentang sebaik apa kualitas kebijakan dan pelaksanaan programnya. Untuk itu diperlukan model evaluasi yang tepat, indikator kinerja dan besarannya yang disepakati, tujuan atau obyektif yang jelas dan standar yang diterapkan serta luasnya rentang nilai faktor-faktor yang lain. Dengan demikian akan diperoleh keputusan tentang nilai kualitas integratif (lingkaran ganda ketiga). Tergantung pada hasil evaluasi yang diperoleh dilakukan pengambilan keputusan. Langkah berikutnya adalah menerapkan keputusan yang telah ditetapkan dengan melanjutkan atau mengubah kebijakan yang ada, mengeliminasi, meluaskan atau memodifikasi operasi pelaksanaan program. Model evaluasi secara sengaja digambarkan dalam bentuk lingkaran dengan maksud untuk mengindikasikan bahwa proses tersebut tidak berlangsung diskret apalagi linier. Sudut pandang model di atas, dinilai telah berkorespondensi dengan pandangan tradisional tentang peran evaluasi dalam pengembangan suatu program. Dilihat dari sudut yang lain, sebagai contoh, evaluasi kualitas yang telah dibuktikan atau yang belum dibuktikan kebenarannya dapat mengantarkan kepada penilaian yang mengidentifikasi adanya kebutuhan untuk intervensi baru ke dalam6 Panduan Monitoring dan Evaluasi RUT
  8. 8. kebijakan dan pelaksanaannya. Jadi peran penilaian dalam hal ini adalah untuk memenuhi kebutuhan suatu evaluasi. Olehkarena itu, intervensi baru -- yang dapat berupa kebijakan, strategi, dll -- seyogyanya dinilai dan dievaluasi setelah diimplementasikan serta menjadi subyek atau acuan untuk dilanjutkan atau dimodifikasinya suatu aksi. 1 Kebijakan Program Pelaksanaan 3 2 Program Keputusan Terintegrasi Kualitas tentang Program Kualitas Standar yang Penilaian disepakati Kualitas Perubahan konteks sosial −− SSosial osial −− PPolitik olitik −− Sumber daya Sumber daya Gambar 1. Model Proses Peningkatan KualitasPanduan Monitoring dan Evaluasi RUT 7
  9. 9. 4. Sistem MONEV KMNRT Melaksanakan evaluasi kinerja lembaga riset yang memiliki berbagai karakter, misi dan pola pendanaan risetnya, menuntut taktik dan strategi yang tepat dan operasional. Kondisi semacam itu dipicu dengan kebijakan Menegristek tentang ruang lingkup operasional KMNRT yang berskala nasional. Olehkarenanya, meskipun KMNRT berfungsi sebagai koordinator 7 (tujuh) LPND, namun kebijakan tersebut memberi konsekuensi meluasnya liputan monev ke lembaga atau institusi bahkan unit riset yang ada di seluruh Indonesia. Sebagaimana telah diketahui bahwa aspek pengawasan, controlling, meliputi monitoring, evaluasi dan auditing. Untuk melaksanakan fungsi evaluasi kinerja lembaga, Deputi Bidang Program Riptek, KMNRT membatasi pengawasannya dalam kedua hal yang disebutkan lebih awal, yaitu monitoring dan evaluasi. Fungsi auditing tetap sepenuhnya diserahkan kepada pihak badan pengawas pemerintah yang lebih berwenang, seperti Inspektorat, Irjen, BPKP dan BPK. Setelah melalui berbagai pertimbangan, sistem monev KMNRT ditetapkan seperti tampak pada Gambar 2. Pada gambar tersebut dilukiskan mekanisme evaluasi kinerja lembaga yang secara garis besarnya melibatkan empat pelaku utama, yaitu: 1. Pihak pelaksana monev KMNRT sendiri, yang dalam hal ini adalah Asdep 4/III Evaluasi Kinerja Lembaga; 2. Penentu kebijakan dan program riset nasional, yang dalam hal ini terdiri dari para Staf Ahli, Deputi Menegristek dengan mempertim- bangkan saran atau rekomendasi Dewan Riset Nasional; 3. Pihak perencana anggaran nasional, yang terdiri dari unsur Direktorat Jenderal Anggaran, Departemen Keuangan dan Bappenas; 4. Pihak pelaksana riset, yakni lembaga riset yang dikelompokkan ke dalam LPND, Litbang Departemen, Perguruan Tinggi, BUMN dan pusat-pusat studi. Keempat pelaku monev tersebut seyogyanya merupakan komponen dinamis dari satu rangkaian siklus kegiatan yang berkesinambungan. Masing-masing pelaku8 Panduan Monitoring dan Evaluasi RUT
  10. 10. memegang peranan penting dalam proses kelancaran, efektivitas, berbasis monitoring dan evaluasi riset di Indonesia.Masukan, input− visi, misi− renstra, rencana aksi− kebijaksanaan • Profil Kinerja− peraturan Lembaga− sumber daya • Profil Sumber-Proses, process daya Riset LPND Lembagainteraksi− antar periset Asdep Evaluasi− periset-pimpinan Kinerjaatmosfer riset;efisiensi; KMNRT LDmanajemen konflikKeluaran, outputproduktivitas− artikel saintifik PT Staf Deputi− buku Ahli− paten− prototipe− desain DJA • Jakstra INDUSTRI • Punas− dll.Hasil, outcome DPR− aspek komersialisasi− aspek internalisasi Bappenas PUSAT− return on investment STUDI • Program BaruDampak, impact • Sistem BaruPengaruh positif dan/atau • Panduannegatif terhadap− lingkungan internal • Program Baru− lingkungan eksternal Riset NasionalManfaat, benefit− relevansi− efektivitas Gambar 2. Mekanisme Evaluasi Kinerja Lembaga KMNRT, dalam hal ini Asdep 4/III menerima informasi dalam bentuk data kuantitatif tentang sumberdaya, program, manajemen dan kebijakan riset yang dimiliki lembaga riset (LPND, Litbang Departemen, Perguruan Tinggi, BUMN, Pusat Studi). Berbasis informasi tersebut, KMNRT mengolah danPanduan Monitoring dan Evaluasi RUT 9
  11. 11. menganalisisnya menjadi profil kinerja riset lembaga, potensi SDM dan fasilitas masing-masing lembaga riset. Berdasarkan profil tersebut, pimpinan KMNRT (para Deputi dan Staf Ahli Menegristek) bersama dengan Dewan Riset Nasional menilai kesesuaian kinerja dengan Jakstra Riptek Nasional dan/atau menyusun serta menetapkan kebijakan dalam bentuk naskah program, sistem dan panduan riset baru. Naskah program dan sistem yang baru selanjutnya dibahas bersama Ditjen Anggaran (Departemen Keuangan) dan Bappenas untuk memperoleh persetujuan anggaran dan penetapannya sebagai program riset nasional yang akan dibiayai oleh pemerintah untuk tahun anggaran berikutnya. Selain Ditjen Anggaran dan Bappenas, pihak DPR seyogyanya diikutsertakan pada saat pengkajian dan pembahasan program tersebut. Program-program riset yang telah disetujui pembiayaannya, kemudian ditawarkan secara terbuka dan kompetitif kepada seluruh lembaga riset melalui mekanisme penawaran yang atraktif. Didalam kaitannya dengan otonomi daerah, mekanisme serupa juga dapat dikembangkan di daerah-daerah dalam menyusun program-program riset daerah, dimana DRD (Dewan Riset Daerah) bersama dengan Bappeda (Badan Perencanaan Pembangunan Daerah) dan DPRD merumuskan program-program riset yang spesifik untuk daerah yang bersangkutan. Pada prinsipnya lembaga-lembaga riset seyogianya melakukan monev internal dengan cara melakukan self-evaluation atau evaluasi diri, menetapkan indikator kinerja untuk mengevaluasi kinerja dan potensi diri yang ada pada masing-masing lembaga. Monev eksternal dilakukan oleh KMNRT melalui pola tidak langsung, yaitu melalui akses basis data yang teralokasi di setiap lembaga atau bahkan unit riset. Jika dipandang perlu, KMNRT akan melakukan kunjungan konsultatif ke unit-unit riset yang menunjukkan kinerja baik dan/atau yang masih memerlukan dukungan pengembangan.10 Panduan Monitoring dan Evaluasi RUT
  12. 12. 5. Struktur Data MONEV KMNRT Berbasis pada pola evaluasi sumatif, KMNRT menata informasi riset dan teknologi ke dalam struktur data seperti tampak pada Gambar 3 berikut. Hal ini dilakukan untuk mengefisienkan, mengefektifkan arus informasi, karena pada dasarnya evaluasi sumatif bertitik pangkal pada basis data iptek di tingkat paling operasional, yaitu unit riset. KMNRT akan menerbitkan excecutive summary berdasar hasil ekstraksi dan pengolahan data yang tersaji pada website setiap lembaga/institusi dan unit riset di seluruh Indonesia. Hal tersebut terlebih dahulu diintegrasikan ke dalam visi, misi, tugas pokok dan fungsi KMNRT, sebelum disimpan dalam website. Uraian rinci Sistem Informasi Riset, SIR dan jenis basis data yang sebaiknya disajikan di Unit Riset (SIR-1) dan informasi yang ditampilkan pada SIR-2 & 3, dapat disimak dalam Buku “Sistem Informasi Riset” yang diterbitkan oleh KMNRT, tahun 2001. Sistem Informasi Riset, KMNRT SIR - 3 Sistem Informasi Lembaga/ Riset, Institusi SIR - 2 Sistem Informasi Riset, SIR – 1 Basis Data: UNIT RISET Identitas UNIT RISET UNIT RISET Manajemen Riset Sumberdaya Riset Program Riset Kebijakan Riset Gambar 3. Struktur Data MONEV KMNRT Buku Panduan Monev RUT hanya memuat struktur data monev KMNRT. Perangkat keras dan lunak yang diinvestasikan, terbatas hanya di lingkungan KMNRT untuk mendukung kegiatan monev, entry data dan program pengolahan data. Seluruh sistem informasi yang dibangun terbatas telah dikoneksikan dengan Ipteknet, agar mempunyai akses pengguna dan nilai kemanfaatan yang lebih luas.Panduan Monitoring dan Evaluasi RUT 11
  13. 13. 6. Evaluasi Formatif dan Sumatif Sistem monitoring dan evaluasi KMNRT yang berbasis pada akses data di unit dan lembaga atau institusi riset lebih cenderung mengikuti pola evaluasi sumatif. Disamping biayanya murah, evaluasi semacam itu menawarkan efisiensi paling tinggi. Hasil pengolahan data selanjutnya menjadi basis pertimbangan KMNRT untuk melakukan kunjungan konsultatif ke unit riset yang atraktif atau bahkan yang kinerjanya sangat rendah. Kunjungan tersebut dilakukan dalam rangka klarifikasi, sebagai basis pemikiran penyusunan rekomendasi perubahan- perubahan atau perbaikan unit riset di masa depan. 6.1. Perbedaan Evaluasi Formatif dan Sumatif Pada prinsipmya, perbedaan umum dan khusus diantara kedua macam evaluasi tersebut, masing-masing dapat dilihat pada Tabel 1 dan Tabel 2 berikut ini. Tabel 1. Perbedaan Evaluasi Formatif dan Sumatif Evaluasi Formatif Evaluasi Sumatif − Evaluasi formatif dilakukan − Evaluasi sumatif dilakukan untuk membantu perancang untuk membantu sponsor atau program, para manajer dan/atau institusi berwenang lainnya staf untuk menyempurnakan dalam menentukan keputusan program yang sedang apakah akan melanjutkan dikembangkan atau yang sedang program yang dinilai sukses atau berjalan, apakah akan menghentikannya, − Menuntut perhatian yang cukup − Tujuan evaluasi sumatif adalah untuk memantau implementasi untuk mengoleksi dan program dan pencapaian tujuan, menampilkan informasi yang − Dalam upaya untuk diperlukan dalam mendukung meningkatkan program, pengambilan kesimpulan dan diperlukan pemahaman tentang keputusan tentang program kemajuan program ke arah serta nilainya, pencapaian obyektif sehingga peluang melakukan perubahan dalam komponen program dapat dilakukan,12 Panduan Monitoring dan Evaluasi RUT
  14. 14. Evaluasi Formatif Evaluasi Sumatif − Evaluasi formatif memerlukan − Evaluasi dilakukan dengan waktu lama sebab membutuhkan menggunakan pembanding, familiaritas akan banyak aspek yaitu perbandingan hasil program dan melengkapi perencanaan program dengan personil program dengan tujuan yang ditetapkan oleh informasi serta wawasan untuk desainer program dan detilnya membantu mereka terekam dalam perencanaan memperbaikinya, program, − Evaluasi formatif tidak perlu − Semakin jelas program dan dilakukan, jika tidak ada peluang terukurnya tujuan, konsistensi melakukan perubahan untuk materi, organisasi dan aktivitas, suatu perbaikan, semakin cocok dilakukannya − Hasil evaluasi formatif digunakan evaluasi sumatif, untuk merevisi aktivitas, − Hasil evaluasi sumatif penugasan, organisasi dan digunakan untuk membantu komponen lainnya di dalam memutuskan apakah suatu program. program akan dilanjutkan, di- hentikan atau apakah dan bagaimana cara pengembangan atau menghentikannya. Tabel 2. Perbedaan Khusus antara Evaluasi Formatif dan Sumatif Evaluasi Formatif Evaluasi Sumatif Sasaran utama − Desainer program − Penentu kebijakan − Manajer program, − Donatur atau sponsor − Pelaksana program − Publik yang berminat Konsentrasi pada Klarifikasi tujuan Dokumentasi hasil saat pengkoleksian Sifat program Dokumentasi implemen- data - Proses atau implementasi tasi Klarifikasi persoalan Analisis level mikro dari - Saat implementasi dan - Implementasi dan - Kemajuan pada hasil - Hasil program Analisis level mikro dari - Implementasi dan - Hasil Pelaku utama Kolaborator Penyuplai data pengembang program dan pelaksana Peran utama Interaktif Independen evaluator Metodologi Kualitatif dan kuantitatif Kuantitatif, kadangkala dengan lebih ditekankan diperkaya dengan kualitatif pada situasi sebelumnyaPanduan Monitoring dan Evaluasi RUT 13
  15. 15. Evaluasi Formatif Evaluasi Sumatif Frekuensi Monitoring yang sedang Terbatas pengkoleksian data berjalan Mekanisme utama − Diskusi Laporan formal pelaporan − Interaksi pertemuan informal Frekuensi Berulang-ulang Saat menyimpulkan pelaporan Penekanan dalam − Hubungan diantara − Hubungan makro antara laporan unsur proses-level mikro konteks-proses-hasil − Hubungan diantara − Implikasi untuk konteks dan proses kebijakan, kontrol − Hubungan diantara administratif dan proses dan hasil manajemen − Implikasi untuk pelaksanaan program dan perubahan spesifik saat pelaksanaan Syarat untuk − Kesepakatan kinerja Obyektivitas saintifik kredibilitas program dengan pengembang atau pelaksana − Advokasi atau kepercayaan 6.2. Tahapan Pelaksanaan Evaluasi Formatif dan Sumatif Untuk mengenali tahapan pekerjaan kedua macam evaluasi tersebut, secara garis besar telah dimuat secara lengkap pada Tabel 3 berikut. Tabel 3. Ringkasan Tahapan Evaluasi Formatif dan Sumatif Evaluasi Formatif Evaluasi Sumatif Tahap 1: Tahap 1: Tentukan Batas Evaluasi Tentukan Batas Evaluasi 1.1. Menentukan maksud evaluasi 1.1. Menentukan maksud evaluasi 1.2. Mencari sebanyak mungkin 1.2. Menemukan sebanyak mungkin informasi tentang program informasi tentang program dalam 1.3. Merumuskan program bentuk pertanyaan 1.4. Memfokuskan evaluasi 1.3. Merumuskan program X dan C 1.5. Menegosiasikan peran Anda 1.4. Memfokuskan evaluasi 1.5. Menegosiasikan peran Anda14 Panduan Monitoring dan Evaluasi RUT
  16. 16. Evaluasi Formatif Evaluasi Sumatif Tahap 2: Tahap 2: Pilih Metode Evaluasi yang Cocok Pilih Metode Evaluasi yang Cocok 2.1. Mempertajam perumusan program 2.1. Pilih pendekatan pengkoleksian data 2.2. Memastikan anda mengajukan dan instrumen evaluasi pertanyaan yang benar 2.2. Konsolidasikan perhatian anda 2.3. Menemukan keterangan apa yang kepada instrumen yang cocok akan dihasilkan dari data yang anda 2.3. Rencanakan konstruksi dan suplai pengadaan instrumen evaluasi 2.4. Mendesain perencanaan untuk 2.4. Rencanakan analisis data yang akan menguji implementasi program dihasilkan dari setiap instrumen 2.5. Mendesain kemajuan sistem 2.5. Pilih desain evaluasi monitoring 2.6. Pilih contoh strategi untuk 2.6. Mengkonsolidasikan perhatian anda mengkonduksi koleksi data 2.7. Mengestimasikan biaya evaluasi 2.7. Estimasi biaya evaluasi 2.8. Persetujuan final tentang layanan dan 2.8. Persetujuan final tentang layanan dan tanggungjawab tanggungjawab Tahap 3: Tahap 3: Pengumpulan dan Menganalisis Pengumpulan dan Menganalisis Informasi Informasi 3.1. Koleksi dan analisis informasi 3.1. Pastikan batas akhir 3.2. Pastikan batas akhir koleksi data 3.2. Siapkan desain evaluasi 3.3. Tentukan ekspektasi untuk 3.3. Pengelolaan instrumen, penilaian dan menginterpretasikan data anda pencatatan data 3.4. Pastikan bahwa perencanaan koleksi - mulai menyiapkan instrumen data anda telah diimplementasikan yang diperlukan semestinya - instrumen penilaian sesuai format 3.5. Analisis data untuk peningkatan hasil yang diharapkan program - catat hasil setiap pengukuran kedalam lembar ringkasan data 3.4. Lakukan analisis Tahap 4: Tahap 4: Penyusunan Laporan Penyusunan Laporan 4.1. Pastikan strategi komunikasi 4.1. Perencanaan laporan 4.2. Bertemu dengan manajer program 4.2. Pilih metode presentasi dan/atau staf untuk mendiskusikan 4.3. Set laporan kelanjutan temuan 4.3. Tinggalkan catatan evaluasiPanduan Monitoring dan Evaluasi RUT 15
  17. 17. 7. Sistem MONEV RUT Khusus untuk riset unggulan, dalam hal ini RUT (Riset Unggulan Terpadu), sistem monitoring dan evaluasi yang dikembangkan di KMNRT tampak seperti Gambar 4. Gambar tersebut menunjukkan mekanisme pembagian tugas yang khususnya mengacu kepada manajemen riset seperti: perencanaan, penganggaran, penawaran, pelaksanaan, monitoring dan evaluasi program. Tampak adanya empat unsur utama yang saling berhubungan satu sama lain dalam fungsi tertentu, yaitu: 1. KMNRT, sebagai penanggung jawab program Riset Unggulan Terpadu; 2. Pengelola program RUT dari Lembaga Pemerintah Non Departemen (LPND) dibawah koordinasi Menegristek, dalam hal ini Lembaga Ilmu Pengetahuan Indonesia (LIPI); 3. Lembaga/institusi riset seperti LPND, Litbang Departemen, Perguruan Tinggi, Industri dan pusat-pusat studi yang menjadi payung formal bagi unit riset; 4. Unit riset yang menaungi peneliti RUT. Keempat unsur utama di atas saling berkomunikasi dalam konteks sebagai berikut: KMNRT, dalam hal ini Deputi III Bidang Program Riptek berkewajiban menyusun kebijakan dan merumuskan misi program RUT berikut program aksi tahunan serta anggaran belanja yang diperlukan, dengan memperhatikan saran dan rekomendasi DRN. Khususnya dalam menyusun anggaran belanja tahunan RUT, KMNRT bekerjasama dan dibantu penuh oleh LIPI, dalam hal ini sebagai pihak pengelola program RUT berbasis pada hasil pelaksanaan RUT tahun-tahun sebelumnya dan proyeksi kegiatan satu tahun dimuka. Adanya pelaksanaan RUT yang telah habis masa risetnya, pelaksana yang dihentikan pelaksanaan riset sebelum periode waktu risetnya habis dan proyeksi jumlah topik riset baru untuk satu tahun yang akan datang, serta kegiatan-kegiatan lain seperti administrasi proyek, penyusunan buku pedoman RUT, monitoring dan evaluasi di lapangan, studi terkait lainnya, merupakan faktor-faktor berpengaruh terhadap anggaran belanja tahunan RUT.16 Panduan Monitoring dan Evaluasi RUT
  18. 18. Disamping itu, KMNRT setiap tahun berkewajiban melakukan monitoring dan evaluasi kinerja pengelolaan program RUT baik terhadap pengelola program (dalam hal ini LIPI) maupun lembaga/institusi riset yang menaungi unit riset dan pelaksana riset secara formal. Kegiatan monitoring dan evaluasi tersebut seyogyanya diarahkan baik kepada aspek administrasi serta manajerial, maupun aspek substantif riset. Olehkarena itu, KMNRT menyusun suatu format khusus sebagai pendukung kesempurnaan kegiatan tersebut. Khusus bagi unit riset, KMNRT akan mencermati indikator kinerja manfaat dan dampak produk RUT yang dihasilkan. Pengelola RUT, dalam hal ini LIPI berperan aktif dalam menyampaikan saran perubahan, kondisi aktual pengelolaan dan pelaksanaan RUT pada saat penyusunan pedoman anggaran belanja tahunan RUT. Dengan dibantu oleh tim pakar, LIPI melakukan penilaian atas proposal serta monitoring dan evaluasi pelaksanaan dan hasil riset terhadap aspek substantif. Hasilnya secara lengkap lebih lanjut diinformasikan kepada KMNRT. LIPI berkewajiban mensosialisasikan program RUT tahun mendatang ke seluruh lembaga atau institusi riset nasional dengan mengirimkan buku pedoman RUT tahun bersangkutan. Disamping itu, LIPI berkewajiban pula melakukan monitoring dan evaluasi terhadap lembaga/institusi riset secara administratif serta unit riset, khususnya pelaksana RUT untuk aspek substantif. Lembaga/institusi riset berkewajiban melakukan koordinasi program RUT dengan LIPI sebagai pengelola program dalam hal administratif penunjang implementasi program, misalnya penyusunan dan penandatanganan kontrak kerjasama penelitian, pencairan termin pembayaran, penyampaian laporan kemajuan dan laporan akhir penelitian, pengorganisasian kegiatan monitoring dan evaluasi dan kegiatan administrasi sejenis lainnya. Unit riset sebagai institusi yang paling bertanggungjawab atas kualitas kinerja riset diharapkan dapat memposisikan diri dalam kondisi siap dipantau setiap saat, dan dievaluasi pada saat-saat tertentu, baik oleh KMNRT maupun LIPI. Olehkarena itu, basis data riset dan kegiatan monitoring evaluasi agar disusun dan dilakukan secara kontinyu dan obyektif. Disamping itu, unit riset diharapkan agar selalu berkonsultasi dan berkoordinasi dengan lembaga/institusiPanduan Monitoring dan Evaluasi RUT 17
  19. 19. riset yang menaunginya, baik dalam hal mencari informasi program riset terbaru, perubahan mendasar tentang kebijakan riset nasional, menemukan solusi persoalan yang dihadapi, bantuan finansial, maupun jasa pendaftaran HaKI. KMNRT Perencanaan, Penganggaran Program, Monitoring dan Evaluasi Substansi riset serta Monitoring dan Kinerja Pengelola Evaluasi Kinerja Lembaga 1 3 2 UR Lembaga Pengelola Implementasi Program, Monitoring dan Evaluasi Substansi Riset UR = Unit Riset 1 = Monitoring dan evaluasi kinerja riset, manfaat serta dampak riset. 2 = Monitoring dan evaluasi substansi riset 3 = Perencanaan, penganggaran, pelaksanaan, monitoring dan evaluasi Gambar 4. Mekanisme MONEV RUT 7.1. Proses Monitoring dan Evaluasi RUT Program Riset Unggulan Terpadu (RUT) adalah program riset yang dipersaingkan secara terbuka untuk para peneliti utama di lingkungan unit-unit riset baik di Perguruan Tinggi, Litbang Departemen, LPND, Industri, maupun pusat-pusat studi yang ada di Indonesia. Karena sifatnya yang dipersaingkan maka konsekuensi logisnya, keikutsertaan para peneliti utama dalam program RUT akan melalui tahapan-tahapan seleksi. Baik pada tingkat seleksi penerimaan dan penilaian proposal, monitoring dan evaluasi pelaksanaan tahapan-tahapan riset, sampai pada penilaian akhir kualitas hasil riset. Bahkan hasil-hasil riset yang dinilai berkualitas akan mendapat kesempatan bersaing untuk mendapatkan “award”. Secara lengkap proses tersebut mengikuti diagram alir seperti tampak pada Gambar 5. Adapun contoh basis data yang diperlukan dari setiap tahapan proses, seperti tercantum pada lampiran halaman 63.18 Panduan Monitoring dan Evaluasi RUT
  20. 20. ALIRAN PROSES BASIS DATA, BD Penerimaan Proposal BD Proposal Masuk (BD – 1) Rapat Panel I Ditolak BD Proposal Ditolak I (BD – 2) BD Proposal Diteruskan Peer Reviewer ke Reviewer (BD – 3) BD Proposal Ditolak II Rapat Panel II Ditolak (BD – 4) Tidak diusulkan BD Proposal Ditolak III Seminar Pembahasan untuk dibiayai (BD – 5) BD Proposal Dibiayai Diusulkan untuk dibiayai Th-1 (BD – 6) Kontrak Kerjasama BD pelaksanaan Dihentikan th-1 Pelaksanaan Tahun I (BD – 7) Dihentikan Seminar Evaluasi dan * Walaupun dihentikan BD Pelaksanaan Pembiayaannya* Pembahasan Dibiayai Th-2 pembiayaannya, Peneliti Utama (BD – 8) harus melaporkan Pelaksanaan Tahun II hasil pelaksanaan BD pelaksanaan Dihentikan risetnya. Dihentikan th-2 Seminar Evaluasi dan Pembiayaannya*/ (BD – 9) Pembahasan Dinilai Selesai BD Pelaksanaan Dibiayai Th-3 Pelaksanaan Tahun III (BD – 10) Seminar Evaluasi dan Pembahasan Laporan Akhir Pelaksanaan Riset Penilaian Laporan Akhir Riset BD Hasil Penilaian Akhir (BD – 11) ** Predikat Riset** A : Peneliti Utama dapat langsung mengajukan Sangat Memuaskan (A) proposal baru, pada program RUT tahun Memuaskan (B) berikut. Cukup (C) B : Peneliti Utama dapat mengajukan proposal Kurang (D) RUT dua tahun berikutnya. C : Peneliti Utama dapat mengajukan proposal Keterangan: RUT tiga tahun berikutnya. Detil isi masing-masing D :Peneliti Utama dapat mengajukan proposal basis data, seperti Publikasi RUT terbaik terlampir RUT empat tahun berikutnya. Pemberian award Gambar 5. Proses seleksi dan evaluasi program RUT serta basis data yang perlu dibuatPanduan Monitoring dan Evaluasi RUT 19
  21. 21. 7.2. Uraian proses seleksi, monitoring dan evaluasi RUT Penerimaan Proposal Format Proposal RUT disusun dengan sistematika berikut (penomoran format tidak dibakukan, sewaktu-waktu dapat berubah): 1. Data Pengusul Proposal terdiri dari: Judul; Pengenalan; Pengesahan; Personalia Peneliti; Pernyataan Keikutsertaan dalam RUT; Personalia Teknisi; Biodata Peneliti. Contoh format terlampir. 2. Proposal Riset, terdiri dari: Lembar Depan; Rancangan Penelitian; Isi Proposal; Personalia Riset; Rincian Anggaran; dan Jadual Kegiatan. Contoh format terlampir. Proposal disusun secara seksama mengikuti petunjuk penyusunan yang tercantum pada “Buku Petunjuk Penyusunan Proposal RUT”. Sekretariat RUT setelah menerima dan mencatat proposal yang masuk, mengadakan seleksi administratif terhadap persyaratan Peneliti Utama, Lembaga Penanggung jawab, Surat Pernyataan dan kelengkapan- kelengkapan lainnya. Proposal beserta daftarnya dikirim kepada Ketua Panel dan Anggota Panel yang berkenaan sesuai dengan bidang keahliannya. Sejak RUT IX, dimulai suatu sistem penilaian anonim. Proposal yang dinilai tidak mencantumkan identitas pengusul. Rapat Panel I Apabila ada proposal yang tidak sesuai di bidangnya, Ketua Panel dapat memindahkan ke bidang lain yang lebih sesuai dengan menggunakan format Perpindahan Bidang (contoh terlampir). Proposal yang dapat dinilai langsung oleh Panel, penilaiannya menggunakan format Hasil Penilaian Panel (contoh terlampir). Sedangkan rekapitulasi hasil penilaian panel dituangkan dalam format Rekapitulasi Hasil Penilaian Proposal (contoh terlampir). Rapat Panel I, hasilnya dapat berupa : Proposal ditolak, diteruskan ke Seminar Pembahasan, atau di kirim ke Peer Reviewer.20 Panduan Monitoring dan Evaluasi RUT
  22. 22. Peer Reviewer Peer Reviewer adalah pakar dengan keahlian sesuai dengan substansi proposal, dan ditetapkan oleh para Panel bidang RUT untuk memberikan tanggapan dan evaluasi atas suatu proposal. Proposal yang sangat perlu mendapat tanggapan dari Peer Reviewer dikirimkan dengan menggunakan format Permohonan Peer Reviewer (contoh terlampir). Peer Reviewer melakukan evaluasi secara kritis atas suatu proposal untuk membantu panel pakar mengambil keputusan, Dalam melakukan evaluasi, peer reviewer tidak diijinkan kontak dengan pengaju proposal dan hasil evaluasinya bersifat rahasia, Hasil evaluasi peer reviewer dituliskan pada formulir Hasil evaluasi reviewer (contoh format terlampir), dan selanjutnya disampaikan kepada Sekretariat RUT LIPI sebelum batas waktu berakhir, sebagai bahan Rapat Panel II. Rapat Panel II Rapat Panel II dilaksanakan untuk membahas hasil penilaian/tanggapan Peer Reviewer. Hasil penilaian baik pada Rapat panel I maupun II dituangkan ke dalam Berita Acara Hasil Seleksi Proposal RUT sebagai lampiran Surat Pemberitahuan dengan menggunakan format Berita Acara Hasil Seleksi Proposal (contoh terlampir). Rapat Panel II, hasilnya dapat berupa : Proposal dilanjutkan ke Seminar Pembahasan atau ditolak (tidak dapat dilanjutkan untuk seleksi selanjutnya). Seminar Pembahasan Seminar pembahasan dimaksudkan untuk memberi kesempatan bagi para Peneliti Utama yang proposalnya dinyatakan lolos seleksi tahap I dan II untuk menyajikan dan memperjelas proposalnya di depan panel pakar dan peneliti utama lainnya di bidang yang sama.Panduan Monitoring dan Evaluasi RUT 21
  23. 23. Hasil seminar pembahasan dituangkan dalam Berita Acara Hasil Seminar Pembahasan Proposal RUT sebagai lampiran Surat Pemberitahuan dengan menggunakan format Berita Acara Hasil Seminar Pembahasan (contoh terlampir). Hasil seminar menghasilkan dua kategori, yaitu proposal diusulkan untuk dibiayai dan proposal tidak diusulkan untuk dibiayai. Kontrak Kerjasama Peneliti Utama yang proposalnya diusulkan untuk dibiayai, sebagai penanggungjawab riset selanjutnya menandatangani kontrak kerjasama untuk melaksanakan kegiatan riset seperti yang tertera dalam proposalnya. Pola semacam itu kemungkinan berbeda di institusi atau lembaga riset yang lain. Kontrak kerjasama cukup ditandatangani oleh Ketua Lembaga atas nama seluruh peneliti utama RUT di lembaganya. Pencairan anggaran untuk biaya operasional riset dilakukan termin per termin dengan memperhatikan laporan kemajuan riset yang telah dicapai. Seminar Evaluasi dan Pembahasan Setiap tahun akan diadakan Seminar Evaluasi dan Pembahasan pelaksanaan RUT untuk memberi kesempatan bagi para peneliti utama menyajikan dan menjelaskan hasil yang telah dicapai dan sekaligus membahas rencana kerja RUT tahun berikutnya. Hasil seminar akan mengkategorikan riset dalam tiga kelompok, yaitu : 1. Riset diusulkan untuk dibiayai kelanjutannya; 2. Riset tidak diusulkan untuk dibiayai kelanjutannya; 3. Riset telah selesai Materi Penilaian menyangkut: kemajuan pelaksanaan, hasil, rencana kerja dan kegiatan penunjang. Hasil Evaluasi dituangkan dalam format Berita Acara Hasil Evaluasi RUT (contoh terlampir).22 Panduan Monitoring dan Evaluasi RUT
  24. 24. Monitoring dan Evaluasi Kegiatan Tim monev RUT yang berintikan tim panel, sekretariat RUT – sebagai pendamping, dan KMNRT akan melakukan kunjungan lapangan untuk memantau secara langsung kegiatan RUT di laboratorium tempat RUT dilaksanakan. Jadual kunjungan dan nama anggota tim akan disampaikan sebelumnya oleh LIPI kepada lembaga penanggung jawab program. Hal-hal yang menjadi fokus perhatian adalah substansi saintifik dan administratif. Khusus substansi yang disebutkan terakhir, selanjutnya disampaikan kepada pengelola RUT (LIPI) dan pemilik program (KMNRT). Contoh format matriks pemantauan dan evaluasi RUT, seperti terlampir. Evaluasi Hasil Akhir Dalam rangka program monitoring dan evaluasi jenjang peningkatan mutu peneliti di Indonesia, Dewan Riset Nasional mengembangkan suatu pedoman evaluasi hasil akhir penelitian RUT, yaitu dalam bentuk jenjang predikat pengakuan resmi KMNRT terhadap perseorangan peneliti utama. Tujuan dilaksanakannya evaluasi hasil akhir RUT ini disamping untuk menetapkan jenjang predikat pengakuan atas mutu peneliti utama, juga sekaligus sebagai rekomendasi pada peneliti utama untuk menangani kegiatan riset yang lebih besar cakupan materi, tujuan dan dana riset yang diperlukan. Materi penilaian yang ditetapkan sampai saat ini, ditinjau dari : 1. Pelaksanaan riset, yang meliputi: Keterpaduan Sistematika laporan Konsistensi dengan tujuan Kelayakan biaya dengan luaran yang dihasilkan Ketepatan pelaksanaan rencana 2. Luaran produk : Hasil/produk ilmiah berupa artikel ilmiah, temuan baru, paten dan/atau teknologi baru/prototipe.Panduan Monitoring dan Evaluasi RUT 23
  25. 25. Dampak, luaran berupa pengembangan SDM, pengembangan Iptek, dan yang mendukung upaya pembangunan. 7.3. Informasi dan Data yang Diperlukan untuk Menetapkan Indikator Kinerja Lembaga Riset Sebagai suatu lembaga riset, baik LPND, LD, PT maupun Industri disarankan agar mampu melaksanakan monitoring dan evaluasi secara mandiri. KMNRT dalam hal ini hanya berfungsi sebagai pendorong dan pembuka peluang berlangsungnya penilaian atas aktivitas riset di seluruh lembaga riset nasional. Hasil evaluasi dapat dijadikan sebagai referensi KMNRT dalam menindaklanjutinya berupa evaluasi eksternal atau kebijakan pengembangan yang diperlukan. Untuk membantu lembaga atau institusi riset melaksanakan evaluasi diri, KMNRT menyusun borang pemandu disertai maksud dan tujuan data koleksi tersebut. Contoh berikut adalah model evaluasi untuk riset dan merupakan bagian dari LAKIP. Yang disebutkan terakhir ini meliputi seluruh aspek kegiatan lembaga. Visi dan Misi Dituliskan visi dan misi lembaga secara lengkap. Kejelasan tentang keduanya merupakan referensi yang baik bagi analisis komparatif terhadap jenis tema atau topik, produk, manfaat dan dampak riset yang telah dihasilkan. Sumberdaya Sumberdaya yang dimaksudkan dalam hal ini meliputi sumberdaya manusia, fasilitas laboratorium, peralatan atau instrumen, dana dan informasi. Kelengkapan data seluruh sumberdaya, mengenai kualifikasi usia, tingkat kompetensi, nilai investasi, kondisi fungsional, tingkat pemanfaatan dan lain-lain, memudahkan lembaga dalam menetapkan indikator kinerja seperti efisiensi, efektivitas, critical mass, unit cost riset faktual, dan keberlanjutan (sustainability). Disarankan juga untuk menganalisis seluruh data yang dipunyai menurut metode statistik sehingga informasi yang24 Panduan Monitoring dan Evaluasi RUT
  26. 26. dihasilkan lebih obyektif. Melalui metode yang sama dapat dilakukan analisis hubungan antar indikator kinerja. Diawali dengan data sumberdaya manusia yang diyakini merupakan data terlengkap yang dipunyai lembaga. Hal ini dapat dipahami mengingat seluruh proses kepegawaian, umumnya teradministrasikan dengan baik, mulai sejak proses rekrutmen sampai pengembangan karir dan pemutusan hubungan kerja pegawai suatu lembaga. Tenaga Kerja − Tenaga Struktural Yang dimaksudkan dengan tenaga struktural adalah tenaga administrasi atau tenaga fungsional yang ditugaskan selama periode waktu tertentu untuk mengisi jabatan struktural formal di dalam organisasi lembaga. Eselon Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n I II III IV TOTAL − Tenaga Administrasi Yang dimaksud dengan tenaga administrasi adalah tenaga kerja yang direkrut khusus untuk melaksanakan tugas dalam bidang administrasi. Tenaga administrasi tidak mempunyai penugasan dalam aktivitas riset. Pendidikan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n S3 S2 S1 D3 SLTA TOTAL Golongan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n I II IIIPanduan Monitoring dan Evaluasi RUT 25
  27. 27. IV TOTAL − Tenaga Fungsional Yang dimaksud tenaga fungsional adalah tenaga kerja yang direkrut dengan tujuan awal sebagai periset atau tenaga pendukung aktivitas riset secara aktif. Kelompok ini menjadi tenaga inti suatu unit riset. Pendidikan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n S3 S2 S1 D3 SLTA TOTAL Jabatan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n Periset Perekayasa Tenaga Litkayasa Pranata Komputer Pustakawan Arsiparis Auditor Golongan Unit Riset 1 Unit Riset 2 Unit Riset 3 Unit Riset n I II III IV TOTAL Tenaga kerja di suatu lembaga umumnya menerima kesempatan untuk mengembangkan karirnya selama periode aktif, melalui berbagai peluang seperti sekolah lanjut, pelatihan sertifikasi, kursus, seminar dan lain sebagainya. Data yang lebih bersifat individual semacam ini seringkali tidak tercatat secara administratif di kantor pusat, namun lebih banyak dipunyai individu yang bersangkutan. Kelengkapan data26 Panduan Monitoring dan Evaluasi RUT
  28. 28. ini dapat dipergunakan untuk menganalisis kualifikasi, tingkat kompetensi setiap individu sekaligus unit riset di suatu lembaga. Untuk mendukung keperluan itu, diperlukan sejumlah data sebagai berikut: No. Nama Pegawai Gol Jabatan Pendidikan Formal Pendidikan Formal Fungsional Jenis Lama Jenis Lama Sarana dan Prasarana − Laboratorium Data laboratorium tergolong ke dalam data yang cukup sulit pengadministrasiannya. Umumnya lembaga lemah di dalam pendataan fasilitas laboratorium. Meskipun demikian, kelengkapan dan kejelasan data laboratorium sangat diperlukan dalam menetapkan indikator kinerja seperti halnya efisiensi utilisasi laboratorium, keberlanjutan unit, indeks ruangan kerja. Olehkarena itu, untuk memungkinkan dilakukannya analisis yang baik terhadap fasilitas laboratorium, diperlukan data sebagai berikut: Biaya Rata-rata Pera- Usia Kondisi Layan- penggu- Unit Labora- Luasan watan Labor Fungsional an naan Riset torium (m2) Laboratori- Masya- (Rp/ (tahun) (jam/ um rakat* tahun) minggu)** * (pelatihan, kerjasama riset, pemeriksaan-pengujian, dll kegiatan yang sejenis) ** (termasuk untuk kegiatan rutin dan jasa layanan masyarakat) − Peralatan Seperti halnya data tentang laboratorium, suatu lembaga umumnya lemah di dalam pendataan fasilitas peralatannya. Meskipun kewajiban lembaga untuk melaporkan seluruh inventaris yang dipunyai dan secara berkala melaporkan ke unit utamanya tentang mutasi inventaris yang terjadi, namun data fungsional dan efisiensi penggunaan peralatan, sukar ditemukan. Tidak tersedianya data mengenai tingkat depresiasi peralatan yang dipunyai, rendahnya kemampuan lembaga dalam melakukan reinvestasi peralatan, produk riset yang belum mencapaiPanduan Monitoring dan Evaluasi RUT 27
  29. 29. taraf komersial menyebabkan data yang ada belum mampu mengindentifikasi indikator kinerja seperti return on investment. Juga informasi mengenai efisiensi utilisasi peralatan belum teridentifikasi dengan keterbatasan ketersediaan data di lembaga riset. Untuk mencoba memberi dukungan kepada terselenggaranya proses identifikasi efisiensi peralatan, disarankan agar lembaga riset mengumpulkan data yang diperlukan sebagai berikut: Biaya Rata-rata Pera- Usia Layan- penggu- Nama Kondisi Unit Labora- watan Alat an naan Alat Fungsional Riset torium Masya- (jam/ Utama (Rp/ (tahun) Peralatan rakat* minggu)* tahun) * * (pelatihan, pemeriksaan-pengujian, kursus dam kegiatan lain yang sejenis) * * (termasuk kegiatan operasional rutin, layanan masyarakat) − Dana Yang dimaksudkan dengan dana dalam hal ini adalah seluruh dana riset yang dipergunakan untuk membiayai riset sepanjang tahun tanpa memperhatikan darimana sumber dana berasal. Jadi, dana riset tersebut merupakan akumulasi seluruh dana riset yang diperoleh lembaga termasuk yang diperoleh periset melalui kemampuan individu atau kelompok. Kelengkapan dan kejelasan dana riset dapat menunjukkan indikator kinerja keberlanjutan lembaga, attractiveness, relevansi produk riset dan unit cost faktual lembaga. Untuk itu diperlukan data sebagai berikut: Pusat Unit Riset 1 Unit Riset n Sumber Dana Total Admin Admin Admin Inves Inves Inves Riset Riset 1. DIP (rupiah murni) 2. DIK 3. DIKS 4. Bantuan LN (US$) 5. Hibah LN (US$) 6. Kerma Bilateral (US$) 7. Lainnya (mis.Reboisasi) 8. Total 128 Panduan Monitoring dan Evaluasi RUT
  30. 30. Total − Informasi Layanan informasi terakhir dapat dibedakan atas layanan manual dan elektronik. Layanan manual dimaksudkan untuk model layanan perpustakaan. Sedangkan layanan elektronik adalah layanan informasi melalui sistem jaringan komputer. Informasi tentang perpustakaan dan komputer pada hakekatnya diperlukan untuk menunjukkan indikator kinerja efisiensi, relevansi tema riset dengan state of the art keilmuan, kualitas informasi. Beberapa data yang diperlukan untuk itu antara lain: Koleksi Masa Biaya Pengun- Nama Luasan Tahun Layanan Rutin jung Unit No Perpus- Riset (m2) Jenis* Jml Terbit (Jam/ (Rp/ (orang/ takaan Minggu) tahun) tahun) * (buku teks, jurnal ilmiah, CD-Rom, film mikro, majalah, dan lain-lain) Aktivitas − Administrasi dan Operasional Riset Aktivitas riset di suatu lembaga dapat dikelompokkan atas tiga pola, yaitu (1) mandiri, riset dilaksanakan sendiri di luar tema kembaga, dibiayai sendiri, (2) mandiri plus, riset dipimpin sendiri, biaya riset bersumber dari eksternal (dana KMNRT dan/atau Dikti atau sumber dana lainnya) dan (3) rutin, riset dilakukan atas dasar penugasan lembaga, dibiayai melalui DIP atau DIKS. Kelengkapan data semacam ini sangat besar manfaatnya dalam mengindikasikan indikator kinerja keberlanjutan lembaga, efisiensi penggunaan sumberdaya manusia, efektivitas lembaga, attractiveness unit, relevansi program. Untuk itu diperlukan dukungan data berikut: Nilai Jumlah Usia Instansi Kerma Produk Unit Riset No. Kerjasama Peneliti Kerma Mitra Kerma Pelaksana (RP) TerlibatPanduan Monitoring dan Evaluasi RUT 29
  31. 31. − Agenda Riset Tahunan, ART Yang dimaksudkan dengan agenda riset tahunan adalah kegiatan riset yang meliputi sejak perencanaan sampai evaluasinya selama satu tahun anggaran atau tahun akademik. Adanya ART mengindikasikan adanya manajemen riset yang profesional dan sistematis di lingkungan suatu lembaga. Dengan demikian, ART memungkinkan periset di suatu lembaga berpeluang untuk menyusun strategi riset yang rasional. Untuk mendukungnya diperlukan beberapa data, antara lain: Bulan Ke Kete- No. Aktivitas 1 2 3 4 5 6 7 8 9 10 11 12 rangan 1. Distribusi kebijakan riset nasional 2. Pelatihan penyusunan proposal 3. Pelatihan penyusunan artikel saintifik 4. Pemberitahuan pengajuan proposal riset 5. Batas akhir waktu penyampaian proposal 6. Seleksi proposal 7. Perbaikan proposal 8. Pemberitahuan topik riset yang dibiayai 9. Penyiapan dan penandatanganan kontrak 10. Pencairan dana riset 11. Pelaksanaan riset 12. Pemantauan ke lab/lapangan 13. Penyusunan laporan akhir 14. Batas akhir waktu penyerahan laporan akhir 15. Pencairan dana riset 100% 16. Diseminasi hasil riset30 Panduan Monitoring dan Evaluasi RUT
  32. 32. − Pengajuan dan Hasil Seleksi Proposal Baik kegiatan pengusulan maupun hasil seleksi proposal seyogyanya terekam secara baik, olehkarena keduanya dapat mengindikasikan aspirasi periset atau lembaga dan kualifikasi periset di suatu unit riset di dalam lembaga. Disamping itu, produktivitas periset, bidang spesialisasi yang dikuasai juga sekaligus dapat diekspos. No. Topik Riset Nama dan Biodata Periset Nama Unit Riset − Rekapitulasi data riset yang dilaksanakan Data topik riset yang dibiayai pelaksanaannya, baik disusun secara rinci ataupun dalam bentuk rekapitulasinya akan mendukung dalam mengindetifikasi potensi periset, tema penunjuk indentitas, efisiensi periset dan unit riset, efektivitas, produktivitas lembaga ataupun individu periset. Hasil seleksi proposal dapat disusun dalam bentuk tabel rekapitulasi dan data topik riset sebagai berikut: Rekapitulasi Hasil Seleksi Proposal Riset Jumlah Proposal Nilai Proposal (Rp) No. Nama Unit Riset Keterangan Usulan Diterima Usulan Disetujui Data Topik Riset Periode Sum- Nama Biaya Lokasi Insti- Waktu Judul ber Produk No Pelak- Riset Pelak- tusi Pelaksa- Riset Dana Riset* sana (Rp) sanaan Mitra naan Riset (tahun) Ketua Anggota * artikel ilmiah, prosiding, buku teks, modul pelatihan, alat peraga, desain, algoritma, cetak biru, paten, poster, peraturan, standar, dan lain-lain − Realisasi Dana Operasional Rutin dan Riset Ada dua hal yang perlu memperoleh perhatian seksama, yaitu: (1) dana operasional rutin dan pembangunan lembaga, dan (2) dana operasionalPanduan Monitoring dan Evaluasi RUT 31
  33. 33. riset. Dalam model DIP dan DIK, keberadaan kedua jenis alokasi dana tersebut seringkali terintegrasi dan tidak secara nyata terpisah. Kondisi semacam ini dapat menimbulkan kesulitan di dalam upaya lembaga menghitung alokasi dana riset tahunan secara cepat. Meskipun demikian, jika kedua alokasi dana rutin dan riset terintegrasi, maka terlebih dahulu harus dilakukan pemisahan dan masing-masing diberi kode tertentu sehingga jika keduanya digabungkan, nilai nominal DIP atau DIK atau DIKS sesuai dengan nilai nominal integrasi. Alokasi dana operasional riset tahunan disarankan untuk dihitung tanpa biaya investasi bangunan laboratorium ataupun peralatan. Olehkarena, nilai nominal riset akan berfluktuasi dan tidak konsisten. Total alokasi tersebut dapat dipergunakan untuk menghitung unit cost faktual per periset per tahun untuk setiap lembaga. Jika alokasi dana investasi turut diperhitungkan, maka perhitungan unit cost menjadi kurang relevan. Dalam hal ini lebih utama menghitung return on onvestment lembaga. Model perhitungan return on investment dapat disimak pada Buku “Manajemen Unit Riset” yang diterbitkan KMNRT tahun 2001. Untuk mendukung kemudahan perhitungan unit cost faktual, diperlukan beberapa data keuangan berikut: Unit Riset 1 Unit Riset n Total Aloka- Sisa si Reali- Reali- Serap- Dana No. Sumber Dana Aloka- Aloka- sasi sasi an (Rp) si (Rp) si (Rp) (Rp)/% (Rp)/% (Rp)/% (Rp)/% 1. DIK 2. DIKS 3. DIP (rp murni) 4. DIP Loan ($) 5. Hibah ($) 6. Lainnya − Monitoring dan Evaluasi Aspek monitoring dan evaluasi diharapkan dapat mengidentifikasi manfaat dan dampak suatu aktivitas dan produk riset, baik bagi32 Panduan Monitoring dan Evaluasi RUT
  34. 34. lingkungan internal maupun eksternalnya. Olehkarena kedua indikator tersebut dapat memandu pengelola program riset dalam menganalisis indikator kinerja lain seperti relevansi produk, yang akan menunjukkan kualitas produk dalam konteks ekonomi; indeks sitasi, menunjukkan kualitas dalam konteks saintifik. Beberapa data berikut dinilai dapat mendukung analisis tersebut. Nama Unit Riset : No. Item subjek monitoring dan evaluasi 1. Topik riset - ditulis lengkap 2. Nama ketua dan anggota tim - nama, bidang ilmu atau keahlian 3. Dana riset - sumber dana - nilai nominal dana riset - cara menetapkan nilai nominal dana riset - cara penggunaan - kendala yang dihadapi internal dan eksternal - teknik solusi persoalan dana 4. Layanan informasi - koleksi perpustakaan pada bidang riset - layanan perpustakaan - biaya layanan - layanan internet dan biayanya 5. Produk riset - jenis produk - posisi produk terhadap pemanfaatannya - prediksi nilai komersial/saintifik 6. Manfaat riset - aspek sosial (jumlah lapangan kerja baru, jumlah pasien yang terobati, jumlah penduduk bebas buta huruf, dll) - aspek ekonomi (nilai nominal yang terselamatkan dengan kehadiran produk riset, nilai royalti yang diterima, nominal peningkatan pendapatan, nilai nominal penghematan akibat adanya produk, dll) - aspek teknologi (inovasi baru, teknologi produk riset diterapkan di industri, dll)Panduan Monitoring dan Evaluasi RUT 33
  35. 35. No. Item subjek monitoring dan evaluasi 7. Dampak riset (internal, eksternal) - dampak internal (tingginya nilai indeks sitasi, besarnya minat periset muda potensial untuk bergabung, terpeliharanya fasilitas riset, meningkatnya motivasi melakukan riset, tingginya efisiensi SDM riset, munculnya pengakuan sejawat, dll) - dampak eksternal (meningkatnya tingkat kesejahteraan dan kecerdasan masyarakat, menurunnya angka kematian bayi, tereduksinya angka pengangguran, perubahan profesi penduduk, dll) 8. Rencana tindak lanjut - up scaling - usulan baru RUK, Rusnas, dll - pendaftaran Paten - implementasi di masyarakat - dll 9. Dukungan administratif dan teknis terhadap riset - administrasi keuangan - perijinan - kesiapan fungsi peralatan - pelaporan dan pengolahan data - dll 10. Pemahaman periset akan Jakstra dan Punas - arti Jakstra dan Punas - posisi dan fungsi Jakstra dan Punas dalam aktivitas riset - saran perbaikan 11. Pemahaman periset akan renstra lembaga - arti renstra bagi strategi riset kelompok - saran perbaikan 12. Keserasian aktivitas dan produk dengan misi lembaga 13. Usulan unit cost riset - unit cost faktual berbasis empirik - item penentu besaran unit cost kelompok - unit cost ideal 14. Ketercapaian critical mass dalam unit riset - keseimbangan jumlah periset, kualifikasi terhadap volume dan kompleksitas riset - antisipasi yang pernah dilakukan 15. Korelasi topik riset dengan Jakstra dan Punas - enam Isu Strategis - sebelas Bidang Unggulan34 Panduan Monitoring dan Evaluasi RUT
  36. 36. Jenis Produk Riset − Artikel saintifik Tahun Lingkup Topik Nama Edar Jurnal/ Topik Terbit/ Riset No. Penulis Jurnal/ Seminar Artikel Waktu Sumber Seminar Seminar (DN/LN) Artikel − Poster Nama Pembuat Tahun Skala Seminar Topik Riset No. Seminar Poster Seminar (DN/LN) Sumber Poster − Paten Tgl. & No. No. Pemeriksaan No. ID Topik Riset No. Pendaftaran Paten Paten Substantif Paten Sumber Paten − Peraturan Topik Riset Masa Diundang-kan No. Tgl. & No. Peraturan Perihal Sumber Berlaku oleh, di Peraturan − Standar No. Tgl. & No. SNI Perihal Pemakai/Pelanggan Manfaat terhadap Mutu dan Pemasaran − Sertifikasi Pemakai/ Biaya Manfaat terhadap No. Tgl. & No. Sertifikat Perihal Pelanggan (Rp) Pemakai/Pelanggan − Akreditasi Nama lab/alat dan Biaya Manfaat terhadap No. Tgl. & No. Akreditasi instansi yang akreditasi Pemakai/Pelanggan diakreditasi (Rp) − Prototipe Nama Spesifikasi Jumlah Pemakai/ Harga Jual Terjual No. Prototipe Teknis (buah) Pelanggan (Rp) (buah)Panduan Monitoring dan Evaluasi RUT 35
  37. 37. − Sistem Uraian Pemakai/ Manfaat terhadap No. Nama Sistem Ringkas Pelanggan Pemakai/Pelanggan − Informasi Teknis Jenis Ruang Pemakai/ Manfaat terhadap No. Akses Informasi Lingkup Pelanggan Pemakai/Pelanggan Informasi − Modul Pelatihan Nama Jumlah Tujuan Pemakai/ Harga Jual Terjual No. Perihal Modul (eks.) Penggunaan Pelanggan (Rp) (Rp) − Desain Spefikasi Pemakai/ Harga Jual Manfaat terhadap No. Topik Desain Teknis Pelanggan (Rp) Pemakai/Pelanggan − Buku Teks Nama Penerbit Jumlah Harga Jual Topik Riset Judul Nama No. Sumber Buku Teks Penulis & Tahun Terbit (eks.) (Rp) Buku Teks − Peta/Foto Harga Judul Jumlah Pemakai/ Terjual No. Perihal Skala Jual Peta/Foto (buah) Pelanggan (buah) (Rp) − Alat Peraga Nama Bahan Harga Jumlah Spefikasi Pemakai/ Terjual No. Alat Yang Jual (buah) Teknis Pelanggan (buah) Peraga Digunakan (Rp) − Barang (alat dan bahan kedokteran, makanan, radioisotop) Tujuan Harga Nama Spefikasi Jumlah Pemakai/ Terjual No. Penggu- Jual Barang Teknis (buah) Pelanggan (buah) naan (buah)36 Panduan Monitoring dan Evaluasi RUT
  38. 38. 8. Bahan Bacaan Herman, J.L., Morris, L.L., and Fitz-Gibbon, C.L., “Evaluator’s Handbook”, The Regents of the University of California, 1987 Lembaga Penelitian-Institut Teknologi Bandung, “Laporan Akhir: Pengembangan Koordinasi dan Sosialisasi Sistem Monitoring Program, Evaluasi Pelaksanaan Pembangunan Riptek dan Evaluasi Proyek Khusus”, Bandung, 2000 Lembaga Administrasi Negara dan Badan Pengawasan Keuangan dan Pembangunan, “Pengukuran Kinerja Instansi Pemerintah: Laporan Akuntabilitas Kinerja Instansi Pemerintah (LAKIP), Modul 1-5”, Jakarta, Maret 2000 Badan Perencanaan Pembangunan Nasional RI, “Evaluasi Kinerja Proyek Pembangunan”, Kantor Bappenas, Jakarta, Juli 2000 LAPI-Bandung Institute of Technology, “Policy Studi on Establishment of Aviable Research Monitoring and Evaluation System: Final Report Appendix to Human Resources Development”, Bandung, March 2000 LAPI- Bandung Institute of Technology, “Policy Study on Strengthening The University and Industry Linkages”, Bandung, March 2000Panduan Monitoring dan Evaluasi RUT 37
  39. 39. 38 Panduan Monitoring dan Evaluasi RUT

×