Permen PANRB Nomor 3 Tahun 2023 - Tentang Penetapan Angka Kredit
EVALUASI GAVI
1. Pendadaran
EVALUASI IMPLEMENTASI PROYEK GAVI HSS
DENGAN PERSPEKTIF PARIS DECLARATION
Budi Perdana
NIM. 11/323759/PKU/12613
PROGRAM PASCASARJANA FAKULTAS KEDOKTERAN
UNIVERSITAS GADJAH MADA YOGYAKARTA
20 MARET 2015
2. CATATAN/INPUT DARI SEMINAR HASIL
20 FEB 2015
Penguji/
Pembimbing
Input Follow Up
Prof. Laksono
Trisnantoro,
Ph.D
1. Jangan sampai penilaian : baik, kurang
baik, dsb cukup deskripsikan ‘ya’
atau ‘tidak’ dan bila tidak jelaskan
mengapa
2. Jangan terlalu banyak kuotasi
masukkan dalam ‘mengapa’
3. Mengapa diisi dengan pendapat2
dari informan
4. Perlu adanya monev independen
1. Sudah dilakukan
perubahan pada bab IV
(h.31) dan bab V (h.56)
2. Sudah dilakukan
perubahan sub bab IV
(hasil penelitian – h.31)
3. Telah disesuaikan
4. Sudah ditambahkan pada
bab V (h.56)
3. CATATAN/INPUT DARI SEMINAR HASIL
20 FEB 2015
Penguji/
Pembimbing
Input Follow Up
Dra. Retna
Siwi
Padmawati,
MA
1. Latar belakang ditambahkan terutama pada
apa itu proyek GAVI HSS
2. Kriteria baik/tidak baik apa?
3. Definisi Operasional harus ditambahkan
untuk tiap-tiap indikator
4. Cara menyajikan hasil wawancara
diperbaiki, ditambah analisis untuk tiap
pertanyaan termasuk hubungan dengan
peneliti sebelumnya
5. Pedoman wawancara perlu dimasukkan
dalam tesis
6. 12 Indikator PD dijadikan variabel
independen*
7. Minta pendapat via email ke GAVI Jenewa*
1. Sudah ditambahkan pada
bab I (h.2 s/d h.5)
2. Kriteria baik/tidak baik
tidak lagi digunakan
3. DO untuk masing-masing
indikator sdh
ditambahkan (h. 24)
4. Telah diperbaiki (Bab IV,
h. 31 s/d 45)
5. Sudah ditambahkan
6. Telah dirubah (tbd)
7. Belum mendapat
jawaban)
4. CATATAN/INPUT DARI SEMINAR HASIL
20 FEB 2015
Penguji/
Pembimbing
Input Follow Up
dr.
Mubbasysyir
Hasan Basri,
MA
1. Tambah referensi untuk aid
effectiveness terutama pada bagian
pembahasan
1. Telah diperbaiki (Bab IV,
h. 31 s/d 45)
Dr. Lutfan, Phd 1. Didefinisi operasional ditambahkan
untuk tiap-tiap indikator
1. Telah ditambahkan (h.24)
5. Latar Belakang
1. Proyek GAVI HSS :
• Tujuan proyek : meningkatkan dan memperkuat program
imunisasi melalui peningkatan sistem pelayanan kesehatan dan
meningkatkan peran masyarakat melalui peranan CSO dalam
memperbaiki status kesehatan ibu, bayi dan anak
• Proposed implementation : 2008 – 2009
• Wilayah : Pusat, Prov : Jabar, Banten, Sulsel, Papua, Papbar, Kab
: 39 Kab
• Jumlah hibah : Rp 240,82 M
• Progres penyerapan : Rp. 154,07 M
6.
7. 2. Proyek ini direncanakan akan diselesaikan dalam dua tahun (2008
– 2009) tetapi dalam implementasinya sampai dengan tahun
2014 proyek ini masih belum selesai dilaksanakan dan telah
terjadi keterlambatan penyelesaian proyek selama kurang-lebih
lima tahun. Dengan kata lain telah terjadi inefektifitas dan
inefisiensi dalam implementasi proyek GAVI HSS.
3. Proyek ini dimulai pada tahun 2008, tiga tahun setelah
dicanangkannya Paris Declaration sehingga dalam hal ini GAVI
(sebagai donor) dan Indonesia (sebagai negara mitra) yang
menandatangani Paris Declaration juga seharusnya menerapkan
prinsip-prinsip Paris Declaration di proyek ini.
9. Tujuan Penelitian
Tujuan Umum
Melakukan evaluasi atas upaya-upaya yang dilakukan
untuk mencapai efektifitas dalam implementasi proyek
hibah luar negeri.
Tujuan Khusus
Melakukan evaluasi atas penerapan prinsip-prinsip
Paris Declaration pada implementasi proyek GAVI HSS.
10. Manfaat Penelitian
Manfaat Akademis
Memberikan gambaran yang evidence based atas implementasi
prinsip-prinsip sebuah komitmen internasional (Paris
Declaration) pada suatu proyek. Hal ini diharapkan akan
memperkaya khazanah ilmu manajemen, khususnya manajemen
proyek bantuan luar negeri (foreign aid project).
Manfaat Praktis
Memberikan input kepada pihak-pihak yang terkait dengan
pelaksanaan proyek hibah luar negeri untuk perencanaan,
implementasi, monitoring dan evaluasi atas proyek-proyek hibah
luar negeri khususnya di lingkungan Kementerian Kesehatan.
11. Keaslian Penelitian
Penelitian terdahulu :
1. Teti Rostiati (2006). Evaluasi Kebijakan Pinjaman
Luar Negeri : Studi Kasus Pinjaman Japan Bank for
International Coorporation (JBIC).
2. Bernard Wood Et Al (2008 dan 2011). Evaluation Of
The Implementation Of The Paris Declaration.
3. Manuela Pereira (2012). Kebijakan dan
Implementasi Bantuan Luar Negeri Ausaid di Timor
Leste: Evaluasi Terhadap Proyek Dukungan Rencana
Strategik Sektor Kesehatan.
12. Perbedaan
1. Perbedaan pada instrumen yang digunakan : pada
penelitian ini pengumpulan data dilakukan dengan
mengacu pada indikator-indikator dalam Paris
Declaration secara utuh (dua belas indikator).
2. Perbedaan pada subyek penelitian : pada penelitian
ini subyek yang diteliti dibatasi dalam scope yang
lebih spesifik yaitu satu proyek, bukan satu negara.
13. Telaah Pustaka
1. Bantuan internasional
- Modern aid = Marshall Plan (setelah PD II)
- Political aid (perang dingin)
- MDGs (> perang dingin ± akhir 1990 an)
2. Efektifitas bantuan internasional
- 2002 : Monterrey
- 2003 : Roma
- 2005 : Paris
- 2008 : Accra (Ghana)
- 2011 : Busan (Korea)
Indonesia : Jakarta Commitment (2009)
14. 3. Paris Declaration
Ownership, Alignment, Harmonization, Result Oriented dan
Accountability 12 indikator
4. Bantuan Luar Negeri di Kemenkes
- Dimulai di era 1950 an (Kopem USAID)
- Berhenti di akhir 1960 an (Go to hell with your aid!)
- Sangat tinggi diakhir 1960 an (Repelita I , 69 – 73 : 60% dari
IGGI)
- Boom di 90 an (Krismon dan start otda – SAP WB & IMF)
- SBY (2004) tidak ada lagi pinjaman
15. 6. Kebijakan Evaluasi GAVI Alliance (GAVI evaluation policy, 2012)
- Evaluasi program, Evaluasi strategi dan kebijakan, Evaluasi
partnership, Evaluasi full country, Evaluasi akhir proyek dan
Meta review
7. Proyek GAVI HSS
- 2007 kebijakan HSS dari GAVI Jenewa
- Proposal disetujui untuk pelaksanaan proyek 2 tahun : 2008 –
2009, dengan total dana : ± Rp. 240,8 M
- 4 objectives : community mobilization to support MCH, improve
management capacity, partnership with NGO, operational
research for critical barriers. (p.17)
- Tingkat Pusat dan 5 Provinsi + 39 Kab/Kota (p.16)
8. Reprogramming GAVI HSS (Untuk Pelaksanaan 2012 – 2014)
- Disarankan oleh GAVI utk seluruh penerima hibah (2011)
- Difokuskan pada 3 building block : Information, Health
Workforce, Service Delivery
16. Kerangka Teori
Dunn (1994)
Process evaluation
Proses evaluasi difokuskan pada cara-cara bagaimana program
tersebut disampaikan pada clients atau dengan melihat cara-cara
program tersebut diimplementasikan.
Impact evaluation
Evaluasi terutama ditujukan kepada hasil dari suatu program
tertentu
Policy evaluation
Evaluasi ini dilakukan dengan melihat pengaruh kebijakan atau
program yang diarahkan kepada penyelesaian masalah tertentu
20. Penelitian
• Jenis dan Disain
Jenis : studi kasus
Disain : kualitatif
Metode : review dokumen dan wawancara
• Tempat dan Waktu Penelitian
Kementerian Kesehatan dan kantor perwakilan donor
(terutama WHO sebagai perwakilan GAVI di Indonesia), Feb
2014 – Jan 2015)
• Subjek Penelitian
Pejabat dari satker-satker yang terkait implementasi GAVI
HSS dan stakeholders lain (perwakilan donor)
Purposive sampling + snowball sampling
21. Identifikasi Variabel Penelitian
Variabel independen :
Variabel Independen diambil dari 12 indikator Paris Declaration
Variabel Dependen :
Efektivitas Implementasi proyek GAVI-HSS
24. Instrumen Penelitian dan Cara
Pengambilan Data
Instrumen Penelitian :
Kuesioner
Cara Pengambilan data :
1. Observasi (observasi partisipatif)
2. Wawancara (semi terstruktur, in depth interview)
3. Review Dokumen
4. Triangulasi (triangulasi sumber)
25. Cara Analisis Data
Analisis sebelum di lapangan
Analisis dilakukan terhadap data hasil studi pendahuluan atau
data sekunder + interview awal
Analisis selama di lapangan
Dilakukan pada saat pengumpulan data berlangsung dan setelah
pengumpulan data dalam periode tertentu.
Analisis setelah selesai di lapangan
Thematic analysis dan cross check
26. Jalannya Penelitian
1. Tahap persiapan
• Review dokumen dan wawancara awal dengan para pakar sebagai
narasumber ahli, dimulai sejak Februari 2014.
• Mengajukan ijin kepada GAVI Jenewa dan mendapat persetujuan pada 20
Mei 2014.
• Melakukan seminar proposal pada tanggal 2 Juni 2014 dan mendapat
persetujuan atas perbaikan proposal pada tanggal 10 Juni 2014.
• Surat ijin penelitian telah diberikan pada Juli 2014.
• Ijin tertulis tentang penelitian ini didapat dari Sekretaris Ditjen PP dan PL
(selaku Authorized Program Manager) dan Direktur Simkarkesma Ditjen
PP dan PL pada Juli 2014.
• Ethical clearance nomor Ref: KE/FK/794/EC tanggal 5 September 2014.
27. 2. Tahap pengumpulan data
Pengumpulan data dilakukan dalam empat tahap ;
a. Observasi dilakukan dengan cara partisipatif yaitu dengan melakukan
kunjungan ke Sekretariat GAVI HSS, Setditken GiKIA, Ditjen PP dan PL serta
menghadiri rapat-rapat terkait GAVI HSS.
b. Pengumpulan dokumen dan review atas dokumen-dokumen proyek (data
sekunder). Kegiatan ini telah dilaksanakan sejak Maret 2014.
c. Pengumpulan data tahap kedua dilakukan dengan melakukan wawancara
mendalam (data primer) yang dilakukan pada Juli s/d Desember 2014.
d. Triangulasi data dilakukan sebagai cross check atas informasi yang didapat
dari observasi, review dokumen dan hasil wawancara, kegiatan ini
dilaksanakan pada Desember 2014 – Januari 2015.
3. Tahap akhir
Dilakukan kompilasi seluruh data yang masuk dan dilakukan crosscheck antara
hasil wawancara dengan dokumen serta juga dilakukan klarifikasi atas
beberapa hasil wawancara (dilakukan pada Desember 2014 – Januari 2015).
28. Informan
No. Nama Unit Jabatan Pendidikan Pengalaman Kode
1 Ditjen PP dan PL, Kemenkes Staf S2 >3 tahun I-1
2 Biro Perencanaan dan
Anggaran, Kemenkes
Staf S2 >3 tahun I-2
3 Set Ditjen Bina Gizi dan KIA,
Kemenkes
Eselon III
(Koordinator GAVI
HSS)
S2 >5 tahun I-3
4 Set Ditjen Bina Gizi dan KIA,
Kemenkes
Eselon IV (ex Kepala
Sekretariat GAVI HSS
2011 – 2012)
S2 >5 tahun I-4
5 Direktorat Pendanaan
Multilateral, Bappenas
Eselon II S3 >5 tahun I-5
6 Direktorat Pinjaman dan
Utang, Kemenkeu
Eselon III S2 >5 tahun I-6
7 UNICEF Technical Adviser S2 >5 tahun I-7
8 WHO Technical Officer
Health System Dev’t
S2 >5 tahun I-8
9 Sekretariat GAVI HSS Kepala Sekretariat
GAVI HSS
S1 >5 tahun I-9
31. 1. Mitra Memiliki Strategi Pemanfaatan Hibah.
DO :
Mitra memiliki rencana strategis pemanfaatan hibah yang tercermin dalam
Kerangka Pengeluaran Jangka Menengah (KPJM) dan anggaran tahunan.
Hasil :
Belum diterapkan, karena mekanisme hibah langsung
Pembahasan :
• Renzio dkk (2008) : banyak juga terjadi di negara Afrika (8 negara yg
diteliti) perencanaan terfragmentasi
• UNICEF (2009) : di Afrika Barat dengan memasukkan bantuan ke dalam
KPJM dan anggaran tahunan membuat hibah lebih predictable.
32. 2. Mitra Memiliki Sistem Yang Reliable.
DO :
Mitra memiliki sistem manajemen pengadaan dan sistem pengelolaan keuangan
yang (a) memenuhi standar transparansi dan akuntabel (b) memiliki agenda
reformasi untuk mencapainya.
Hasil :
GAVI telah menetapkan secara penuh mekanisme APBN, dan mekanisme yang ada
sekarang merupakan hasil dari proses reformasi peraturan yang telah dijalankan
Pembahasan :
• Wood (2011) : reformasi peraturan2 pengadaan dan keuangan telah dilakukan
• UNICEF (2009) : sistem manajemen keuangan publik yang tidak efektif, dapat
menyebabkan inefisiensi dalam penggunaan bantuan dan tidak adanya
sustainability banyak terjadi di negara-negara di Afrika Barat dan Afrika Afrika
Tengah
33. 3. Bantuan Searah Dengan Prioritas Nasional.
DO :
Bantuan diarahkan pada sektor pemerintahan yang dilaporkan pada anggaran
nasional mitra.
Hasil :
GAVI HSS adalah bantuan kepada pemerintah (Kemenkes) dan dilaporkan
pada anggaran nasional
Pembahasan :
• Riddel (2007) : klasifikasi bantuan : ODA, NGO dan Bencana
• Drehrer (2007) : Pemerintah atau NGO pelaksana bantuan yg lebih baik?
Ada plus minus, terkait dengan area dan integrasi program
34. 4. Bantuan Diarahkan Pada Peningkatan Kapasitas
Negara Mitra.
DO :
Pemberian bantuan diarahkan untuk memperkuat kapasitas personalia mitra
sesuai dengan strategi pembangunan nasional mitra.
Hasil :
Dari proposal sebagian kegiatan GAVI HSS memang telah diarahkan pada
capacity building untuk peningkatan kapasitas tenaga-tenaga Puskesmas yang
terkait dengan pelaksanaan imunisasi seperti bidan, perawat dan kader.
Pembahasan :
Adano dkk (2012) : di Honduras, capacity building msh bersifat retorika.
Donor blm melihat capacity building sebagai kebijakan yang menjadi priotitas.
35. 5. Penggunaan Sistem Keuangan Dan Pengadaan Dari
Negara Mitra.
DO :
Bantuan dikelola dengan menggunakan sistem keuangan dan pengadaan dari
negara mitra.
Hasil :
Seluruh mekanisme pengadaan dan keuangan GAVI HSS telah menggunakan
mekanisme APBN
Pembahasan :
Choudury (2008) : di Bangladesh telah mulai menggunakan mekanisme
mitra, ada 2 hal yang menjadi penghalang penggunaan mekanisme donor:
- Staf pemerintah tidak mempunyai kemampuan
- Peraturan donor terlalu rigid
36. 6. Penguatan Kapasitas Untuk Mencegah Struktur
Implementasi Yang Paralel.
DO :
Bantuan tidak diharapkan dikelola secara terpisah dengan menggunakan
Project Implementation Unit yang pararel dengan struktur pemerintahan
yang ada.
Hasil :
GAVI HSS masih dikelola oleh unit khusus yang paralel dengan struktur di
Kemenkes
Pembahasan :
• Birdsall (2005) : pembentukan unit khusus adalah bentuk ketidaksabaran
donor
• Canlas (2008) : di Filipina juga msh menggunakan PIU, terutama di
bantuan multilateral
37. 7. Bantuan Bersifat Predictable.
DO :
Bantuan dicairkan (disburse) sesuai dengan jadwal yang telah
disepakati baik yang bersifat tahunan ataupun multi years.
Hasil :
Disbursement GAVI HSS melenceng dari jadwal
Pembahasan :
• Taiwo (2011) : di Africa, budget cut dari donor mengakibatkan
masalah financial gap yang serius pada tingkat nasional
• UNICEF (2009) : di Afrika Barat dan Tengah, perencanaan bantuan
dimasukkan dalam KPJM untuk lebih memastikan disbursement
39. 8. Bantuan tidak mengikat.
DO :
Tidak ada kondisi yang disyaratkan dari donor untuk penggunaan dana bantuan,
terutama yang terkait dengan pengadaan barang dan jasa.
Hasil :
Dari hasil review dokumen dan wawancara yang dilakukan, ditemukan bahwa
pada proyek GAVI HSS tidak ditemukan adanya bantuan yang bersifat mengikat
Pembahasan :
• Clay (2009), bahwa secara historis hibah biasanya bersifat tidak mengikat dan
pinjaman bersifat mengikat.
• Florensa (2007) :
- Mengikat/tidak mengikat tidak berpengaruh pada efektifitas
- Bantuan tidak mengikat dianggap lebih efektif tidak tepat
- Bantuan mengikat efektif di negera yang blm stabil politik
40. 9. Bantuan Menggunakan Pendekatan Program Yang
Digunakan Di Negara Mitra.
DO :
Bantuan diimplementasikan dengan pendekatan berbasis program.
Hasil :
seluruh kegiatan GAVI HSS diharmonisasikan dengan mekanisme
kegiatan program baik dalam perencanaan, implementasi dan
monitoring-evaluasi.
Pembahasan :
Gunawardena (2008) : di Srilanka, empat donor utama telah
melakukan harmonisasi, masalah yang sering terjadi adalah masing-
masing donor mempunyai mekanisme sendiri.
41. 10. Mendorong Adanya Analisis Bersama.
DO :
Adanya (a) mission ke lapangan secara bersama dan/atau (b) analisis dan
diagnosis masalah secara bersama.
Hasil :
Analisis bersama telah dilakukan dengan baik melalui forum-forum formal
maupun informal.
Catatan :
• GAVI diwakili oleh perwakilan WHO dan UNICEF, komunikasi tidak intens
• Mission dari GAVI hanya setahun sekali
Forum 2008 2009 2010 2011 2012
TWG 0 4 3 4 5
HSCC 1 2 2 5 7
42. 11. Kerangka kerja yang result-oriented.
DO :
Mitra memiliki kerangka kerja yang berorientasi pada hasil, adanya tool untuk
menilai performance yang transparan dan dapat dimonitor.
Hasil :
GAVI HSS telah memiliki tool untuk monev berupa performance framework
yang merupakan bagian dari proposal yang disetujui GAVI Jenewa
Pembahasan :
Radelet (2006) : PF yang baik akan sangat bermanfaat bagi :
• Membantu donor mengalokasikan dana terhadap program yang bekerja.
• Mendeteksi masalah pada tahap awal untuk membantu memodifikasi dan
memperkuat program yang ada.
• Meningkatkan desain program di masa mendatang
43. 12. Keterbukaan Antara Donor-mitra.
DO :
Akuntabilitas bersama - mitra dan donor melakukan kajian bersama untuk
memastikan pelaksanaan komitmen aid effectiveness yang telah disepakati
pada Paris Declaration.
Hasil :
Belum ada forum yang secara khusus mendiskusikan efektifitas bantuaan
berdasar prinsip dan indikator Paris Declaration.
Pembahasan :
Prinsip dan indikator PD belum begitu dikenal (berdasar wawancara)
46. KESIMPULAN
1. Ownership (kepemilikan)
Indikator dari prinsip ini, yaitu hibah harus dimasukkan dalam KPJM dan
mengikuti proses perencanaan tahunan belum diterapkan, namun hal ini
lebih disebabkan karena memang mekanisme yang diterapkan dalam proyek
ini adalah mekanisme hibah langsung.
2. Alignment (keselarasan)
Indikator-indikator pada prinsip ini telah diterapkan kecuali pada indikator
terkait struktur implementasi yang paralel dan bantuan yang bersifat
predictable. Indikator yang belum diterapkan adalah masih adanya unit
khusus pengelola proyek dan disbursement yang tidak tepat waktu.
3. Harmonisation (harmonisasi)
Indikator-indikator pada prinsip ini telah diterapkan dengan dilakukannya
program approach dalam pelaksanaan proyek dan juga telah dilakukannya
analisa-analisa bersama untuk pemecahan masalah.
47. KESIMPULAN
4. Managing for Results (fokus pada hasil)
Indikator pada prinsip ini telah diterapkan dengan adanya performance
framework yang clear dan digunakan sebagai bahan pelaporan yang
disampaikan ke GAVI Jenewa untuk pemantauan performance proyek.
5. Mutual Accountability (akuntabilitas)
Indikator pada prinsip ini belum diterapkan, karena belum ada forum yang
dilakukan untuk memastikan pelaksanaan komitmen aid effectiveness
pembahasan prinsip-prinsip Paris Declaration.
48. SARAN
1. Bappenas dan Kemenkeu diharapkan agar bisa merancang mekanisme untuk
menyelaraskan perencanaan hibah langsung dengan siklus perencanaan APBN
dengan memasukkan hibah langsung kedalam KPJM dan proses perencanaan
tahunan.
2. Perlu dinegosiasikan jalan keluar antara Kemenkes dan GAVI Jenewa tentang
masih adanya unit manajemen yang terpisah dari struktur Kemenkes.
3. Untuk memastikan disbursement yang tepat waktu:
- GAVI harus mensyaratkan adanya readiness criteria untuk memastikan
kesiapan implementasi sebuah proyek dan tidak memberikan approval atas
sebuah proposal sebelum dipenuhinya readiness criteria tersebut.
- Kemenkes harus memastikan adanya pola fund channeling yang cocok untuk
implementasi sebuah proyek sebelum proyek tersebut diusulkan kepada donor.
Pola fund channeling harus didiskusikan dengan pihak-pihak terkait, seperti
Kemenkeu dan Bappenas.
49. SARAN
- Kemenkes dan GAVI harus memperhatikan benar waktu/jadwal pengiriman
APR, review APR dan disbursement dana dengan siklus APBN yang dimulai
pada bulan Januari. Sulit bagi Kemenkes untuk memaksimalkan alignment
antara kegiatan yang didanai GAVI dengan kegiatan APBN bila tidak ada
kepastian waktu disbursement.
4. Untuk memastikan penerapan prinsip-prinsip aid effectiveness pada Paris
Declaration:
• Kemenkes dan GAVI atau perwakilannya di Indonesia harus menginisiasi
forum untuk secara khusus mendiskusikan issue-issue aid effectiveness.
• GAVI : Perlunya monev independen tahunan untuk memantau penerapan
prinsip-prinsip Paris Declaration.