Ringkasan dokumen tersebut adalah: 1. Dokumen tersebut membahas tentang program logika, teori program, dan standar penulisan laporan evaluasi realistik. 2. Metode evaluasi realistik digunakan untuk mengevaluasi program kesehatan dengan menjelaskan apa yang berhasil, untuk siapa, dan dalam konteks apa. 3. Dokumen tersebut memberikan contoh program logika dan teori program untuk mencapai sasaran Jaminan Kesehatan Nasional tahun 2019.

1. MAPPING PROGRAM, LOGIKA
PROGRAM, DAN TEORI
Pertemuan ke-3
Webinar Realist Evaluation
PKMK FKKMK UGM
Yogyakarta, 27 Februari 2018

2. Outline
• Refreshing realist evaluation
• Pertanyaan dari sesi sebelumnya (23 Februari 2018)
• Sasaran JKN sebagai output/outcome yang akan
menjadi dasar evaluasi
• Program logic, program theory
• Standar penulisan laporan realist evaluation

3. Realist evaluation untuk
program/intervensi di bidang sosial
• Pawson dan Tilley (1997)
• Agar evaluasi berguna bagi
pembuat kebijakan:
• Apa yang berhasil /
efektif?
• Dalam kondisi apa?
• Untuk siapa?
• Bukan sekedar: “apakah
program ini berhasil?
◦ Pertanyaan lengkap dalam
pendekatan realist:
“Apa yang berhasil/efektif,
untuk siapa dan dalam hal apa
saja, sejauh mana
keberhasilannya, dalam
konteks apa serta bagaimana
proses pencapaian
keberhasilan tersebut?”

4. Realist evaluation dan kebijakan
kesehatan/sosial
• Program menyasar masalah kesehatan – dengan mengubah sesuatu
• Perubahan ini bisa muncul (“mekanisme”) tergantung dari konteks yang
ada, sumber daya yang tersedia, dan faktor lain
• Mekanisme yang diinginkan tidak selalu muncul
• Sebaliknya, mekanisme yang tidak diinginkan dapat muncul
• Realist evaluation dapat menjelaskan hal ini
Menjelaskan apa yang berhasil, untuk siapa, dalam kondisi
apa, serta bagaimana prosesnya
Termasuk untuk kebijakan JKN: apa aspek yang sudah
berhasil, untuk populasi mana, dalam kondisi/setting apa,
dan melalui proses apa

5. Jadwal webinar Agenda
31 Januari 2018 Perumusan Masalah (1)
23 Februari 2018 Perumusan Masalah (2)
27 Februari 2018
Identifikasi program logic, teori, dan pertanyaan penelitian +
Rameses II (guideline penulisan laporan RE)
27 Maret 2018 Penyusunan kerangka C-M-O (context-mechanism-outcome)
24 April 2018
Perumusan metode pengumpulan data dan analisis untuk
theory testing
30 Mei 2018 Review & feedback proposal penelitian
26 Juni 2018
Update identifikasi program logic, kerangka C-M-O, dan
instrumen penelitian
Juli – Agustus 2018 Pengumpulan data
September 2018 Penyajian data awal (update analisis & theory testing)
Oktober – November 2018 Revisi dan finalisasi analisis

6. Pengembangan Teori
(Mechanisms, Contexts,
Outcomes)
Hipotesis
Mekanisme apa yang dapat
berjalan, untuk siapa dan
pada konteks apa
C – M – O configuration
Observasi
Mengkaji hubungan antara berbagai macam
mekanisme yang berbeda, dalam konteks
yang berbeda-beda terhadap outcome yang
muncul, menggunakan mixed-method untuk
pengumpulan data dan analisis.
Spesifikasi
Mekanisme apa yang dapat
berjalan, untuk siapa, bagaimana
dapat bekerja dan pada konteks
apa.
Siklus realist evaluation

8. Program theory dari paper Djellouli et al (2017)
Pertanyaan dari minggu lalu:
• Apa teori yang dipakai?
• Apa program logic dari rencana masalah yang akan
Bapak/Ibu angkat di riset evaluasi ini?
(diskusi dengan peserta)

9. BPJS Kesehatan beroperasi dengan baik
Seluruh penduduk Indonesia (yang pada 2019 diperkirakan sekitar 257,5 juta jiwa) mendapat jaminan kesehatan
melalui BPJS Kesehatan
Paket manfaat medis dan non medis (kelas perawatan) sudah sama, tidak ada perbedaan, untuk mewujudkan
keadilan sosial bagi seluruh rakyat
Jumlah dan sebaran fasilitas pelayanan kesehatan (termasuk tenaga dan alat-alat) sudah memadai untuk menjamin
seluruh penduduk memenuhi kebutuhan medis
Semua peraturan pelaksanaan telah disesuaikan secara berkala untuk menjamin kualitas layanan yang memadai
dengan harga keekonomian yang layak
Paling sedikit 85% peserta menyatakan puas, baik dalam layanan di BPJS maupun dalam layanan di fasilitas
kesehatan yang dikontrak BPJS
Paling sedikit 80% tenaga dan fasilitas kesehatan menyatakan puas atau mendapat pembayaran yang layak dari BPJS
BPJS dikelola secara terbuka, efisien, dan akuntabel
SASARAN JKN 2019
Sumber : Peta Jalan Menuju Jaminan Kesehatan Nasional 2012-2019

10. Sumber : Pertemuan Review Peta Jalan (2018)
TANTANGAN IMPLEMENTASI

11. MAPPING PROGRAM, LOGIKA PROGRAM, DAN
TEORI: SASARAN JKN 2019 KE-3
Input Proses Output Outcome
a. Peraturan KBK & Standar
layanan
b. Regulasi tentang:
• indikator kinerja
• Indikator rasio rujukan
rawat jalan kasus non-
spesialistik
• Indikator angka kontak
dan rasio prolanis, dll
• Penalti apabila indikator
tidak terpenuhi
a. Sosialisasi tentang KBK
b. FKTP menjalankan program-
program yang menjadi bagian KBK
c. Pengawasan rutin terhadap FKTP
terkait angka rujukan, prolanis, dll
d. Evaluasi berkala pencapaian kinerja
FKTP
a. Terpenuhinya rasio ideal dokter:peserta
FKTP
b. Layanan standar tersedia dan memadai
c. Terpenuhinya target KBK oleh FKTP yang
bekerja sama dengan BPJS
• Angka kontak
• Rasio rujukan rawat jalan kasus non-
spesialistik
• Rasio kunjungan peserta prolanis
a. Peningkatan kualitas layanan FKTP
b. Peningkatan tingkat kepuasan pasien &
tenaga kesehatan
Paket manfaat
medis dan non-
medis (kelas
perawatan) sudah
sama, tidak ada
perbedaan, untuk
mewujudkan
keadilan sosial bagi
seluruh rakyat.
Program/kebijakan: Kebijakan pembayaran kapitasi berbasis pemenuhan komitmen palayanan (Peraturan Bersama Sekretaris
Jenderal Kementerian Kesehatan RI dan Direktur Utama BPJS Kesehatan No. 2 Tahun 2017).
Logika program: Dengan memberikan standar pencapaian indikator kapitasi berbasis pemenuhan komitmen pelayanan, maka
seluruh FKTP di Indonesia dipicu untuk menyediakan layanan standar (sesuai dengan 144 diagnosis yang harus tuntas di FKTP)
sehingga menurunkan angka rujukan non-spesialistik. Apabila FKTP tidak mampu mencapai target yang ditetapkan dalam
kebijakan ini, maka jumlah dana kapitasi yang diterima dikurangi dari jumlah yang seharusnya diterima.
Teori program:
Teori relatif (deterrence theory):
Hukuman yang diberikan bertujuan untuk melaksanakan maksud atau tujuan dari hukuman itu, yakni memperbaiki
ketidakpuasan masyarakat sebagai konsekuensi atas apa yang dilakukan. Selain itu, tujuan hukuman adalah untuk mencegah
terjadinya “pelanggaran”, dalam hal ini adalah pelanggaran terhadap target KBKP.

12. MAPPING PROGRAM, LOGIKA PROGRAM, DAN
TEORI: SASARAN JKN 2019 KE-4
Input Proses Output Outcome
a. Peraturan tentang
pemerataan dan
redistribusi peserta JKN di
FKTP
b. Regulasi tentang:
• Rasio dokter:pasien
• Layanan dasar di level
FKTP (144 diagnosis)
• dll
a. Melakukan mapping FKTP dan rasio
terhadap peserta
b. Redistribusi peserta
c. Perekrutan tenaga dokter oleh FKTP
d. Pengadaan peralatan medis dan
non-medis di FKTP
e. Pengawasan rutin terhadap FKTP
terkait angka rujukan, prolanis, dll
f. Evaluasi berkala pencapaian kinerja
FKTP
a. Terpenuhinya rasio ideal
dokter:peserta FKTP
b. Peningkatan kualitas layanan FKTP
c. Peningkatan tingkat kepuasan
pasien
d. Tercapainya rasionalisasi beban
kerja tenaga kesehatan
e. Menurunnya waktu tunggu pasien
Jumlah dan sebaran fasilitas
pelayanan kesehatan
(termasuk tenaga dan alat-
alat) sudah memadai untuk
menjamin seluruh
penduduk terpenuhi
kebutuhan medisnya.
Program/kebijakan: Kebijakan pemerataan dan redistribusi peserta JKN di FKTP (Perpres Nomor 19 Tahun 2016; Perubahan
Kedua Atas Perpres Nomor 12 Tahun 2013 tentang JKN).
Logika program: Dengan melakukan pemerataan distribusi peserta di FKTP, maka akan mendorong pemerataan beban kerja
petugas di FKTP, berkurangnya lama waktu tunggu pasien, meningkatnya kualitas layanan, dan berkurangnya gap pendapatan
antar-FKTP dari dana JKN.
Teori program:
Supply and demand dalam layanan kesehatan.

13. Standar kualitas realist
evaluation

14. OUTLINE PROTOKOL REALIST EVALUATION
(RAMESES II)
Wong, G., Westhorp, G., Manzano, A., Greenhalgh, J., Jagosh, J., & Greenhalgh, T. (2016). RAMESES II reporting standards for
realist evaluations. BMC Medicine, 14(1), 1–18.
No. Bagian Deskripsi
1 Judul Pada bagian judul, perlu diidentifikasi bahwa dokumen adalah realist evaluation.
2 Ringkasan atau abstrak Artikel jurnal biasanya akan memerlukan abstrak, sementara laporan dan bentuk
publikasi lainnya biasanya cenderung menggunakan sebuah ringkasan singkat. Baik
abstrak maupun ringkasan harus mencakup rincian singkat tentang: kebijakan,
program atau inisiatif yang sedang dievaluasi; setting program; tujuan evaluasi;
pertanyaan evaluasi dan/ atau tujuan; strategi evaluasi; pengumpulan data,
dokumentasi dan metode analisis; temuan kunci dan kesimpulan.
3 Pendahuluan
Dasar/pertimbangan
melakukan evaluasi
Jelaskan tujuan dilakukannya evaluasi dan implikasinya terhadap fokus serta desain
yang digunakan.
Teori program Jelaskan teori awal program atau teori yang mendukung program, kebijakan atau
inisiatif.
Pertanyaan evaluasi, tujuan
dan fokus
Sebutkan pertanyaan evaluasi dan tentukan tujuan evaluasi. Jelaskan apa dan
bagaimana teori program digunakan untuk menentukan ruang lingkup dan fokus
evaluasi.
Persetujuan etik Nyatakan apakah realist evaluation diperlukan dan mendapat persetujuan etik dari
komite/ otoritas terkait, berikan rincian yang sesuai. Jika persetujuan etik dianggap
tidak perlu, jelaskan mengapa tidak diperlukan.

15. OUTLINE PROTOKOL REALIST EVALUATION
(RAMESES II) – Cont.
Wong, G., Westhorp, G., Manzano, A., Greenhalgh, J., Jagosh, J., & Greenhalgh, T. (2016). RAMESES II reporting standards for
realist evaluations. BMC Medicine, 14(1), 1–18.
No. Bagian Deskripsi
4 Metode
Dasar/pertimbangan
menggunakan realist evaluation
Jelaskan mengapa pendekatan realist evaluationdipilih atau diadaptasi/
disesuaikan.
Lingkungan sekitar evaluasi Jelaskan kondisi/ suasana lingkungan tempat evaluasi berlangsung.
Penjelasan kebijakan program, inisiatif
atau produk yang dievaluasi
Berikan rincian yang relevan mengenai program, kebijakan atau inisiatif yang
dievaluasi.
Penjelasan dan justifikasi desain evaluasi Deskripsi dan justifikasi rancangan evaluasi (yaitu laporan tentang apa yang
direncanakan, dilakukan dan mengapa) harus disertakan, setidaknya dalam
bentuk ringkasan atau sebagai lampiran dalam dokumen yang menyajikan
temuan utama.
Metode pengumpulan data Jelaskan dan berikan justifikasi metode pengumpulan data mana yang digunakan,
mengapa dan bagaimana caranya responden/ informan dilibatkan dalam proses
pengembangan, dukungan, penolakan atau penyempurnaan teori program.
Proses rekrutmen dan strategi
pengambilan sampel
Jelaskan bagaimana responden dalam evaluasi direkrut atau dilibatkan dan
bagaimana sampel dapat memberikan kontribusi terhadap pengembangan,
dukungan, penolakan atau penyempurnaan teori program.
Analisis data Bagian ini harus mencakup informasi tentang konstruksi yang diidentifikasi,
proses analisis, bagaimana teori program dikembangkan lebih lanjut, didukung,
disanggah dan disempurnakan.

16. Terima Kasih