Dokumen ini membahas pentingnya perencanaan evaluatif dalam pengembangan sosial dan spasial, dengan fokus pada peran evaluator dan keterampilan yang dibutuhkan untuk menjadi evaluator yang efektif. Juga dibahas metode evaluasi yang relevan untuk perencanaan wilayah dan kota, serta tantangan dan peluang dalam profesi evaluasi di Indonesia. Mirip dengan perjalanan dari perencanaan menuju evaluasi, dokumen ini juga menjelajahi bagaimana evaluasi dapat meningkatkan kualitas perencanaan dan implementasi kebijakan.

1. An Evaluative Planner:
Bridging PLANNING and
EVALUATION for better
IMPLEMENTATION of
spatial and social
development
Bahan Paparan dalam Mata Kuliah PL 4005 Kapita Selekta
SAPPK– Institut Teknologi Bandung
21 April 2017
Benedictus Dwiagus Stepantoro
Indonesian Development Evaluation Community

2. Content
1. Introduction
o From PLANNING to EVALUATION: A Personal and Professional Journey
2. EVALUATOR as profession
o What is Monitoring & Evaluation?
o What do Evaluator do? What do evaluator need to have?
o EVALUATION Profession in Indonesia and around the world!
3. EVALUATION in the context of City and Regional
Planning
o How EVALUATION complete PLANNING
o An evaluative planner – what they should do?
o Technical methods
4. How to become an Evaluative Planner

3. Introduction
Part-1

4. INTRODUCTION
4

5. From Planning to Evaluation:
A Personal Journey
2007 2010 2014 20171998
MONITORING AND EVALUATION
PLANNING & PROJECT
ADMINISTRATION

6. 6

7. Exercise:
• SOCIAL MAPPING
o Introduction and Personal Background
• PROFESSIONAL VISION MAPPING
o Professional Interest & Vision/Dream

8. The Blue Print to Life –
Martin Luther King Jr.
https://youtu.be/00kT9lpBOBw

9. EVALUATOR as profession
Part-2
9

10. BRAINSTORMING:
PLANING, MONITORING AND EVALUATION
• Planning:
…
• Monitoring:
….
 Evaluation:
…
10

11. Monitoring and Evaluation in a metaphor:

12. MONITORING vs. EVALUATION
• Menangkap gambaran
situasi/keadaan pada waktu
tertentu
•  TRACKING
• Menjawab pertanyaan
5W1H:
o Apa?
o Siapa?
o Kapan?
o Di mana?
o Kenapa?
o Bagaimana?
• Rutin/Berkala dan Sering
• Memberikan penilaian –
mengandung unsur nilai
o  VALUING
(Merit, Significance, Worth)
• Menjawab pertanyaan:
o Seberapa baik/buruk/signifikan/layak ?
o Terus kenapa? (So what?)
o Lantas selanjutnya bagaimana? (Now
what?)
• Dalam waktu-waktu tertentu
(ex-ante, mid-, post)
MONITORING EVALUASI
12

13. MONEV adalah….
13

14. Evaluation vs Research

15. EVALUATOR or MONEVer:
What do they do?
‘Detective’ ‘Scientist’

16. EVALUATOR or MONEVer:
What do they do?
‘Doctor/Counselor’ ‘Engineer/Fixer’

17. EVALUATOR or MONEVer:
What do they do?
‘Journalist/Reporter’ ‘Judge’

18. What skills and knowledge do you need to
become EVALUATOR or MONEVer?
Social Science
Research Skill
Data Analysis &
Critical Thinking

19. What skills and knowledge do you need to
become EVALUATOR or MONEVer?
Communication
Sensitivity to local culture
and knowledge

20. Audit
Finansial
Performance
Audit
Impact
Evaluation
Learning
Focused
Evaluator as
Accountant / Auditor
Evaluator as
Researcher
Evaluator as
Facilitator
MONEV
as choice
MONEV as
compliance
MONEV
as culture
Indonesia
20
Evolusi MONEV

21. Perkembangan Organisasi
ke-MONEV-an di Dunia
0
10
20
30
40
50
60
70
80
90
1981 1983 1986 1987 1988 1992 1994 1995 1996 1997 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012
Sumber:

22. Distribusi Global – asosiasi evaluasi
Sumber:

23. Asosiasi/Network
MONEV
International
RFÉ IDEASOICE
Regional
Sub-
regional
National
ReLAC IPENAfrEA AES APEA
ACE
109 organisasi
Sub-
national
SQEP
AEA , CES
SWEP, SEA
NWEA, WREN
EvalMENAEES SA-CoP
EvalPartners
InDEC
???
Sumber:

24. InDEC
(Indonesian Development Evaluation Community)

25. GOAL - VISION
25
MORE LOCAL
EVALUATOR/ M&E
PRACTIONERS GAIN
MORE
SKILLS/KNOWLEDG
E/ MOTIVATION
MORE
QUALITY
PRACTICES IN
EVALUATION/
M&E
EVALUATION/
M&E PROFESSION
IS MORE
ACKNOWLEDGED
/ APPRECIATED
MORE
THEORETICAL/
PRACTICAL
DISCOURSES ON
EVALUATION/M&E

26. WORKING AREAS:
26
Organisational Development
Networking & Advocacy
Capacity Building
Study/Research

27. STRATEGY
ADVOCACY
COLLABORATIO
N
DIFFUSION
CHAN
GE
KEY
ACTOR
MINDSET
POLICY
NETWORKIN
G
IDENTIFYING
KEY ACTOR
27

28. CSOs
Key Actors
Clients
Evaluation Users
Commissioners
VOPE/
Evaluatio
n
Associati
on
Adapted from:
Quesnel, J.S.
at
Mass Media
Teaching
Institutions/
Academia
EVALUATORS/
M&E
PRACTIONERS
Gov’t
Int’l Dev’t
Agencies
Parliament

29. Evaluation in the Context of
Regional and City Planning
Part -3

30. How do an Evaluation Make
a Planning Complete

31. Evaluation in the Context of
Regional and City Planning
Kebijaka
n
Perencana
an
Pemanfaat
an
Ruang
Pengendali
an

32. Kebijakan
32
Pembuatan
Kebijakan
Produk
Kebijakan
Kebijakan
dipahami &
diterima
Kebijakan
diterapkan
Perubahan
kinerja
pemda
Perubahan
praktek –
praktek
swasta
Perubahan
perilaku
masyarakat
SDM
Anggaran
/Dana
Panduan
/SOP/Sis
tem
Material/per
angkat
operasional

33. Perencanaan
• Evaluasi proses perencanaan (tata ruang dan
pengembangan) kota dan wilayah
o TOR baik? Tim penyusun baik?
o Menggunakan data yang sesuai?
o Analisa yang cukup memadai?
o Partisipatif? Konsultasi publik? Transparan?
• Evaluasi Produk Rencana Pengembangan Kota
dan Wilayah / Masterplan/ RTRW/ RPJM, dll.
o Produk rencana cukup jelas, logis dan mudah dicerna?
o Produk rencana sudah cukup S. M. A. R. T. ?
• Specific? Measurable/Monitorable? Achievable? Relevant?
Time-bound?

34. Pemanfaatan Ruang
Proyek-Proyek Program-Program
• Pengadaan
• Pemberian hibah
• Konstruksi
• Pelatihan
• Pengembangan kawasan
• Pengembangan ekonomi
masyarakat
• Pengembangan
kewirausahaan nelayan
• dll

35. Pengendalian
Pemanfaatan Ruang
• Bentuk-bentuk pengendalian?
o Sistem
o Prosedur
o Kelembagaan
o Kapasitas personel
• Apa efek-efek (positif + negatif) dari
pengendalian pemanfaatan ruang?
o Efektif kah?
o Berkelanjutan kah?
o Efek lain?

36. Jenis-Jenis Pendekatan
Evaluasi
• Theory-driven evaluation
(using program logic
model/program theory)
• Participatory &
Empowerment Evaluation
• Indicator and Criteria-based
Evaluation with Rubric
• (Social) Cost-Benefit
Analysis dan ERR /Economic
Rate of Return dan Cost-
Effective Analysis
• Evaluasi mencari pencilan
Stories of Change & Most-
Significant Change Stories
• Evaluasi Dampak (Impact)
• Evaluasi Proses
• Evaluasi Kelembagaan
• Evaluasi Kebijakan
• Evaluasi Jangka Pendek vs.
Evaluasi Jangka Panjang
36

37. 37
Theory-driven Evaluation

38. Rangkaian Hasil
INPUT
OUTPUT:
Keluaran/Produk – hasil langsung dari kegiatan.
Goal /
Impact
OUTCOME:
Hasil-hasil lanjutan, terkait perubahan
(perilaku dan sistem) yang berkontribusi
pada pencapaian hasil akhir program
KEGIATAN
38
INPUT
KEGIATAN
INPUT

39. REALITAS DALAM PROGRAM
Output
OUTCOME
39
INPUT
KEGIATAN
INPUT
KEGIATAN
INPUT

40. Output
PROGRAM LOGIC: Rangkaian Hasil
INPUT
Foundational Activity
Output
Goal /
Impact
Immediate
(Use of Output)
Intermediate
Long-Term
OUTCOME
Influence Activity
40
Influence Activity Influence Activity
INPUT INPUT INPUT

41. PROGRAM LOGIC: Rangkaian Hasil
Input Kegiatan Output Outcome Goal
Dana
Wakt
u
SDM
Knowl
./Tech
Material
Pengadaan
Training
Penyuluhan/
Kampanye
Hibah
Bimtek
41
KONTEKS/ LINGKUNGAN DI LUAR PROGRAM
Immediate
(Use of Output)
Intermediate Long-Term

42. Hirarki Definisi
Goal
Sebuah aspirasi kondisi perubahan yang diinginkan
bersama di jangka panjang
Hasil Akhir Program
(OBJECTIVE)
(End-of-Program Outcomes)
Hasil yang diinginkan bisa tercapai ketika program
berakhir atau beberapa tahun setelah berhenti.
Sebagai gambaran kesuksesan program.
Intermediate Outcomes
Immediate Outcomes (Use
of Output)
Hasil-hasil lanjutan, terkait perubahan (perilaku dan
sistem) yang berkontribusi pada pencapaian hasil
akhir program
Output Keluaran/Produk – hasil langsung dari kegiatan
Influence activities
Kegiatan utama yang memberikan pengaruh untuk
perubahan yang terjadi tahap berikutnya
Foundational activities
Kegiatan persiapan sebelum kegiatan utama,
termasuk: planning, research, membuat base line &
sosialisasi, membangun kerjasama
Input
Segala sumber daya yang dipakai untuk
menggerakkan program:
Personil, Dana, Material, Keahlian Waktu. 42

43. Contoh Tipe-Tipe
Program Logic/Theory of Change
• Perubahan di tingkat individu
o Carrot and Stick
o Persuasi (oleh yang ahli dan terpercaya)
o Pengembangan Ketrampilan (skills building)
o Pemberdayaan/Empowerment
o Role Model
• Perubahan di tingkat Organisasi/Masyarakat
o Interaksi supply dan demand
o Foot in the door
o Champion effect/Leadership model
o Demonstration effect
o Partnership atau Koalisi
o Tipping point
43

44. PENCURIAN
MOBIL
BERKURANG
USAHA
PARKIRAN
MENGHASILKAN
PROFIT
44
CCTV
EXERCISE:

45. TEORI PERUBAHAN:
CCTV  BERANTAS PENCURIAN
• PIKIR ULANG DAN BATAL NIAT (DETTERENCE)
• TERTANGKAP BASAH (CAUGHT IN THE ACT)
• PENGINGAT KENANGAN (MEMORY JOG)
• PENGAWASAN NATURAL (NATURAL
SURVEILLANCE)
45

46. Participatory /
Empowerment Evaluation
• Menempatkan Pelaksana Program dan/atau Penerima
Manfaat Program sebagai ‘EVALUATOR’
• Peran Tim Evaluasi hanya:
o Melatih stakeholder utama (Pelaksana Program/Penerima Manfaat) untuk bisa
melakukan evaluasi
o Memfasilitasi proses  sehingga berjalan sesuai koridor/kaidah evaluasi
o Analisa dan Perumusan Kesimpulan serta Rekomendasi, dilakukan bersama-
sama
• Tujuan: Membangun rasa memiliki terhadap program 
hasil evaluasi bisa mudah diterima  rekomendasi
dijalankan
46

47. Indikator dalam LogFrame
Indikator Metode
Verifikasi
Risk/
Asumsi
Goal/Impact
Objective
(Outcome di Akhir
Program)
Intermediate
Outcome
(Luaran)
Output
(Keluaran)
Kegiatan
Input (Masukan)
47
Pelatihan Monitoring dan Evaluasi,
Jakarta 14-16 November 2016

48. CRITERIA BASED EVALUATION
• Membangun Kriteria untuk penilaian
o Data Temuan disandingkan dengan kriteria
o Melihat pemenuhan kondisi terhadap kriteria tersebut
• Contoh Kriteria yang sering dipake/baku:
o Relevansi – apakah relevan, menyasar tujuan yang tepat dengan
pendekatan yang tepat?
o Efektifitas – seberapa jauh/signifikan pencapaian tujuan?
o Efisiensi – seberapa baik penggunaan sumber daya untuk
mencapai tujuan?
o Dampak – seberapa besar dan signifikan dampak manfaat ke
penerima manfaat?
o Keberlanjutan – sejauh apa hasil-hasil program/kebijakan bisa
bertahan atau tetap ada pasca program/kebijakan usai
o Kesetaraan/Keadilan/Inklusifitas – seberapa jauh program
memberikan manfaat secara setara, adil dan peduli pada kelompok
marginal? 48

49. EVALUASI MENGGUNAKAN
RUBRIC dan RATING
49

50. EVALUASI MENGGUNAKAN
RUBRIC dan RATING
50

51. (Social) Cost-Benefit Analysis , ERR
/Economic Rate of Return , Cost-
Effective Analysis
• (Social) Cost-Benefit Analysis
o Membandingkan Biaya yang ditanggung dengan Manfaat dalam bentuk
Rasio
o Diterjemahkan dalam bentuk uang/moneter, yang sesuai dengan Net
Present Value
• ERR/ Economic Rate of Return
o Hampir sama dengan CBA – membandingkan investasi/biaya dengan
profit/hasil akhir dalam bentuk uang
• Cost-Effective Analysis
o Melihat aspek-aspek biaya dibandingkan dengan pencapaian tujuan
o tidak ‘diuangkan’
51

52. STORIES OF CHANGE dan
MOST SIGNIFICANT CHANGES
52

53. IMPACT EVALUATION / EVALUASI DAMPAK
1. Longitudinal Design
o Pre-test (baseline), mid-term, post-test, ex-post obaservation. Komparasi
obyek/area terintervensi (treatment) dan tidak terintervensi (control).
Pengukuran di awal, pertengahan dan akhir
2. Pre-test + Post-test dengan Komparasi treatment vs.
control group
o Sebelum vs Sesudah. Pengukuran di awal dan di akhir
3. Pre-test + Post-test sebagian
o Baseline tidak ada. Dilakukan pengukuran di pertengahan jalan
o Komparasi treatment vs. control group juga sebagian
4. Post-test saja dengan komparasi treatment vs. control
group.
5. Pre-test + Post-test tanpa Control Group
o Tidak ada komparasi treatment vs.control group
6. Post-test analysis terhadap Area/Obyek terintervensi,
o tanpa pembanding/control group, dilakukan pada saat akhir saja 53

54. Baseline (data dasar) –
WHAT?
• Baseline data…
o Data/Informasi terkait dengan program/intervensi/kebijakan
yang dimiliki/dikumpulkan sebelum atau pada saat awal-awal
program/intervensi/kebijakan itu berjalan  fokus pada
Outcome
o Terutama sebagai perbandingan perubahan outcome dan
dampak, dalam menilai kecukupan progress/kemajuan
(melihat sejauh mana perubahan terjadi sebelum dan setelah
program/intervensi/kebijakan berjalan)
o Berguna bagi pelaksana program sebagai rujukan untuk
pentargetan dan memantau perubahan
54

55. Baseline Data – WHY?
• Menjadi rujukan sejauh mana perubahan terjadi, dan
membuat komparasi ‘sebelum’ vs ‘sesudah’
t0 t1 t2 t3 t4 t5 …
Outcome 2
Outcome 1
25
0
50
75
100
BASELINE Mid-Line End-Line
55

56. Baseline Data – WHY?
• Membuat pentargetan dan memantau/menilai kemajuan atau
progres
t0 t1 t2 t3 t4 t5 …
Outcome 2
25
0
50
75
100
Outcome 1
BASELINE Mid-Line End-Line
Target
Aktual
Target
Aktual
56

57. Baseline Data – WHY?
• Membuat komparasi ‘dengan intervensi’ vs. ‘tanpa intervensi’
t0 t1 t2 t3 t4 t5 …
Treatment/
Target Area
25
0
50
75
100
No-Treatment/
Control
BASELINE Mid-Line End-Line
57

58. Evaluasi Jangka Panjang vs.
Evaluasi Jangka Pendek
• EVALUASI Jangka
Panjang
o Proses pengambilan data bisa
lebih dari 3 bulan
o Sampel besar
o Pendekatan survei primer
• Ada panel survei,
kuesioner yang
komprehensif, dan
observasi yang panjang
• Ada unsur eksperimental
• EVALUASI Jangka
Pendek
o Proses pengambilan data kurang
dari sebulan
o Sampel kecil
o Pendekatan sederhana:
• Interview, diskusi, observasi
singkat, reviu dokumen
• Non-eksperimental/ Reflektif
ke belakang
58

59. How to become an
evaluative planner

60. Tips and trick to become an
EVALUATOR or MONEVer
• Find mentor(s)
• Be knowledgeable Project
Management
• Start monitoring and
evaluating yourself
• Think positive
• Develop your
sectoral/specialties
knowledge but be exposed
to other issue/ approach/
konsep (T-shaped skills)
• Clarifying your personal
vision
• Build your network
• Find your effective learning
style
• Find feedback from others
• Enhance your research and
analytical skill plus critical
thinking

61. Self Reflection Questions
for an evaluative planner
• When you develop a plan or any kind of
planning product, ask yourself:
o Is this plan/planning product a good quality? How do I know?
o Does this plan/planning product provide elaboration about what
would be the expected outcome/results from this plan/planning
product that would give betterment to society?
o How do I know if this plan/planning product would be successful
and effective in achieving the objective and deliver positive
outcomes?
o How could I monitor and evaluate during and after the
implementation of this plan?

62. SELESAI
Terima Kasih
You can be an Evaluative Planner

63. Bahan Rujukan/Bacaan:
63

64. Bahan Rujukan/Bacaan:
64

65. Bahan Rujukan/Bacaan:
65
www.betterevaluation.org