Dokumen tersebut membahas empat tingkat evaluasi pelatihan (reaction, learning, behavior application, dan business impact) beserta metodenya. Evaluasi diperlukan untuk mengetahui keberhasilan pelatihan."
2. Training apa
yang dikatakan
‘berkualitas’ ?
Training yang memenuhi kebutuhan
customer
Trainee belajar hal yang harus
mereka pelajari
Training mengubah sikap seseorang
…..
2
4. TujuanTujuan
• Identifikasi kegunaan & level evaluasi
• Mampu mengembangkan evaluasi untuk
mengukur efektivitas training
• Mampu mengembangkan evaluasi untuk
mengukur hasil training
6. MengapaMengapa EvaluasiEvaluasi TrainingTraining diperlukandiperlukan ??
• Mengetahui kelemahan & kelebihan program
• Mengetahui apakah kita telah mencapai tujuan
training
• Menentukan rasio biaya/keuntungan dari program
• Mengetahui peserta yang mendapat manfaat
terbesar dari training serta sebaliknya
• Menentukan apakah program training merupakan
solusi atas masalah pekerjaan
6
7. HambatanHambatan dalamdalam MengevaluasiMengevaluasi
• Tidak ada ukuran yang jelas dari training
• Tidak tahu data mana yang harus dikumpulkan
• Pengukuran hanya efektif untuk bagian produksi &
keuangan
• Terdapat faktor lain di luar training yang
mempengaruhi perubahan sikap
• Evaluasi menimbulkan kritikan
• Evaluasi berbiaya mahal
• Komitmen dari top management
7
9. EmpatEmpat LevelLevel EvaluasiEvaluasi
Level 1
Reaction
Level 2
Learning
Level 3
Behaviour Application
Level 4
Business Impact
Evaluasi
Efektivitas
Training
Evaluasi
Hasil
Training
9
10. EmpatEmpat LevelLevel EvaluasiEvaluasi
Evaluasi reaksi trainee terhadap
program.
Apakah mereka menyukai training?
Apakah mereka menilainya berguna?
Level 1- Reaksi
Tes trainee untuk menentukan apakah
mereka mempelajari prinsip,
keterampilan dan fakta yang
seharusnya mereka pelajari
Level 2- Learning
10
11. EmpatEmpat LevelLevel EvaluasiEvaluasi
Tanyakan apakah perilaku trainee dalam
pekerjaan berubah karena program training.
Contoh: apakah pegawai di bagian komplain
lebih ramah dalam menghadapi pelanggan
marah dibanding sebelumnya ?
Level 3- Behavior
Application
Apakah hasil akhir tercapai mengacu pada
tujuan training di awal?
Apakah jumlah komplain pelanggan
menurun?
Apakah tingkat turnover berkurang?
Level 4-Business
Impact
11
12. EmpatEmpat LevelLevel EvaluasiEvaluasi
Level Nilai Informasi
Frekuensi
Penggunaan
Tingkat
Kesulitan
Penilaian
Reaction
Kurang
berguna
Sering Mudah
Learning
Behaviour
Results Paling berguna Tidak Sering Sulit
12
14. Level 1Level 1--ReactionReaction
Evaluasi reaksi trainee terhadap
program
Apakah mereka menyukai dan
menikmati training ?
Apakah trainee menilai training
sesuai kebutuhan ?
Level 1-Reaction
(Smile Sheet)
14
15. PanduanPanduan EvaluasiEvaluasi ReaksiReaksi
• Putuskan secara jelas apa yang akan diukur
• Identifikasi alat evaluasi yang akan digunakan
• Putuskan bagaimana menghitung hasilnya
• Putuskan apa yang akan dilakukan terhadap hasil
evaluasi
15
16. PutuskanPutuskan secarasecara jelasjelas apaapa yangyang akanakan diukurdiukur
Seberapa berguna proses materi?
Panjang materi
Materi yang disediakan
Efektivitas instruktur
““MasukanMasukan untukuntuk PerbaikanPerbaikan””
Pilih pertanyaan yang memberi informasi paling relevan
16
17. IdentifikasiIdentifikasi AlatAlat EvaluasiEvaluasi yangyang AkanAkan DigunakanDigunakan
Tipe evaluasi apa yang
digunakan?
•Generik
•Spesifik
Jenis pertanyaan apa?
•Pertanyaan terbuka
•Pertanyaan terstruktur dengan
skala
•Pertanyaan objective
Hindari penggunaan pertanyaan bias
17
19. TentukanTentukan BagaimanaBagaimana MenggunakanMenggunakan HasilHasil EvaluasiEvaluasi
Identifikasi masalah & tindakan perbaikan
•Bagaimana jalannya program?
•Perbaikan apa yang bisa dilakukan berikutnya?
•Kapan perbaikan akan selesai?
•Siapa yang akan bertanggung jawab?
•Siapa yang akan memberi persetujuan?
19
21. Level 2Level 2--LearningLearning
21
Level 2-Learning
Mengukur pembelajaran (learning)
berarti menentukan:
•Apakah trainee mempelajari apa
yang direncanakan untuk
dipelajari?
•Apakah pengalaman trainee
sesuai dengan apa yang
direncanakan?
22. KomponenKomponen EvaluasiEvaluasi Level 2Level 2
1. Kompetensi
Apa yang harus dipelajari untuk
pekerjaan (Knowledge, Skill, Attitude)
2. Objectives Tujuan sesi yang spesifik & terukur
3. Exercises
Aktivitas di sesi training yang akan
digunakan untuk tujuan evaluasi
4. Evaluation
Alat yang digunakan untuk mengukur
kompetensi
22
30. Level 4Level 4--Business ResultsBusiness Results
Apakah program training
berpengaruh terhadap:
Produktivitas
Kualitas
Customer Response Time
Kontrol Biaya
Kepuasan Karyawan
Kepuasan Pelanggan
Level 4-
Business
Results
30
31. LangkahLangkah EvaluasiEvaluasi Training Level 4Training Level 4
• Review tujuan
• Mengukur progress terhadap tujuan
• Mentabulasikan hasil
• Menyajikan hasil
31
32. Performance IndicatorsPerformance Indicators
Hard Data Indicators
• Durasi downtime
• Jumlah produk rusak
• Volume penjualan
• Unit produksi
• Indeks kepuasan pelanggan
• Jumlah kecelakaan kerja
• dll
32
33. Performance IndicatorsPerformance Indicators
Soft Data Indicators (aspek intangible/tidak berwujud)
• Kepuasan kerja
• Hubungan kerja yang harmonis
• Komunikasi yang efektif
• Tingkat stress
• Kualitas pengambilan keputusan
33
34. ContohContoh:: MengukurMengukur HasilHasil TrainingTraining
120
80
0
20
40
60
80
100
120
140
Sebelum Training Setelah Training
JumlahProdukRusak
Program: Training TQM
Hasil 3 bulan setelah training,
jumlah produk rusak turun
hingga 80 unit/hari
34
35. ContohContoh:: MengukurMengukur HasilHasil TrainingTraining
20
30
0
10
20
30
40
50
Sebelum Training Setelah Training
Sales(Unit)
Program: Training Sales
Hasil 3 bulan setelah training,
jumlah sales per salesman
Meningkat hingga 30 unit/
bulan
35
38. KriteriaKriteria MemilihMemilih ProgramProgram untukuntuk
EvaluasiEvaluasi Level 4Level 4 dandan 55
• Tingkat kepentingan program dalam pencapaian
tujuan organisasi
• Biaya program
• Jumlah peserta
• Tingkat kepentingan dari pihak manajemen
38
39. KeuntunganKeuntungan ROI TrainingROI Training
• Mengukur kontribusi
• Menetapkan prioritas
• Berfokus pada hasil
• Mengubah pandangan manajemen terhadap
training
39
40. Model ROI TrainingModel ROI Training
Mengumpulkan
data
Mengisolasi
Efek Training
Mengubah Data
Ke Satuan Uang
Menghitung
ROI Training
Mentabulasi
Biaya Program
Mengidentifikasi
Keuntungan
Intangible
40
43. ContohContoh Hard IndicatorHard Indicator
CostCost QualityQuality
• Biaya/unit
• Biaya variabel
• Biaya overhead
• Biaya operasi
• Scrap
• Waste
• Reject
• Error rate
• Rework
43
44. ContohContoh HasilHasil PerformaPerforma
Beberapa hasil performa setelah program training:
• Scrap berkurang dari 11% menjadi 7.4%
• Ketidakhadiran berkurang dari 7% menjadi 3.25%
• Tingkat turnover berkurang dari 30% menjadi 16%
44
46. MengisolasiMengisolasi EfekEfek TrainingTraining
• Kontrol grup dapat digunakan
untuk mengisolasi dampak
training
• Dengan strategi ini, satu grup
menerima training, sedangkan
grup yang lain tidak menerima
training
• Perbedaan performa diantara
kedua grup merupakan dampak
dari program training
MenggunakanMenggunakan
KontrolKontrol GrupGrup
46
47. • Trend lines digunakan untuk
memperkirakan suatu hasil
jikalau tidak diadakan training
• Perkiraan dibandingkan dengan
data aktual setelah training, dan
perbedaannya dianggap sebagai
dampak training
MengisolasiMengisolasi EfekEfek TrainingTraining
Trend LinesTrend Lines
47
48. AnalisisAnalisis Trend LinesTrend Lines
Performa Penjualan
Aktual
Gap melambangkan
dampak training
VolumePenjualan
Program Training
diadakan awal Mei
Proyeksi Trend
Jan Feb Mar Apr Mei Jun Jul Ags
48
49. MengisolasiMengisolasi EfekEfek TrainingTraining
• Metode ini berdasar pada asumsi
peserta (dan atasannya) mampu
memperkirakan seberapa peningkatan
kinerja terkait program training
• Karena tindakan mereka menghasilkan
peningkatan, peserta (dan atasannya)
memiliki input yang akurat mengenai
hal ini
• Mereka harus mengetahui berapa
besar perubahan yang dihasilkan
dengan menerapkan apa yang telah
dipelajari di program
EstimasiEstimasi DampakDampak
TrainingTraining daridari PesertaPeserta
DanDan AtasanAtasan PesertaPeserta
49
50. MengisolasiMengisolasi EfekEfek TrainingTraining
Contoh Pertanyaan:
• Berapa % peningkatan yang
dihasilkan dari penerapan
skill/teknik/attitude yang
diperoleh dari training?
• Seberapa yakin anda mengenai
estimasi tersebut (dalam %)?
• Faktor lain apa saja yang
berkontribusi pada peningkatan
kinerja?
EstimasiEstimasi DampakDampak
TrainingTraining daridari PesertaPeserta
DanDan AtasanAtasan PesertaPeserta
50
51. MengisolasiMengisolasi EfekEfek TrainingTraining
Contoh Estimasi Peserta:
No. Faktor yang Mempengaruhi Peningkatan
%
Peningkatan
%
Kepercayaan
1 Program Training 50% 70%
2 Perubahan Prosedur 10% 80%
3 Penyesuaian Standard 10% 50%
4 Perubahan Rencana Insentif 20% 90%
5 Peningkatan Perhatian Manajemen 10% 50%
6 Lain-lain - -
% Kepercayaan dikalikan % Peningkatan (50% x
70%) menghasilkan training factor value 35%
51
52. Mengisolasi Efek TrainingMengisolasi Efek Training
Contoh Estimasi Peserta:
No. Faktor yang Mempengaruhi Peningkatan
%
Peningkatan
%
Kepercayaan
1 Program Training 50% 70%
2 Perubahan Prosedur 10% 80%
3 Penyesuaian Standard 10% 50%
4 Perubahan Rencana Insentif 20% 90%
5 Peningkatan Perhatian Manajemen 10% 50%
6 Lain-lain - -
52
•% Kepercayaan dikalikan % Peningkatan (50% x 70%) untuk menghasilkan
training factor value 35%
•% ini kemudian dikalikan dengan nilai aktual peningkatan (nilai post program
dikurangi pre program) untuk mengisolasi porsi training
•Peningkatan (adjusted) ini siap untuk dikonversi menjadi nilai uang dan digunakan
dalam return on investment
53. Konversi Data ke Nilai UangKonversi Data ke Nilai Uang
Langkah Mengubah Data ke Nilai Uang:
• Fokus dalam unit peningkatan
• Tentukan nilai setiap unit
• Hitung perubahan kinerja
• Tentukan nilai perubahan annual
• Hitung nilai peningkatan annual
Konversi Data keKonversi Data ke
Nilai UangNilai Uang
53
54. Langkah Mengubah Data ke Nilai UangLangkah Mengubah Data ke Nilai Uang
Contoh Ilustrasi Langkah Mengubah Data menjadi Nilai Uang:
Langkah Ilustrasi
Fokus pada unit
peningkatan
Jumlah Keluhan Pelanggan
Tentukan Nilai setiap
Unit
Biaya rata-rata menangani keluhan
diestimasi $6,500
Hitung Perubahan
Kinerja
6 bulan setelah training, jumlah keluhan
per bulan berkurang sejumlah 10
7 dari 10 keluhan yang berkurang dinilai
atasan terkait dengan hasil training
(isolasi dampak training)
Tentukan Nilai
Perubahan
Menggunakan nilai 6 bulan, 7 keluhan
per bulannya, menghasilkan nilai
6x7x$6,500 = $546,000
54
55. Tabulasi Biaya ProgramTabulasi Biaya Program
Tabulasi BiayaTabulasi Biaya
ProgramProgram
• Tabulasi biaya meliputi
monitoring semua biaya
program untuk menghitung ROI
55
56. Tabulasi Biaya ProgramTabulasi Biaya Program
Komponen biaya yang
seharusnya dihitung:
• Biaya perjalanan, penginapan,
makan peserta
• Gaji peserta training
• Biaya administrasi training
Tabulasi BiayaTabulasi Biaya
ProgramProgram
56
57. Tabulasi Biaya ProgramTabulasi Biaya Program
A. Biaya Pengembangan Training
B. Biaya Gaji Peserta Training
Gaji Annual x Panjang Training x Jumlah Peserta
Hari Kerja
C. Biaya Perjalanan
Avg. Biaya + Biaya Akomodasi x Panjang Training x Peserta
Perjalanan
D. Biaya Paket Peserta = Jumlah Manual x Jumlah Peserta
E. Biaya Trainer
Gaji Annual x Hari Training x Jumlah Trainer
Hari Kerja/Tahun
F. Biaya Kelas Annual
G. TOTAL BIAYA TRAINING= (A)+(B)+(C)+(D)+(E)+(F)
57
58. Contoh Analisis ROIContoh Analisis ROI
Minggu Setelah
Training
Trained Group Control Group
1 US$ 9,723 9,698
2 9,978 9,720
3 10,424 9,812
13 13,690 11,572
14 11,491 9,683
15 11,044 10,092
Average untuk
minggu 13,14,15
12,075 10,449
58
59. Contoh Analisis ROIContoh Analisis ROI
Keuntungan Program Annual
Data US$
Rata-rata penjualan mingguan
Trained Group 12,075
Control Group 10,449
Peningkatan 1,626
Kontribusi Profit dari Training 2% 32.50
(Dampak Training)
Total Peningkatan Mingguan
(32.5 x 46 peserta)
1,495
Total Keuntungan Annual
($ 1,495 x 48 minggu)
71,760
Cat: 46 peserta tetap di pekerjaan setelah 3 bulan 59
60. Contoh Analisis ROIContoh Analisis ROI
Biaya US$
Fee Fasilitasi 11,250
Material program: $35 x 46 1,610
Makan: 3 hari x $28 x 46 1,288
Gaji peserta (35%) 12,442
Koordinasi dan Evaluasi 2,500
Total Biaya 29,090
ROI (%):
= $71,760-$29,090 X 100
$ 29,090
= 146%
60