Penjelasan Uji Kompetensi Tenaga Kesehatan (Dokter, Perawat, dll)

1. PRAKTIK BAIK
UJI KOMPETENSI
TENAGA KESEHATAN
KOMPONEN 2
Health Professional Education
Quality Project

2. • National and global
challenge
• Multidimensional Health
Problem INSTITUTIONAL
• Implementation of education RESPONSE
principle
• Implementation of legal
aspect
Standardized quality & competency of graduates
National Competency Examination

3. Latar Belakang
Pelayanan Penerapan
kesehatan beberapa
yang aturan
paripurna hukum
Kurikulum
Globalisasi Standarisasi berbasis
output kompetensi
pendidikan & Institusi Pendidikan Tenaga
kompetensi Kesehatan
nakes
Uji
kompetensi
Prinsip Student Assessment
Set up standard
Drives learning - Validitas
Drive process - Reliabilitas
Provide feedback - Feasibilitas
Assessment - Dampak bagi mahasiswa &
institusi pendidikan

4. Objective of NCE
• Standardized • Educational
of Health Evaluation
Service
Ministry of Ministry of
Health education
Health
Patient professionals
• High quality of • Certification &
health service Registration

5. BATASAN & RUANG LINGKUP
Uji Kompetensi:
ujian yang dilaksanakan untuk menilai
pencapaian kompetensi sesuai Standar
Kompetensi dalam rangka memperoleh
sertifikat kompetensi.
Uji kompetensi = competence-based assessment
sebagai longitudinal assessment, ujian
standarisasi nasional/ uji kompetensi bagian
integral dan komplementer terhadap sistem
ujian kompetensi di institusi.

6. Principle of Assessment
• Validity
• Reliable.
• Practicability.
• Defensible
• Impact on Learning.

7. Assessment of clinical competence
Mini CEX
Behaviour~
attitude/skills Does
Shows how UKDI=OSCEs
Knows how EMQs, SEQs
Cognition~
knowledge UKDI=MCQs
Knows
Miller GE. The assessment of clinical skills/competence/performance.
Academic Medicine (Supplement) 1990; 65: S63-S7.

8. Uji Kompetensi sebagai
sebuah Sistem
- Implementasi KBK
Ujian Standarisasi - 80% isi kurikulum
Nasional - Syarat kelulusan
- Implementasi KBK
Benchmarking - Fase akademik (pre-
Regional diagnostik/treatment)
- Fungsi formatif
- Implementasi KBK
Sistem Ujian Institusi - 100% isi kurikulum
- Syarat kelulusan

9. Aspek Praktik Baik Pengembangan
Materi Uji Kompetensi
Asupan
Proses
Luaran
1. Review Soal
1. Blueprinting-
metode ujian 2. Try-out item
1. Standard
2. Kontributor soal 3. Pengelolaan ujian setting
3. Metode Ujian 4. Pengelolaan bank 2. Pengumuman
4. Pedoman ujian soal
3. Umpan balik
5. Dukungan IT Pendidikan

10. • Disusun berdasarkan Standar Kompetensi Tenaga
Kesehatan yang dikeluarkan oleh Konsil/Profesi
• Terdiri dari 7 Tinjauan dengan beberapa kriteria,
lengkap dengan pembobotannya

11. ETIKA, MORAL, MEDIKO
7 AREA KOMPETENSI DOKTER
7
LEGAL, PROFESIONAL ‘N
KESELAMATAN PASIEN
MAWAS DIRI DAN
6
MENGEMBANGKAN DIRI
KEMAMPUAN
MANAJEMEN INFORMASI
5
KESEHATAN
MANAJEMEN MASALAH
4
KESEHATAN
ILMU KEDOKT. ILMIAH
3
2 KETRAMPILAN KLINIS
KOMUNIKASI EFEKTIF
1

12. Tinjauan 1: SKDI Tinjauan 2 Tinjauan 3 Tinjauan 4 Tinjauan 5 Tinjauan 6 Tinjauan 7
Keterampilan dasar klinis Kognitif Recall Reproduksi Pertumbuhan, Promosi Individu
perkembangan, dan kesehatan dan
pencegahan
degenerasi penyakit
Aplikasi biomedis, perilaku, Prosedural Reasoning Kepala dan leher Kelainan genetik Penapisan Keluarga
klinis, & epidemiologi pada dan kongenital (Diagnosis)
kedokteran keluarga
Komunikasi efektif Konatif Syaraf & Perilaku Penyakit infeksi dan Manajemen Masyarakat
imunologi (Terapi)
Manajemen masalah Dermatomusculo Penyakit neoplasma Rehabilitasi
kesehatan primer skeletal
Penelusuran, kritisi, dan Hemato dan Penyakit akibat
manajemen informasi immunology trauma atau
kecelakaan
Profesionalisme, moral, Cardiovascular
dan etika praktik
kedokteran
Kesadaran, pemeliharaan, Gatrointestinal,
dan pengembangan hepatobilier, dan Blueprinting
personal pankreas
Respiratory MCQ UKDI
Urogenital
Endokrin dan
Metabolisme

13. Metode Ujian
 Pengetahuan: Pilihan berganda dengan key feature
menggunakan komputer (CBT) atau kertas (PBT)
 Keterampilan Klinik: Objective Structured Clinical
Examination (OSCE)

14. Soal Key Feature
Stem/Vignette:
Seorang laki-laki berusia 55 tahun datang dengan nyeri dada kiri yang
hebat sejak 2 jam yang lalu saat sedang senam pagi. Nyeri dirasakan
menjalar ke lengan kiri, tidak hilang dengan istirahat. Pasien adalah
perokok berat. Kakak tertua meninggal mendadak 2 tahun yang lalu saat
latihan tenis.
Lead in/Pertanyaan: Apakah pemeriksaan yang paling tepat saudara
minta untuk memastikan diagnosis pasien di atas?
Option/Distractor:
A. Foto toraks dan EKG
B. Ekokardiografi dan EKG
C. Ekokardiografi dan enzim CPK
D. EKG dan enzim CPK
E. Foto toraks dan Ekokardiografi

15. Bank Soal Uji Kompetensi
Pengelola Pengelola (-)
Review Soal
Penulis Soal Bank Soal Bank Soal
Regional
Institusi Regional
(-)
ITEM BANK PANEL Pengelolaan ITEM BANK
EXPERT Bank Soal
–2 REVIEW Nasional -1
(-)
ITEM BANK Proses Uji
UJI COBA
–3 Pemilihan Soal Kompetensi
(-)
ITEM BANK
–4

16. Rekap Workshop CBT Uji Kompetensi
Dokter, Dokter Gigi, Perawat dan Bidan
Tahun 2012
Dokter D-III
Keterangan Dokter Ners Bidan
Gigi Keperawatan
A. Workshop Pengembangan Soal
1) Item Development - - 2 3 -
2) Item Review 3 3 3 3 4
3) Panel Expert 3 1 2 2 2
B. Sumber Daya Penulis Soal
1) Item Writer Nasional 49 46 74 113 70
2) Item Reviewer Nasional 49 46 51 98 70
3) Panel Expert 42 13 35 58 24
C. Bank Soal
1) Soal hasil item development > 4.000 na 1.311 1.621 >2.000
2) Soal hasil item review 2.430 540 1.176 1.354 1.648
3) Soal hasil panel expert 1.601 102 870 1.160 1.080

17. Item #1
Group A B C* D E F
Hi 64 551 15 294 48 6
Lo 117 456 44 262 65 15
Total 322 1900 107 982 207 32
p-value: 3 discrimination index: -0.031

18. Waktu Ujian vs Reliability

19. Standarisasi Pengembangan Soal
• Profil Uji Kompetensi Tenaga Kesehatan
• Standarisasi cara pembuatan soal yang baik.
• Standarisasi bahasa dan istilah.
• Standarisasi form soal.
• Standarisasi batang tubuh soal dan
kelengkapannya.
• Standarisasi tingkat kompetensi
• Formulir review soal
• Daftar riwayat hidup penulis dan reviewer soal
19
19

20. Rekap Pelaksanaan Uji Coba Uji Kompetensi
Ners, Perawat dan Bidan
Tahun 2011 - 2012
2011 (CBT) 2012 (CBT & PBT)*
No Keterangan D-III D-III
Ners Bidan Ners Bidan
Perawat Perawat
1 Jumlah Pelaksanaan
- 1 1 1 1 2
Ujicoba
2 Jumlah Peserta Ujicoba - 862 617 2325 1418 2077
3 Jumlah soal/buku - 180 200 180 180 180
4 Jumlah buku soal - 2 1 3 4 4
5 Jumlah bank soal 3
- 146 92 263 292 314
(pasca ujicoba)
6 KR21 buku soal - 0,74 0,86 0,79 0,72 0,82
*: Bidan & D3 Perawat menggunakan CBT & PBT, tidak ada perbedaan antara PBT & CBT

21. Umpan Balik bagi Insitusi Pendidikan

22. Aspek Praktik Baik Pengembangan
Pengelolaan Uji Kompetensi
Input Proses Luaran
• Jadwal ujian • Briefing H-1 • Standard setting
• Registrasi online • Pelaksanaan • Pengumuman
• Validasi & Ujian • Umpan balik
Verfikasi • Proses Hasil peserta &
• Distribusi per Ujian institusi
lokasi • Evaluasi SDM,
• SDM sistem ujian,
• Finansial soal, lokasi ujian
SISTEM PENGELOLAAN UJIAN TERINTEGRASI BERBASIS IT

23. Pengelolaan Ujian
•Pengorganisasian: Pusat-Regional-Lokasi
Ujian.
•Pengawas independen-imparsial (disilang
antar institusi)
•Jadwal pelaksanaan ujian.
•Aturan pelaksanaan ujian: ketepatan waktu,
standard lokasi ujian, rasio pengawas-peserta.
12
23

24. Standard Setting
• Ditentukan oleh sekumpulan (panel expert judge)
yang terdiri dari perwakilan seluruh institusi
pendidikan dan organisasi profesi
• Metode Absolut  Modified Angoff (criterion
reference)

25. Dukungan TI
• Website: www.nace.org
• © SIPENA 02.01 ss-100828
Pelak-
sanaan
Item Pengum
Pendaf Item Item Ujian Standard
Analysi uman
-taran Review Bank (CBT Setting
s hasil
&
OSCE)

26. SIPENA Development Road Map

27. IT Modules - interconnectivity
Formative - Summative -
Call for Item
Institution Assesment
Bank 1 : New Item Item Writer / Reviewer
Selected Item Bank
Registration
Bank 2 : Reviewed Item Review
Tested Item Bank Peer Review
Bank 3 : Tested Item
New Item Bank Bank 4 : Selected Item Panel Expert
Examinee OL- Exam Location Summative -
Exam Process
Reg Adm Scoring
Examinee On Local Exam PBT
Line Supervisor Absolut
Registration Registration CBT
National Exam OSCE
Information
Supervisor Normatif
Web BAU
Registration

28. Hasil UKDI
High Validity n Reliability,
high Yields (75% Success Rates)
with PASSMARK
62% of Total Scores

29. Perbandingan Hasil UKDI First vs Re-Taker
st
UKDI 1 Taker Re-Taker Pass Retaker
mark Lulus
N peserta Failure Successful N peserta Failure Successful lewat ujian
rate (%) Rate (%) rate (%) Rate (%) tulis
I 262 20,23 79,77 n,a n,a 40 n,a
II 2150 18,42 81,58 48 83,33 16,67 44 8
III 1966 23,91 76,09 368 80,99 19,01 45 69
IV 1422 28,97 71,03 460 63,69 36,31 45 167
V 1310 27,40 72,6 393 60,05 39,95 45 157
VI 2166 23,58 76,42 346 90,75 9,25 50 32
VII 1999 29,86 70,14 468 71,15 28,85 50 135
VIII 1351 34,49 65,51 531 75,52 24,48 50 130
IX 1375 32,65 67,35 806 75,56 24,44 50 197
X 2584 35,06 64,94 966 90,37 9,63 50 139
XI 1835 32,32 67,68 1370 55 45 51 613
XII 1728 31,42 68,58 1327 63,6 36,4 51 483
XIII 1982 28,36 71,64 1338 71,38 28,62 53 383
XIV 2596 12,80 87,2 1338 43,5 56,5 58 756
XV 3111 13,89 86,11 1023 48,09 51,91 58 531
XVI 1723 20,55 79,45 827 63,12 36,88 58 305
XVII 1747 41,44 58,56 806 90,94 9,06 58 73
XVIII 2891 28,33 71,67 1446 63,21 36,79 61 532
XIX 2678 20,76 79,24 1643 63,3 36,7 62 603
XX 1930 23,26 76,74 1521 53,32 46,68 62 710
XXI 1983 29,75 70,25 1263 70,7 29,3 62 370
Σ 40789 18288 6393

30. UKDI Nilai Rerata SD Nilai tertinggi Nilai terendah KR-21 buku soal
I 49,59 10,7 76 26 0,89
II 56,37 13,6 86,5 19 0,94
III 51,77 13,6 87,5 17 0,94
IV 49,8 14,6 85,5 13 0,95
V 50,35 12,1 81 17,5 0,92
VI 57,3 15,7 89 18,5 0,96
VII 54,24 13,7 87 13 0,94
VIII 50,42 11,2 80,5 17,5 0,9
IX 50,87 12,5 85,5 5,5 0,92
X 52,99 10,9 77 14,5 0,91
XI 55,73 12,2 80,5 13,5 0,92
XII 55,7 11,8 81,5 20 0,92
XIII 60,9 14 88,5 21,5 0,95
XIV 70,35 10,9 91,5 19 0,94
XV 71,13 11,8 90,5 21,5 0,95
XVI 67,78 13,2 90,5 19,5 0,95
XVII 58,05 11,6 83 18 0,93
XVIII 65,3 11,8 88 18 0,94 / 0,94
XIX 65,1 12,4 88 22 0,93 / 0,94
XX 68,8 13,4 90,5 21 0,95/0,95
XXI 70,25 12,1 87,5 20,51 0,94/0,91

31. Hasil TO UKBI
Juli 2012 September 2012
Try Out 2011
TOTAL Buku 1 Buku 2 TOTAL Buku 1 Buku 2
Jumlah Peserta 617 1344 676 668 733 357 376
Jumlah Soal 200 360 180 180 360 180 180
Nilai Rerata (+ 54,42 49,37 50,46 48,26 52,36 52,96 51,76
SB) (+ 9,33) (+ 9,60) (+ 8,11) (+ 10,79) (+ 8,27) (+ 8,08) (+8,45)
Nilai Tertinggi 75,50 71,11 71,11 70,56 68,89 67,78 68.89
Nilai Terendah 24,50 12,22 26,67 12,22 20,56 25,56 20,56
KR21 0,86 0,84 0,79 0,89 0,80 0,79 0,81
Rerata Indeks
0,54 0,49 0,50 0,48 0,52 0,53 0.50
Kesulitan
92 165 78 87 149 74 75
% Soal Baik
(46%) (45,8%) (43%) (48%) (41,4%) (41,11%) (41,67%)

32. Hasil TO UKDiKI
Try Out TOTAL Buku 1 Buku 2 Buku 3
Jumlah Peserta 2325 781 777 767
Jumlah Soal 540 180 180 180
Nilai Rerata (+ SB) 40,36 (+ 7,88) 39,46 (+ 7,99) 40,73 (+ 7,46) 40,88 (+ 8,20)
Nilai Tertinggi 60,00 58,89 60,00 59,44
Nilai Terendah 8,89 11,67 11,67 8,89
KR21 0,79 0,80 0,76 0,81
Rerata Indeks 0,40 0,39 0,41 0,41
Kesulitan
% Soal Baik 263 (48,7%) 88 (48,89%) 73 (40,56%) 102 (56,57%)

33. Hasil TO UKNI
Try Out 2011 2012
Buku TOTAL 1 2 TOTAL 1 2 3 4
Jumlah
862 437 425 1418 358 352 354 354
Peserta
Jumlah Soal 360 180 180 720 180 180 180 180
Nilai Rerata (+ 45.16 45.08 45.24 44.84 44.53 44.63 45.70 44.49
SB) (+ 7.31) (+ 6.92) (+ 7.68) (+6.99) (+ 6.52) (+ 7.20) (+ 7.21) (+ 6.95)
Nilai Tertinggi 68.33 61.67 68.33 63.89 60.00 61.11 63.89 62.78
Nilai Terendah 24.44 26.67 24.44 21.11 23.89 23.89 21.11 25.00
KR21 0.74 0.72 0.77 0.72 0.68 0.74 0.74 0.72
Rerata Indeks
0.45 0.45 0.45 0.45 0.45 0.45 0.46 0.44
Kesulitan
% Soal Baik 40.56 38.89 42.22 40.56 38.33 42.22 39.44 42.22

34. Pengembangan Uji Kompetensi
Kementerian
Pendidikan
Nasional
Lembaga
Asosiasi Pengembangan Kementerian
Institusi Uji
Kompetensi Kesehatan
Pendidikan
(LPUK
Organisasi
Profesi

35. Remediasi Re-taker dan issue
lainnya
Akumulasi Compliance
35
Waktu tunggu Akuntabilitas
Re-taker remediasi rendah yang lama hasil ujian
Kolegium
Institusi Pendidikan
Sertifikat Uji Sequence
Ujian di InstitusiIjazah approach
KompetensiKompetensi
Uji Kompetensi
Exit Exam
Ujian Standarisasi
Nasional
Ijazah Integral
Benchmarking
Sertifikat Regional approach
Kompetensi Sistem Ujian Institusi

36. HEALTH PROFESSIONAL
EDUCATION QUALITY
PROJECT (HPEQ)

38. Sub-komponen pada Komponen 2
Sub-
• Pembentukan komponen 2 • Pengembangan
lembaga jaringan bank soal
independen • Peningkatan nasional untuk ujian
pengembangan uji kualitas metode nasional dan
kompetensi profesi dan pengelolaan pengembangan
kesehatan. ujian nasional. institusi.
Sub- Sub-
Komponen 1 komponen 3

39. Activity Pathway
Main Activity 2010 2011 2012 2013 2014
Lembaga
Mid-term
Pengembangan Uji Preparation Establishment
evaluation
Final evaluation Sustainable
Kompetensi (LPUK)
Paper-based,
preparation & Implementation Implementation Implementation Implementation
Computer-based try out
Testing (CBT)
Preparation and
Preparation Preparation Implementation Implementation
try out
Objective Structured Preparation Try-out Implementation Implementation Implementation
Clinical Examination
(OSCE) Preparation Preparation Preparation Try out Implementation
Enhancement Enhancement Enhancement
National Item Bank Preparation Establishment for pre-clinical for clinical for progress
Networking for formative test formative test test
Assessment (NIBNA) Preparation Preparation Preparation Preparation Establishment
Medicine/Dentist
Nurse/Midwife

40. Organisasi LPUK
Dewan Pendiri
Direktur
Pengelolaan
Nasional
Sekretaris
Eksekutif
Pengelolaan Divisi Divisi
Divisi
Divisi
Regional Divisi Ujian Pengelolaan Pengelolaan Pengelolaan
Litbang
Aset TI Bank Soal
Tempat
Pelaksanaan
Ujian
CBT Center OSCE Center

41. Regionalisasi

42. Milestone LPUK

43. KESIMPULAN & SARAN

44. Kesimpulan dan Saran
• Uji Kompetensi untuk Tenaga Kesehatan adalah
suatu keniscayaan & keharusan
• Implementasi Praktik Baik pada semua proses
dan jenjang: nasional, regional dan institusional.

45. Kesimpulan dan Saran
• Kerja sama seluruh pihak terkait (institusi
pendidikan, profesi, pemerintah)
• Pengelolaan oleh suatu lembaga independen
yang diterima oleh semua pihak
• Keterbukaan informasi kepada masyarakat untuk
penjaminan mutu
• Perlu penyiapan 3 M (Man, materials, methods)
melalui pelatihan dan pengkoordinasian tingkat
nasional dan regional.
• Perlu komitmen dalam upaya continuing quality
improvement berdasarkan lesson learnt
implementasi menuju praktik yang lebih baik.

46. Terimakasih
tachmad@fk.unpad.ac.id
spdewi@unpad.ac.id

47. “Old” Style Biochemistry Question
Testing Recall of an Isolated Fact
Acute intermittent porphyria adalah
akibat gangguan pada biosintesis dari:
A. kolagen
B. kortikosteroid
C. asam lemak
D. glukosa
E. heme E
F. tiroksin
E 85 29

48. Application of Knowledge Item:
Biochemistry/Genetics
Seorang laki-laki berusia 30 tahun datang dengan
keluhan badan lemah, kehilangan keseimbangan dan
nyeri perut tanpa diare. Tante dan saudaranya juga
memiliki keluhan yang sama. Pada pemeriksaan fisik
didapatkan perut kembung, penurunan bising usus.
Pemeriksaan neurologik didapatkan kelemahan pada
lengan atas. Kelainan biosintesis apakah yang paling
mungkin menyebabkan permasalahan pasien
tersebut?
A. collagen
B. corticosteroid
C. fatty acid
D. glucose
E. heme E
F. thyroxine Slide also in biochem.ppt
YEL E 85 29

49. Problems with traditional MCQ
• Test fact recall – often of isolated trivia
• Did not test application or integration
• Did not test reasoning or problem solving
• Not consistent with current educational
principles
• Promote memorization rather than
understanding

50. Avoiding Problems
• Avoid simple fact/recall questions ie
answer cannot be found simply on a
single page in a textbook.
• Avoid questions which promote simple
memorization
• Always test application, integration or
understanding
• Use relevant scenarios as stems

51. Principles
• Assess application/integration of
knowledge
• Use clinical scenarios to present
problems
• Test reasoning and Problem Solving
• Address important content – avoid trivia
• Provide a single BEST answer

52. The Basic Rules for
One-Best-Answer Items
 Each item should focus on an important concept, typically a
common or potentially catastrophic clinical problems
 Each item should assess application of knowledge, not recall of
an isolated fact
 The stem of the item must pose a clear question, and it should
be possible to arrive at an answer with the options
 All distracters (i.e., incorrect options) should be homogenous
 Avoid technical item flaws that provide special benefit to
test-wise examinees or that pose irrelevant difficulty

53. Steps in Question Construction
• Determine the Content/Topic
• Select 2-3 Key Features
• Select a clinical scenario
– Common, serious, aimed at generalist
• Write the Clinical Case
• Pose the Question
• Write the correct answer
• Write the distractors

54. Key Features
• Use Key Features Principles
• What are the essential elements
• Build the case around the key features
• Several questions built around one scenario

55. Use QUESTIONS to Teach
• First order – knowledge and facts
• Second order – application
• Third order – problem solving (what if)