Prinsip-prinsip pengembangan soal uji kompetensi berjenis pilihan ganda (MCQ) mencakup pemilihan topik, kasus klinis, dan struktur soal yang tepat untuk menilai aplikasi pengetahuan dan kemampuan berpikir kritis peserta ujian. Prinsip-prinsip tersebut meliputi fokus pada konsep penting, hindari pertanyaan sederhana, dan struktur soal yang objektif tanpa unsur penjebakan.
2. Miller’s pyramid of “clinical competence in multiple levels”
Knows
Knows How
Shows
Does
MCQ, Essay, Oral
examination
Clinical scenario-based MCQ,
EMI, Oral examination, essay
OSCE, Standardized patients
Mini-CEX, DOPS, Performance Log,
Portfolio, 360-degree evaluaion
WORK-BASED ASSESSMENT :
CLINICAL AND PRACTICAL ASSESSMENT :
WRITTEN ASSESSMENT :
WRITTEN ASSESSMENT :
3. SOAL PILIHAN JAMAK (MCQ)
Soal yang memiliki satu jawaban pasti;
instrumen penilaian yang objektif
Terdiri dari :
Stem atau deskripsi dari suatu
masalah
Lead-in atau pertanyaan
Daftar pilihan jawaban
4. LANGKAH MEMBUAT SOAL
Tentukan topik/isi
Pilih 2-3 kondisi/situasi/tanda klinis
Pilih skenario klinis
Umum, serius,sesuai dengan kompetensi pesrta ujian
Tulis kasus klinisnya
Posisikan pertanyaan
Tulis jawaban yang benar
Tulis pengalih jawaban/distraktor
5. KAIDAH UMUM
Fokuskan pada materi yang penting
Fokuskan soal pada konsep penting, kasus
sering dan memiliki potensi masalah serius
Setiap soal diusahakan agar menilai aplikasi
pengetahuan, integrasi dan daya nalar, tidak
hanya menguji daya ingat terhadap fakta
terisolasi
Hindari pertanyaan “recall” simpel : jawaban
yang dapat diperoleh dari suatu halaman
buku ajar.
6. KAIDAH UMUM
Yakinkan setiap soal dapat dijawab tanpa
melihat pilihan jawaban
Usahakan agar data/informasi penting
seoptimal mungkin dicantumkan dalam
soal (stem) dan pilihan jawaban (option)
diusahakan sesingkat mungkin
Gunakan pilihan jawaban yang secara
gramatikal konsisten dan secara logis
kompatibel dengan soal
7. Hindari informasi berlebihan pada soal
Hindari soal yang bersifat menjebak, terlalu
kompleks dan tidak relevan
Hindari kata absolut : TIDAK PERNAH,
SELALU
Hindari istilah yg tidak jelas: BIASANYA,
SERING
Hindari kalimat/frasa negatif : KECUALI,
BUKAN, TIDAK
KAIDAH UMUM
8. Components of an A-type Question
A 31-year-old woman, G5P4, who has amenorrhoea
for 12 weeks and a positive pregnancy test presents to
Emergency with vaginal bleeding. Symphyseal-fundal
height measurement corresponds to 22 weeks
gestation. Both adnexal areas demonstrate cystic
enlargement. The cervix is closed. No fetal heart
tones are heard.
Which one of the following is the most likely diagnosis?
a tubal pregnancy
Endometriosis
Threatened abortion
Missed abortion
Hydatidiform mole
Lead-in
Vignette,
Scenario,
Or Stem
Options A, C, D, and E
are Distractors
Option B is the Key
9. STRUKTUR
Vignette / Stem
- Jenis kelamin, Umur (e.g. laki-laki 45 thn)
a. Kasus spesifik wanita kehamilan
b. Kasus anak-anak, dewasa, geriatri ?
- Tempat pelayanan / setting (IGD)
- Keluhan Utama dan durasi
- Gejala penyerta dan keterangan pasien
lainnya
- Pemeriksaan fisik
- Pemeriksaan penunjang
10. STRUKTUR
Lead in
- Menggunakan kata tanya secara langsung,
sehingga dapat memenuhi “close the option rule”
- Contoh jenis lead in :
- Mengidentifikasi obat yang harus diberikan
- Memprediksi hasil lab
- Mengidentifikasi efek samping obat
- Memperkirakan obat yang dikonsumsi
- Memperkirakan paparan zat beracun
- Memperkirakan jenis diet
- Memprediksi sekuel yang timbul
11. STRUKTUR
Option
- Homogen: gramatikal, semantik, panjang-
pendek.
- Hindari absolutisme: selalu, tidak pernah.
- Hindari konvergensi.
- Hindari kesamaan istilah dengan vignette.
- Hindari urutan yang tidak sistematis
menyulitkan.
- Hindari kalimat: bukan salah satu di atas
12. Kaidah Penulisan Option
Option yang salah disebut distractor
Option sebaiknya terdiri dari pilihan dengan
masalah yang homogen (semuanya
merupakan diagnosis, langkah penanganan
pasien, bentuk sediaan obat)
Berbeda dari jawaban yang benar
13. Merupakan option yang masuk akal dan
membuat mahasiswa yang tidak tahu akan
memilihnya
Memiliki bentuk maupun panjang yang
menyerupai jawaban yang benar
Tidak mengandung kesalahan susunan kalimat
dan sesuai dengan bentuk kalimat pada stem.
Kaidah Penulisan Option
14. Kesalahan umum pada soal
pilihan ganda (MCQ)
Hanya menguji kemampuan mengingat – sering
hanya hal yang trivia
Tidak menguji aplikasi atau integrasi
pengetahuan
Tidak menguji kemampuan daya nalar dan
pemecahan masalah
Tidak konsisten dengan prinsip-prinsip
pendidikan masa kini
Lebih meningkatkan kemampuan memorisasi
dari pada pemahaman
15. Kesalahan struktur soal
“Testwiseness” adalah suatu keadaan di
mana peserta ujian dapat menjawab suatu soal
bukan karena penguasaannya terhadap isi
materi yang ditanyakan pada soal tersebut,
tetapi karena kepintarannya dalam menebak
jawaban yang benar.
“Irrelevant Difficulty” berkaitan dengan
kesulitan yang dihadapi peserta ujian untuk
menjawab suatu soal, bukan karena sulitnya
materi yang diujikan, namun lebih ke arah
struktur soal tersebut.
16. Kesalahan yang berkaitan dengan
testwiseness:
Grammatical Cues
Logical Cues
Istilah yang absolut
Jawaban benar yang panjang
Pengulangan kata dari badan soal ke
jawaban
Konvergensi soal
17. Testwiseness
Grammatical cues
Logical cues
Istilah yang absolut
Jawaban benar yang panjang
Pengulangan dari stem ke lead in
Konvergensi soal
18. Grammatical Cues
Seorang pria, berusia 60 tahun, dibawa ke bagian gawat
darurat oleh seorang polisi, yang menemukannya dalam
keadaan tergeletak tidak sadarkan diri di sisi jalan.
Setelah memastikan bahwa saluran pernafasan dalam
keadaan tidak tersumbat, langkah pertama dalam
manajemen adalah administrasi intravena:
A.pemeriksaan cairan serebrospinal
B.glukosa dengan vitamin B1 (thiamine)
C.CT scan kepala
D.fenitoin
E.diazepam
19. Logical Cues
Kejahatan adalah …..
A.terjadi secara merata pada berbagai kelas
sosial
B.lebih sering muncul pada golongan orang
miskin
C.lebih sering muncul pada kelompok masyarakat
menengah sampai kaya.
D.pada dasarnya merupakan suatu indikasi
psychosexual maladjustment
E.mencapai keadaan toleransi yang plateau
terhadap negara
20. Istilah absolut
Pada pasien dengan demensia lanjut, tipe
Alzheimer, defek memori yang terjadi adalah…
A.dapat diberikan terapi secara adekuat dengan
fosfatidilkolin (lesitin)
B.dapat merupakan sekuel dari parkinsonism dini
C.tidak pernah terjadi pada pasien dengan
neurofibrillary tangles pada otopsi
D.tidak pernah menjadi berat
E.mungkin melibatkan sistem kolinergik
21. Jawaban benar yang panjang
Secondary gain adalah
A. synonym dengan malingering
B. Timbul pada orang dengan gangguan
obsessive-compulsive
C. Komplikasi dari berbagai penyakit dan
cenderung untuk memperlama waktu
penyakit
D. Tidak pernah timbul pada gangguan otak
organic
22. Pengulangan kata dari vignette
ke option
Seorang pria berusia 58 tahun dengan riwayat
penggunaan alkohol berat dan sebelumnya
pernah dirawat karena gangguan psikiatri
mengalami kebingungan dan agitasi. Dia
mengatakan bahwa dunia ini tidak nyata
(unreal). Keadaan ini disebut:
A. depersonalisasi
B. derailment
C. derealisasi
D. focal memory deficit
E. tanda anxietas
23. Konvergensi soal
Anestesi lokal akan bekerja paling efektif pada
kondisi:
A. dalam bentuk anionic, bekerja dari dalam
membrane syaraf
B. dalam bentuk cationic, bekerja dari dalam
membrane syaraf
C. dalam bentuk cationic, bekerja dari luar
membrane syaraf
D. dalam bentuk tidak bermuatan, bekerja dari
dalam membran syaraf
E. dalam bentuk tidak bermuatan, bekerja dari
luar membran syaraf
24. Kesalahan yang berkaitan dengan
Irrelevant Difficulty
Pilihan jawaban yang panjang, kompleks, atau
duplikasi
Pilihan yang berupa angka tidak diurut sesuai
dengan besarnya
Pilihan yang mengandung unsur frekuensi suatu
kejadian bersifat multi interpretasi
Pilihan jawaban tidak parallel dan urutan tidak logis
Penggunaan BSSD (bukan salah satu diatas) pada
pilihan jawaban
Badan soal terlalu panjang, sulit, dan kompleks
25. Pilihan jawaban panjang, kompleks,
atau duplikasi
Komite Peer review di HMO bisa menolak keputusan dokter
dalam penanganan kesehatan anggotanya. Berkaitan dengan
hal ini dokter sebelumnya harus telah menerima proses
klarifikasi. Proses kalrifikasi tersebut termasuk apa saja?
A. Peringatan, sebuah forum tertutup, pengadilan, kesempatan untuk
didengar dan ditunjukkan bukti yang memberatkan.
B. Peringatan yang tepat, pengadilan pengambilan keputusan,
kesempatan untuk bertemu di pengadilan dengan saksi yang
memberatkan dan kesempatan untuk menunjukkan bukti yang
meringankannya.
C. Peringatan yang tepat waktu dan dipercaya, pengadilan tertutup
untuk pengambilan keputusan, kesempatan untuk mendengarkan
bukti yang memberatkan dan bertatap muka dengan saksi yang
memberatkan dan kesempatan untuk menunjukkan bukti yang
meringankan.
26. Pilihan berupa angka tidak diurut
sesuai dengan besarnya
Apabila terjadi infeksi pada rongga pelvis yang
berulang ( kedua kalinya), berapa kemungkinan
seorang wanita mengalami keadaan infertile?
A. kurang dari 20%
B. 20 - 30%
C. Lebih dari 50%
D. 90%
E. 75%
27. Pilihan yang mengandung unsur
frekuensi suatu kejadian bersifat multi
interpretative
Penderita obesitas berat dewasa muda:
A. biasanya berespon secara dramatis
terhadap regimen diet
B. sering berkaitan dengan kelainan hormon
C. memiliki kemungkinan 75 % untuk kembali
normal secara spontan
D. mempunyai prognosis yang buruk
E. biasanya berespon terhadap terapi obat dan
psikoterapi intensif
28. Penggunaan BSSD (bukan salah satu
di atas) pada option
Kota apa yang terdekat dengan kota Jakarta?
A. Bogor
B. Karawang
C. Bekasi
D. Tangerang
E. bukan salah satu di atas
29. Lihat lagi... KAIDAH UMUM
Fokuskan pada materi yang penting
Fokuskan soal pada konsep penting, kasus
sering dan memiliki potensi masalah serius
Setiap soal diusahakan agar menilai aplikasi
pengetahuan, integrasi dan daya nalar, tidak
hanya menguji daya ingat terhadap fakta
terisolasi
Hindari pertanyaan “recall” simpel : jawaban
yang dapat diperoleh dari suatu halaman
buku ajar.
30. Item Review UK - CBT
Prinsip review
Kesesuaian dengan Blueprint
Relevansi
Tingkat kesulitan
(SKDI 2012) : Level Kompetensi 3A, 3B,
4A)
Struktur (stem, lead-in, option)
Bahasa dimengerti
31. Principle of Item Development &
Review
Does it test an important
concept?
Is it clear and unambiguous?
Is it free of technical flaws?
Does it test application of
knowledge?
Does it pass the ‘Cover the
options rule’?
32. Apa saja yang perlu ditelaah ?
Materi : Blue print (SKDI, 2012)
Relevansi: Kongruensi
Bahasa
Tingkat kesulitan (level kompetensi)
33. Apa saja yang perlu ditelaah ?
Struktur :
Stem
Lead in
Option
Kesimpulan
Komentar umum dan saran
Diterima/ revisi/ dikembalikan
34. Struktur Soal : Item Flaws
Grammatical Cues ( ) Ya ( ) Tidak
Logical Cues ( ) Ya ( ) Tidak
Istilah yang absolut ( ) Ya ( ) Tidak
Jawaban benar yang panjang ( ) Ya ( ) Tidak
Pengulangan kata dari badan
soal ke jawaban ( ) Ya ( ) Tidak
Konvergensi soal ( ) Ya ( ) Tidak
Pilihan jawaban yang panjang,
kompleks, atau duplikasi ( ) Ya ( ) Tidak
35. Struktur Soal : Item Flaws
Pilihan yang berupa angka tidak diurut
sesuai dengan besarnya ( ) Ya (
) Tidak
Pilihan yang mengandung unsur frekuensi
suatu kejadian bersifat multi interpretasi ( ) Ya
( ) Tidak
Pilihan jawaban tidak paralel dan
urutan tidak logis ( ) Ya (
) Tidak
Penggunaan BSSD (bukan salah satu
di atas pada pilihan jawaban) ( ) Ya (
) Tidak
36. Komentar Umum Reviewer
ID Soal :
Kesimpulan Hasil Review
( ) Diterima tanpa perbaikan
( ) Diterima dengan perbaikan
( ) Perlu konfirmasi pembuat soal
( ) Tidak perlu konfirmasi dengan pembuat soal
( ) Dikembalikan kepada pembuat soal
( ) Memerlukan perbaikan keseluruhan
( ) Berpotensi diterima dengan perbaikan