Sukmo gunardi konvensi bali 2016

Desain dan Pengembangan
CAT untuk Large Scale Testing
di Dinas Psikologi Angkatan
Udara
Konvensi Nasional Tes Psikologi Indonesia,
Himpunan Psikologi Indonesia (HIMPSI),
Bali, Kamis 8 April 2016.
Marsma TNI Dr. Sukmo Gunardi,
M.Si.
08/04/2016 Sukmo Gunardi 1

Selayang pandang
 Latar belakang.
 Tujuan presentasi.
 Persyaratan psikologis pilot.
 Pemeriksaan psikologi (Rikpsi) di
Dispsiau.
 Penggunaan CAT di Dispsiau.
 Pengembangan tes adaptif di Dispsiau
 Kesimpulan.
 Saran-saran.
 Penutup.

Latar belakang
 Permasalahan kebocoran tes.
 Karakteristik tugas awak pesawat
(pilot) dan psychological requirements
yang khas.
 Tuntutan transparansi dalam
administrasi tes psikologi
◦ Pesatnya perkembangan teknologi
komputer dan ilmu statistika (Lisrel,
Mplus), peluang utk kembangkan tes
modern, tes adaptif.

Tujuan presentasi
 Berbagi pengalaman:
◦ aplikasi CBT (computer based test) untuk
seleksi awak pesawat;
 penelitian pendahuluan bbrp modus tes tertulis
(paper and pencil tests/PPT) dan CBT.
◦ upaya mengembangkan tes adaptif
(computer adaptive test/CAT);

Pengertian
 Tes tertulis (paper and pencil
test/PPT).
 Tes berbasis komputer (computer
based test/CBT).
 Tes berbasis komputer-adaptif
(computer adaptive test/CAT).

Persyaratan psikologis pilot
 Bakat operasional (aptitudes).
◦ Perceptual speed, accuracy.
◦ Spatial orientation.
◦ Vigilance.
◦ Working memory (situational awareness).
◦ Mental calculation.
◦ Instrument comprehension.
 Psikomotorik.
 Tugas berganda (multitasking).

Pemeriksaan psikologi (Rikpsi)
di TNI AU
 Kebanyakan masih menggunakan
prosedur tes tertulis
 Untuk seleksi pilot:
◦ PPT: Tes tertulis standar utk kecerdasan;
aptitudes: A, B, C, DRT/TRT, RET, MQ
Bock; sikap kerja dan kepribadian.
◦ Electro-mechanic tests: SMA, TAK, TRD,
TPHV.
◦ CAT-4 DLR (Deutsches Luft-und-
Raumfahrt)
◦ CAT “Merah Putih”08/04/2016 Sukmo Gunardi 7

Penelitian 1981-1992

Penelitian 1981-1992 ...

Penelitian 1981-1992...

Ringkasan Penelitian Awal
 Paper & Pencil Test menghasilkan
kinerja lebih baik terkait dengan
pengukuran kecepatan dan akurasi.
 Inkonsistensi pada Reading
Comprehension.
 Inkonsistensi pada pengukuran variasi
kualitas visual.
 Tes komprehensi menurut Ziefle (1998)
superior dengan paper & pencil karena
kualitas tampilan lebih baik daripada
komputer dimana monitor
menjadikannya mudah lelah.

Penelitian setelah 1992

Penelitian setelah 1992...

Penelitian setelah 1992...
Sumber: Moyes Jan. M,Garland, Kate J. 2008. Computer- vs. paper-based tasks: Are they equivalent? Ergonomic,
40, 554–568.

Ringkasan Penelitian setelah
1992
 Inkosistensi pada aspek membaca
(reading comprehension: Speed &
Accuracy).
 Monitor CRT (Cathode Ray Tube)
mulai diambil alih dengan modul LCD
yang lebih sejuk dan tidak melelahkan
mata, menjadikan performa tes
dengan komputer meningkat.

Keuntungan Tes dengan
Komputer
 Interface yang lebih kaya; grafik,
tampilan dinamis/pergerakan, variasi
kecepatan, suara.
 Populasi lebih banyak, menggunakan
internet.
 Standarisasi dari lingkungan tes;
penyajian dan petunjuk yang sama
persis, administrasi standar, elemen
subjektif seperti tulisan tangan tidak ada
(judgment tulisannya jelek atau sulit
dibaca).
 Koreksi otomatis.

Kekurangan Tes dengan
Komputer
 Double submit.
 Masalah teknis: hardware, software,
elektrical.
 Layar komputer; CRT-LCD-LED
 Kerahasiaan, apabila tes online
dengan internet.

Dispsiau 2012-2017
Pengembangan soal &
computer adaptive test (CAT)

Input Device
Sentuh
Klik
Ketik
Kemampuan peserta sangat
terbatas atau tidak pernah sama
sekali menggunakan perangkat
komputer.
Pilihan ganda (dikotomi/multiple
choice)
Terbiasa menggunakan
perangkat komputer.
choice)
Terbiasa menggunakan
perangkat komputer.
choice)
Jawaban teks
(GE/manajerial/Presentasi)

Materi CAT “Merah Putih”
 Established Test
◦ Konstruk Kepribadian (16pf, epps, mmpi
dll).
◦ Konstruk Ability (IST,APM, EAS, TIKI dll)
◦ Konstruk Kinerja (Kraepelin)
 Itembank Test
◦ Aptitude

CAT as Assissted
 Testing with fix and established test.
 Migration of classical to computer test
& vice versa
 Used for:
◦ Psychological measurement
◦ Assessment

CAT as Adaptive
 Test based on item parameter.
 Computer is a must.
Item
Bank
Item
selection
Use of item
Item
discriminan
t
Item
Presentatio
n
Response
of Answer
Item Status

Itembank dan Informasi Item

Item Bank Calibration
 Rasch Model
Pni1 : probability jumlah n berhasil dari testee pada item i.
Pni0 : probability jumlah n gagal dari testee pada item i.
Unit natural skala interval sebagai logit (log-odds unit).
Nilai logit pengukuran unidimensional dari testee diharapkan memiliki
peluang keberhasilan 50%, testee yang diharapkan memiliki
peluang keberhasilan 75% dari item berarti log(75%/25%) = 1,1
logits.

Item Administration
Computer-Adaptive Testing: A Methodology Whose Time Has Come. By John Michael Linacre, Ph.D. MESA Psychometr ic Laboratory Univer sity of Chicago

Desain Algoritma CAT
0. Testee baru, set nilai D=0, L=0, H=0 dan R=0.
1. Cari item yang mendekati tingkat kesukaran (D).
2. Ubah nilai D sebagai kalibrasi nyata tingkat kesukaran item.
3. Administrasikan item tsb.
4. Simpan jawaban.
5. Nilai jawbaan.
6. Hitung jumlah item (L) yang telah dilakukan L = L + 1
7. Tambahkan jumlah tingkat kesukaran (H) H = H + D
Jika jawaban salah:
8. Pilih item tingkat kesukaran D = D - 2/L
Jika jawaban benar:
9. Tambahkan nilai benar (R) R = R + 1
10. Pilih item tingkat kesukaran : D = D + 2/L

Desain Algoritma CAT
Lanjut...
Jika tidak ada respon/tidak dijawab/tidak ada nilai benar atau salah,
11. Kembali ke tahap 1.
Jika dijawab, benar atau salah
12. Hitung nilai salah (W) W = L - R
13. Hitung nilai : B = H/L + loge(R/W)
If (W = 0) then B = H/L + loge(R-0.5 / W+0.5)
If (R = 0) then B = H/L + loge(R+0.5 / W-0.5)
14. Hitung standar error : S = sqrt[L/(R*W)]
If (W = 0) then S = sqrt[L/(R-0.5 * W+0.5)]
If (R = 0) then S = sqrt[L/(R+0.5 * W-0.5)]
15. Bandingkan nilai B dengan standar error T.
16. If (T - S) < B < (T + S), go to step 1. (Jika B kurang dari selisih T
kurang S dan B kurang dari jumlah T tambah S maka ke
tahap 1.
17. If (B - S) > T, then lolos.
18. If (B + S) < T, then gagal.
20. Go to step 0.

Implementasi Algoritma
Halkitis, P.N. (1993) A computer-adaptive testing algorithm. Rasch Measurement Transactions 6:4, 254-5.

Itembank Flow
Klasifika
si:
•Analogi
•Verbal
•Numerik
•Spasial
•Reasonin
g
•
Personality
•Leadershi
p
Database
s
Test &
Tryout
Report
Item Record &
History
Test
Design

CAT Map
Server
Ups
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
Ups
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
P
C
Ups
Switch/
Hub
Switch/
Hub
PC
Admin
LAN
Electric

Timeline
2014
• Pengembangan beragam itembank aptitude dalam sistem database.
• Pengembangan software identifikasi model penyajian itembank.
2015
• Pengembangan beragam itembank leadership dan personality traits
dalam sistem dabatase.
• Analisis dan identifikasi model item dalam sistem aplikasi database.
2016
• Penerapan sistem CAT didasarkan pada itembank.
• Penerapan modul tes berdasarkan itembank.
• Penerapan sistem penyajian tes berdasarkan itembank.
2017
• Pengembangan model dasar tes psikomotorik didasarkan pada
kemampuan psikomotor tangan dan kaki (hand stick & foot pedal).

Dasar Pengembangan
Itembank
 Lifecycle penggunaan item:
pemakaian item didasarkan pada
indeks penggunaan.
 Pengelompokan item sesuai dimensi
pengukuran.
 Item yang terukur dilihat dari beberapa
dimensi yaitu:
◦ Jumlah penggunaan
◦ Tingkat kesukaran
◦ Kategori bobot kualitas item

Itembank
Saat ini jumlah itembank yang sudah ada dalam
server:
1238 item
Kognitif-Aptitude
4049 item
Inventory- Personality
546 item
Inventory-
leadership

Konstruk Itembank
 Kognitif – Aptitude
◦ Numerik
◦ Spasial
◦ Verbal
 Personality
◦ Atribut Personality
◦ Konstruk Personality
◦ Model Personality
 Leadership
◦ Decision Making
◦ Leadership Style
◦ Communication & Teamwork

Itembank Kognitif- Aptitude
 Dimensi Pengukuran
◦ Analogi
◦ Verbal
◦ Reasoning
◦ Spasial
◦ Numerik
 Pengelolaan Item
◦ Pembuatan item berdasarkan face validity dari konstruk tes yang
sudah ada.
◦ Pengujian keselarasan item berdasarkan konstruk.
 Pembobotan dan Kategori Item
◦ Pembobotan otomatis berdasarkan sistem aplikasi itembank
◦ Kategorisasi item dalam kelompok berdasarkan tingkat kesukaran
 Pembuatan Sistem Soal
◦ Pembuatan soal dari menu sistem itembank.
 Pengujian Item secara Online
◦ Sistem tes online berdasarkan generate item response test.

Sistem Itembank Kognitif-
Aptitude

Itembank Personality
 Multiple Construct of Personality
◦ Big Five Personality Factor (Extraversion, Agreeableness,
Conscientiousness, Emotional Stability, Intellect).
◦ Seven Factor Personality (Extraversion, Agreeableness,
Conscientiousness, Emotional Stability, Intellect, Attractiveness,
Negative Valence).
◦ Five Factor Facets.
◦ 10 Factor Personality (Volatily, Withdrawal, Compassion,
Politeness, Industriousness, Orderliness, Enthusiasm,
Assertiveness, Intellect, Openness).
◦ Populer inventory; NEOPI-Domain & Facet, 16PF, CPI, HPI, TCI,
MPQ, JPI, HEXACO, VIA.
 Single Construct of Personality
◦ Personal Attribute Survey
◦ Comprehensive Health Survey
◦ Personal Reaction Survey
◦ Personality, Emotion & Attitude Survey

Sistem Itembank Personality

Itembank Leadership
 Konstruk Personality terkait dengan
Leadership
◦ Managerial Aspect from Personality Traits.
◦ Communication Dimension
◦ Factor and Style of Leadership
◦ Teamwork & Team Building
◦ Delegating

Sistem Itembank Leadership

Itembank Flow
Klasifika
si:
•Analogi
•Verbal
•Numerik
•Spasial
•Reasoning
•
Personality
•Leadership
Database
s
Test &
Tryout
Report
Item Record &
History
Test
Design

Implementasi Itembank Sistem
CAT
 Membuat desain tes adaptif pada sistem
CAT
◦ Pemilihan item secara otomatis berdasarkan
tingkat kesukaran.
◦ Membuat prioritas item yang disajikan
kepada peserta tes.
◦ Merekam respon item berdasarkan alokasi
waktu dan tingkat kesukaran.
 Kustomisasi Item
◦ Pembuatan/penambahan item baru.
◦ Analisa statistik kualitas item berdasarkan
pada konstruk tes.

Implementasi Tes Psikomotor
dalam Sistem CAT (2016-2017)
 Pengembangan Psychomotoric Test
Battery; Pengukuran orientasi spasial
berdasarkan stimulus objek yang
bergerak, dimana peserta tes harus
menyelesaikan sejumlah tugas sesuai
yang diperintahkan.
 Adapun simulasi awal tes yang akan
dikembangkan berdasarkan konsep:
◦ Vigilance Orientation (2016)
◦ Foot Pedal & Arm Control Orientation (2016)
◦ Foot Pedal & Arm Tracking (2017)
◦ Horizontal Tracking (2017)
◦ 2 Dimensional Tracking (2017)

Lokasi Ruang CAT Merah Putih
Lokasi Ruang CAT Merah Putih
Lokasi Seskoau

•Aplikasi tes psi. impor dari
Pusat Ruang Angkasa Jerman
(DLR: Deutches Luft-und
Raumfahrt), 2005
• CAT (Computer Assissted
Test), jumlah tes terbatas (yang
ada hanya 11 macam tes)
• Penggunaan terbatas, lebih
dikhususkan tuk penerbang
• Ketergantungan perawatan
dg DLR (datang 2005, remat.
• Aplikasi tes psi. dari Dispsiau,
program 2015
• CAT (Computer Adaptive Test),
jumlah tes tak terbatas (saat ini
49 macam tes)
• Tidak ekslusif. Fleksibel, bisa
bebagai tujuan termsk AC
• Perawatan Sederhana dan
Mandiri (hardware maupun
software)

CAT “Merah Putih”
NO MACAM TES
1 Critical Incident
2 WPT
3 TIU-5
4 IST
5
6
7
8
9
NO MACAM TES
...
40 NEO-PI
41 MINAT HOLLAND
42 ADAPTIVE-ANALOGI
43 ADAPTIVE-BLOCK
44 ADAPTIVE-SHORT TERM
FIGURE
45 ADAPTIVE-REASONING
46 ADAPTIVE-SPATIAL
47 ADAPTIVE-SPATIAL 3D

Pengguna CAT Dispsiau
 BIFA
 Sriwijaya
 Pelita
 NAM
 IAT
 Perkasa Flying
 MUFA
 Kalstar
 Martha Buana
 Eastindo
 My Indo Airline
 LP3B
 Transnusa
 Trigana
 TNI AU

Contoh Kraeplin CAT “MP”

Korelasi Pauli & Kraeplin

Korelasi tes kecerdasan

Korelasi antar subtes motorik

Korelasi subtes “perceptual”

Korelasi subtes spasial

Korelasi TSS-OPP

Kesimpulan
 Penggunaan CBT/CAT memfasilitasi
pengukuran aptitudes, psikomotoric dan
multitasking untuk awak pesawat (pilot).
 Penerapan CBT/CAT untuk large scale
testing membutuhkan kesiapan personel
(administrasi, item development,
maintenance) dan hardware.
 Karakteristik CAT akibatkan waktu
tempuh tes yg tidak sama,
implementasinya perlu pertimbangan
khususnya utk kepentingan seleksi.

Saran-saran
 Perlu upaya sinergis dari para ahli
psikometri dan atau Fak. Psikologi
(dgn jrsn/peminatan psikometri) untuk
mengembangkan tes adaptif, dengan
memanfaatkan laboratorium CAT di
Dinas Psikologi Angkatan.
 Perlu regulasi mengenai
praktek/penggunaan tes psikologi
menggunakan CBT/CAT.

Penutup
 Terima kasih atas perhatiannya

Referensi:
 Bunderson, CV., Inouye, DK., & Olsen, JB., 1989. The Four
Generations of Computerized Educational Measurement, dalam
Robert L. Linn, Educational Measurement, New York.
 Halkitis, P.N. (1993) A computer-adaptive testing algorithm. Rasch
Measurement Transactions 6:4, 254-5
 Hambleton, RK., Swaminathan, H. & Rogers, HJ., 1991.
Fundamental of Item Response Theory, California, Sage
Publications, Inc.
 Yulianto, A., 2008. Computerizes Adaptive Test: Pemanfaatan
Psikologis dari Komputer untuk Pengetesan Psikologis. Prosing
Konferensi Nasional Sistem Informasi.
 Umar, Yahya. 2016. Naskah paparan “Perkembangan teori dan
aplikasi terkini tes psikologi”, disampaikan dalam Rakorpsi TNI AU,
16-17 Februari 2016.

Sukmo gunardi konvensi bali 2016

Recommended

Recommended

More Related Content

Similar to Sukmo gunardi konvensi bali 2016

Similar to Sukmo gunardi konvensi bali 2016 (20)

Recently uploaded

Recently uploaded (8)

Sukmo gunardi konvensi bali 2016