Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Taksonomi CBT

461 views

Published on

Materi Urip Purwono, Ph.D.

Published in: Data & Analytics
  • Be the first to comment

  • Be the first to like this

Taksonomi CBT

  1. 1. Konvensi Nasional Tes Psikologi Indonesia Bali 7 – 8 April 2016 Taksonomi Computer BasedTesting Urip Purwono Pusat Studi Psikometri Fakultas Psikologi Universitas Padjadjaran
  2. 2. Latar Belakang • Computer BasedTesting (CBT) menjadi semakin populer • Dipergunakan istilah yang berbeda-beda • Computer BasedTesting • Computer AssistedTesting • Computer AdaptifveTesting • E-Testing • ComputerizedTesting • Banyak perkembangan model-model CBT • Masing-masing model memiliki kompleksitasnya masing-masing
  3. 3. Tujuan • Menyampaikan “taksonomi” model-model CBT dan aspek teknis yang menyertainya, sebagai bahan diskusi
  4. 4. CBT Linear Fix Single Form Multiple Form Random Item Form Adaptive Random Item Testlet Taksonomi CBT
  5. 5. Model Linear, Fix • Single Form • Bentuk paling sederhana dari CBT • Hanya seperti memindahkan PPT/PBT ke CBT sehingga tidak lebih efisien dari PPT/PBT • Memungkinkan “pengacakan” nomor soal • Memungkinkan “pengacakan” options • Penskoran dapat dilakukan secara langsung • Dapat dilakukan review tes secara keseluruhan sebelum pengadministrasian tes
  6. 6. Model Linear, Fix • Multiple Form • Peserta mendapatkan form yang berbeda-beda, dan pre-assigned tergantung dari banyaknya form yang tersedia • Menggunakan form-form yang setara atau dilakukan penyetaraan pada saat skoring • Memungkinkan pendistribusian form yang disesuaikan dengan tempat duduk peserta • Fitur lainnya sama dengan Model linear fix single test
  7. 7. Model Linear, Random • Random Item • Istilah lain: Linear OnThe FlyTesting (LOFT) • Pemilihan item dilakukan real time, on the fly • Untuk setiap nomor tersedia sejumlah item paralel • Dapat dikembangkan dengan mendasarkan pada ClassicalTestTheory maupun Item ResponseTheory • Penulisan soal dilakukan secara horizontal – ialah dengan mengembangkan sejumlah item yang paralel untuk setiap nomor soal, sesuai dengan kisi-kisinya • Item paralel bukan cloning • Kesulitan Utama: Menjamin Form/Set yang paralel
  8. 8. Model Linear, Random • Random Form/Set • Tersedia banyak form/set paralel dengan item yang tetap pada setiap form/set • Pemilihan form/set dilakukan real time, on the fly • Dapat disusun form/set yang paralel, atau dilakukan penyetaraan/equating pada saat penyekoran • Dapat dikembangkan dengan mendasarkan pada ClassicalTestTheory maupun Item ResponseTheory
  9. 9. Model Adaptive, Item • Tes disesuaikan dengan kemampuan peserta • Dimungkinkan bahwa setiap peserta mendapatkan item yang berbeda dalam jumlah yang berbeda • Dilakukan melalui Bank Soal • Setiap soal pada Bank Soal harus sudah terkalibrasi • Hanya dapat dilakukan dengan mendasarkan pada Item Respons Theory • Item dipilih dan diadministrasikan secara iterative dengan tujuan memaksimalkan Test Information Function
  10. 10. Test Information Function (TIF) ' 2 1 1 ( ) ( ) ( ) ( )[1 ( )] n n i i i i i i P I I P P            SE I ( ) ( )    1         1| 1 1 i j i i j i Da b i j i i Da b e P u c c e           3-p Model IRT
  11. 11. Model Adaptive, Item • Gagasan untuk menyesuaikan tingkat kesulitan item dengan kemampuan peserta pertama kali dikemukakan oleh Lord (1977, 1980): • Dimulai dengan menyajikan item dengan tingkat kesulitan moderat • Item yang disajikan berikutnya tergantung dari apakah peserta menjawab benar atau salah pada item sebelumnya • Kemampuan peserta diestimasikan setelah setiap penyajian item
  12. 12. Model Adaptive, Item • Banyak pilihan algoritma pemilihan item. Dasar pertimbangan pemilihan item (oleh sistem): a) measurement precision b) content balancing, c) test security, dan d) efisiensi pengetesan • Stopping rules tergantung dari jenis tes (NRT atau CRT) • Variasi: • CAT dengan menggunakan tes bayangan (“ShadowTest”) • CAT dengan menggunakan stratifikasi
  13. 13. Model Adaptive, Testlets • Soal-soal dalam Bank Soal dikelompokkan dalam Testlets • Adaptive dilakukan pada tingkatTestlets • Peserta dapat mereview dan mengubah jawaban di semua soal pada testlest yang sedang dikerjakan • Fitur lainnya sama dengan CAT (Item)
  14. 14. Perkembangan terbaru: Computer-Adaptive Multistage Testing • Item dikelompokkan dalam testlet (disebut module) • Module dikelompokkan dalam “panel” • Setiap peserta mulai dengan module 1 • Module selanjutnya pada panel berikutnya tergantung dari estimasi kemampuan peserta pada module 1
  15. 15. Pelaporan CBT Construct Alat Ukur Hasil/Skor Kesimpulan Interpretasi Leap Big Leap
  16. 16. Standar Pengembangan CBT • Teknologi • Kualitas • Kontrol • Security
  17. 17. Rangkuman • CBT dikembangkan dengan tujuan akurasi dan efisiensi pengetesan • Terdapat banyak ragam CBT • Migrasi dari PPT/PBT ke CBT tidak berarti bahwa aspek-aspek teknis psikometri yang juga akan menyangkut fairness dapat dikesampingkan • CBT dalam bentuknya yang manapun tidak berbicara mengenai validitas (construct yang diukur oleh tes). Studi-studi validasi tetap harus dilakukan untuk mendapatkan bukti-bukti sejauh mana teori dan data empirik mendukung interpretasi dan penggunaan skor yang didapat melalui suatu tes • CBT tidak menggantikan ahli/psikolog, tetapi membantu psikolog untuk mendapatkan data yang lebih akurat dengan cara yang lebih efisien

×