1. CHAPTER 7EVALUATION OFINTERACTIVE SYSTEMS Evaluasi sistem interaktif dapat terjadi di stages yang beragam pada proses disain dan dapat mengakses aspek disain yang berbeda. Aspek disain tersebut yang menjadi perhatian dari prespectiv manusia adalah usability, learnability, efficiency dan acceptability Keempat aspek disain tersebut didifinisikan dalam istilah umum

2. Masalah yg dihadapi disigner adalah mengetahui aspek disain apa yang mempengaruhi outcom dari ke empat aspek tersebut (usability, learnability, efficiency dan acceptability). Untuk menjawab masalah tersebut membu tuhkan operationlized dari keempat aspek tsb dapat dinilai. Salah satu pemecahan adalah menyediakan metrics (ukuran ?) sebagai bagian dari design specification, yang dapat digunakan untuk menilai hasil dari disain Eksperiment untuk mengevaluasi suatu disain harus secara hati-hati dibangun dan dengan sendirinya juga merupakan suatu bentuk disain. Eksperimenter harus mengidentifikasi variabel dependent, independent, control dan kondisi eksperimental, subject, metode eksperiment serta bentuk data analysis.

3. Tujuan evaluasi Untuk supaya calon evaluator menyadari keguanaan, dan kompleksitas serta metode evaluasi dalam suatu disain sistem Keinginan untuk mengevaluasi adalah mengidentifikas kekurangan dalam disain dan penyediakan kepada tim disain pengertian yang cukup mengenai kekurangan tersebut, sehingga dapat memperbaik disain.

4. EVALUATION AND DESIGN PROCEDURES Suatu metode cocok untuk tim dan project tertentu.Disain yang berbeda mempunyai konse kuensi untuk ketepatan metode evaluasi tertentu pula. Meskipun demikian untuk tingkat yang umum proses disain dapat dibedakan menjadi dua stages. 1. Design-specification-stage 2. Implementation stage

5. EVALUATION AT THE DESIGN-SPECIFICATION STAGE Masih menjadi bahan spekulasi dan penelitian.Menarik karena evaluasi di stage speci-fication memungkinkan mengevaluasi sebelum penulisan program.Belum dihasilkan metode yang baik untuk mengevaluasi disain dari suatu specifikasi.

6. EVALUATION AT THE IMPLEMENTATION STAGE Pendekatan konvensional evaluasi adalah mengevaluasi disain yang memiliki program yang dapat dieksekusi. Dikenal sujumlah pendekatan yang berbeda untuk mengevaluasi disain yang diimplementasikan.Pendekatan tersebut berbeda dalam jumlah informasi dan waktu yang dibutuhkan untuk mengevaluasi.Evaluasi juga berbeda dalam kemam puan diagnostiknya Bentuk evaluasi yang mudah dan paling lemah diagnostiknya adalah ‘expert walk-through’. Dalam pendekatan ini pakar disain interface diminta untuk mengamati sistem yang didisain dan mengiden tifikasi butir yang merupakan masalah untuk user.

7. Tenik lain untuk menilai suatu implementasi adalah menggunakan kuesioner untuk mengidentifikasi karaktersik apa yang dianggap user sukar untuk menggunakannya atau untuk menilai sikap user terhadap disain baru.Teknik lain adalah menggunakan pendekatanobservasional, disainer mengamati tanpa mengkaitkan dengan usaha user menggunakan sistem. Analisis yang lebih rinci atau evaluasi lebih lanjut dibutuhkan untuk mendiagnosa secara benar masalah user yang sebenarnya dengan menggunakan metode eks perimental. .

8. EXPERIMENTAL METHODS Eksperimen sering digunakan dalam HCI untuk mengevaluasi disain yang diimplementasikan. Kekuatan eksperimen adalah me mungkinkan eksperimenter me ngontrol dan memanipulasi variabel tertentu di dalam lingkungan.

9. DEFINISI ISTILAH DALAM EXPERIMENTAL METHODS Dependent variable : Sesuatu yang diukur(waktu untuk menyelesaikan tugas) Independent variable : Karakteristik yang dimanipulasi (style of icon atau order of items on a menu) Experimental control : Variabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is running) Experimental factor : Dimensi yang digunakan untuk memani pulasi variabel (interface style might be one factor and level of expertise of users might be another factor

10. EXPERIMENTAL METHODOLOGY Secara normal, eksperimendirancanguntukmengujibeberaparamalan yang timbuldarisuatuhipotesistegas/eksplisit yang munculkeluardarisuatudasarteori Suatu eksperiment harus memenuhi syarat (3) : 1. Eksperiment harus secara sistematik memanipulasi satu atau lebih variabel independen pada wilayah yang diamati. 2. Manipulasi tersebut harus dilakukan di bawah kondisi terkontrol, misal untuk semua variabel yang dapat mempengaruhi hasil harus dikontrol. 3. Eksperimenter harus mengukur bebe rapa karakteristik yang tidak dimani pulasi (variable dependen) atau diasumsikan berubah, sebagai fungsi dari variabel indepent

11. Eksperimen berkepentingan dengan manupulasi sistematik dari satu atau lebih variabelindependen di bawah kondisi yang terkontrol, dan melibat kan rencana yang teliti mengenai pengukuran efek variabel tersebut terhadap variabel dependen. INDEPENDENT VARIABLES Independen variabel adalah faktor yang secara sistematik diubah oleh eksperimenter. Pada kasus tertentu variabel independen juga disebut sebagai experimental treatment atau manipulation

12. Merupakan dimensi khusus yang diukur sebagai akibat efek dari variabel independen. Perbedaan antara factor dan level adalah apabila dua atau lebih variabel dependen terdiri dari tipe yang berbeda maka dikatakan different factors, sedang level berarti sama tipe variabelnya tetapi dengan nilai yang terkait berbeda

13. Tujuan melakukan experimen adalah untuk memperoleh ilmu pengetahuan atau menguji beberapa penaksiran mengenai factor (variabel) yang diteliti (menarik perhatian). Umumnya percobaan dilakukan untu menguji penaksiran dari beberap hipote-sis yang didasarkan teori tertentu. Dalam penelitian HCI, peneliti sering berusaha memperoleh informasi tentang user atau disain komputer dengan ongkos yang minimal berdasar waktu dan upaya proses pengembangan sistem.

16. KLASIFIKASI DEPENDEN VARIABEL DILALUKAN BERDASAR SKALA MENGUKURAN SKALA PENGUKURAN 1. Skala Nominal (nama /klasifikasi) 2. Skala Ordinal (nilai yg berbeda untuk obyek yg berbeda, how much more tidakdapat ditunjukkan, tetapi hanya menyatakan lebih atau kurang dari) 3. Skala Interval (jarak antara titik tetap, contoh skala suhu) 4. Skala Ratio (mempunyai nilai 0, dan real)

17. EXPERIMENTAL DESIGN Experimental design bertalian dengan rencana umum untuk melaksanakan percobaan. Suatu percobaan adalah suatu sarana untuk mengembangkan hubungan sebab-akibat antara event tertentu dalam suatu lingkungan dan kejadian dari suatu bentuk perilaku khusus. Experimen dilakukan untuk 1. Menyediakan dukungan emperis(berdasar fakta)/ bukti untuk suatu teori 2. Menguji hipotesis yang berdasar suatu teori. 3. Validasi hasil pengalaman dan eksperimen yang lebih dahulu

18. STATISTICAL TREATMENT OF THE DATA : Perbedaanantarkelompok Ujinulhipotesis ArtiTingkatan

19. Conclusion Evaluasi pada HCI didiskusikan secara luas tetapi jarang dikerjakan. Waktu yang dibutuhkan untuk evaluasi sering dianggap terlalu lama. Ide evaluasi dijadikan bagian dari daur disain harus termasuk juga beberapa bentuk iterasi dari disain. Output dari suatu evaluasi harus menyediakan satu set rekomendasi untuk redisain sistem dan beberapa indikator kinerja yang mengusulkan cara desain seharusnya berkinerja dalam penggunaan hariannya. Rekomendasi disain dan redisain dapat memberi masukan pada daur hidup disain/development

20. Banyak solusi untuk masalah disain, dan seharusny menjadi rekomendasi yang muncul dari hasil, bersama-sama dengan beberapa pertimbangan biaya dalam mengimplementasikan atau tidak mengimple mentasikan setiap opsi. Kemampuan untuk menjeneralisasikan hasil dari evaluasi untuk penggunaan harian disain tersebut merupa kan masalah yang sulit. Evaluasi mungkin dilakukan pada kelompok kecil pengguna dan pada pembatas yang disiapkan di dalam laboratorium. Lebih aman kalau menganggap bahwa evaluasi gagal mengidentifikasi semua masalah dengan disain tersebut dibandingkan dengan mengindentifikasi masalah yang sesungguhnya.