1. Evaluasi sistem interaktif dapat dilakukan pada berbagai tahapan proses desain untuk menilai aspek seperti usability, learnability, efficiency, dan acceptability. 2. Metode evaluasi meliputi pemodelan, eksperimen, dan evaluasi oleh ahli untuk menilai spesifikasi desain dan implementasi sistem. 3. Eksperimen sistem interaktif dirancang untuk menguji hipotesis dengan mengontrol variabel independen dan mengukur dampaknya terhadap variabel dependen

1. EVALUATION OFINTERACTIVE SYSTEMS Evaluasi sistem interaktif dapat terjadi di stages yang beragam pada proses disain dan dapat mengakses aspek disain yang berbeda.Aspek disain tersebut adalah usability, learnability, efficiency dan acceptability .metrics / ukuran ialah sebagai bagian dari design specification, yang dapat digunakan untuk menilai hasil dari disain.Eksperimenter harus mengidentifikasi variabel dependent, independent, control dan kondisi eksperimental, subject, metode eksperiment serta bentuk data analysis.Tujuan evaluasi ialah : Supaya calon evaluator menyadari keguanaan, dan kompleksitas serta metode evaluasi dalam suatu disain sistem.♯ EVALUATION ANDDESIGN PROCEDURES Untuk tingkat yang umum proses disain dapat dibedakan menjadi dua stages yaitu :1. Design-specification-stage 2. Implementation stage

2. ♯ EVALUATION AT THE DESIGN-SPECIFICATION STAGE Teknik pemodelan dapat digunakan untuk menaksir usuability dan learnability suatu disain ,misalnya :Task Action Language (TAL)- untuk mengevaluasi consistency dan learnabilityTask Action Grammars (TAG)- memungkinkan consistensi command language dievaluasi.Performanc evaluation from specifications are provided by GOMS (Goals Operations Methods Selection rules) CCT (Cognitive Complexity Theory) ,uses production rules to predict the learnability and complexity of user interface. ♯ EVALUATION AT THE IMPLEMENTATION STAGE Pendekatan konvensional evaluasi adalah mengevaluasi disain yang memiliki program yang dapat dieksekusi. Evaluasi juga berbeda dalam kemampuan diagnostiknya, Bentuk evaluasi yang mudah dan paling lemah diagnostiknya adalah ‘expert walk-through’.Analisis yang lebih rinci atau evaluasi lebih lanjut dibutuhkan untuk mendiagnosa secara benar masalah user yang sebenarnya dengan menggunakan metode eksperimental.

3. ♯ EXPERIMENTAL METHODS Eksperimen sering digunakan dalam HCI untuk mengevaluasi disain yang diimplementasikan. ♯ EXPERIMENTAL METHODOLOGYWhat is an experiment ?Normally, experiments are designed to test some predictions arising from an explicit hypothesis that arises out of an underlying theory. Suatu eksperiment harus memenuhi 3 syarat yaitu :1. Eksperiment harus secara sistematik memanipulasi satu atau lebih variabel independen pada wilayah yang diamati.2. Manipulasi tersebut harus dilakukan di bawah kondisi terkontrol, misal untuk semua variabel yang dapat mempengaruhi hasil harus dikontrol.3. Eksperimenter harus mengukur beberapa karakteristik yang tidak dimanipulasi (variable dependen) atau diasumsikan berubah, sebagai fungsi dari variabel indepentEksperimen berkepentingan dengan manupulasi sistematik dari satu atau lebih variabel independen di bawah kondisi yang terkontrol, dan melibat kan rencana yang teliti mengenai pengukuran efek variabel tersebut terhadap variabel dependen.

4. Variabel harus memenuhi dua kondisi yaitu :1. There must be property or characteristic that can be manipulated.2. The value of that property or characteristic must be measured. It is normal to specify the way that the variable can be measaured. ● INDEPENDENT VARIABLES Independen variabel adalah faktor yang secara sistematik diubah oleh eksperimenter.Perbedaan antara factor dan level adalah apabila dua atau lebih variabel dependen terdiri dari tipe yang berbeda maka dikatakan different factors, sedang level berarti sama tipe variabelnya tetapi dengan nilai yang terkait berbeda. INDEPENDENT VARIABLES Merupakan dimensi khusus yang diukur sebagai akibat efek dari variabel independen.

5. SYARAT YG HARUS DIPENUHI OLEH VARIABEL DEPENDENT1. They must be readily observable2. They must be stable and reliable so that they do vary under constant experimental conditions3. They must be sensitive to the effects of the independent variables4. They must be readily related to some scale of Measurement Tujuan melakukan experimen adalah untuk memperoleh ilmu pengetahuan atau menguji beberapa penaksiran mengenai factor (variabel) yang diteliti (menarik perhatian).Tujuan melakukan experimen dapat juga dianggap sebagai sarana untuk mengi dentifikasi hubungan fungsional antara variabel independen dan dependen.Berarti bahwa ada hubungan antar nilai variabel independen dan dependen.Berdasar hubungan tersebut kemu dian dapat disimpulkan hubungan sebab-akibat antara variabel depen den dan idenpenden.

6. KLASIFIKASI DEPENDEN VARIABELDILAKUKAN BERDASAR SKALA MENGUKURAN SKALA PENGUKURAN 1. Skala Nominal (nama /kalsifikasi) 2. Skala Ordinal (nilai yg berbeda untuk obyek yg berbeda, how much more tidak dapat ditunjukkan, tetapi hanya menyatakan lebih atau kurang dari)3. Skala Interval (jarak antara titik tetap, contoh skala suhu) 4. Skala Ratio (mempunyai nilai 0, dan real) ♯ EXPERIMENTAL DESIGN Experimental design bertalian dengan rencana umum untuk melaksanakan percobaan. Experimen dilakukan untuk :1. Menyediakan dukungan emperis (berdasar fakta)/ bukti untuk suatu teori2. Menguji hipotesis yang berdasar suatu teori.3. Validasi hasil pengalaman dan eksperimen yang lebih dahulu

7. DesignsPerbedaan didasarkan atas1. Tipe dan jumlah subject yang terlibat di dalam experimen2. Jumlah independen variabel, dan jumlah level pada variabel tsb.3. Metode meletakkan treatment pada subject, within, between atau mix. Pemilihan subject A subject is person who participates in the experiment.It is not advisable for the designers themselves to act as subjects for a number of reasons.1. Apabilaa dibutuhkan jeneralisasi hasil penelitian untuk suatu populasi maka subject penelitian harus contoh acak dari populasi tersebut.2. Apabila dibutuhkan jeneralisasi hasil penelitian untuk suatu populasi maka subject penelitian harus contoh acak dari populasi tersebut.3. Ada perbedaan antara user (awam dan pakar), populasi yang akan diambil contoh acaknya berbeda dengan sistem yang akan dikembangkan

8. ● Yang perlu dipertimbangkan dalam pemilihan subject ialah :1. Pengalaman yg dimiliki subject2. Tingkat ketrampilan subject3. Jumlah subject yg diperlukan ● Faktor lain yang dimiliki subject yang harus diperhatikan berhubungan dengan kontrol adalah :umur, pengalaman (komputer dan tugas), kecakapan, seks, handeness, motivasi dan anxiety. ♯ Desgning experiment Designing HCI experiment involves at least the following1. Formulating the hypotheses 2. Developing predictions from the hyp/3. Choosing a means to test the predictions 4. Identifying all variables that might affect the results of the experiment 5. Deciding which are the independent variables (and levels of the independent variable), dependent variable and which variables need to be controlled by some means 6. Designing the experiment task and method.7. Subject selection. 8. Deciding the experiment design, data collection method and controlling confounding variables 9. Deciding on the appropriate statistical or other analysis.10.Carrying out a pilot study (I.e prototype the experiment design)

9. Confounding The strength of the experimental method depends on the experimenter’s ability to guarantee that only the manipulated variables are permitted to vary systematically from condition to condition. Confounding dapat cokontrol dengan cara :1. Diberikan secara sama kesemua treatment2. Diacak dari subject ke subject ♯ Assigning subject to differenttreatment contions Within group design : Concequently varaince subjek yang kurang dan desain yang lebih kuatBiasanya memerlukan pengamatan yang lebih sedikit dibandingkan total antara desain kelompok untuk mencapai tingkat yang sama sensitivitas atau kekuatan statistik.Masalah utama adalah over membawa efek. Mix factorial design : Jenis populer dari desain, carry-over efek yang tidak begitu besar dan di mana kinerja subyek 'dapat diukur selama percobaan nomor di salah satu variabel yang independen. Invlove satu atau lebih variabel independen yang diperlakukan sebagai dalam kelompok dan juga yang lain, atau variabel lebih mandiri diperlakukan sebagai antar kelompok.

10. ♯ STATISTICAL TREATMENT OFTHE DATA : 1. Differences between means of groups 2. Testing nul hypothese3. Significance levels Assumption of parametric test, Three general assumptions :1. The selection of subjects from the population was random and independent, I.e every subject in the sample has an equal chance of being chosen from the populatin and the selection of one subject in no way influenced the sampling of any other subject. 2. The observations were drawn from noramally distributed populations. The experimental data, when plotted in terms of their frequency of occurrence, shoud have the shape of a normal distribution , that is, the score would be normally distributed within the population.3. The value of each set of scores or group of scores must be comparable; this is known as homogeneity of varinceParametric test tend to be used for hard dependent variable● Parametric and non parametric statistics Assumption of non-parametric test1. The selection of subjects from the population was random and independent.2. If the scale of measurement is ordinal or higher then homogeneity of variance must also be assumed.The data are more subjective or soft