1. CHAPTER 7EVALUATION OFINTERACTIVE SYSTEMS Kelompok 4 ArdianWebiKrida (sir201005) Indri Ismayrini (sir201012) RirinRianasari (sir201016) Tangguh Tri S (sir201020)

2. SUMMARY 1. EVALUATION AND DESIGN PROCEDURES 2. EXPERIMENTAL METHODS 3. EXPERIMENTAL METHODOLOGY 4. EXPERIMENTAL DESIGN 5. STATISTICAL TREATMENT OF THE DATA

3. Evaluasi sisteminteraktif dapat terjadi di stages yang beragam pada proses disain dan dapat mengakses aspek disain yang berbeda. Aspek disain tersebut yang menjadi perhatian dari prespectiv manusia adalah usability, learnability, efficiency dan acceptability Keempat aspek disain tersebut didifinisikan dalam istilah umum

4. Masalah yg dihadapi disigner adalah mengetahui aspek disain apa yang mempengaruhi outcom dari ke empat aspek tersebut (usability, learnability, efficiency dan acceptability). Untuk menjawab masalah tersebut membu tuhkan operationlized dari keempat aspek tsb dapat dinilai. Salah satu pemecahan adalah menyediakan metrics (ukuran ?) sebagai bagian dari design specification, yang dapat digunakan untuk menilai hasil dari disain

5. Metode evaluasi beragam dalam kerumitannya dan penggunaanya. Pendekatan yang paling kurang rumit membutuhkan sedikit persiapan dan paling sedikit memakan waktu tetapi juga yan paling sedikit kemampuan diagnostiknya terhadap masalah disain yang timbul. Metode yang lebih rumit membutuhkan lebih banyak waktu dan membuthkan pengetahuan teknik mengenai metode eksperimental, tetapi metode ini lebih diagnostik untuk masalah disain

6. Eksperiment untuk mengevaluasi suatu disain harus secara hati-hati dibangun dan dengan sendirinya juga merupakan suatu bentuk disain. Eksperimenter harus mengidentifikasi variabel dependent, independent, control dan kondisi eksperimental, subject, metode eksperiment serta bentuk data analysis.

7. Tujuan evaluasi Untuk supaya calon evaluator menyadari keguanaan, dan kompleksitas serta metode evaluasi dalam suatu disain sistem Keinginan untuk mengevaluasi adalah mengidentifikas kekurangan dalam disain dan penyediakan kepada tim disain pengertian yang cukup mengenai kekurangan tersebut, sehingga dapat memperbaik disain.

8. Evaluasi harus dipandang sebagai bagian dari proses disain, merupakan bagian yang mendasar, yaitu pada bagian menulisa program (code). The role of the evaluation in the design process is to help develop a system that has been designed rather than one that has been thrown together.

9. EVALUATION AND DESIGN PROCEDURES There is no one design procedure There are many different views about what is the best or right way to design a software system, all of which are more or less equally wrong. Suatu metode cocok untuk tim dan project tertentu. Disain yang berbeda mempunyai konse kuensi untuk ketepatan metode evaluasi tertentu pula.

10. Meskipun demikian untuk tingkat yang umum proses disain dapat dibedakan menjadi dua stages. 1. Design-specification-stage 2. Implementation stage

11. EVALUATION AT THE DESIGN-SPECIFICATION STAGE Masih menjadi bahan spekulasi dan penelitian. Menarik karena evaluasi di stage speci-fication memungkinkan mengevaluasi sebelum penulisan program. Belum dihasilkan metode yang baik untuk mengevaluasi disain dari suatu specifikasi.

12. Teknik pemodelan pada chapter 9 dan 10 dapat digunakan untuk menaksir useability dan learnability suatu disain. Misal Task Action Language (TAL)- untuk mengevaluasi consistency dan learnability Task Action Grammars (TAG)- memungkinkan consistensi command language dievaluasi. Performanc evaluation from specifications are provided by GOMS (Goals Operations Methods Selection rules)

13. GOMS -> CCT (Cognitive Complexity Theory) CCT- uses production rules to predict the learnability and complexity of user interface (Chapter 10) GOMS dan CCT predict performance CCT, TAL and TAG predict performance in its reliance on counting rules

14. While there are a growing number of approaches to evaluation of designs at the specification stage, non of the above-mentioned techniques have been applied with sufficient success to be able to make any recommendations at this stage. Focus -- use --> CCT One common fuature of all approaches to evaluation is thatthey require models of the user, the task and the design. Must be concidered the domainand the organization

15. EVALUATION AT THE IMPLEMENTATION STAGE Pendekatan konvensional evaluasi adalah mengevaluasi disain yang memiliki program yang dapat dieksekusi. Dikenal sujumlah pendekatan yang berbeda untuk mengevaluasi disain yang diimplementasikan. Pendekatan tersebut berbeda dalam jumlah informasi dan waktu yang dibutuhkan untuk mengevaluasi. Evaluasi juga berbeda dalam kemam puan diagnostiknya

16. Bentuk evaluasi yang mudah dan paling lemah diagnostiknya adalah ‘expert walk-through’. Dalam pendekatan ini pakar disain interface diminta untuk mengamati sistem yang didisain dan mengiden tifikasi butir yang merupakan masalah untuk user. Pendekatan demikian sangat tergantung pada penilain pakar. Dapat diperkuat oleh pakar independet yang melakasanakan ‘walk-through’ pada sistem. Pendekatan memungkinkan melakukan secara cepat dan mudah serta memungkinkan perbaikan disain

17. Tenik lain untuk menilai suatu implementasi adalah menggunakan kuesioner untuk mengidentifikasi karaktersik apa yang dianggap user sukar untuk menggunakannya atau untuk menilai sikap user terhadap disain baru. Kritik terhadap kuesioner; bagus untuk mengidentifikasi tingkat penerimaan terhadap sistem baru tetapi tidak baik untuk tingkat penggunaan sistem tersebut.

18. Teknik lain adalah menggunakan pendekatanobservasional, disainer mengamati tanpa mengkaitkan dengan usaha user menggunakan sistem. Analisis yang lebih rinci atau evaluasi lebih lanjut dibutuhkan untuk mendiagnosa secara benar masalah user yang sebenarnya dengan menggunakan metode eks perimental.

19. EXPERIMENTAL METHODS Eksperimen sering digunakan dalam HCI untuk mengevaluasi disain yang diimplementasikan. Kekuatan eksperimen adalah me mungkinkan eksperimenter me ngontrol dan memanipulasi variabel tertentu di dalam lingkungan.

20. DEFINISI ISTILAH DALAM EXPERIMENTAL METHODS Dependent variable Independent variable Experimental control Experimental factor Sesuatu yang diukur (waktu untuk menyelesaikan tugas) Karakteristik yang dimanipulasi (style of icon atau order of items on a menu) Variabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is running Dimensi yang digunakan untuk memani pulasi variabel (interface style might be one factor and level of expertise of users might be another factor

21. DEFINISI ISTILAH DALAM EXPERIMENTAL METHODS Dependent variable Sesuatu yang diukur (waktu untuk menyelesaikan tugas)

22. DEFINISI ISTILAH DALAM EXPERIMENTAL METHODS Karakteristik yang dimanipulasi (style of icon atau order of items on a menu) Independent variable

23. DEFINISI ISTILAH DALAM EXPERIMENTAL METHODS Variabel yang ditetapkan konstan dan diusahakan/tidak berubah selama eksperi ment berlangsung (time of day, machine on which the program is running) Experimental control

24. DEFINISI ISTILAH DALAM EXPERIMENTAL METHODS Dimensi yang digunakan untuk memanipulasi variabel (interface style might be one factor and level of expertise of users might be another factor) Experimental factor

25. Level within a factor Between group design Within group design Mixed-group design Longitudinal study Cross-sectional study Manipulasi khusus dalam sustu dimensi (interface style might have two leves--icon and menus, while leve of expertise have three levels-nivice, partial expert, experet) Kelompok berbeda digunakan dalam setiap kondisi eksperiment (enables asymetric transfer effects to be controlled) Kelompok yang sama digunakan dalam semua kondisi eksperimental (where reapeted measure on different variables or levels are obtained from each) Beberapa kondisi eksperiment diberikan pada subyek yang sama, pada kondisi lain membutuhk kelompok yang berbeda Kelompok yang sama digunakan untuk sepanjang waktu Kelompok berbeda diukur pada fase yang berbeda

26. Manipulasi khusus dalam suatu dimensi (interface style might have two leves--icon and menus, while leve of expertise have three levels-nuvice, partial expert, expert) Level within a factor

27. Between group design Kelompok berbeda digunakan dalam setiap kondisi eksperiment (enables asymetric transfer effects to be controlled)

28. Within group design Kelompok yang sama digunakan dalam semua kondisi eksperimental (where reapeted measure on different variables or levels are obtained from each)

29. Mixed-group design Beberapa kondisi eksperiment diberikan pada subyek yang sama, pada kondisi lain membutuhkan kelompok yang berbeda

30. Kelompok yang sama digunakan untuk sepanjang waktu Longitudinal study

31. Cross-sectional study Kelompok berbeda diukur pada fase yang berbeda

32. EXPERIMENTAL METHODOLOGY What is an experiment ? Normally, experiments are designed to test some predictions arising from an explicit hypothesis that arises out of an underlying theory. Contoh Teori mengenai working memory dihipote-siskan bahwa ada batasan kemampuan mempertahankan infor masi dalam keadaan aktif tanpa menyebabkan informasi tersebut hilang

33. Suatu eksperiment harus memenuhi syarat (3) 1. Eksperiment harus secara sistematik memanipulasi satu atau lebih variabelindependen pada wilayah yangdiamati.

34. 2. Manipulasi tersebut harus dilakukan di bawah kondisi terkontrol, misaluntuk semua variabel yang dapat mempengaruhi hasil harus dikontrol.

35. 3. Eksperimenter harus mengukur beberapa karakteristik yang tidak dimanipulasi (variable dependen) ataudiasumsikan berubah, sebagai fungsi dari variabel indepent

36. Eksperimen berkepentingan dengan manupulasi sistematik dari satu atau lebih variabelindependen di bawah kondisi yang terkontrol, dan melibat kan rencana yang teliti mengenai pengukuran efek variabel tersebut terhadap variabel dependen.

37. Variabelharus memenuhi dua kondisi 1. There must be property or characteristic that can be manipulated. 2. The value of that property or characteristic must be measured. It is normal to specify the waythat the variable can bemeasured.

38. INDEPENDENT VARIABLES Independen variabel adalah faktor yang secara sistematik diubah oleh eksperimenter. Pada kasus tertentu variabel independen juga disebut sebagai experimental treatment atau manipulation

39. CONTOH If an experimenter wishes to determine whether different rates of learning exist for three different type of interface (direct manupalition, form based and command based) then each of these types of interface would be a level of the idependet variable ‘type of interface’. It also sad that in this case there were three levels of independent variable: a level is a particular value that the independent variable can take in the experiment

40. Type of interface ( 3 levels) - direct manipulation - form based - command based Learning rate Help (2 levels) - provided - not provided A two factor or two-treatment experiment (two different independents variables)

41. Perbedaan antara factor dan level adalah apabila dua atau lebih variabel dependen terdiri dari tipe yang berbeda maka dikatakan different factors, sedang level berarti sama tipe variabelnya tetapi dengan nilai yang terkait berbeda.

42. INDEPENDENT VARIABLES Merupakan dimensi khusus yang diukur sebagai akibat efek dari variabel independen. Contoh We might decide to measure the rate at which people learned to use one of the three types of interface described above (direct manupalition, form based, and command based) in term of the number of trials they had on some preset tasks, before the finally managed to prform the tasks three times in succesion without makin errors.

43. SYARAT YG HARUS DIPENUHI OLEH VARIABEL DEPENDENT 1. They must be readily observable 2. They must be stable and reliable so that they do vary under constant experimental conditions They must be sensitive to the effects of the independent variables 4. They must be readily related to some scale of measurement

44. Tujuan melakukan experimen adalah untuk memperoleh ilmu pengetahuan atau menguji beberapa penaksiran mengenai factor (variabel) yang diteliti (menarik perhatian). Umumnya percobaan dilakukan untu menguji penaksiran dari beberap hipote-sis yang didasarkan teori tertentu. Dapat juga percobaan dilakukan karena untuk memperoleh informasi tentang ruang lingkup masalah dan mengiden-tifikasi factor yang perlu dipertimbang-kan dalam pengembangan teori.

45. Dalam penelitian HCI, peneliti sering berusaha memperoleh informasi tentang user atau disain komputer dengan ongkos yang minimal berdasar waktu dan upaya proses pengembangan sistem. Contoh Sebelum mengembangkan suatu interface, disainer mungkin ingin meneliti apakah icon dengan label lebih baik dibanding icon tanpa label, atau hanya label. Percobaan juga memudahkan untuk menguji ide baru

46. Tujuan melakukan experimen dapat juga dianggap sebagai sarana untuk mengidentifikasi hubungan fungsional antara variabel independen dan dependen. Berarti bahwa ada hubungan antar nilai variabel independen dan dependen. Berdasar hubungan tersebut kemu dian dapat disimpulkan hubungan sebab-akibat antara variabel dependen dan idenpenden.

50. Rating preferensi

51. Skor atitute

53. KLASIFIKASI DEPENDEN VARIABEL DILALUKAN BERDASAR SKALA MENGUKURAN SKALA PENGUKURAN 1. Skala Nominal 2. Skala Ordinal 3. Skala Interval dan 4. Skala Ratio

54. SKALA PENGUKURAN 1. Skala Nominal (nama /klasifikasi) 2. Skala Ordinal (nilai yg berbeda untuk obyek yg berbeda, how much more tidakdapat ditunjukkan, tetapi hanya menyatakan lebih atau kurang dari) 3. Skala Interval (jarak antara titik tetap, contoh skala suhu) 4. Skala Ratio (mempunyai nilai 0, dan real)

55. EXPERIMENTAL DESIGN Experimental design bertalian dengan rencana umum untuk melaksanakan percobaan. Suatu percobaan adalah suatu sarana untuk mengembangkan hubungan sebab-akibat antara event tertentu dalam suatu lingkungan dan kejadian dari suatu bentuk perilaku khusus.

56. Experimen dilakukan untuk 1. Menyediakan dukungan emperis (berdasar fakta)/ bukti untuk suatu teori 2. Menguji hipotesis yang berdasar suatu teori. 3. Validasi hasil pengalaman dan eksperimen yang lebih dahulu

57. Suatu ilustrasi Dua atau lebih kelompok diperla-kukan persis sama kecuali terhadap treatment percobaan. Maka perbedaan yang dapat diamati pada kelompok tersebut disebabkan karena perlakuan tersebut.

58. Hypotheses The research hypotheses is a succinct (compressed into few words) statement of the purpose of the experiment. The experiment is set up to manipulate independent variable and observe their effect(s) on the dependent variable(s) which will either confirm or reject the experimental hypotheses

59. CONTOH Users learn quicker with a structured rather than an unstructured interface. Indedependent variable = type of interface dependent variable = the number of errors made the; length of time to complete the task and users’ preference rating for the two interface

60. Differences in experimental designs Perbedaan didasarkan atas 1. Tipe dan jumlah subject yang terlibat di dalam experimen 2. Jumlah independen variabel, dan jumlah level pada variabel tsb. 3. Metode meletakkan treatment pada subject, within, between atau mix.

61. Yang perlu dipertimbangkan dalam pemilihan subject 1. Pengalaman yg dimiliki subject 2. Tingkat ketrampilan subject 3. Jumlah subject yg diperlukan

62. Faktor lain yang dimiliki subject yang harus diperhatikan berhubungan dengan kontrol adalah; umur, pengalaman (komputer dan tugas), kecakapan, seks, handeness, motivasi dan anxiety.

63. Desgning experiment Designing HCI experiment involves at least the following 1. Formulating the hypotheses 2. Developing predictions from the hyp/ 3. Choosing a means to test the predictions 4. Identifying all variables that might affect the results of the experiment 5. Deciding which are the independent variables (and levels of the independent variable), dependent variable and which variables need to be controlled by some means

64. Desgning experiment Designing HCI experiment involves at least the following 6. Designing the experiment task and method. 7. Subject selection. 8. Deciding the experiment design, data collection method and controlling confounding variables 9. Deciding on the appropriate statistical or other analysis. 10.Carrying out a pilot study (I.e prototype the experiment design)

65. Confounding The strength of the experimental method depends on the experimenter’s ability to guarantee that only the manipulated variables are permitted to vary systematically from condition to condition. When a second or other variables is unwittingly permitted to vary along with the itended one, we say the the variable are confounded.

66. Confounding dapat cokontrol dengan cara 1. Diberikan secara sama kesemua treatment 2. Diacak dari subject ke subject

67. STATISTICAL TREATMENT OF THE DATA 1. Differences between means of groups 2. Testing nul hypothese 3. Significance levels

68. Parametric and non parametric statistics The proper use of parametric statistics includes not only measurements but also a variety of assumptios regarding certain characteristics of both the collected data and the population from which the sample has been drawn.

69. Parametric and non parametric statistics Assumption of parametric test Three general assumptions 1. The selection of subjects from the population was random and independent, I.e every subject in the sample has an equal chance of being chosen from the populatin and the selection of one subject in no way influenced the sampling of any other subject.

70. 2. The observations were drawn from noramally distributed populations. The experimental data, when plotted in terms of their frequency of occurrence, shoud have the shape of a normal distribution, that is, the score would be normally distributed within the population.

71. 3. The value of each set of scores or group of scores must be comparable; this is known as homogeneity of varince Parametric test tend to be used for hard dependent variable

72. Parametric and non parametric statistics Assumption of non-parametric test 1. The selection of subjects from the population was random and independent. 2. If the scale of measurement is ordinal or higher then homogeneity of variance must also be assumed. The data are more subjective or soft

73. CONCLUSION Evaluasi pada HCI didiskusikan secara luas tetapi jarang dikerjakan. Waktu yang dibutuhkan untuk evaluasi sering dianggap terlalu lama. Ide evaluasi dijadikan bagian dari daur disain harus termasuk juga beberapa bentuk iterasi dari disain. Output dari suatu evaluasi harus menyediakan satu set rekomendasi untuk redisain sistem dan beberapa indikator kinerja yang mengusulkan cara desain seharusnya berkinerja dalam penggunaan hariannya. Rekomendasi disain dan redisain dapat memberi masukan pada daur hidup disain/development

74. Banyak solusi untuk masalah disain, dan seharusny menjadi rekomendasi yang muncul dari hasil, bersama-sama dengan beberapa pertimbangan biaya dalam mengimplementasikan atau tidak mengimple mentasikan setiap opsi. Kemampuan untuk menjeneralisasikan hasil dari evaluasi untuk penggunaan harian disain tersebut merupa kan masalah yang sulit.

75. Evaluasi mungkin dilakukan pada kelompok kecil pengguna dan pada pembatas yang disiapkan di dalam laboratorium. Lebih aman kalau menganggap bahwa evaluasi gagal mengidentifikasi semua masalah dengan disain tersebut dibandingkan dengan mengindentifikasi masalah yang sesungguhnya.