Berikut ringkuman dokumen analisis usabilitas pada operating system Windows 10 dalam 3 kalimat:
Dokumen tersebut menganalisis tingkat usabilitas Windows 10 dengan melakukan usability testing terhadap 12 task dasar menggunakan Windows 10 kepada pengguna pemula dan ahli. Hasilnya menunjukkan penurunan rata-rata waktu penyelesaian task, tingkat kesalahan hanya pada 2 dari 12 task, dan tingkat kepuasan pengguna di atas 77% sehingga dap
1. ANALISIS USABILITAS PADA OPERATING SYSTEM WINDOWS 10
Hanif Arkan Nurdiansyah, Aulia Bayu Murti, Adolfina Paulin Moningka, dan Sekar Nurul Hidayah
Program Studi Teknik Industri, Departemen Teknik Mesin dan Industri, Fakultas Teknik Universitas Gadjah Mada
Abstrak
Perkembangan operating system pada Personal Computer semakin pesat. Terdapat banyak
perusahaan yang menciptakan operating system, seperti Microsoft dengan operating system
Windows, Apple dengan operating system OS X, serta Linux dengan berbagai operating system
yang bisa dimodifikasi. Salah satu operating system yang sering mengalami perubahan adalah
operating system Windows buatan Microsoft. Dalam 15 tahun terakhir, Microsoft telah merilis 8
operating system Windows yang berbeda-beda, dimulai dari Windows 2000, Windows ME,
Windows XP, Windows Vista, Windows 7, Windows 8, Windows 8.1, dan Windows 10. Adapun
saat ini operating system Windows yang terbaru adalah Windows 10, di mana terdapat banyak
perbedaan dibandingkan dengan operating system yang paling banyak dipakai saat ini, Windows
7 (53,8%). Mengingat terdapat banyak permasalahan pada operating system sebelumnya, maka
perlu adanya usability testing untuk mengetahui apakah terdapat permasalahan usabilitas pada
Windows 10.
Adapun metode yang digunakan adalah pengukuran waktu baku untuk mengetahui efisiensi
Windows 10, kuesioner untuk mengetahui tingkat kepuasan test user, serta menghitung error rate
pada setiap task dengan membandingkan video rekaman aktivitas test user dengan aturan baku
penyelesaian task oleh Windows 10.
Dengan hasil learnability aspect yang menunjukkan penurunan rata-rata waktu penyelesaian task
di setiap trial, error rate yang paling sering muncul hanya pada 2 dari 12 task yang ada, efisiensi
sebesar 83,33%, serta rata-rata nilai kepuasan terhadap Windows 10 sebesar 3,875 (77,5%) oleh
novice test user serta 4,303 (86,07%) oleh expert test user, maka diperoleh kesimpulan bahwa
tingkat usabilitas operating system Windows 10 telah baik.
Kata Kunci: usabilitas, usability testing, Windows 10
1. PENDAHULUAN
Peningkatan teknologi mendorong produsen operating
system untuk membuat suatu operating system yang
mutakhir dengan berbagai fitur yang dianggap dapat
memenuhi kebutuhan customer yang sangat beragam.
Selain fitur-fitur yang canggih, biasanya operating
system yang baru memiliki user interface yang baru
pula, atau setidaknya banyak perubahan yang
signifikan.
Menurut Hoffman (2015), beberapa perbedaan antara
Windows 10 dengan Windows 7 adalah sebagai
berikut:
a. Microsoft Account Integration, di mana di
Windows 10 terdapat fitur log-in menggunakan
akun Microsoft sehingga segala pengaturan dapat
disimpan dan dipakai di perangkat lain apabila
log-in dengan akun tersebut
b. New Start Menu, di mana di Windows 10 terdapat
tiles yang menampilkan berbagai live information
apabila terhubung dengan internet
c. Cortana, merupakan fitur yang mirip dengan fitur
Siri milik Apple, di mana user dapat
“berinteraksi” dengan computer melalui voice
recognition
2. d. Windows Store, fitur ini belum ada sebelumnya di
operating system Windows manapun. Fitur ini
memungkinkan user untuk mengunduh berbagai
aplikasi yang disediakan oleh developer, baik
secara gratis maupun berbayar
Dengan persentase pengguna saat ini mencapai 3,55%
dan akan terus bertumbuh (Softpedia, 2015), serta
melihat usaha Microsoft untuk menjadikan operating
system Windows 10 sebagai operating system
Windows tunggal yang digunakan oleh user untuk
beberapa tahun ke depan, maka sangat penting untuk
mengetahui usabilitas dari Windows 10. Diharapkan
dengan mengetahui usabilitas Windows 10, developer
dapat melakukan perbaikan melalui layanan update
yang tersedia secara berkala.
2. METODE
Karakteristik test user
Dalam penelitian ini, kami melakukan usability testing
dengan 2 jenis test user, yaitu novice test user atau
user yang belum pernah menggunakan operating
system Windows 10, serta expert test user atau user
yang telah terbiasa menggunakan operating system
Windows 10. Penelitian ini meniadakan perbedaan
gender dari user yang diuji. Seluruh responden
merupakan mahasiswa Universitas Gadjah Mada
angkatan 2012 yang berusia 21 tahun.
Perumusan dan pemilihan task
Kami melakukan perumusan task dalam usability
testing Windows 10 berdasarkan tingkat kesulitan
setiap task serta kegiatan-kegiatan dasar yang biasa
dilakukan oleh user Windows 10 berdasarkan hasil
survey yang kami lakukan:
1. Menggunakan Store untuk mencari dan
mengunduh aplikasi (42,1%)
2. Menggunakan fitur Cortana (34,3%)
3. Mencari aplikasi yang telah terinstall (10,5%)
4. Membuat new desktop (10,1%)
5. Mengaktifkan/mematikan airplane mode (3%)
Kemudian, dari task-task tersebut kami juga
menambahkan task-task dasar yang biasa dipakai oleh
user pada berbagai versi operating system Windows.
Adapun task-task dasar tersebut adalah sebagai
berikut:
1. Membuka Start Menu
2. Mengganti wallpaper desktop
3. Mematikan laptop
4. Membuka Settings
Kemudian, kami mengkombinasikan kedua jenis task
di atas menjadi task yang akan diujikan kepada test
user. Berikut ini adalah daftar task terpilih untuk
diujikan:
1. Membuka Start Menu, caranya adalah dengan
menekan icon Windows yang ada di bagian pojok
kiri bawah monitor
2. Membuka Settings, caranya adalah dengan:
a. menekan icon Windows yang ada di bagian
pojok kiri bawah monitor,
b. lalu pilih menu Settings yang memiliki icon
gear
3. Membuka Store, caranya adalah dengan:
a. menekan icon Windows yang ada di bagian
pojok kiri bawah monitor,
b. lalu pilih tile Store
4. Mencari aplikasi Netflix di Store, caranya adalah
dengan:
a. menekan icon Windows yang ada di bagian
pojok kiri bawah monitor,
b. lalu pilih tile Store, tunggu jendela Store
terbuka,
3. c. lalu ketikkan “Netflix” pada kolom Search
yang ada di bagian kanan atas, lalu tekan
tombol Enter
5. Mengunduh aplikasi Netflix di Store, caranya
adalah dengan:
a. menekan icon Windows yang ada di bagian
pojok kiri bawah monitor
b. lalu pilih tile Store, tunggu jendela Store
terbuka,
c. ketikkan “Netflix” pada kolom Search yang
ada di bagian kanan atas, lalu tekan tombol
Enter,
d. tunggu hingga tampilan Netflix terbuka, lalu
klik Download
6. Uninstall aplikasi Netflix, caranya adalah dengan
menekan icon Windows yang ada di bagian pojok
kiri bawah monitor, lalu klik kanan pada tulisan
Netflix yang terletak di bagian New Apps, dan
pilih Uninstall
7. Membuat new desktop, caranya adalah dengan:
a. menekan icon persegi bertuliskan Task View
(apabila kursor mouse didekatkan pada icon
tersebut) yang ada di dekat icon Windows
yang ada di bagian pojok kiri bawah monitor,
b. lalu pada window yang ditampilkan, pilih
opsi New Desktop yang terletak pada bagian
kanan bawah window
8. Mengaktifkan/mematikan airplane mode,
caranya adalah dengan:
a. menekan icon callout yang ada di sebelah kiri
jam dan tanggal yang terletak di pojok kanan
bawah monitor
b. lalu tekan icon pesawat dan memiliki tulisan
Airplane Mode hingga berubah warna (untuk
mengaktifkan), dan tekan kembali untuk
menonaktifkan airplane mode
9. Mengganti wallpaper desktop, caranya adalah
dengan:
a. menekan tombol mouse bagian kanan di titik
manapun pada desktop, lalu pilih opsi
Personalize,
b. kemudian ubah wallpaper dengan memilih
salah satu gambar pada kolom Choose Your
Picture atau tekan tombol Browse untuk
memilih gambar lain
10. Menggunakan fitur Cortana dengan mengetikkan
perintah what time is it in London, caranya adalah
dengan:
a. menekan icon lingkaran (akan muncul tulisan
Ask Me Anything saat kursor mouse
didekatkan) yang ada di dekat tombol
Windows di bagian pojok kiri bawah monitor
b. lalu ketikkan “what time is it in London” di
bagian kolom Search yang disediakan
11. Mencari aplikasi Mozilla Firefox, adalah dengan
cara:
a. menekan icon lingkaran (akan muncul tulisan
Ask Me Anything saat kursor mouse
didekatkan) yang ada di dekat tombol
Windows di bagian pojok kiri bawah
monitor,
b. lalu ketikkan Mozilla Firefox di kolom
Search
12. Shut down laptop, adalah dengan menekan icon
Windows yang ada di bagian pojok kiri bawah
monitor, lalu klik opsi Power dan pilih opsi Shut
Down.
Pembuatan kuesioner tingkat kepuasan test user
Untuk mengukur tingkat kepuasan test user, baik test
user yang belum pernah menggunakan Windows 10
maupun test user yang telah terbiasa menggunakan
4. Windows 10, kami menggunakan kuesioner
dikarenakan menurut Nielsen (1993), kuesioner
merupakan metode yang berguna untuk mempelajari
bagaimana test user menggunakan suatu sistem serta
untuk mengetahui tingkat kepuasan user terhadap
fitur-fitur yang ada. Sehingga dapat disimpulkan
bahwa kuesioner merupakan salah satu metode yang
tepat untuk mengetahui tingkat kepuasan test user
Windows 10.
Kuesioner tingkat kepuasan test user Windows 10
dibuat dalam bentuk close questions dengan skala
Likert, di mana test user hanya dapat menjawab
pernyataan yang ada dengan memilih skor 1 sampai 5.
Losby dan Wetmore (2012) menyatakan bahwa skala
Likert dengan skala ganjil berguna untuk memberikan
alternatif kepada responden untuk dapat menuliskan
jawabannya apabila ia merasa tidak sesuai dengan
persetujuan atau penolakan terhadap pernyataan yang
disediakan, sehingga diharapkan hasilnya lebih
obyektif.
Pernyataan dalam kuesioner yang kami gunakan
didasari atas kuesioner USE (Usefulness, Satisfaction,
and Ease of Use) yang dibuat oleh Lund (2001).
Berikut ini adalah daftar pernyataan dalam kuesioner
kami:
1. Saya merasa puas dengan produk Windows 10
2. Saya akan merekomendasikan Windows 10
kepada teman
3. Windows 10 menyenangkan untuk digunakan
4. Windows 10 bekerja sesuai yang saya harapkan
5. Tampilan Windows 10 menarik
6. Saya merasa saya membutuhkan Windows 10
7. Windows 10 nyaman untuk digunakan
Kuesioner tersebut akan diisi oleh test user setelah
mereka melakukan usability testing terhadap
Windows 10.
Mengukur jumlah error
Jumlah error kami hitung berdasarkan jumlah
penyimpangan user terhadap prosedur standar yang
telah ditetapkan oleh Windows 10 untuk
menyelesaikan suatu task. Prosedur tersebut telah
disebutkan sebelumnya. Seluruh error yang dilakukan
oleh seluruh test user di satu task kemudian
dijumlahkan untuk mengetahui seberapa banyak error
yang terjadi pada task tersebut, dan kemudian dapat
ditarik kesimpulan bahwa pada bagian task tersebut
masih memiliki kekurangan yang memungkinkan test
user melakukan kesalahan untuk mengeksekusinya.
Mengukur learnability
Learnability dalam usability testing Windows 10
diukur dengan melihat perbandingan rata-rata waktu
penyelesaian setiap task antar trial. Pada penelitian ini,
asumsi yang digunakan adalah kondisi standar rata-
rata waktu penyelesaian setiap task terjadi setelah trial
ketiga.
Mengukur efisiensi
Untuk mengukur efisiensi dari Windows 10, cara yang
digunakan adalah dengan membandingkan lama
waktu menyelesaikan task yang diberikan dengan
waktu standar yang telah ditentukan oleh tim peneliti.
Kami yang terdiri dari 2 novice user serta 2 expert user
melakukan trial sebanyak tiga kali sebagai pilot test
untuk menentukan waktu standar penyelesaian setiap
task. Waktu standar tersebut kemudian digunakan
sebagai pembanding dari rata-rata waktu standar
setiap task untuk setiap trial. Apabila rata-rata waktu
setiap task di masing-masing trial kurang dari atau
sama dengan waktu standar yang telah ditetapkan,
5. maka dapat disimpulkan bahwa task tersebut telah
efisien untuk memenuhi need test user. Sedangkan
menurut Arikunto (2009), interpretasi persentase
perhitungan adalah sebagai berikut:
Skor Kualifikasi
85-100% Sangat Baik (SB)
65-84% Baik (B)
55-64% Cukup (C)
0-64% Kurang (K)
Tabel 1. Interpretasi persentase perhitungan
3. HASIL
Hasil pengukuran penyelesaian task oleh novice test
user
a. Trial ke-1
Tabel 2. Hasil pengukuran waktu novice test user
trial ke-1
Pada tabel tersebut terlihat bahwa terdapat 2 task yang
tidak dapat diselesaikan oleh test user pertama
dikarenakan merasa frustasi tidak dapat
menyelesaikannya.
b. Trial ke-2
Tabel 3. Hasil pengukuran waktu novice test user
trial ke-2
Pada trial ke-2 untuk novice test user terlihat bahwa
terdapat penurunan waktu penyelesaian setiap task
oleh setiap test user.
c. Trial ke-3
Tabel 4. Hasil pengukuran waktu novice test user
trial ke-3
Hasil pengukuran penyelesaian task oleh expert test
user
a. Trial ke-1
No. Task 1 2 3 4 5 6 7 8
1 Membuka Start Menu 2 1.95 2.3 2.18 3.1 2.55 2.67 1.91
2 Membuka Settings 2.85 8 4.45 4.77 3.86 4.51 5.1 4.8
3 Membuka Store 10.83 8.54 9 9.32 11.19 12.94 12.36
4 Mencari Aplikasi Netflix 12 8.13 13.14 11.65 9.59 10.71 13.38 16
5 Mengunduh Aplikasi Netflix 12 12.28 15 13.1 12.82 12.32 14.6 13.69
6 Uninstall Aplikasi Netflix 3.14 7.75 6.87 3.91 5.55 4.81 7.4 6.61
7 Membuat new desktop 56 49 61 48.57 52.8 55.6 58.2
8
Mengaktifkan/mematikan
airplane mode
26 16.64 31.61 27.34 18.82 29.1 24.4 18.2
9 Mengganti wallpaper 20.1 8.03 10.19 9.43 10.2 11.41 10.37 12.52
10
Memakai fitur Cortana
dengan mengetikkan
perintah What time is it in
19.47 26.75 18.33 21.53 25.4 39.8 22.57 38.31
11 Mencari Aplikasi Mozilla 4.78 4.71 4.25 6.26 7 6.58 6.16 5.76
12 Shut down laptop 7.97 11.36 8.85 8.13 5.81 5.46 5.65 4.72
Test No. 1, Responden Ke-NOVICE USER
No. Task 1 2 3 4 5 6 7 8
1 Membuka Start Menu 1.93 1.8 2.2 2 2.5 2.11 2.32 1.82
2 Membuka Settings 2.65 7.1 4.14 4.4 3.62 4.13 4.71 4.2
3 Membuka Store 8.93 18.39 8.19 8.58 8.6 9.34 10.69 10.12
4 Mencari Aplikasi Netflix 10.1 7.86 11.41 10.5 9.21 9.72 11.41 14.36
5 Mengunduh Aplikasi Netflix 11.53 11.13 12 11.3 9.54 11.07 12.48 12.12
6 Uninstall Aplikasi Netflix 1.81 5.61 5.32 3.3 4.62 3.91 5.8 5.1
7 Membuat new desktop 10.2 13.2 8.2 12.5 11.2 10.4 10.6 9.9
8
Mengaktifkan/mematikan
airplane mode
7.3 5.6 6.7 5.6 8.5 9.1 7.6 6.5
9
Mengganti wallpaper
desktop
15 7.33 9.46 8.5 9.13 10.2 8.78 12.52
10
Memakai fitur Cortana
dengan mengetikkan
perintah What time is it in
London
14.2 13.1 15.2 13.54 12.9 15.5 13.2 13.8
11
Mencari Aplikasi Mozilla
Firefox
4.38 4.14 4 5.53 5.8 5.34 5.6 5.76
12 Shut down laptop 6.4 7.6 6.15 6.57 5.31 4.26 4.17 3.89
NOVICE USER Test No. 2, Responden Ke-
No. Task 1 2 3 4 5 6 7 8
1 Membuka Start Menu 1.9 1.75 2.13 1.9 2.34 1.97 2.15 1.8
2 Membuka Settings 2.44 5.4 4 4.12 3.54 3.91 4.44 4.2
3 Membuka Store 8.73 12 7.76 8.31 8 8.44 8.81 8.7
4 Mencari Aplikasi Netflix 8.8 7.6 9.41 8.22 8.37 8.86 9 13.3
5 Mengunduh Aplikasi Netflix 10.3 10.81 10.5 10.66 9.41 10.32 11.1 10.35
6 Uninstall Aplikasi Netflix 1.8 3.4 3.67 3.41 4.12 3.8 4.4 4
7 Membuat new desktop 8 9.9 5 9.5 9 8.5 9 7.9
8
Mengaktifkan/mematikan
airplane mode
7 5.4 6 5.1 8.5 8.1 6.9 6.4
9
Mengganti wallpaper
desktop
12.1 7.3 9.12 8.5 9 10.3 8.66 11.4
10
Memakai fitur Cortana
dengan mengetikkan
perintah What time is it in
London
9.1 9.54 8 7.1 10.1 13.12 9.12 8.24
11
Mencari Aplikasi Mozilla
Firefox
4.2 4 4 4.35 4.5 4.13 5.12 4.74
12 Shut down laptop 5.54 5.8 5.67 5.51 5.23 4 4.2 3.7
NOVICE USER Test No. 3, Responden Ke-
6. Tabel 5. Hasil pengukuran waktu expert test user
trial ke-1
b. Trial ke-2
Tabel 6. Hasil pengukuran waktu expert test user
trial ke-2
c. Trial ke-3
Tabel 7. Hasil pengukuran waktu expert test user
trial ke-3
Grafik learnability tiap task
a. Grafik learnability task 1
Gambar 1. Grafik learnability task 1
b. Grafik learnability task 2
Gambar 2. Grafik learnability task 2
c. Grafik learnability task 3
Gambar 3. Grafik learnability task 3
d. Grafik learnability task 4
No. Task 1 2 3 4 5 6 7 8
1 Membuka Start Menu 1.39 1.95 1.02 1 0.91 0.93 1.2 0.94
2 Membuka Settings 2.92 4.14 3.87 2.32 2.54 2.12 2.44 2.1
3 Membuka Store 5.23 3.65 5.88 3.21 3.14 3.43 3.12 3.6
4 Mencari Aplikasi Netflix 5.29 7.19 4.15 4.42 4 4.54 4.21 3.53
5 Mengunduh Aplikasi Netflix 1 2.1 1.48 1.5 2.31 2 1.2 1.9
6 Uninstall Aplikasi Netflix 13.32 13.65 6.2 13.1 13.31 8.6 7.6 6.45
7 Membuat new desktop 7.17 3.98 5.3 4.61 3.12 4.41 5 3.21
8
Mengaktifkan/mematikan
airplane mode 8 6.27 4.5 6.4 3.32
3.93
4.69 5
9 Mengganti wallpaper desktop 10 10.07 6.29 7.21 7.75 5.91 6.24 6.3
10
Memakai fitur Cortana dengan
mengetikkan perintah What
time is it in London 17.8 13.93 10.89 9.2 9.41
9.34
9 8.5
11 Mencari Aplikasi Mozilla Firefox
1.86 6.15 4.61 4.21 3.32
4.45
5.61 4.14
12 Shut down laptop 2 1.64 1.67 1.5 1.21 1.43 1.32 1.36
EXPERT USER Test No. 1, Responden Ke-
No. Task 1 2 3 4 5 6 7 8
1 Membuka Start Menu 1.2 1.5 1 1 0.82 0.85 1 0.9
2 Membuka Settings 2.3 3.24 2.71 2.11 2.24 2.01 2.14 2
3 Membuka Store 5 3.54 5.51 3 3 3.2 2.9 3.41
4 Mencari Aplikasi Netflix 5 6.1 4 4.12 3.91 4.2 3.82 3.15
5 Mengunduh Aplikasi Netflix 1 1.2 1.11 1.24 1.53 1.32 1.15 0.91
6 Uninstall Aplikasi Netflix 10.23 10.56 5 11.21 10.13 8 7.32 6
7 Membuat new desktop 7 3.2 5 4.12 2.87 4.21 3.77 3.1
8
Mengaktifkan/mematikan
airplane mode 7.1 6 4 5.12 2.82
3.54
4.12 4.33
9 Mengganti wallpaper desktop 9.1 9.22 6 6.54 6.63 5.15 5.71 5.74
10
Memakai fitur Cortana dengan
mengetikkan perintah What
time is it in London 14.31 11.52 9.67 9 9.1
8.57
8.45 8.32
11 Mencari Aplikasi Mozilla Firefox
1.8 5.12 4.36 4.34 3
3.74
4.48 3.98
12 Shut down laptop 1.87 1.34 1.55 1.32 1.09 1.31 1.29 1.24
EXPERT USER Test No. 2, Responden Ke-
No. Task 1 2 3 4 5 6 7 8
1 Membuka Start Menu 1 1.13 1 1 0.8 0.81 0.92 0.93
2 Membuka Settings 2.2 2.54 2.44 2 2.12 2 1.96 1.93
3 Membuka Store 4.44 3.3 4.6 2.8 2.75 3 2.77 2.65
4 Mencari Aplikasi Netflix 4.58 5.43 4.1 4.03 3.87 4.09 3.73 3.04
5 Mengunduh Aplikasi Netflix 1 1 1.2 1.05 1.3 1.12 1.08 0.98
6 Uninstall Aplikasi Netflix 7.31 6.69 4.91 10 9.7 7.91 7.11 6
7 Membuat new desktop 6.53 3.17 4.81 4 2.77 4.03 3.6 2.69
8
Mengaktifkan/mematikan
airplane mode 6.1 5.41 4.33 4.12 2
3.12
4 3.17
9 Mengganti wallpaper desktop 8.21 8.88 6 6.32 6.41 5.1 5.43 5.13
10
Memakai fitur Cortana dengan
mengetikkan perintah What
time is it in London 13.32 11 9.32 9 8.93
8.12
8 8.26
11 Mencari Aplikasi Mozilla Firefox
1.75 5 4.2 4.16 2.67
3.31
4.38 3.29
12 Shut down laptop 1.77 1.3 1.51 1.3 1 1.23 1.24 1.18
EXPERT USER Test No. 3, Responden Ke-
1.8
2
2.2
2.4
1 2 3
Membuka Start Menu
3.5
4
4.5
5
1 2 3
Membuka Settings
7
8
9
10
11
1 2 3
Membuka Store
0
5
10
15
1 2 3
Mencari Aplikasi Netflix
7. Gambar 4. Grafik learnability task 4
e. Grafik learnability task 5
Gambar 5. Grafik learnability task 5
f. Grafik learnability task 6
Gambar 6. Grafik learnability task 6
g. Grafik learnability task 7
Gambar 7. Grafik learnability task 7
h. Grafik learnability task 8
Gambar 8. Grafik learnability task 8
i. Grafik learnability task 9
Gambar 9. Grafik learnability task 9
j. Grafik learnability task 10
Gambar 10. Grafik learnability task 10
k. Grafik learnability task 11
0
5
10
15
1 2 3
Mengunduh Aplikasi Netflix
0
2
4
6
8
1 2 3
Uninstall Aplikasi Netflix
0
20
40
60
1 2 3
Membuat new desktop
0
10
20
30
1 2 3
Mengaktifkan/mematikan
airplane mode
0
5
10
15
1 2 3
Mengganti wallpaper
desktop
0
20
40
1 2 3
Memakai fitur Cortana
dengan mengetikkan
perintah What time is it in…
8. Gambar 11. Grafik learnability task 11
l. Grafik learnability task 12
Gambar 12. Grafik learnability task 12
m. Grafik learnability seluruh task
Gambar 13. Grafik learnability seluruh task
Grafik error rate
Gambar 14. Grafik error rate
Grafik Efisiensi seluruh task
Gambar 15. Grafik efisiensi seluruh task
Hasil kuesioner tingkat kepuasan novice test user
Tabel 8. Rekap hasil kuesioner tingkat kepuasan
novice test user
0
2
4
6
1 2 3
Mencari Aplikasi Mozilla
Firefox
0
2
4
6
8
1 2 3
Shut down laptop
0
10
20
30
40
50
60
LEARNABILITY
Trial 1 Trial 2 Trial 3
0
2
4
6
8
10
12
14
ERRORS
0
2
4
6
8
10
12 Efisiensi
baku Trial 1 Trial2 Trial 3
Resp
onde
n
Saya
merasa
puas
dengan
produk
Windows
10
Saya akan
merekomen
dasikan
Windows 10
ke teman
Windows
10
menyenan
gkan untuk
digunakan
Windows
10 bekerja
sesuai
yang saya
harapkan
Tampila
n
Window
s 10
menarik
Saya
merasa
saya
membutuh
kan
Windows
10
Window
s 10
nyaman
untuk
digunaka
n
1 4 4 4 3 5 3 4
2 4 3 3 3 5 3 3
3 5 4 4 4 5 4 4
4 3 3 3 3 4 3 3
5 5 5 4 4 5 4 5
6 5 4 4 5 5 4 4
7 4 3 4 4 4 3 3
8 3 3 4 4 4 4 4
Average 4.125 3.625 3.75 3.75 4.625 3.5 3.75
Satisfactory Form For Novice Test User
9. Hasil kuesioner tingkat kepuasan expert test user
Tabel 9. Rekap hasil kuesioner tingkat kepuasan
expert test user
4. PEMBAHASAN
Pembahasan learnability
Berdasarkan data yang diperoleh dari tiga kali
percobaan pada usability testing didapatkan waktu
menyelesaikan tugas dari 8 novice user. Dilihat dari
gambar 13 di atas, lama waktu yang dibutuhkan untuk
menyelesaikan task dari trial 1 ke trial berikutnya
semakin berkurang. Hal itu menunjukkan bahwa user
semakin mudah dalam menyelesaikan tugas yang
harus dikerjakan.
Pada task membuat new desktop, lama waktu yang
dibutuhkan pada trial pertama sangat lama dan
terlampau jauh jika dibandingkan dengan trial
berikutnya maupun dengan task lainnya. Sehingga
dapat disimpulkan bahwa ketika task tersebut sudah
diketahui, pada percobaan berikutnya task dapat
dikerjakan dengan lebih cepat.
Pembahasan error rate
Pada tabel 14 terlihat kesalahan pengguna dalam
menggunakan Windows 10. Dari beberapa task yang
diberikan, pada task ke-6 dan ke-7 menghasilkan
jumlah error terbanyak. Error tersebut dihasilkan dari
kesalahan user selama melakukan satu aktivitas yang
ditunjukkan dengan salah menekan tombol atau
memilih menu yang salah. Selain itu, hal tersebut
dikarenakan bahwa fitur new desktop merupakan fitur
baru yang ditambahkan pada Windows 10, sehingga
bagi user yang belum pernah menggunakan Windows
10 mula-mula merasa kebingungan mencari fitur new
desktop tersebut. Sedangkan dalam memenuhi task
untuk uninstall Netflix terdapat perbedaan persepsi
oleh novice test user dikarenakan pada operating
system Windows yang ada sebelumnya test user harus
melakukan uninstall melalui control panel, sedangkan
pada Windows 10 pengguna dapat melakukan
uninstall melalui Windows menu kemudian klik kanan
pada nama software yang akan diuninstall.
Pembahasan efisiensi
Untuk mengukur efisiensi dari Windows 10, cara yang
digunakan adalah dengan membandingkan lama
waktu menyelesaikan task yang diberikan dengan
waktu standar yang telah ditentukan oleh tim peneliti.
Berdasarkan hasil gambar 15, dapat disimpulkan
bahwa tugas yang diberikan sebagian besar telah
memenuhi indikator efisiensi (waktu menyelesaikan
task kurang dari waktu baku). Hanya sebesar 16,67%
task yang tidak efisien, sedangkan task yang
memenuhi indikator efisiensi sebanyak 83,33%.
Pembahasan satisfaction
Dari tabel 8, dapat diperoleh rerata dari rata-rata nilai
setiap indikator yang dijawab oleh novice test user
dalam kuesioner sebesar 3,875 atau apabila dikonversi
menjadi nilai persentase maka nilainya sebesar 77,5%.
Dari tabel 9, dapat diperoleh rerata dari rata-rata nilai
setiap indikator yang dijawab oleh expert test user
dalam kuesioner sebesar 4, 303 atau apabila
dikonversi menjadi nilai persentase maka nilainya
sebesar 86,07%.
Berdasarkan tabel 1, maka menurut novice test user
Windows 10 telah Baik dalam aspek satisfaction,
Resp
onde
n
Saya
merasa
puas
dengan
Saya akan
merekomen
dasikan
Windows 10
Windows
10
menyenan
gkan untuk
Windows
10 bekerja
sesuai
yang saya
Tampila
n
Window
s 10
Saya
merasa
saya
membutuh
Window
s 10
nyaman
untuk
1 4 4 5 3 5 3 4
2 5 4 5 4 5 5 4
3 5 5 5 5 5 4 4
4 4 5 5 4 4 4 4
5 4 4 4 3 4 5 4
6 4 5 5 3 5 4 3
7 5 4 4 5 4 5 5
8 4 4 4 4 5 4 4
Average 4.375 4.375 4.625 3.875 4.625 4.25 4
Satisfactory Form For Expert Test User
10. sedangkan menurut expert test user Windows 10 telah
Sangat Baik dalam aspek satisfaction.
5. KESIMPULAN
Learnability setiap task untuk usability testing
Windows 10 menunjukkan bahwa terdapat penurunan
rata-rata waktu penyelesaian task oleh seluruh test
user, di mana hal tersebut menunjukkan bahwa seiring
bertambahnya frekuensi user menggunakan Windows
10, maka semakin cepat user menyelesaikan task-task
yang ada. Disimpulkan bahwa Windows 10 dapat
digunakan untuk menyelesaikan task-task yang ada
secara lebih cepat sejalan dengan semakin
bertambahnya frekuensi penggunaannya.
Error rate pada usability testing Windows 10 paling
sering terjadi pada task uninstall aplikasi Netflix serta
membuat new desktop. Hal tersebut dikarenakan
novice test user belum terbiasa melakukan task
tersebut yang baru ada di Windows 10 meskipun
sebenarnya cukup mudah untuk melakukannya.
Sedangkan untuk aspek efisiensi, jumlah task yang
dapat diselesaikan di bawah waktu standar atau waktu
baku yang ditetapkan adalah sebesar 83,33%, artinya
hanya 16,67% task yang dapat diselesaikan melebihi
waktu baku yang telah ditetapkan. Maka dapat
disimpulkan bahwa Windows 10 memiliki kualifikasi
Baik dalam hal efisiensi.
Berdasarkan tabel 1, maka menurut novice test user
Windows 10 telah Baik dalam aspek satisfaction,
sedangkan menurut expert test user Windows 10 telah
Sangat Baik dalam aspek satisfaction.
REFERENSI
Arikunto, S., 2009, Prosedur Penelitian
Suatu Pendekatan Praktik. Edisi
Revisi 6. Jakarta : Rineka Cipta.
Hoffman, C., Here’s What’s Different About Windows
10 for Windows 7 Users,
http://www.howtogeek.com/ <Diakses 25
November 2015>
Lund, A., 2001, Measuring Usability with the USE
Questionnaire, STC Usability SIG
Newsletter, Vol. 8 Ed. 2.
Nielsen, J., 1993, Usability Engineering, Academic
Press, San Diego, CA.
Softpedia, Total User of All Operating Systems in the
World, http://www.softpedia.com/
<Diakses 24 November 2015>
ANGGOTA KELOMPOK 8
Hanif Arkan Nurdiansyah (39681)
Aulia Bayu Murti (39865)
Adolfina Paulin Moningka (39798)
Sekar Nurul Hidayah (39819)