Measuring the User Experience Summary of chapter 5. Issue-Based Metrics for UX Book Club

1. UX Book Club
Measuring the User Experience
Soyeon Lee(@theuxer)
11 Jan 2015
AtVolare Inc.
https://www.facebook.com/events/79029378
1020794/

2. Chapter 5 Issue-Based Metrics

3. 5.1What is a usability issue?
• Usability issueの例
– タスク完遂を妨げる行動
– コースから離脱しちゃう行動
– 被験者からの苛立ちの表現
• Real Issues versus False Issues
– 被験者の一人が提起する問題だとしても、そ
のロジックがはっきりしていればReal Issueと
して扱うが良い

4. 5.2 How to identify an issue
• どうやって問題を見つけるか
– 被験者と直接接して特定する
• 言葉や行動を観察
– あらかじめ予想しておくことも良いが、オー
プンマインドでいることも重要
– 予想外の問題が発見されることもある（1982
年 Appleの例）
– 自動化されたテストにて、被験者にコメント
を書いてもらうことも可能

5. 5.3 Severity ratings
• 問題の深刻度を決めること
– Low/Medium/High
– UXへの影響、頻度、ビジネスへの影響、コス
トといった要因をあわせてメトリクスを作る
ことも可能
– BTSと同じRating systemを使うとなおよし
– 人によって「深刻度」の見解が異なるという
問題もある

6. 5.4 Analyzing and reporting metrics
for usability issues
• Iterationを重ねて、デザインがよくなって
いることを検証する
– 問題の数、深刻度、問題を見つけた被験者の
数を追いかける
– フォーカスしたい領域を明確にするためには、
問題をカテゴリーに分けたり、タスク毎に問
題を整理すると良い

7. 5.5 Consistency in identifying usability
issues
• ユーザビリティテストにおいて、同一な
評価基準を持つことは可能か？
– 様々な研究が行われたが、おおむね難しいと
いう結論
– CUE(Comparative Usability Evaluation)という名
前で9回のリサーチが行われたが、「深刻度」
において、毎度ユーザービリティ専門家たち
の意見が割れた

8. 5.6 Bias in identifying usability issues
• バイアスは完全に排除できないが、理解
しておくと良い
– 被験者、タスク、検証対象、環境、モデレー
タ、期待値
– 深刻な問題の発見率はユーザーの数よりタス
クの数と関係がある、という調査結果がある
– バイアスをおさえるためには、ユーザー数を
増やすよりタスクの数を増やすと有効である
– Moderator Biasの例（Eye tracking）

9. 5.7 Number of participants
• “Magic number 5”
– 5人で足りる vs 足りない
– この本のオススメ
• 経験からして、5〜6人で足りるといえる。特にターゲットが
はっきりしていてデザインスコープが限られている場合
• できるだけ多くの問題を見つけたい、ユーザーターゲット層が
複数ある、またデザインスコープが広い場合は被験者を増やす
http://www.nngroup.com/articles/why
-you-only-need-to-test-with-5-users/

10. Summary
• ユーザーと直接接して言葉や行動を観察記録
することが問題発見には最も良いが、他の手
段も考えられる
• 問題がRealかFakeかを決めるときは、その経
緯がロジカルか気まぐれかを考慮する
• 深刻度やその他の影響を合わせて指標とする
とその後の改善に役立つ
• ユニークな問題の頻度、特定の問題を見つけ
たユーザーの数、タスク・カテゴリー毎の問
題を指標とするとその後の改善に役立つ
• 一貫した指標を用いて、バイアスに注意する

11. 感想
• ユーザビリティ専門家orチームと、実際の開発チームが離れている
前提で書かれている本だと思った。In-houseの場合は結果の活用に
おいてより柔軟に対応することができると思った。
• ケーススタディが面白かった。もっと知りたかった。また、自分の
中のケーススタディを浮かべながら読むことができて非常に楽し
かった。
• 今まで体験してきたユーザビリティテストでは、発見された問題の
Ratingが正しく行われていなかったと感じた。発見された問題に対
して深刻度をつけることもいいけど、そもそも問題をなぜ解決しな
いといけない？というゴールを明確にするためにもメトリクスが必
要だと思った。「ビジネスへの影響」「UXへの影響」はまだ定義と
してはあいまいだと感じた。
• “Magic Number 5”は自分も護身でよく使う出典であるが、より多く
の被験者がいた方がいいケースや、5人で足りるケースを分けてそ
れぞれどうするといいかを提案してくれていたのでありがたい。

12. Discussions