Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

ユーザビリティテストをやってみよう

1,538 views

Published on

WACATE2017冬の発表資料です。
少しだけ資料を直しています(口頭だけで説明したこととか)

Published in: Technology
  • Be the first to comment

ユーザビリティテストをやってみよう

  1. 1. ユーザビリティテストを やってみよう!
  2. 2. 自己紹介 山口 寛子(WACATE実行委員会) 金融系SIerで金融系ではないSIをやっている SN:べにちどり(@scarletplover)
  3. 3. はじめに
  4. 4. ユーザビリティ・・・ 「ユーザビリティは大事です!!(キリッ
  5. 5. ユーザビリティ・・・ ユーザビリティでもめたことありませんか? Developer Tester
  6. 6. ユーザビリティ・・・打開したい! 折り合いをつけたい!!! DeveloperTester
  7. 7. ユーザビリティテストを やってみよう!
  8. 8. このセッションの目的 ユーザビリティテストを実際にやってみて、ど ういうものかを把握する。
  9. 9. 目次 はじめに(済) ユーザビリティとは ユーザビリティテストとは ユーザビリティテストをやってみよう テスト計画~テスト設計 テスト実施準備~テスト記録 データ分析・レポート作成 最後に
  10. 10. ユーザビリティとは
  11. 11. ユーザビリティとは •特定のコンテキストにおいて、特定のユーザによって、ある製品が、特定の目的を達成するために用いられ る際の、効果、効率、ユーザの満足度の度合い ISO9421「人間工学-視覚表示装置を用いるオフィス作業」より •明示された使用状況において、有用性、効率性及び満足性を持って明示された目標を達成するために、明示 された利用者が製品またはシステムを利用することができる度合い。 ISO/IEC25010:2011「システム及びソフトウェア製品の品質要求及び評価」より 効果:ユーザが目標を達成できるかどうか 効率:なるべく最短経路で目標を達成できるかどうか ユーザの満足度:ユーザに不愉快な思いをさせていないか
  12. 12. ユーザビリティは簡単? ユーザビリティの指標・目標 →(ニールセン曰く)明確に定義できます!!! 学習しやすさ •特定の習熟度 に達する時間 効率性 •作業時間 記憶しやすさ •ユーザーの理 解度テストの 点数 エラーの少なさ •エラー発生率 主観的満足度 •アンケート 集計
  13. 13. ユーザビリティは難しい ユーザビリティの指標・ユーザビリティの目標 →どうしてもテストするユーザー(プロジェクト外)が必要 →値をどう決めればいいのか不透明(経験則?) →システムとしてどう作ればいいかを指し示せない ユーザーを巻き込んだテストありき テストのやり方・回数がとても重要になる
  14. 14. ※参考 10ヒューリスティック ①システム状態の視認性 ②システムと実世界の調和 ③ユーザコントロールと自由度 ④一貫性と標準化 ⑤エラーの防止 ⑥記憶しなくても、見ればわかるように ⑦柔軟性と効率性 ⑧美的で最小限のデザイン ⑨ユーザによるエラー認識、診断、回復をサポートする ⑩ヘルプとマニュアル
  15. 15. ユーザビリティテストとは
  16. 16. ユーザテストの種類 • 被験者がシステムを使いながら常に考えたことを声に出していく方法 思考発話法 • 被験者が操作 → 後に質問に回答してもらう 回顧法 • ユーザビリティに関連した量的データを測定 パフォーマンス測定
  17. 17. ユーザーテスト(思考発話法) のイメージ ユーザー インタビューワー →テスト見学者
  18. 18. ユーザーテストのやり方 リクルート テスト 設計 実施 テスト 記録 データ 分析 レポート 作成 テスト 計画 実施 準備
  19. 19. ユーザーテストのやり方 リクルート テスト 設計 実施 テスト 記録 データ 分析 レポート 作成 テスト 計画 実施 準備 実際にワークするところ
  20. 20. ユーザーテストをやってみよう ①テスト計画~テスト設計
  21. 21. ユーザーテストのやり方 リクルート テスト 設計 実施 テスト 記録 データ 分析 レポート 作成 テスト 計画 実施 準備
  22. 22. テスト計画・リクルート 【テスト計画】 何をテストするかを決める ・テストの対象 ・テストの目的 ・テストする場所・設備 ・誰・何人にテストするのか ・テストのスケジュール ・テスト予算 【リクルート】 ①どんな人に、何人くらいお願いす るかを決める ②具体的に誰にお願いするか決める ・WEBのアンケート ・業者に見繕ってもらう ・自分で探す ②実際にお願いする
  23. 23. テスト設計 ①タスク設計 テストを行うユーザーに、テストで遂行してもらう課題・タスクを決 める。 ②インタビューガイドの作成 実際にユーザーテストを行う際のインタビューワーの台本を作成。 ③実査ツールの準備 テストに必要なツール・データの準備。 ④パイロットテストの実施 テストのテスト。
  24. 24. テスト設計 ①タスク設計 テストを行うユーザーに、テストで遂行してもらう課題・タスクを 決める。 ①主要なタスクに落とし込む 細かいバリエーションをやろうとしない。 ②ユーザ視点で発想 設計者の思いではなく、ユーザーの目的を考える。 ③スタートとゴールを定義する ゼロ地点と到達地点を考える。 ④シナリオ化する 仮の状況設定を与えて、ユーザーに動機を与える。
  25. 25. 「古代生物」占い 占い画面に生年月日と性別を入力し、画像を押下すると「古代魚・マンモス・恐 竜・シーラカンス・クジラの祖先」等今日の占い結果を返してくれるWEBサイト。 2007/12/15 女性 ▼ 押下 今日のあなたの古代生物は。。 入力画面 結果画面 陸にあがった古代魚 躍進的な1日となるでしょう 押下 Twitterへ・・・
  26. 26. テスト設計 ①タスク設計 【テストしたいこと】 ユーザが占った内容をツイッターにアップする。 【ゴール】 Twitterの投稿画面 【スタート】 Twitterのリンク 【シナリオ】 (仮に)貴方はTwitterのタイムラインでよく見かける「古代生物占い」サイトに興味 をもちました。実際にこのTwitterのリンクから「古代生物占い」サイトにアクセスを して、占い結果をTwitterにアップしてください。 主要なタスクに落とし込む ゴール・スタートを決める ユーザー視点の発想 シナリオ化 ユーザー視点の発想
  27. 27. テスト設計 ②インタビューガイドの作成 【イントロ】30秒  挨拶  個人情報保護について  禁止事項 【事前インタビュー】1分  職業  占いは好きか →占いサイトは利用するか 【事前説明】30秒  思考発話のお願い  機器の使い方の説明 【タスク実行観察】3分 「(仮に)貴方はTwitterのタイムラインでよく見かける「古代生物占 い」サイトに興味をもちました。実際にこのTwitterのリンクから「古 代生物占い」サイトにアクセスをして、占い結果をTwitterにアップし てください。」 【事後インタビュー】3分  サイトについての率直な感想 (ポジティブ/ネガティブ)  今日の体験を総合的に判断する場合の満足度を満足度カー ドの5段階で表すとしたらどれに該当するか  この評価を上げるために何か1つ改善するとしたら何を改 善するべきか 【エンディング】  謝礼  挨拶
  28. 28. テスト設計 ③実査ツール準備④パイロットテスト ③実査ツール準備 実際にテストするためのツール準備 ・データ ・情報提示カード ・初期化手順書 ④パイロットテスト 実際にユーザーにテストする前にテストのテストを行う。
  29. 29. ユーザテストをやってみよう ②テスト実施準備~テスト記録
  30. 30. ユーザーテストのやり方 リクルート テスト 設計 実施 テスト 記録 データ 分析 レポート 作成 テスト 計画 実施 準備
  31. 31. テスト実施準備 テストは繰り返し複数人に対して行う =準備が大事 ユーザーにテストしてもらう =前日・当日準備が必要 ・ツール パソコン操作記録など。 ・場所 観察しやすく、ユーザが操作しやすい環境。 ・機材 ユーザーが操作する機材や、録画するカメラなど。
  32. 32. テスト実施 ・インタビューガイドに従って行う ラポール(信頼関係)をユーザーと築くことを心がける。 テスト実施で注意すること •質問に答えない •発話を促す •ユーザーがタスクを完了して も一呼吸おく 観察ポイント •操作を間違った •ユーザーが?という表情をし ている •ユーザーの感想は気にしない
  33. 33. テスト記録 実際のユーザーの行動を録画したツールをもとに、テスト記録に起こす。 ・事実を書く「何を、どうすると、どうなった。ユーザーは何を言った」 ・この段階で分析をしてはいけない。 ・介入は記録しない、助成は記録する。
  34. 34. テスト記録例 No 内容 1 テキストボックス「生年月日」に生年月日を入力する。 発話:ここに誕生日を入力すればいいのかな? 2 テキストボックス「性別」に性別を入力する。 発話:女性・・・と。 3 <入力画面>のまま戸惑う 発話:ええっと、、、これでどうすればいいんですかね? 4 リンク「カブトガニ」が押下できることに気が付き、押下して <結果画面>に遷移。 発話:ええ、まさかここ??ええ・・・?ここなんだ・・・ 2007/12/15 女性 ▼
  35. 35. ユーザテストをやってみよう ③データ分析・レポート作成
  36. 36. ユーザーテストのやり方 リクルート テスト 設計 実施 テスト 記録 データ 分析 レポート 作成 テスト 計画 実施 準備
  37. 37. データ分析 ユーザーテストの結果から、問題点を洗い出す。 ①問題点リスト作成 ユーザーが戸惑ったり間違ったりしたところをリストにまとめる。 ②タスク達成状況 ユーザーがタスクを自力で達成できたかどうか表にして眺めてみる。 ③インパクト分析 ①②を集計して、問題の重要度を判定する。
  38. 38. データ分析①問題点リスト作成 ユーザーが戸惑ったり間違ったりしたところをリストにまとめる。 ①分析者の“気付き”ではなく、観察された“事実”を書く。 ②問題点は“ユーザーの視点”で記述 No 被験者 タスク内容 画面 問題点 発話 1 〇〇 タスク1 入力画面 「カブトガニ」リンクが占い 処理ボタンだと気づかない ええっと、、、これでどうす ればいいんですかね?
  39. 39. データ分析②タスク達成状況 ユーザーがタスクを自力で達成できたかどうか表にして眺めてみる。 ○:完璧 △:無駄な操作があった ☓ :独力でできなかった 被験者1 被験者2 被験者3 被験者4 タスク1 ○ △ ○ △ タスク2 ○ ○ ○ ○ タスク3 ○ ☓ ☓ △
  40. 40. データ分析③インパクト分析 ①と②をもとに「問題の質✕発生頻度」で問題点リストの問題をランク付けする。 問題の質:効果 →タスク達成に影響 問題の質:効率 →無駄な操作 問題の質:主観的満足度 →不平不満 頻度:高 1 2 3 頻度:中 2 3 4 頻度:小 3 4 5 No 画面 問題点 問題の質 頻度 重要度 1 入力画面 「カブトガニ」リンクが占い処理ボ タンだと気づかない 効果 中 2
  41. 41. レポート作成 1.テスト概要 ・評価対象/実査日時・場所等 ・リクルート条件/被験者一覧 ・事前インタビューまとめ 2.テスト結果 ・タスク達成状況一覧表 ・観察結果(問題点) ・事後インタビューまとめ 3.結論 ・総合評価 ・考察/改善ポイント ※樽本徹也著 「ユーザビリティエンジニアリング(第2版)―ユーザエ クスペリエンスのための調査、設計、評価手法―」引用
  42. 42. 最後に
  43. 43. ユーザビリティ評価の種類 総括的評価 =数値を測定 形式的評価 =改善する箇所を分析 分析的手法 =専門家が 分析 実験的手法 =ユーザー データを用 いる ヒューリスティック評価 認知的ウォークスルー パフォーマンス測定 回顧法アンケート調査 思考発話法
  44. 44. 繰り返すことが大事 ユーザーテスト 分析 (再)設計 試作 パフォーマンス測定 総括的評価 形式的評価のサイクル
  45. 45. ユーザビリティに立ち向かおう
  46. 46. 困ったときの参考文献 樽本徹也著 「ユーザビリティエンジニアリング(第2版) ―ユーザエクスペリエンスのための調査、設計、評価手法―」 オーム社 2014年 黒須正明著 「ユーザビリティテスティング ユーザ中心のものづくりに向けて」 共立出版株式会社 2003年 ヤコブ・ニールセン著 篠原稔和監訳 三好かおる訳 「ユーザビリティエンジニアリング原論 ユーザーのためのインタフェースデザイン」 東京電機大学出版局 2002年
  47. 47. ご清聴ありがとうございました。

×