SlideShare a Scribd company logo
1 of 42
6.5 USING SUS
TO COMPARE
DESIGNS
            蘇承孺
           工商碩一
6.5.1 Comparison of ‘‘Senior-
Friendly’’ Websites
 Traci
    Hart (2004) 在Wichita State University
 的使用者經驗研究室,研究了三個專為老人設
 計的網站:
     Senior Net
     Senior Resource
     Seniors-Place
 使用SUS問卷來算分數
     6.4.2介紹的John Brook 1986所設計的,由10個
      敘述句所組成,評定參與者的同意度高低。
6.5.1 Comparison of ‘‘Senior-
  Friendly’’ Websites




 結果:SeniorResource顯著高於其他兩者(參與者是超過
 50歲的21個成年人)
6.5.2 Comparison of Windows
ME and Windows XP
 The
    American Institutes for Research (2001)
 請來36個參與者(對windows的專業能力從新
  手到專家都有)
 使用SUS問卷去評分Windows XP和ME哪個比
  較高
 結果:XP顯著高於ME(P<0.0001)
6.5.3 Comparison of Paper
Ballots
 SarahEverett, Michael Byrne, and Kristen
  Greene (2006), from Rice University
 進行一個使用性研究,比較三個不同種類的紙
  張選票(泡泡式, 箭頭式, 開放式),也是用SUS問
  卷去測
 選票請見下頁
6.5.3 Comparison of Paper
Ballots
6.5.3 Comparison of Paper
Ballots
                   結果:1A泡泡
                   式顯著高於1B
                   箭頭式、1C開
                   放式(P<0.001)
6.6 ONLINE SERVICES
 很多公司開始重視使用者對於他們網站的看法
 目前最流行的一個方法是Voice         of the
  Customer”消費者的心聲
 和post-session self reported metrics比較不
  同的是Voc是在實況網路上直接做的。
 大概方式是當你在一個重要的網站使用歷程後,
  會彈出個視窗做調查(像是登出後、交易後)
 此節會介紹這類似的幾種線上服務
6.6 ONLINE SERVICES
 很多公司開始重視使用者對於他們網站的看法
 目前最流行的一個方法是Voice         of the
  Customer”消費者的心聲
 和post-session self reported metrics比較不
  同的是Voc是在實況網路上直接做的。
 大概方式是當你在一個重要的網站使用歷程後,
  會彈出個視窗做調查(像是登出後、交易後)
 此節會介紹這類似的幾種線上服務
6.6.1 Website Analysis and
Measurement Inventory
 Website Analysis and Measurement
  Inventory(WAMMI)是一個線上的服務,從一
  個早期的使用性測量量表(SUMI)所發展而來
 兩者都由Human Factors Research Group
  (HFRG) 所研發
 SUMI是設計來評估軟體應用,WAMMI是用來
  評估網站,HFRG團體目前正在發展一個
  MUMMS的問卷,用來測量使用性。
6.6.1 Website Analysis and
    Measurement Inventory




   WAMMI介紹
   由二十陳述句所組成,五點量表,和SUS一樣,有些題目是反向題
   平均是50分,滿分一百
6.6.1 Website Analysis and
Measurement Inventory
 WAMMI分為五個構念Attractiveness,
  Controllability, Efficiency, Helpfulness, and
  Learnability
 WAMMI最主要的優點是題目可以自創,且和
  評量量表連結。
 已經有數百個網站的data base,可供你對照
  自己的網站
6.6.1 Website Analysis and
Measurement Inventory




   Sample data
   五個向度的平均分數如上
   總分是56.5
6.6.2 American Customer
Satisfaction Index
   American Customer Satisfaction Index(ACSI)
    美國顧客滿意指數
   Stephen M. Ross Business School of The
    University of Michigan開發的
   涵蓋大部分的工業,例:零售、汽車、製造。
   www.ForeSeeResults.com應用ACSI去對線上的
    產品和服務作調查,並提供一個滿意指標
   現在ACSI廣泛在分析美國政府的的網站
   92個美國政府網站在2006年第二季提供分析數據
   這個問卷的核心問題有14~20個問題(請見下頁)
6.6.2 American Customer
Satisfaction Index
6.6.2 American Customer
Satisfaction Index
 10點量表
 對於網站使用經驗的每個屬性(例:資訊質量、
  資訊更新速度…..)進行rating
 對於使用者的資訊也會記錄(訪問網站內容、頻
  率….)來幫助公司有意義的組織使用者
6.6.2 American Customer
Satisfaction Index
   下頁呈現一個Foresee對某資訊網站的滿意度分析例子
   包含六個影響滿意度的層面:
       內容
       功能
       外觀和感覺
       導引
       搜尋
       網站呈現方式
6.6.2 American Customer
Satisfaction Index




   FIGURE 6.20
   評六個面向,在最左側(例:內容、功能、導引….)
   總分在中間71分
   最右邊是未來行為的評分
   Impact on的分數是指對自己的影響力
6.6.2 American Customer
Satisfaction Index


6
個
分
類
的                         最
滿                         需
意                         要
度                         改
                          善

                對自己的影響力
6.6.3 OpinionLab
 Opinion Lab (www.OpinionLab.com)
 provides for page-level feedback from
  users(在頁面上有個按鈕可以按,點了跳出問
  卷)
6.6.3 OpinionLab




   五點量表,選項從- -到++,opinionlab提供一個視覺化的
    分析技術,可以清楚看到結果。請見下頁
6.6.3 OpinionLab




   最多人閱讀的200個頁面中,評分最負面的在左邊,上方的是普
    通的,右邊是正面的。
6.6.4 Issues with Live-Site
Surveys
 對於Life-site必須要解決的議題
    題目數:題目多,就沒人想答,題目尐,得不到
     資訊。
    受訪者數量:許多這類型的服務會設定百分比,
     去抓受訪者數量,但仍需密切觀察來增加或減尐
     人數。
    非重複的受訪者:訪問到重複的受訪者相當麻煩,
     通常可藉由cookies(電腦暫存紀錄)來預防。
6.7 OTHER TYPES OF SELF-
REPORTED METRICS
 目前的自陳技術,都是用來評估使用者對於產
 品或網站做一個使用後整體的評分,但根據可
 用性研究的目標,應該是要請使用者對特定的
 元素做評分。
6.7 OTHER TYPES OF SELF-
REPORTED METRICS
   以下介紹一些產品或網站的屬性
       Visual appeal視覺吸引力
       Perceived efficiency知覺效率
       Usefulness好用性
       Enjoyment樂趣性
       Credibility可信性
       Appropriateness of terminology用詞適當性
       Ease of navigation簡便導航系統
       Responsiveness回應性
   以細節去評分,會更全面性的兼顧到所有特定屬性。
6.7 OTHER TYPES OF SELF-
REPORTED METRICS
 評估特定屬性的可用性研究:
    網站視覺吸引力多快讓使用者產生印象
     (Lindgaard et al., 2006)
    在網站中的每個頁面刷新影像(50毫秒或500毫秒)
    請受試者針對每個頁面進行視覺吸引力評估(一
     個主要評估,五個細項評估:有趣/無聊、好設
     計/爛設計,好顏色/爛顏色、好圖案/爛圖案、
     富想像力的/無想像力的)
    結果:50毫秒和500毫秒都一致
6.7 OTHER TYPES OF SELF-
REPORTED METRICS
 幾年前,做了一個研究,是調查如何讓網站能
 活絡,我們定義一個活絡的網站必須要
    能激發興趣與好奇心
    讓你想進一步探索網站
    讓你想重新訪問該網站
 參與者看完這些網站後,評估這些網站是高度
 活絡還是低度活絡
6.7 OTHER TYPES OF SELF-
REPORTED METRICS
   一個對於受試者評分的資料常用的分析技術是:專
    注觀察較高分及較低分的一~二個群體,這個通常
    被稱為‘‘top-2-box’’ or ‘‘bottom-2-box’’ scores。
   最近我們常使用這個技術在評鑑受試者對於首頁讀
    取速度的回饋。
   我們人為將讀取時間設定成1~11秒,觀察受試者的
    反應,5點量尺評分(1或2是不能接受、4或5是可接
    受),取不能接受和可以接受出來化成下頁的表。
6.7.2 Assessing Specific
Elements
   在評估產品或網站上,可能會感興趣在評定它的特定元素。
   通常在評定特定元素的技術都是相同的,會要求受試者專注在特
    定元素上然後給予適當分數。
   The Nielsen Norman Group (Stover, Coyne, & Nielsen, 2002)
    進行一項研究,在受試者使用網站以後,完成了一份有關網站地
    圖的問卷,共十個網站進行這份測試。
   The site map is easy to find.
   The information on the site map is helpful.
   The site map is easy to use.
   The site map made it easy to find the information I was
    looking for.
   The site map made it easy to understand the structure of
    the website.
   The site map made it clear what content is available on the
    website.
6.7.2 Assessing Specific
Elements
 每一個問題都是七點量表,極度不同意,到極
  度同意,再平均各個問題的結果。
 10個網站都各有一個總分
 這是一個網站更可靠的評分案例,將不同的特
  徵評分,然後平均在一起。
6.7.2 Assessing Specific
Elements
 Tullis
       (1998)
 候選人的網頁設計
 要求使用者對於page format,
  attractiveness, and use of color進行評分
 五點量表(-2(poor),-1,0,1,2(excellent))
 覺得設計最好的是模板1、最差的是模板4
6.7.2 Assessing Specific
Elements
 這個研究也闡釋了對於替代方案的比較研究
 可以從中分析那個模板比較好
 48%的參與者選擇模板1最好,57%參與者選擇
 模板4最差。
6.7.3 Open-Ended Questions
 使用性研究上,常包括一些開放式問題
 最常見的,是讓受訪者自己加上一個對於已有
  評分的意見或評論。
 另一種是要求使用者列出對於產品最喜好的部
  分3~5點,跟最厭惡的部分。
 這些可以轉化為指標。
6.7.4 Awareness and
Comprehension
 一個可能模糊差異的方式:詢問受試者對於網
  站的一些問題,但是只能靠記憶,不能點回去
  看。
 例如:會給受試者短暫瀏覽網頁的機會,然後
  給它們一個作業是去閱讀有關太空站的新聞。
  接著使用者必須去回答一份問卷,是這個網站
  是否有這些資料。受訪者會指出是否他記得這
  個網站有這些資料
 這個方法也是得到受訪者是否理解網站的方式。
6.7.4 Awareness and
Comprehension
 和上一個密切相關的技術是:在使用者和網站
  進行互動後,給它們一個測驗,以測驗它們對
  網站上的信息學習及理解
 如果使用者在使用網站前,就已經了解部分在
  此網站的訊息,那就必須要做一個前測去了解
  他們已經知道什麼,比較他們逛了網站後多了
  解了甚麼
 如果使用者沒有公然的被導引到這些資訊上,
  那就被稱為‘‘incidental learning’’
  technique.
6.7.5 Awareness and
Usefulness Gaps
 就是去了解是否受試者所知覺到的訊息和當初
  所想要呈現的(例:資訊、功能、知覺可用性),
  有所差異,是非常有價值的分析。
 例如:如果大量的受試者都沒察覺到一個特殊
  的功能,一旦它們發掘了這樣功能,會覺得他
  是非常有用的,製作者就應該將這個功能在網
  站中做出突顯。
6.7.5 Awareness and
Usefulness Gaps
 要分析:察覺與使用性的鴻溝,我們可以詢問
  受試者對於察覺性的yes/no問題。
 例如:您再調查前有在此網站察覺到這個功能
  嗎(yes/no)?這個功能對您有多有用呢(1~5)?
 接著就可以使用Top-2-box scores去做分析(請
  見下頁)
Feature 2 察覺到的最尐,但卻是最有用的。
Summary
   有許多技術都可以從自陳報告的數據中得到使用性指標,
    但是下列重點要謹記:
       考慮從任務的執行中得到自陳資料,但從使用性的討論中結束。
        Task-level的資料可以幫助你辨認到底是何處需要改進.而
        session-level可以激發關於整體使用性的sense。
       在實驗室中測試,考慮使用標準化的問卷,去評鑑受試者對系
        統的反應,即使受試者樣本數不大,System Usability Scale仍
        然是相當有效的方法。
       當從實況網站上測試,考慮使用其中一種線上的服務去測量使
        用者滿意度.最大的優點是它們可以用它們的文獻數據庫,幫你
        比較你的網站和大量的其他網站。
       可以更有創意的使用其他量表,如果可行,可以用不同的方式
        詢問一個topic,將這些結果平均,來得到更一致的資料。要小
        心地建構新的評分量表,開放式的問題做出適當的使用,並在
        產品互動後檢驗受試者的理解和覺知程度。
End & Thanks for listening

More Related Content

Similar to 6.5 using sus to compare designs

案例分析:利用认知科学提升车载人机交互的可用性 Usecase Study: Car Infotaiment system design, researc...
案例分析:利用认知科学提升车载人机交互的可用性 Usecase Study: Car Infotaiment system design, researc...案例分析:利用认知科学提升车载人机交互的可用性 Usecase Study: Car Infotaiment system design, researc...
案例分析:利用认知科学提升车载人机交互的可用性 Usecase Study: Car Infotaiment system design, researc...博 尚原 周
 
機關網站使用者介面(UI)與體驗(UX)案例分析 臺中榮民總醫院
機關網站使用者介面(UI)與體驗(UX)案例分析 臺中榮民總醫院機關網站使用者介面(UI)與體驗(UX)案例分析 臺中榮民總醫院
機關網站使用者介面(UI)與體驗(UX)案例分析 臺中榮民總醫院BelindaYCWang
 
QM-048-品管圈活動經驗分享
QM-048-品管圈活動經驗分享QM-048-品管圈活動經驗分享
QM-048-品管圈活動經驗分享handbook
 
Vsp Search 2010 Ecommerce V6
Vsp Search 2010 Ecommerce V6Vsp Search 2010 Ecommerce V6
Vsp Search 2010 Ecommerce V6Yu Zhang
 
應用設計思考1210 2
應用設計思考1210 2應用設計思考1210 2
應用設計思考1210 2Raymond Chang
 
视频网站分析挖掘思考
视频网站分析挖掘思考视频网站分析挖掘思考
视频网站分析挖掘思考学峰 司
 
水電即時通
水電即時通水電即時通
水電即時通IUPUI
 
用户体验的 要素 很好的资料
用户体验的 要素 很好的资料用户体验的 要素 很好的资料
用户体验的 要素 很好的资料grey0511
 
網路、行銷、使用者經驗設計
網路、行銷、使用者經驗設計網路、行銷、使用者經驗設計
網路、行銷、使用者經驗設計Charles (XXC) Chen
 
数据化导向设计方法
数据化导向设计方法数据化导向设计方法
数据化导向设计方法Robert Luo
 
Google analytic網站分析101分享
Google analytic網站分析101分享Google analytic網站分析101分享
Google analytic網站分析101分享William Lin
 
Week 16 - appWorks_IC Jan
Week 16 - appWorks_IC JanWeek 16 - appWorks_IC Jan
Week 16 - appWorks_IC JanAppUniverz Org
 
运营干什么
运营干什么运营干什么
运营干什么glass4pk
 
使用者行為分析
使用者行為分析使用者行為分析
使用者行為分析newegg
 
機關網站使用者介面(UI)與體驗(UX)案例分析 國家發展委員會
機關網站使用者介面(UI)與體驗(UX)案例分析 國家發展委員會機關網站使用者介面(UI)與體驗(UX)案例分析 國家發展委員會
機關網站使用者介面(UI)與體驗(UX)案例分析 國家發展委員會BelindaYCWang
 
從理想、到現實的距離,開啟品味軟體測試之路 - 台灣軟體工程協會 (20220813)
從理想、到現實的距離,開啟品味軟體測試之路 - 台灣軟體工程協會 (20220813)從理想、到現實的距離,開啟品味軟體測試之路 - 台灣軟體工程協會 (20220813)
從理想、到現實的距離,開啟品味軟體測試之路 - 台灣軟體工程協會 (20220813)Rick Hwang
 
大数据人才招聘
大数据人才招聘大数据人才招聘
大数据人才招聘杰丰 余
 
使用者人因工程與設計思考
使用者人因工程與設計思考使用者人因工程與設計思考
使用者人因工程與設計思考COLA TSAI蔡健儀
 

Similar to 6.5 using sus to compare designs (20)

案例分析:利用认知科学提升车载人机交互的可用性 Usecase Study: Car Infotaiment system design, researc...
案例分析:利用认知科学提升车载人机交互的可用性 Usecase Study: Car Infotaiment system design, researc...案例分析:利用认知科学提升车载人机交互的可用性 Usecase Study: Car Infotaiment system design, researc...
案例分析:利用认知科学提升车载人机交互的可用性 Usecase Study: Car Infotaiment system design, researc...
 
機關網站使用者介面(UI)與體驗(UX)案例分析 臺中榮民總醫院
機關網站使用者介面(UI)與體驗(UX)案例分析 臺中榮民總醫院機關網站使用者介面(UI)與體驗(UX)案例分析 臺中榮民總醫院
機關網站使用者介面(UI)與體驗(UX)案例分析 臺中榮民總醫院
 
QM-048-品管圈活動經驗分享
QM-048-品管圈活動經驗分享QM-048-品管圈活動經驗分享
QM-048-品管圈活動經驗分享
 
Vsp Search 2010 Ecommerce V6
Vsp Search 2010 Ecommerce V6Vsp Search 2010 Ecommerce V6
Vsp Search 2010 Ecommerce V6
 
應用設計思考1210 2
應用設計思考1210 2應用設計思考1210 2
應用設計思考1210 2
 
视频网站分析挖掘思考
视频网站分析挖掘思考视频网站分析挖掘思考
视频网站分析挖掘思考
 
水電即時通
水電即時通水電即時通
水電即時通
 
用户体验的 要素 很好的资料
用户体验的 要素 很好的资料用户体验的 要素 很好的资料
用户体验的 要素 很好的资料
 
網路、行銷、使用者經驗設計
網路、行銷、使用者經驗設計網路、行銷、使用者經驗設計
網路、行銷、使用者經驗設計
 
数据化导向设计方法
数据化导向设计方法数据化导向设计方法
数据化导向设计方法
 
Google analytic網站分析101分享
Google analytic網站分析101分享Google analytic網站分析101分享
Google analytic網站分析101分享
 
Week 16 - appWorks_IC Jan
Week 16 - appWorks_IC JanWeek 16 - appWorks_IC Jan
Week 16 - appWorks_IC Jan
 
运营干什么
运营干什么运营干什么
运营干什么
 
Ch03
Ch03Ch03
Ch03
 
使用者行為分析
使用者行為分析使用者行為分析
使用者行為分析
 
機關網站使用者介面(UI)與體驗(UX)案例分析 國家發展委員會
機關網站使用者介面(UI)與體驗(UX)案例分析 國家發展委員會機關網站使用者介面(UI)與體驗(UX)案例分析 國家發展委員會
機關網站使用者介面(UI)與體驗(UX)案例分析 國家發展委員會
 
從理想、到現實的距離,開啟品味軟體測試之路 - 台灣軟體工程協會 (20220813)
從理想、到現實的距離,開啟品味軟體測試之路 - 台灣軟體工程協會 (20220813)從理想、到現實的距離,開啟品味軟體測試之路 - 台灣軟體工程協會 (20220813)
從理想、到現實的距離,開啟品味軟體測試之路 - 台灣軟體工程協會 (20220813)
 
UX 策略
UX 策略UX 策略
UX 策略
 
大数据人才招聘
大数据人才招聘大数据人才招聘
大数据人才招聘
 
使用者人因工程與設計思考
使用者人因工程與設計思考使用者人因工程與設計思考
使用者人因工程與設計思考
 

Recently uploaded

1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...微信 tytyqqww业务接单
 
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptxbusinesshealthwise
 
1.1.3急救你必须懂四年级设计与工艺练习活页练习单元一四年级设计与工艺急救你必须懂
1.1.3急救你必须懂四年级设计与工艺练习活页练习单元一四年级设计与工艺急救你必须懂1.1.3急救你必须懂四年级设计与工艺练习活页练习单元一四年级设计与工艺急救你必须懂
1.1.3急救你必须懂四年级设计与工艺练习活页练习单元一四年级设计与工艺急救你必须懂PUAXINYEEMoe
 
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个michaelell902
 
Math Chapter3-教學PPT第03單元形體關係、體積與表面積Grade Six
Math Chapter3-教學PPT第03單元形體關係、體積與表面積Grade SixMath Chapter3-教學PPT第03單元形體關係、體積與表面積Grade Six
Math Chapter3-教學PPT第03單元形體關係、體積與表面積Grade Six611002610
 
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习PUAXINYEEMoe
 
taibif_資料標準概念介紹_20240509_20240509_20340509.pdf
taibif_資料標準概念介紹_20240509_20240509_20340509.pdftaibif_資料標準概念介紹_20240509_20240509_20340509.pdf
taibif_資料標準概念介紹_20240509_20240509_20340509.pdfjhujyunjhang
 
1.🎉成绩单,你的成绩! 💡🔥每个人都有自己的成绩单,它记录着我们努力的成果。但有时候,看着这些数字,却发现它们好像在嘲笑我?别担心,让我来告诉你们怎么改...
1.🎉成绩单,你的成绩! 💡🔥每个人都有自己的成绩单,它记录着我们努力的成果。但有时候,看着这些数字,却发现它们好像在嘲笑我?别担心,让我来告诉你们怎么改...1.🎉成绩单,你的成绩! 💡🔥每个人都有自己的成绩单,它记录着我们努力的成果。但有时候,看着这些数字,却发现它们好像在嘲笑我?别担心,让我来告诉你们怎么改...
1.🎉成绩单,你的成绩! 💡🔥每个人都有自己的成绩单,它记录着我们努力的成果。但有时候,看着这些数字,却发现它们好像在嘲笑我?别担心,让我来告诉你们怎么改...微信 tytyqqww业务接单
 
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdftaibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdfjhujyunjhang
 

Recently uploaded (9)

1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
1.🎉“黑客”如何修改成绩?🤔🎉 在这个信息爆炸的时代,我们经常会看到各种作弊手段。但是你知道吗?有一种作弊方式可能比你想象中更巧妙:它就是——黑客![单...
 
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
啟思中國語文 - 中二 單元一 - 孟嘗君列傳 - 記敍的方法和人稱1.pptx
 
1.1.3急救你必须懂四年级设计与工艺练习活页练习单元一四年级设计与工艺急救你必须懂
1.1.3急救你必须懂四年级设计与工艺练习活页练习单元一四年级设计与工艺急救你必须懂1.1.3急救你必须懂四年级设计与工艺练习活页练习单元一四年级设计与工艺急救你必须懂
1.1.3急救你必须懂四年级设计与工艺练习活页练习单元一四年级设计与工艺急救你必须懂
 
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
法国蒙彼利埃国家高等建筑学院毕业证制作/德语歌德B1证书/加拿大新斯科舍省农业学院文凭加急制作一个
 
Math Chapter3-教學PPT第03單元形體關係、體積與表面積Grade Six
Math Chapter3-教學PPT第03單元形體關係、體積與表面積Grade SixMath Chapter3-教學PPT第03單元形體關係、體積與表面積Grade Six
Math Chapter3-教學PPT第03單元形體關係、體積與表面積Grade Six
 
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
10.2.1 马来西亚各州名称的由来六年级历史单元练习马来西亚各州名称的由来练习
 
taibif_資料標準概念介紹_20240509_20240509_20340509.pdf
taibif_資料標準概念介紹_20240509_20240509_20340509.pdftaibif_資料標準概念介紹_20240509_20240509_20340509.pdf
taibif_資料標準概念介紹_20240509_20240509_20340509.pdf
 
1.🎉成绩单,你的成绩! 💡🔥每个人都有自己的成绩单,它记录着我们努力的成果。但有时候,看着这些数字,却发现它们好像在嘲笑我?别担心,让我来告诉你们怎么改...
1.🎉成绩单,你的成绩! 💡🔥每个人都有自己的成绩单,它记录着我们努力的成果。但有时候,看着这些数字,却发现它们好像在嘲笑我?别担心,让我来告诉你们怎么改...1.🎉成绩单,你的成绩! 💡🔥每个人都有自己的成绩单,它记录着我们努力的成果。但有时候,看着这些数字,却发现它们好像在嘲笑我?别担心,让我来告诉你们怎么改...
1.🎉成绩单,你的成绩! 💡🔥每个人都有自己的成绩单,它记录着我们努力的成果。但有时候,看着这些数字,却发现它们好像在嘲笑我?别担心,让我来告诉你们怎么改...
 
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdftaibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
taibif_開放資料流程-清理資料01-通則_20240509_20240509.pdf
 

6.5 using sus to compare designs

  • 1. 6.5 USING SUS TO COMPARE DESIGNS 蘇承孺 工商碩一
  • 2. 6.5.1 Comparison of ‘‘Senior- Friendly’’ Websites  Traci Hart (2004) 在Wichita State University 的使用者經驗研究室,研究了三個專為老人設 計的網站:  Senior Net  Senior Resource  Seniors-Place  使用SUS問卷來算分數  6.4.2介紹的John Brook 1986所設計的,由10個 敘述句所組成,評定參與者的同意度高低。
  • 3. 6.5.1 Comparison of ‘‘Senior- Friendly’’ Websites  結果:SeniorResource顯著高於其他兩者(參與者是超過 50歲的21個成年人)
  • 4. 6.5.2 Comparison of Windows ME and Windows XP  The American Institutes for Research (2001)  請來36個參與者(對windows的專業能力從新 手到專家都有)  使用SUS問卷去評分Windows XP和ME哪個比 較高  結果:XP顯著高於ME(P<0.0001)
  • 5. 6.5.3 Comparison of Paper Ballots  SarahEverett, Michael Byrne, and Kristen Greene (2006), from Rice University  進行一個使用性研究,比較三個不同種類的紙 張選票(泡泡式, 箭頭式, 開放式),也是用SUS問 卷去測  選票請見下頁
  • 6. 6.5.3 Comparison of Paper Ballots
  • 7. 6.5.3 Comparison of Paper Ballots  結果:1A泡泡 式顯著高於1B 箭頭式、1C開 放式(P<0.001)
  • 8. 6.6 ONLINE SERVICES  很多公司開始重視使用者對於他們網站的看法  目前最流行的一個方法是Voice of the Customer”消費者的心聲  和post-session self reported metrics比較不 同的是Voc是在實況網路上直接做的。  大概方式是當你在一個重要的網站使用歷程後, 會彈出個視窗做調查(像是登出後、交易後)  此節會介紹這類似的幾種線上服務
  • 9. 6.6 ONLINE SERVICES  很多公司開始重視使用者對於他們網站的看法  目前最流行的一個方法是Voice of the Customer”消費者的心聲  和post-session self reported metrics比較不 同的是Voc是在實況網路上直接做的。  大概方式是當你在一個重要的網站使用歷程後, 會彈出個視窗做調查(像是登出後、交易後)  此節會介紹這類似的幾種線上服務
  • 10. 6.6.1 Website Analysis and Measurement Inventory  Website Analysis and Measurement Inventory(WAMMI)是一個線上的服務,從一 個早期的使用性測量量表(SUMI)所發展而來  兩者都由Human Factors Research Group (HFRG) 所研發  SUMI是設計來評估軟體應用,WAMMI是用來 評估網站,HFRG團體目前正在發展一個 MUMMS的問卷,用來測量使用性。
  • 11. 6.6.1 Website Analysis and Measurement Inventory  WAMMI介紹  由二十陳述句所組成,五點量表,和SUS一樣,有些題目是反向題  平均是50分,滿分一百
  • 12. 6.6.1 Website Analysis and Measurement Inventory  WAMMI分為五個構念Attractiveness, Controllability, Efficiency, Helpfulness, and Learnability  WAMMI最主要的優點是題目可以自創,且和 評量量表連結。  已經有數百個網站的data base,可供你對照 自己的網站
  • 13. 6.6.1 Website Analysis and Measurement Inventory  Sample data  五個向度的平均分數如上  總分是56.5
  • 14. 6.6.2 American Customer Satisfaction Index  American Customer Satisfaction Index(ACSI) 美國顧客滿意指數  Stephen M. Ross Business School of The University of Michigan開發的  涵蓋大部分的工業,例:零售、汽車、製造。  www.ForeSeeResults.com應用ACSI去對線上的 產品和服務作調查,並提供一個滿意指標  現在ACSI廣泛在分析美國政府的的網站  92個美國政府網站在2006年第二季提供分析數據  這個問卷的核心問題有14~20個問題(請見下頁)
  • 16. 6.6.2 American Customer Satisfaction Index  10點量表  對於網站使用經驗的每個屬性(例:資訊質量、 資訊更新速度…..)進行rating  對於使用者的資訊也會記錄(訪問網站內容、頻 率….)來幫助公司有意義的組織使用者
  • 17. 6.6.2 American Customer Satisfaction Index  下頁呈現一個Foresee對某資訊網站的滿意度分析例子  包含六個影響滿意度的層面:  內容  功能  外觀和感覺  導引  搜尋  網站呈現方式
  • 18. 6.6.2 American Customer Satisfaction Index  FIGURE 6.20  評六個面向,在最左側(例:內容、功能、導引….)  總分在中間71分  最右邊是未來行為的評分  Impact on的分數是指對自己的影響力
  • 19. 6.6.2 American Customer Satisfaction Index 6 個 分 類 的 最 滿 需 意 要 度 改 善 對自己的影響力
  • 20. 6.6.3 OpinionLab  Opinion Lab (www.OpinionLab.com)  provides for page-level feedback from users(在頁面上有個按鈕可以按,點了跳出問 卷)
  • 21. 6.6.3 OpinionLab  五點量表,選項從- -到++,opinionlab提供一個視覺化的 分析技術,可以清楚看到結果。請見下頁
  • 22. 6.6.3 OpinionLab  最多人閱讀的200個頁面中,評分最負面的在左邊,上方的是普 通的,右邊是正面的。
  • 23. 6.6.4 Issues with Live-Site Surveys  對於Life-site必須要解決的議題  題目數:題目多,就沒人想答,題目尐,得不到 資訊。  受訪者數量:許多這類型的服務會設定百分比, 去抓受訪者數量,但仍需密切觀察來增加或減尐 人數。  非重複的受訪者:訪問到重複的受訪者相當麻煩, 通常可藉由cookies(電腦暫存紀錄)來預防。
  • 24. 6.7 OTHER TYPES OF SELF- REPORTED METRICS  目前的自陳技術,都是用來評估使用者對於產 品或網站做一個使用後整體的評分,但根據可 用性研究的目標,應該是要請使用者對特定的 元素做評分。
  • 25. 6.7 OTHER TYPES OF SELF- REPORTED METRICS  以下介紹一些產品或網站的屬性  Visual appeal視覺吸引力  Perceived efficiency知覺效率  Usefulness好用性  Enjoyment樂趣性  Credibility可信性  Appropriateness of terminology用詞適當性  Ease of navigation簡便導航系統  Responsiveness回應性  以細節去評分,會更全面性的兼顧到所有特定屬性。
  • 26. 6.7 OTHER TYPES OF SELF- REPORTED METRICS  評估特定屬性的可用性研究:  網站視覺吸引力多快讓使用者產生印象 (Lindgaard et al., 2006)  在網站中的每個頁面刷新影像(50毫秒或500毫秒)  請受試者針對每個頁面進行視覺吸引力評估(一 個主要評估,五個細項評估:有趣/無聊、好設 計/爛設計,好顏色/爛顏色、好圖案/爛圖案、 富想像力的/無想像力的)  結果:50毫秒和500毫秒都一致
  • 27. 6.7 OTHER TYPES OF SELF- REPORTED METRICS  幾年前,做了一個研究,是調查如何讓網站能 活絡,我們定義一個活絡的網站必須要  能激發興趣與好奇心  讓你想進一步探索網站  讓你想重新訪問該網站  參與者看完這些網站後,評估這些網站是高度 活絡還是低度活絡
  • 28. 6.7 OTHER TYPES OF SELF- REPORTED METRICS  一個對於受試者評分的資料常用的分析技術是:專 注觀察較高分及較低分的一~二個群體,這個通常 被稱為‘‘top-2-box’’ or ‘‘bottom-2-box’’ scores。  最近我們常使用這個技術在評鑑受試者對於首頁讀 取速度的回饋。  我們人為將讀取時間設定成1~11秒,觀察受試者的 反應,5點量尺評分(1或2是不能接受、4或5是可接 受),取不能接受和可以接受出來化成下頁的表。
  • 29.
  • 30. 6.7.2 Assessing Specific Elements  在評估產品或網站上,可能會感興趣在評定它的特定元素。  通常在評定特定元素的技術都是相同的,會要求受試者專注在特 定元素上然後給予適當分數。  The Nielsen Norman Group (Stover, Coyne, & Nielsen, 2002) 進行一項研究,在受試者使用網站以後,完成了一份有關網站地 圖的問卷,共十個網站進行這份測試。  The site map is easy to find.  The information on the site map is helpful.  The site map is easy to use.  The site map made it easy to find the information I was looking for.  The site map made it easy to understand the structure of the website.  The site map made it clear what content is available on the website.
  • 31. 6.7.2 Assessing Specific Elements  每一個問題都是七點量表,極度不同意,到極 度同意,再平均各個問題的結果。  10個網站都各有一個總分  這是一個網站更可靠的評分案例,將不同的特 徵評分,然後平均在一起。
  • 32. 6.7.2 Assessing Specific Elements  Tullis (1998)  候選人的網頁設計  要求使用者對於page format, attractiveness, and use of color進行評分  五點量表(-2(poor),-1,0,1,2(excellent))  覺得設計最好的是模板1、最差的是模板4
  • 33.
  • 34. 6.7.2 Assessing Specific Elements  這個研究也闡釋了對於替代方案的比較研究  可以從中分析那個模板比較好  48%的參與者選擇模板1最好,57%參與者選擇 模板4最差。
  • 35. 6.7.3 Open-Ended Questions  使用性研究上,常包括一些開放式問題  最常見的,是讓受訪者自己加上一個對於已有 評分的意見或評論。  另一種是要求使用者列出對於產品最喜好的部 分3~5點,跟最厭惡的部分。  這些可以轉化為指標。
  • 36. 6.7.4 Awareness and Comprehension  一個可能模糊差異的方式:詢問受試者對於網 站的一些問題,但是只能靠記憶,不能點回去 看。  例如:會給受試者短暫瀏覽網頁的機會,然後 給它們一個作業是去閱讀有關太空站的新聞。 接著使用者必須去回答一份問卷,是這個網站 是否有這些資料。受訪者會指出是否他記得這 個網站有這些資料  這個方法也是得到受訪者是否理解網站的方式。
  • 37. 6.7.4 Awareness and Comprehension  和上一個密切相關的技術是:在使用者和網站 進行互動後,給它們一個測驗,以測驗它們對 網站上的信息學習及理解  如果使用者在使用網站前,就已經了解部分在 此網站的訊息,那就必須要做一個前測去了解 他們已經知道什麼,比較他們逛了網站後多了 解了甚麼  如果使用者沒有公然的被導引到這些資訊上, 那就被稱為‘‘incidental learning’’ technique.
  • 38. 6.7.5 Awareness and Usefulness Gaps  就是去了解是否受試者所知覺到的訊息和當初 所想要呈現的(例:資訊、功能、知覺可用性), 有所差異,是非常有價值的分析。  例如:如果大量的受試者都沒察覺到一個特殊 的功能,一旦它們發掘了這樣功能,會覺得他 是非常有用的,製作者就應該將這個功能在網 站中做出突顯。
  • 39. 6.7.5 Awareness and Usefulness Gaps  要分析:察覺與使用性的鴻溝,我們可以詢問 受試者對於察覺性的yes/no問題。  例如:您再調查前有在此網站察覺到這個功能 嗎(yes/no)?這個功能對您有多有用呢(1~5)?  接著就可以使用Top-2-box scores去做分析(請 見下頁)
  • 41. Summary  有許多技術都可以從自陳報告的數據中得到使用性指標, 但是下列重點要謹記:  考慮從任務的執行中得到自陳資料,但從使用性的討論中結束。 Task-level的資料可以幫助你辨認到底是何處需要改進.而 session-level可以激發關於整體使用性的sense。  在實驗室中測試,考慮使用標準化的問卷,去評鑑受試者對系 統的反應,即使受試者樣本數不大,System Usability Scale仍 然是相當有效的方法。  當從實況網站上測試,考慮使用其中一種線上的服務去測量使 用者滿意度.最大的優點是它們可以用它們的文獻數據庫,幫你 比較你的網站和大量的其他網站。  可以更有創意的使用其他量表,如果可行,可以用不同的方式 詢問一個topic,將這些結果平均,來得到更一致的資料。要小 心地建構新的評分量表,開放式的問題做出適當的使用,並在 產品互動後檢驗受試者的理解和覺知程度。
  • 42. End & Thanks for listening