Remote Usability Research Toolbox

1. 用户研究工具箱：
User Research Toolbox
Alibaba.com
张勇
2010.03.24

2. About me
张勇 （Zhang，Yong）
 阿里巴巴国际站 用户研究
 2005年底加入阿里巴巴，历经网站客户管理、参谋
部/BI（商业智能）、UED等部门
 从事国际网站的市场和用户研究，特别是海外会员
 尝试并实践完善多种用户研究工具和方法：如多种
形式的在线问卷、（远程）用户测试、用户访谈、
用户原型、及数据可视化和数据挖掘等
兴趣：
 （参考del.icio.us/jun9标签云)

3. 网站产品项目开发流程中的
用户研究活动（供参考）
根据项目重要性决定是否需要真正的用户确认原型和进行测试
a) 原型确认：由PD负责在kickoff前出项目的原型。原型可以是线框图、PSD或简单的HTML DEMO，只要能
描述清楚项目的主要功能点与完整的流程即可。必须获得PD的老大认可；。
b) 用户原型确认：内部用户或外部用户的代表对原型进行确认。该原型与a中出具的原型是同一份，只是确认
的人员是真正的用户。该活动在kickoff前完成。
（a与b同时完成后才可进入kickoff环节）
c) 用户测试：项目测试完成后，可在线上环境或测试环境，由真正的用户进行测试。
测试、确认型的用户研究活动
内部测试 或
（内部+用户）测试
内部确认 或
（内部+用户）确认
探索、研究型的用户研究活动
项目前期
用户研究
from（某产品开发流程）

4. 产品开发过程中（理论
上）推荐的具体用户研究
方法
Planning Requirements Design Implementation Test & Measure Post Release
Concept FBRD Specs Checklist Review
Lead user study User surveys Design guidelines Style guides Performance testing Data analysis
Stakeholder meeting Interviews Paper prototyping Rapid prototyping Diagnostic evaluation Subjective
(Brainstorming) assessment
Competitor analysis Contextual inquiry Heuristic evaluation Cognitive walkthrough User surveys
Data analysis Field study Parallel design A/B testing Remote
User observation evaluation
Secondary research Focus group Storyboarding
Persona Wizard of Oz
Evaluating existing Interface design
system patterns
Card sorting
Affinity
diagramming
Scenarios of use
(User diary)
Task analysis
（from The Persona Lifecycle: Keeping People in Mind Throughout Product Design ）

5. 更多（高级）方法和工具：眼动仪
All pictures from Google image search

6. 可是
如果你的大部分用户在海外
如果你的项目时间只有两周
如果你找不到用户上门来测试
……

7. 也许可以考虑：远程用户研究
（Remote User Research）
Instant Message/Phone Interview
Instant Message/Online Chat Room/Conference Call Focus Group
http://www.slideshare.net/boltpeters/remote-research-at-ixd10

8. 如何选择使用远程用户研究工具
（Remote User Research Toolbox）
项目进度
远程
用户测试
基于电话，IM的采访和在线小组讨论
在线简单 不同形式的
任务测试 在线问卷
用户鼠标
点击分布 A/B测试

9. 常用方法介绍
[样本量和实施时间仅供参考]
样本量 主持 实施时间
方法 解决问题 优点 缺点
（至少） 者 （至少）
据既定标准
可用性评估 低成本、 个人、主观
对项目做出 1 专家 项目后期发布前
Heuristic evaluation 简单有效 影响
易用性评价
用户访谈 2天准备访谈提 获得信息 邀约困难，
概念和初步
Online Interview / 6-12 专家 纲 + 1天邀约 丰富，讨 电话、在线
方案探索
Focus Group + 2小时/访问 论较深入 稍好
3天准备测试任 最有效发 邀约困难，
远程用户测试 可在线测试
6-12 专家 务 + 1天邀约 现易用性 电话、在线
Remote user testing 的具体方案
+ 1小时/测试 问题 稍好
在线测试 测试方案准
比较完整的 1周准备测试方 数据具有
Online tests: (card 50+ 共同 备制作时间
设计方案 案 + 1周测试 统计意义
sorting, simple tasks) 较长
在线问卷 1周准备测试方 数据具有 问卷准备时
具体问题 100+ 无
Online survey 案 + 1周测试 统计意义 间较长
点击分布 评价发布的 几小时部署 + 直观、准
200+ 无 单个页面
HeatMap 完整版本 1天采集数据 确
多版本测试 评价发布的 多版本发布准备 准确、科
200++ 共同 周期较长
A/B test 不同版本 +2周监控数据 学

10. Usability heuristic evaluation
(Expert Review)
 专家代表用户根据既定的可用性评估标准对项目
做出易用性评价，建议在项目后期发布前进行。
 评估专家类型
 内部专家
 外部专家
 自评
 评价标准类型
 国际标准
 行业标准
 内部标准

11. 国际标准：ISO Ergonomics Technical
Committee
ISO organisation
TC 159 Ergonomics
SC 1 SC 3 SC 4 SC 5
Ergonomic Anthropometry Ergonomics of Ergonomics of t
guiding principles and biomechanics human system interaction he physical environment
WG 1 WG 2 WG 3 WG 5 WG 6 WG 8
Fundamentals of controls Visual Display Control, workplace Software ergonomics and Human centred design process Ergonomic design
and signalling methods Requirements and environmental human computer dialogues for interactive systems of control centres
(resting) Calle •org
b requirements Jan Gulliksen Tomas Berns, Calle •org
b
WG5 (Software ergonomics and HC dialogues) Activities:
ISO 9241 - Software ergonomics for office work with visual
display terminals
ISO 14073 - Multimedia user interface design
ISO 16071 - Guidance on accessibility of human-computer
interfaces
WG6 (Human centred design process) Activities:
ISO 13407 - Human centred design process of interactive
systems
ISO 16982 - Usability methods supporting human centred design
ISO 18529 - Human centred lifecycle process descriptions
(Usability maturity model)

12. 行业和内部标准

13. 用户访谈：上山下乡
 阿里巴巴国际网站的用户研究员和设计师通过实地访问用户和与用户面对
面的沟通来加深对网站用户的认识。项目的目的不仅是用户研究，更重要
的是帮助设计师更快地建立对网站实际用户的感性认识以指导日常设计，
通过初期建立联系后可保持长期联系以便日后更深入的研究。
 研究对象
 中国供应商用户（服务期内客户等）
 海外买家（广交会买家等）

14. 活动目标
 我们的客户是什么样的？
 买家
 卖家
 供应链
 他们是怎样进行国际贸易的？
 他们是怎样使用网站的？
Jane F. Ivanov
Member: Mr. Zhou President, Eve Alexander Maternity/Nursing Lingerie
Company: Zhejiang Dale Garments Co., Ltd. Location: USA Industry: Apparel Member since 2005

15. 远程用户测试
Moderated remote user testing

16. 远程用户测试工具和测试方法 （实例）
招募广告* 被测试用户招募
Chat/Call*
预约注册表格
被测试用户预约注册和筛选
在线注册表格 按预约邀请参加在线测试
*
TechSmith 被测试用户接受测试
UserVUE
UserVUE
Morae 测试观察和录像
Manager

17. 第一步：被测试者招募
改进说明：以前使用的Ethnio 招募广告服务已经开始收费【自制工具已开发完成】
基本功能：实现同样功能的弹出招募广告。后台控制程序可实时控制开启、停止投放，可调整弹出频率。
附加功能：利用cookie读取会员基本信息（会员类型，注册日期，访问频率等）定向筛选投放招募广告。
需开发后台控制弹
需根据流量 出频率、（定向筛
控制招募广 选条件）
告弹出频率:
如1~5%

18. 第二步：被测试者预约注册和筛选
基本功能：使用网上调研系统可定制招募报名表问卷【LimeSurvey开源问卷系统】
附加功能：嵌入网页的以聊天方式的实时招募问题支持【使用免费第三方服务】
可提供基于网页聊天
的测试/招募问题支持
设置简单问卷收集非会员和
附加筛选条件：如年龄、性
别、时间、相关经验等等。
并可导入用户数据进行2次
筛选。

19. 第三步：邀请参加在线测试
基本功能：使用网上调研系统可查看筛选招募报名信息，并可导入Excel分析
Limited by facilitator resources, tests conducted one by one

20. 第四步：被测试用户设置
已购买并使用TechSmith公司的UserVue软件/服务

21. 测试中被测用户屏幕
购买并使用TechSmith公司的UserVue软件/服务测试
任务和问题通过电话或Chat方式

22. 测试主持人屏幕

23. 远程用户测试结果分析实例

24. 远程用户测试和传统用户测试比较
 优点：
 测试真实的用户（包括第一次访问者）
 可以在用户自己的电脑环境中测试不同国家的用户
 能够接受到用户对网站主要流程的互动交流和反馈
 可以录制屏幕视频和电话语音交流实况
 可以进行附加用户背景采访，更可能进行长期跟踪随访
 真正做到低成本测试，无需出差旅行和复杂设备，且做到对用户最小限
度的打扰
 缺点：
 在未使用摄像头的情况下无法观察用户面部表情和肢体语音
 用户可能在测试过程中受到其他事务的干扰，可能受到网速的影响
 需在客户端运行测试程序，可能有用户参与积极性不高
参考：http://www.boltpeters.com/articles/versus.html
http://www.techsmith.com/uservue/whyremotetest.asp

25. 远程测试的要求
 测试前需要和项目相关方共
同设计测试任务，测试任务
对测试完成效果起到非常关
键的作用。
 邀请参加测试的用户要尽可
能接近所代表的目标用户群
体，尤其是要考虑到海外用
户的多样性差异。
 从设计测试方案到每次实际
的测试都需要用户测试主持
人和项目相关方全程紧密合
作，及时反馈改进下一轮测
试。

26. 在线用户测试：
Automated simple task tests
Task 2 of 4: Where would you go to sign up for email notifications of the latest products?
Task 3 of 4: How to find out the supplier's contact information?
把需要测试的交互化解成简单
Task 4 of 4: How to check out more information about a product you are interested in?
的基本页面任务操作来测试或
验证设计方案：
（可用在线测试工具Chalkmark或使用国际
站在线问卷系统和鼠标点击分布系统定制）

27. 在线测试：Online card sorting
解决信息架构（IA）问题
采用OptimalWorkshop的在线测试工具进行，通常用于解决类目划分和菜单设计等问题
Understand a different
point of view.

28. 调研数据：Structured Online Survey
Be sure, not sorry
通过在线弹出、邮件邀请等方法
定向投放的问卷调查是获取大量
用户信息反馈的最直接方法。
问卷调查不仅可以了解用户背景
信息、还可以用来了解用户对网
站产品功能的需求，态度和满意
度等信息。
问卷问题的设计是关键，回收数
据和分析也十分重要。

29. A nice exit survey example

30. 网站用户反馈渠道
常见用户反馈渠道
 Help频道（客服邮件、电话、
IM等）
 News、论坛和blog、twitter等
 满意度及其他用户调研
 用户研究（问卷、访谈，用户测
试等）
 销售传递
 其他
多种用户反馈类型
 建议（需确定优先级）
 投诉（需跟进）
 提问（需回复）
 表扬（可利用）
 其他
 针对整体
 针对具体产品
http://image.baidu.com/i?ct=503316480&z=0&tn=baiduimagedetail&word=%D2%E2%BC%FB%CF%E4&in=25292&cl=2&cm=1&sc=0&lm=-1&pn=162&rn=1&di=2005880568&ln=2000

31. 客户的声音
 收集（海外）用户反馈方式的问题
 每年一次（海外）用户满意度在线调研时间短，范围
小，时效性差
 在线问卷收集的用户反馈（每次数千条）人工分析处
理效率低，重要程度难以统计
 反馈处理、跟进不透明。用户参与积极性低
 无法满足网站运营和战略决策需要大量有价值的“客
户的声音”
 大部分用户的建议不够具体，可操作性差
……
……所以大部分网站采取了针对具体产品功能来收集用户反馈

32. Amazon长期在页面搜集多种用户反馈
针对广告的
用户反馈
针对搜索体验
的用户反馈

33. Google长期在搜索结果页面搜集用户反馈

34. Alibaba也长期在类目页面搜集用户的意见

35. Taobao新搜索的用户反馈表
针对搜索体
验的用户反
馈入口

36. Alibaba Key User Flow Feedbacks
针对搜索
体验的用
户反馈
针对产品
描述的用
户反馈
除了这些有关具体产品或功能的结构化定量的用
户反馈，还有更多定性的用户反馈如何收集处

37. 意见箱2.0
引入用户参与决定意见
和建议的优先级
主要服务提供商：
•Salesforce.com
•Uservoice.com
•Getsatisfaction.com

38. 用户反馈社区
http://getsatisfaction.com/tradekey
1. 用户分享建议
2. 用户互动决定改进建议
优先级
3. 公司积极跟进、快速开
发实施，并及时反馈建
议处理状态
http://userfly.uservoice.com/pages/14442-general

39. 用户反馈系统方案 （实例）
 主要功能和使用场景  方便的反馈分类和管理
用户（包括非注册用户）可在全站  用户之间的互动：
反馈收集点提交对网站产品、服务  用户自发对反馈分类，进行优
等反馈信息，并对其他用户提交的 先级投票和评价
建议进行评价、跟踪公司对用户反  分享、讨论启发新意见和建议
馈意见的处理状态（或参与回答其
他用户的问题）  用户与公司的互动：
意见和建议处理透明化
优点


 跟踪公司对反馈的反馈，提升
 整合常见用户反馈渠道 用户满意度
 包括多种用户反馈类型
 针对整体或各产品线
 统一的反馈收集界面
 长期具体的客户满意度指标

40. （具体方案）用户反馈收集
1.反馈收集入口
 全站统一的”Feedback”或”Help us
improve”链接
 具体样式待定
 部署位置
 页顶、页面边缘或页脚（待定）
 通过统一的JS脚本实现快速定制并部署
产品、服务反馈采集点
 交互方式
 点击后采用页内浮出层中提交表单的方
法，避免打开新页面干扰用户原目标
2.反馈分类和评价
 需选择反馈和建议类型如
idea/question/problem/praise
 如投诉或问题类型，可选择匿名提交、
转客服跟进
 选择或预置反馈针对的产品分类
 同时保存其他隐藏信息字段
 用户类型、使用状态等

41. （具体方案）建立用户反馈社区
3. 反馈分类
– 提交前全文搜索匹配已提交的相关
建议
– 提示用户对已有相近建议投票，排
除/减少重复提交
4. 查看评价其他用户建议
– 支持OpenID登陆
可采用如rpxnow.com之类API
– 用户建议
• 用户可编辑、注释
• 投票、积分
• 查看反馈处理状态
– 用户投诉、问题
• 可删除、编辑、匿名、回复
• 可转客服跟进
• 可跟踪反馈处理状态

42. （具体方案）后台管理和团队流程保障
 系统管理需解决的问题
 用户隐私保护：匿名和非公开反馈
 恶意用户滥用反馈和投票功能：管理员审核、用户参与活
跃度管理、spam control, vote limits, scores等.
 减少重复意见提交：发布时的实时搜索匹配和推荐投票 用户反馈
 推荐预定义分类和相关产品类别
 问题、投诉型用户反馈继续由客户服务团队接手 客服团队处理：
简单回复（如需
 建议采取Support Ticket问题编号跟踪制度，由首次联系 要）
客服负责到底、考虑与BOPS、客服邮件系统的接口
 结合目前客服邮件满意度投票链接统计
问题、投诉型 建议、改进型
 建议、改进型用户反馈由相关产品线指派的接待
员负责跟进
 相关产品反馈接待员负责跟踪、整理、回复处理用户提出 用户互动回答问 客服处理问题和 用户投票决定建 用户可跟踪建议
的（高优先级）建议，并及时设置用户反馈的处理状态 题 投诉 议优先级别 处理状态
 用户研究团队定期提供整合报告
用户可跟踪服务 各产品线反馈接
 仍需结合核心用户流程环节（搜索、产品信息、发送询盘 问题处理状态 口跟进TOP建议
等）体验满意度指标数据
 协助跟进研究TOP建议

43. 鼠
标
点
击
分
布
测
试

44. 某页面用户鼠标点击分布
（前x%页面高度有超过y%的点击）

45. 用户鼠标点击分布采集和分析工具
 目标：
 直观地记录并展示用户在网站页面的鼠标点
击位置分布，为页面设计和改进提供直接的
支持。
 可作为廉价的眼动仪替代品
 背景：
 在用户处于互动状态，其鼠标位置与眼球注
视点高度相关*（见右图Google搜索结果页
面数据）
说明：
•采用页面模板或天窗内嵌入JS代码方式
部署点击数据采集，可实时选择数据采集
比例：如10%的访问用户。
•可根据Alibaba的cookie进行简单条件
筛选只记录特定类型用户的点击：
目前只支持是否会员，会员类型，搜索历
史（产品、关键词）等。后期计划支持根
据用户行为宽表的条件进行筛选。
* Summary of research on eye - mouse synch available from: Edmonds, A., White, R., Morris, D., Drucker, S.
Instrumenting the Dynamic Web. Journal of Web Engineering (JWE), Vol. 6, No. 3 (2007), 243-260.

46. 动画片SMT2: Simple mouse tracking

47. 新功能易用性操作测试记录SMT动画

48. 通过数据了解B2B搜索行为模式
Ideas:
Explore
Entrepreneurs
Searches
Categories &
Filters
Specific Needs:
Narrow Down
Agent & Traders
Searches & Inquiries
Filters Phone calls
IMs, etc.
Short list
Long list

49. 从AB-Test到多变量测试(MVT)
测试设置模块：
访问某个页面的 设置各测试版本及投放
100% 比例
用户 控制测试开始、停止；
*可选功能：测试中投放
比例动态调整、页面自
动优化、
测试发布模块：
根据测试需求在目标用
对照组A： 测试组B： 测试组C： 其他测试组…： 户群中随机分组投放各
（现版本A） （新版本B） （新版本C） （新版本D…） 测试版本和对照组版本
（保证其他非测试因素
的随机分布）；
*可选功能：根据测试点
组合设置自动生成各测
试版本
跟踪记录用户使用各版本的行为和效果 报表分析模块：
准确跟踪各测试版本基
（对比、分析） 本点击数据（PV、UV等）
以及主要功能指标（流
失率、成功率、单多步
转化率等）
根据数据结果 *可选功能：自定义指标
决定采用版本 的跟踪和测试效果统计
计算

50. 为什么要做AB测试
 数字胜于直觉、事实胜于雄辩
 物竞天择、适者生存
 科学试验方法胜于经验和感觉
 很多情况下尝试多个版本的成本并不高
 基于同一套模板的不同文案、交互界面等
 千里乊行始于足下
 无止境的讨论最优方案不如快速实践尝试创新
 有利于打破组织架构壁垒，创造高效跨团队合作
 更快的设计开发测试周期
 减少盲目发布新版本的用户体验风险

51. Highest Paid Person’s Opinion (HiPPO)
The Hippos Vs. Jaguar Process
Traps:
Traps: •Opps…forget about it
•Perfection
Traps:
•Endless debate
Traps: AB-Testing系统
•Ownership issues
Traps: •Technically Test &
•Management not impossible Evaluation
aligned Execute
(Iterate)
•No resources – (Agile team)
fully booked Select Cross-
functional
用户反馈收集系统 (Approver)
Collect
Ideas
(From
Everyone)
Set
Esp.
Success
customers
Measure
(Manage
ment)
Joint (JIT) Agile Users Aggregated Responses (JAgUAR)

52. 典型应用场景
访问某个页面
1. 根据设计师的要求，用户研究团队确定某 的100%
用户
页面或项目的A/B测试方案（设计测试点
和样本量）并在系统后台管理界面新建一
个A/B测试，设置相关测试点，如3种字 对照组A： 测试组B： 测试组C：
其他测试
体、2种文案和有无帮助提示（系统自动 组…：
（现版本A） （新版本B） （新版本C）
（新版本D…）
生成或手工导入3x2x2个版本的模板代码）
和各版本投放比例（如各占1/12）以及
关键测试指标，如反馈转化率。 跟踪记录用户使用各版本的行为和效
果
（对比、分析）
2. 用户研究团队从系统后台设置开始测试后，
根据数据结果
系统按照投放比例随机分配不同版本到用 决定采用版本
户，保证每个用户分配到各版本的概率均
等、测试期间多次访问版本的一致性。
3. 用户研究团队和相关部门在测试进行中和
完成后可到系统后台跟踪查看各版本在测
试期间的基本点击数据（PV、UV等）以
及主要功能指标（流失率、成功率、单步
和多步转化率等），并根据分析关键指标
表现来评估决定测试结果。如有必要可以
随时调整投放比例或提前终止测试。

53. 例：那个版本更好？
A won in this A/B test, with 16.8% increasing revenue.
A: Low-to-high
pricing
B: High-to-low
pricing
http://www.reedge.com/products-services/products/ab-testing?#contenttabbed

54. 不同层面AB测试解决方案
• JavaScript实现判断并载入相应测试版本
前端测试 • 只需随机分配AB测试cookie（小需求）
简单页面设计元素 • 不适合复杂测试，对页面性能有非常大影响
• 底层代码概率判断并载入相应测试版本
模板层测试 • 搜索模块实现多模板测试
页面设计方案 • 完整的页面设计测试：推荐方案
• 底层代码模块判断并载入相应测试版本
底层代码 • 搜索模块Bucket Test
交互设计方案、流程、算法 • 潜在的远期需求：搜索排序、p4p规则等

56. A/B测试系统的限制条件和风险对策
 测试过程需要严格按照统计检验的方法
 对样本量有一定的要求
 必须有测试对照控制组
 只有定量的指标效果，没有解释为什么
 只能根据预定的指标判断哪个版本更好
 可能无法区分短期效果和长期效果
 一般要求测试持续2周
 可能很大程度地增加了不同版本代码测试和开发的成本
 开发多个版本通常大部分代码可复用
 需测试多个版本
 只能测试开发完成的版本
 需保证各版本完整通过开发和测试
 需要流程制度上保证消除代码同步的问题

57. 结合第三方数据：
user lifestyle
B: Upscale America
College-educated couples and families living 人群收入：高低
in the metropolitan sprawl earning upscale
incomes providing them with large homes and
very comfortable and active lifestyles
Affluent Suburbia Aspiring Contemporaries
Metro Fringe
Hitwise.com data

58. 以用户原型为表现形式
Personas are
descriptions of a group of
typical users. 用户原型 （Persona）
•Personas ensure
everyone is aiming at
the same user
•As design options are
created, each one can
be very rapidly tested
by asking
“Would Mohamed need
this?”
“Would Alice
understand how to use
this?”

59. 网站产品开发的策略和实施保障体系
设计解决用户问
效果衡量精准快
•收集用户反馈意见和问题 题的有效方案 •敏捷开发
•收集系统化、处理制度化 •跨部门、多功能的团队
•用户决定优先级 •用户研究和用户测试 •自下而上的沟通 •衡量产品效果的测试
•对意见作反馈、鼓励 •尽早验证的设计 •快速的开发周期 •快速反应的测试结果
•避免闭门造车的解决方案 •多版本的并行测试
•用户为中心的界面/交互 •明确的效果衡量指标
了解用户的实际 快速迭代的产品
问题 开发过程
用户反馈系统 AB测试系统

60. Kaizen
 Continuous Improvement
Kaizen (Japanese for "improvement" or
"change for the better") refers to a
改善
philosophy or practices that focus upon
continuous improvement of processes in
manufacturing, engineering, supporting
business processes, and management.
It has been applied in healthcare,
government, banking, and many other
industries. When used in the business
sense and applied to the workplace,
kaizen refers to activities that
continually improve all functions, and
involves all employees from the CEO to
the assembly line workers.
http://en.wikipedia.org/wiki/Kaizen