1. Thiết kế survey hiệu quả
Designing an Effective Survey
Workshop
Tháng 5/2012
Phan Phuong Dat, FPT Software
“Surveys must be constructed properly in
order for them to withstand the test of time”

2. Mục lục
• Giới thiệu về bài trình bày
• Survey là gì?
• 7 bước thiết kế survey
• Một số kinh nghiệm thực tế ở FSOFT
• Tài liệu tham khảo
• Thực hành
August 4, 2012 Thiết kế Survey hiệu quả 2

3. Giới thiệu
• Trong phạm vi một tổ chức, survey được
sử dụng nhiều, vì được cho là dễ dùng. Ai • Đối tượng trình bày:
cũng có cảm giác mình có thể thiết kế và – Những người tham
thực hiện survey dễ dàng. gia quá trình thiết kế
• Tuy nhiên, sau khi có kết quả survey, survey
nhóm tác giả lại rất hay rơi vào tình trạng – Những người đọc và
“không biết làm gì với nó”. Kết quả gây sử dụng kết quả
tranh cãi, không có ý nghĩa, và không giúp
đưa ra kết luận hay hành động gì. survey
• Nguyên nhân: phương pháp làm survey – Những người khác
không được tuân thủ. quan tâm
• Bài trình bày này giới thiệu phương pháp 7
bước theo tài liệu ‘Designing an Effective
Survey’ (xem trang cuối). Thực chất bài
này là bản lược dịch của tài liệu trên.
Những chia sẻ thêm của tác giả bài trình Ghi chú: chất lượng dịch còn
bày được viết bằng màu xanh. hạn chế, đặc biệt là việc tìm các
• Bài hơi dài do cố gắng đủ chi tiết để người từ chuyên môn tiếng Việt. Tác
giả mong nhận được phản hồi
đọc có thể tự học mà không cần nghe trình
về đ/c datpp@fsoft.com.vn
bày.
August 4, 2012 Thiết kế Survey hiệu quả 3

4. Survey là gì?
Các phương pháp khảo sát, survey là gì, tính chất của
survey, hạn chế của survey, v.v.

5. Các phương pháp khảo sát
• Có nhiều phương pháp khảo sát (research), survey chỉ
là 1 trong số đó.
• Trước khi làm research, cần xem survey có phải là công
cụ phù hợp hay không.
• Các phương pháp khác:
– documentary research (khảo sát qua nghiên cứu tài liệu)
– laboratory experiments (thí nghiệm)
– action research
– case studies
– field experiments (thực nghiệm)
– field work (e.g., participant observation and ethnography)
– simulation (mô phỏng)
– in-depth interviews (phỏng vấn sâu)
August 4, 2012 Thiết kế Survey hiệu quả 5

6. Survey là gì?
• Điều tra, khảo sát, thăm dò.
• Survey là một cách thu thập và phân tích dữ kiện thông
qua việc những người được khảo sát (respondent) trả
lời các câu hỏi hoặc các phát biểu (statement) được
chuẩn bị trước.
• Survey khác với các phương pháp thu thập dữ kiện khác
ở chỗ, nếu được thực hiện đúng, cho phép tổng quát
hóa về lòng tin (belief) và quan điểm (opinion) của nhóm
đông người thông qua khảo sát chỉ một tập hợp con
(subset) trong số họ.
• Để bảo đảm kết quả là chính xác (valid), survey phải
tuân thủ nghiêm ngặt quy trình thiết kế, xây dựng và
phân phối bảng hỏi (questionnaire).
August 4, 2012 Thiết kế Survey hiệu quả 6

7. Questionnaire vs. survey
• Rất nhiều khi 2 thuật ngữ “questionnaire” và
“survey” được dùng để chỉ cùng một thứ.
• Tuy nhiên có sự khác biệt quan trọng giữa 2
khái niệm này:
– Survey là một quá trình. Questionnaire là công cụ của
survey.
– Mặc dù survey luôn sử dụng questionnaire, quá trình
survey mới là yếu tố quyết định về tính chính xác và
hữu dụng của thông tin thu thập được qua
questionnaire.
– Survey phải được thực hiện thông qua một chu trình
nghiêm ngặt. Nếu vi phạm, kết quả thu được có thể
gây lầm lẫn (misleading), bị nghi ngờ và bác bỏ.
August 4, 2012 Thiết kế Survey hiệu quả 7

8. Hai loại survey
• Có hai loại survey:
– Survey tự điền (self-administered questionnaires)
– Survey bằng phỏng vấn (survey interviews, phân biệt với in-depth
interviews)
• Khác biệt giữa survey interview và in-depth interview: mục tiêu và
cách thức
– Survey interview: bảng hỏi được trình bày cho người tham gia khảo sát
một cách giống hệt nhau. Mục đích là các interview phải lặp đi lặp lại,
để có thể lượng hóa và so sánh
– In-depth interview: có thể có trước các câu hỏi hay chủ đề, nhưng cuộc
phỏng vấn diễn ra tùy hứng bởi cả người hỏi và người trả lời. Có thể
phát sinh thêm chủ đề mới trong quá trình.
• Kết hợp
– Trong nhiều trường hợp, nên có vài cuộc phỏng vấn sâu với chuyên gia
lĩnh vực quan tâm (subject-matter expert) trước khi thiết kế công cụ
survey đại trà.
– Việc này đặc biệt có ý nghĩa khi vấn đề định survey là tù mù và khó
hiểu. Việc phỏng vấn sâu chuyên gia giúp xác định các câu hỏi cho
survey.
August 4, 2012 Thiết kế Survey hiệu quả 8

9. Các tính chất của survey
Tính chất Mô tả
Hệ thống Survey tuân thủ một tập hợp quy tắc, bảo đảm các bước được thực
Systematic hiện tuần tự logic
Vô tư Survey lựa chọn các nhóm trong quần thể (population) một cách vô
Impartial tư không có định kiến và ưu tiên
Đại diện Survey bao gồm các đơn vị là đại diện cho vấn đề cần nghiên cứu
Representative và quần thể liên quan
Dựa trên lý thuyết Các bước của survey dựa trên các nguyên tắc của khoa học về
Theory-Based hành vi con người và quy luật toán học về xác suất và thống kê.
Định lượng Survey gán các giá trị số cho những tính chất phi số học của hành vi
Quantitative con người để có thể diễn giải một cách nhất quán các tính chất đó
Khả lặp Những người khác, sử dụng phương pháp giống hệt và thực hiện
Replicable giống hệt thì nói chung sẽ nhận được kết quả giống hệt.
August 4, 2012 Thiết kế Survey hiệu quả 9

10. Hạn chế của survey
• Mặc dù survey có một số ưu điểm so với các phương
pháp khảo sát khác, nó cũng có một số hạn chế cần lưu
ý:
– Để có thể tổng quát hóa kết quả, survey phải tuân thủ chặt chẽ
quy trình xác định và chọn lựa người tham gia.
– Việc tuân thủ có thể dẫn đến chi phí lớn về tiền và thời gian.
– Dữ liệu survey là bề nổi (superficial). Thông thường ta không thể
đào sâu vào chi tiết để tìm lời giải thích cho hiểu biết hay hành
động của người được khảo sát.
• Có thể thu thập luôn thông tin nguyên nhân bằng cách cho phép
Người trả lời viết bình luận cho lựa chọn của mình (đặc biệt là các
lựa chọn tiêu cực)
• Nếu không có thông tin thì không nên phỏng đoán nguyên nhân.
– Survey gây phiền nhiễu (obtrusive). Người tham gia ý thức được
họ đang là đối tượng nghiên cứu. Họ thường trả lời khác đi so
với thực tế nếu họ không rõ về mục tiêu của khảo sát.
• Rất cần thuyết phục Người tham gia tin tưởng và muốn điền.
– Thông tin nhận được là tự cấp (self-reported) và không phải lúc
nào cũng chính xác.
August 4, 2012 Thiết kế Survey hiệu quả 10

11. Các phương pháp khảo sát
August 4, 2012 Thiết kế Survey hiệu quả 11

12. Tại sao lại cần quy trình?
• Quá trình làm survey quyết • The information that a statistical
định kết quả có hữu dụng survey or experiment provides is not
(useful) hay không right because someone agrees with
it, nor wrong because he does not;
• Một survey có kết quả là sản the information is useful or not useful
phẩm của vài loại kỹ năng phối depending on the information and
hợp ăn ý với nhau: the questions that were built in
– Kỹ năng thiết kế survey (bao initially in the statement of the
gồm thống kê) problem, and on the skill that went
– Chuyên gia của lĩnh vực cần into the preparation, execution, and
khảo sát summary of the survey or
experiment. The burden rests with
– Hai loại kỹ năng này không the expert in the subject-matter, and
thay thế nhau được with management, in the preparation
• Người sẽ sử dụng kết quả của of the questionnaire or of the method
survey (thường là nhóm quản of test, to get information that they
lý, để hỗ trợ ra quyết định) can apply to the problem when the
chịu trách nhiệm về qua trình results of the survey or experiment
come in. [Deming 60]
survey, bảo đảm rằng survey
hỏi những câu hỏi dẫn đến
sáng tỏ vấn đề và ra quyết
định hiệu quả.
August 4, 2012 Thiết kế Survey hiệu quả 12

13. Các Vai trò và trách nhiệm
• Người khảo sát (Researcher)
– Có kỹ năng thiết kế survey và thống kê
– Điều phối quá trình survey, tác giả của survey plan
– Chuyển các câu hỏi nội bộ thành câu hỏi survey
– Phân phối và theo dõi phản hồi
– Phân tích kết quả và viết báo cáo (survey report)
• Chuyên gia lĩnh vực quan tâm (SME - Subject-
matter expert)
– Có kiến thức chuyên môn liên quan
– Xác định mục đích survey
– Xem xét các kết quả trung gian cũng như cuối cùng,
và cho ý kiến
– Tham gia test công cụ survey
• Quản lý (Management)
– Phê duyệt mục đích survey
– Quyết định hành động sau khi có kết quả survey
• Hỗ trợ (Researcher support)
– Hỗ trợ sử dụng công cụ (web, mail, v.v.)
August 4, 2012 Thiết kế Survey hiệu quả 13

14. Kế hoạch survey (Survey Plan)
• Để bảo đảm các bên phối • Mục đích (Objectives)
hợp tốt, Người khảo sát – objectives of the survey research
cần viết kế hoạch để định • Thành viên (Team members & roles)
hướng hành động cũng – team member responsibilities
như chia sẻ thông tin giữa – time committed to project
các thành viên. • Đối tượng đích (Target audience)
• Kế hoạch được cập nhật – specific target audience of survey
trong quá trình khi có thay – assumptions about the target audience
đổi hay thông tin mới • Cách lấy mẫu (Sampling approach)
– the approach for selecting the target audience
population who will participate in the survey
• Phương tiện (Media)
– how the survey will be mediated (e.g., mail,
email, Web-based, telephone)
• Hành động (Activities)
– description of survey process activities and
how each team member will participate in the
activity
• Lịch (Schedule)
– activity milestones
• Sản phẩm (Product)
– how the survey results will be reported (e.g., in
a report or presentation, or both)
August 4, 2012 Thiết kế Survey hiệu quả 14

15. Về survey nhanh (Quick and dirty)
• Đã ai từng nói với bạn “Có một ít dữ liệu
tốt hơn là không” (Having some data is
better than nothing)? • “Validity” is
– Kiểu suy nghĩ này khiến ta nhảy đến việc defined as “the
viết một bảng hỏi nhanh (quick and dirty) best available
để thu thập một ít thông tin.
– Phát biểu “Có một ít dữ liệu tốt hơn là
approximation to
không” có thể dẫn đến sai lầm. Nếu dữ the truth of a
liệu không chính xác (invalid), chúng ta có given proposition,
thể kết luận và hành động sai. inference, or
• Để bảo đảm rằng kết quả survey phản conclusion”
ánh thực tế (validity), cần tuân thủ quy
trình. Nếu không kết quả sẽ bị nghi ngờ.
• Hai loại validity:
– construct validity: Are we measuring what
we think we are measuring?
– external validity: Can the results be
generalized to other people, places, or
times?
August 4, 2012 Thiết kế Survey hiệu quả 15

16. 7 bước thiết kế survey
Các bước làm survey, hậu survey

17. 7 bước thiết kế survey
1. Xác định mục đích
2. Xác định đối tượng và đặc điểm
3. Thiết kế mẫu
4. Thiết kế và viết bảng hỏi
5. Pilot test bảng hỏi
6. Phân phối bảng hỏi
7. Phân tích kết quả và viết báo cáo
August 4, 2012 Thiết kế Survey hiệu quả 17

18. 1. Xác định mục đích
Identify the Research Objectives (1)
• Người khảo sát có xu hướng nhảy
luôn vào viết câu hỏi ngay khi
quyết định làm survey
• Tuy nhiên, thành công của survey
phụ thuộc vào việc làm kế hoạch,
trên cơ sở xác định kỹ vấn đề.
• Mục đích của survey được suy ra
từ việc hiểu thấu đáo vấn đề định
nghiên cứu. Mục đích của survey
giúp xác định phạm vi và hướng
dẫn cho các câu hỏi nội bộ
(internal questions)
• Cũng có thể từ các câu hỏi nội bộ
suy ngược ra mục đích của survey
(bottom-up)
• Câu hỏi nội bộ sẽ không xuất hiện
trên Bảng hỏi, mà cần được
chuyển thành các câu hỏi theo
ngôn ngữ của người được hỏi.
August 4, 2012 Thiết kế Survey hiệu quả 18

19. 1. Xác định mục đích
Identify the Research Objectives (2)
• Tại sao cần xác định mục đích?
– Mục đích khảo sát giúp xác định đối tượng và
các câu hỏi
– Không nên cho rằng tất cả thành viên của nhóm
đều đã hiểu mục đích, do đó chúng cần được
viết ra để kiểm tra xem mọi người có hiểu giống
nhau không.
– Có lúc mục đích được xác định dễ dàng, nhưng
cũng có lúc không đơn giản vì có nhiều quan
điểm khác nhau về vấn đề cần khảo sát. Khi đó
có thể cần các cuộc làm việc để làm rõ hoặc
thỏa thuận về mục đích
• Nội dung của mục đích
– Cần viết rõ bạn muốn làm gì khi thực hiện
survey
– Bạn sẽ làm gì với thông tin thu thập được
• Không nên tham nhiều mục đích
• Đã có ai làm chưa?
– Học hỏi từ các survey của người khác Tam giác dữ liệu (data
• triangulation) để đi tìm sự
Tránh mục đích quá tham vọng
thật về một vấn đề gì đó
– Muốn quá nhiều thứ từ một survey
– Nên kết hợp với các phương pháp khác nếu vấn
đề cần nghiên cứu là phức tạp
August 4, 2012 Thiết kế Survey hiệu quả 19

20. 2. Xác định đối tượng và đặc điểm
Identify & Characterize the Target Audience
• Bước #2 gồm 2 bước con: xác định quần thể
(population) liên quan và mô tả đặc điểm để có
thể tiến hành survey hiệu quả.
• Population, đối tượng đích (target audience) và
mẫu (sample)
– In survey research, a “population” refers to all the
members of a specific group. A population can be
defined in terms of demography, geography,
occupation, time, or some combination of these
factors.
– When you identify the population for your study, it
then becomes the target audience for the research.
– A “sample” is a subset of the population. In survey
research, the sample is studied and the findings are
generalized to the population.
August 4, 2012 Thiết kế Survey hiệu quả 20

21. 2. Xác định đối tượng và đặc điểm
Chọn đối tượng
• Tùy vào vấn đề mà bạn đang tìm hiểu và ai là người có
thể cung cấp thông tin, bạn sẽ chọn đối tượng survey.
– Cần phải xác định rõ ràng ai là người sẽ trả lời survey. Điều này
ảnh hưởng lớn đến thiết kế công cụ survey cũng như phương
pháp phân phối.
– Ví dụ các nhóm đối tượng: nhóm quản lý, nhóm kỹ thuật, v.v
• Một khi đã xác định đối tượng survey, bạn cần thực hiện
phân tích đối tượng để mô tả đặc điểm của những người
trả lời (respondent). Hiểu họ sẽ giúp:
– Xác định cách survey (giấy, phỏng vấn survey, web-based) phù
hợp để có tỷ lệ trả lời cao và thông tin chính xác (valid)
– Xây dựng nội dung bảng hỏi dễ hiểu đối với họ. Bảng hỏi phải
được viết từ góc độ người điền chứ không phải từ góc độ người
khảo sát.
• Thực hiện phân tích
– Đôi lúc bạn không hiểu hết các đặc điểm của đối tượng đích.
Nên nhờ sự hỗ trợ của chuyên gia (SME).
August 4, 2012 Thiết kế Survey hiệu quả 21

22. 2. Xác định đối tượng và đặc điểm
Xác định đặc điểm đối tượng
• Một số câu hỏi giúp xác định đặc điểm:
– Có bao nhiêu người trong quần thể cần nghiên cứu?
– Công việc và trách nhiệm của họ
– Kinh nghiệm trong lĩnh vực liên quan
– Liệu họ có gặp khó khăn nếu Bảng hỏi được: mail, sử
dụng phần mềm trên web, hay đưa bản cứng cho họ?
– Liệu chúng ta có thể giả thiết gì về kiến thức của họ
về lĩnh vực mà survey định khảo sát?
– Họ có sử dụng ngôn ngữ riêng khi nói về lĩnh vực này
– Liệu họ có vui vẻ điền survey hay sẽ chống đối?
– Họ sẽ dành khoảng bao nhiêu thời gian để điền
survey?
• Các thông tin này sẽ giúp bạn thiết kế và viết
bảng hỏi.
August 4, 2012 Thiết kế Survey hiệu quả 22

23. 3. Thiết kế mẫu
Design the Sampling Plan
• Ở bước #3 này, người khảo sát cần quyết định:
– Sẽ lựa chọn những người tham gia survey ntn
– Kích thước của mẫu
– Những thông tin này có ảnh hưởng lớn đến việc tổng
quát hóa kết quả ra ngoài phạm vi mẫu, và mức độ
chính xác (precision) và tin cậy (confidence) của kết
quả (findings)
• Hai loại mẫu:
– Mẫu xác suất (probability sample): được dùng nếu
định tổng quát hóa kết quả khảo sát
– Mẫu phi xác suất (non-probability sample): được
dùng nếu kết quả chí dành cho nhóm đối tượng được
khảo sát (không tổng quát hóa)
– Census: mẫu = population
• Khảo sát toàn bộ nhân viên
August 4, 2012 Thiết kế Survey hiệu quả 23

24. 3. Thiết kế mẫu
Mẫu XS và phi XS
• Mẫu XS được thiết kế để bảo đảm mỗi người trong population đều
có cơ hội được chọn như nhau. Bằng cách đó, có thể chọn được
mẫu là đại diện cho toàn population.
– Điều này cho phép tổng quát hóa kết quả lên toàn bộ population
• Mẫu phi XS sử dụng đánh giá chủ quan khi chọn người trả lời.
Những mẫu lấy chủ quan này không bảo đảm là đại diện được cho
population
• Ví dụ của việc sử dụng mẫu phi XS:
– Phân phối bảng hỏi cho những người tham dự hội thảo, sự kiện
– Tham khảo ý kiến một nhóm chuyên gia trong lĩnh vực nào đó
– Gửi bảng hỏi qua web và cho phép mọi người lựa chọn trả lời hoặc
không tùy thích.
• Trong các ví dụ trên, kết quả chỉ áp dụng cho nhóm những người
trả lời. Sẽ không có cơ sở tổng quát hóa kết quả cho bất kỳ ai, thời
điểm hay địa điểm nào khác.
• Đây là điểm khác biệt quan trọng, và là nguyên nhân gây lúng túng
(confusion) trong một số survey đã được làm và công bố.
August 4, 2012 Thiết kế Survey hiệu quả 24

25. 3. Thiết kế mẫu
Sử dụng mẫu phi XS
• Sử dụng mẫu phi XS thì có vấn đề gì không? Còn tùy
vào tình huống cụ thể
• Tình huống chấp nhận được:
– Khi kết quả chỉ dành riêng cho một nhóm các cá nhân, thì không
cần thiết kế mẫu.
– Trong trường hợp đó, khi báo cáo kết quả cần làm rõ cho người
đọc rằng không thể suy ra hay tổng quát hóa kết quả ra bên
ngoài nhóm trả lời
• Tình huống không được chấp nhận:
– Không được sử dụng mẫu phi XS chỉ vì bạn không muốn bỏ ra
công sức, thời gian hay tiền bạc cần thiết để làm mẫu XS
– Nếu định tổng quát hóa thì bắt buộc dùng mẫu XS
August 4, 2012 Thiết kế Survey hiệu quả 25

26. 3. Thiết kế mẫu
Mẫu XS
• Việc thiết kế mẫu XS đòi hỏi có kiến thức và sử
dụng các công cụ xác suất thống kê. Nếu Nhóm
khảo sát không có sẵn thành viên phù hợp thì
nên thuê ngoài.
• Nội dung không đề cập trong bài trình bày này.
Những ai quan tâm có thể tham khảo tài liệu của
SEI (slide cuối) và các tài liệu khác.
August 4, 2012 Thiết kế Survey hiệu quả 26

27. 4. Thiết kế và viết Bảng hỏi – Mở đầu
Design and Write the Questionnaire – Overview
• Bước #4 được chia làm 4 bước con (4.1 – 4.4). Các bước con về nguyên
tắc được thực hiện tuần tự, nhưng cũng có thể lặp lại (iteration)
– 4.1. Quyết định nội dung các câu hỏi
– 4.2. Xác định loại câu hỏi, hình thức câu hỏi, và cách hành văn
• 4.2.1. Cấu trúc câu hỏi và phương án trả lời
• 4.2.2. Từ ngữ dùng để viết câu hỏi
– 4.3. Thiết kế chuỗi câu hỏi và hình thức trình bày
• 4.3.1. Quyết định độ dài
• 4.3.2. Tổ chức chuỗi câu hỏi
• 4.3.3. Viết Hướng dẫn và chuyển tiếp
• 4.3.4. Dàn trang
• 4.3.5. Survey trên Web
– 4.4. Làm các tài liệu phụ kèm theo.
August 4, 2012 Thiết kế Survey hiệu quả 27

28. 4. Thiết kế và viết Bảng hỏi – Mở đầu
Design and Write the Questionnaire – Overview
• Bảng hỏi được thiết kế từ Mục đích và Đối tượng
• Tầm quan trọng của Mục đích:
– Mục đích không rõ ràng dẫn đến câu hỏi vô ích
– Câu hỏi chung chung dẫn đến khó phân tích nguyên nhân và hành động về sau
(ảnh hưởng đến Bước #7)
– Nếu bạn thấy khó viết câu hỏi thì chứng tỏ mục đích chưa rõ, cần xem lại.
• Tầm quan trọng của Đối tượng:
– Một lỗi phổ biến mà người mới hay mắc phải: viết Bảng hỏi cho chính mình! Tức
là sử dụng từ vựng của bản thân mà người trả lời có thể hiểu sai, hiểu khác.
– Luôn nhớ: Bảng hỏi phải được viết cho người trả lời. Bước #2 giúp xác định đặc
điểm của người trả lời để viết các câu hỏi về sau.
August 4, 2012 Thiết kế Survey hiệu quả 28

29. 4. Thiết kế và viết Bảng hỏi – Mở đầu
Các câu hỏi trước khi bắt đầu viết
• Quá trình thiết kế Bảng hỏi cần giải đáp các câu hỏi sau:
– Survey sẽ được thực hiện bằng cách nào (giấy, email, web, v.v.)
– Bảng hỏi cần dài bao nhiêu?
– Bảng hỏi cần được cấu trúc ntn?
– Cần những tài liệu phụ trợ nào để tăng hiệu quả survey?
• Một số vấn đề cần lưu tâm khi viết Bảng hỏi:
– Bạn có thực sự biết bạn định đo cái gì?
– Liệu tất cả những người được hỏi đều hiểu câu hỏi?
– Các câu hỏi có phức tạp không? Có khó trả lời đối với
respondent không?
– Các respondents có khả năng và sẵn sàng có câu trả lời đúng
đắn (accurate)?
– Liệu cách hỏi có giúp cho việc lập bảng và phân tích kết quả sau
này?
August 4, 2012 Thiết kế Survey hiệu quả 29

30. 4.1 Quyết định câu hỏi
Determine Questions to be Asked
• Cần phân biệt câu hỏi mà nhóm khảo sát cần câu trả lời
(câu hỏi nội bộ - internal questions) và câu hỏi mà
respondent sẽ trả lời (các mục của Bảng hỏi -
questionnaire items).
• Mặc dù hai cái này liên quan đến nhau, thường thì câu
hỏi nội bộ không phù hợp để hỏi respondents
• Có 4 nhóm nội dung của câu hỏi được dùng trong
survey. Bạn có thể hỏi mọi người về:
– Thuộc tính
– Thái độ
– Lòng tin
– Hành vi
• Cần phân biệt 4 nhóm thông tin này để viết lại câu hỏi
cho chính xác trong bước #4.2. Nếu không có thể dẫn
đến việc thu thập thông tin sai.
August 4, 2012 Thiết kế Survey hiệu quả 30

31. 4.1 Quyết định câu hỏi
Các dạng câu hỏi
• Câu hỏi về thuộc tính (Attribute questions) • Kết quả của
– Hỏi về đặc tính cá nhân hoặc nhân khẩu học (demographic), bước #4.1. là tập
ví dụ tuổi, trình độ học vấn, số người trong bộ phận, ngành hợp các câu hỏi
nghề, năm kinh nghiệm. thể hiện suy nghĩ
– Thông tin được sử dụng để phân tích sự khác biệt về thái độ, của cả nhóm về
lòng tin, hành vi giữa các nhóm. thông tin cần thu
• Câu hỏi về thái độ (Attitude questions) thập.
– Câu hỏi về thái độ quan tâm đến thế giới quan và định hướng • Các câu hỏi này
của cá nhân, hình thành trên cơ sở kinh nghiệm của họ. Câu nên được xếp
hỏi nhóm này hỏi mọi người về cảm giác (feeling) của họ về gì thứ tự ưu tiên để
đó và yêu cầu họ xác định thái độ positive nay negative. tiện cho việc rút
• Câu hỏi về lòng tin (Belief questions) ngắn nếu cần, ở
– Lòng tin là đánh giá của của respondent về điều họ cho là bước sau.
đúng hay sai. Còn được gọi là câu hỏi về quan điểm (opinion)
– Ranh giới giữa câu hỏi về thái độ và câu hỏi về quan điểm là
tương đối mờ.
• Câu hỏi về hành vi (Behavior questions)
– Yêu cầu respondent mô tả về việc họ đã hoặc đang làm.
– Thông tin thường được phân tích theo các góc độ: hành vi
trong quá khứ hay hiện tại, tần suất, mức độ kết quả của hành
vi
• Xác định câu hỏi là việc của cả nhóm
– Không nên một mình quyết định các câu hỏi nội bộ. Cần sự
tham gia của tất cả thành viên.
August 4, 2012 Thiết kế Survey hiệu quả 31

32. 4.2. Chọn loại câu hỏi, hình thức, cách hành văn
Select Question Type, Format, and Specific Wording
• Ở bước #4.2 này, nhóm khảo sát chuyển các
câu hỏi nội bộ (kết quả của #4.1) thành Bảng hỏi
(questionnaire). Các câu hỏi được viết lại để:
– Câu trả lời có thể phân tích định lượng
– Dễ hiểu cho đối tượng khảo sát.
• Phân tích định lượng:
– Chuyển câu hỏi mở (open-ended) thành một hoặc
nhiều câu hỏi đóng (close-ended).
– Câu hỏi mở gây khó khăn cho phân tích thống kê
• Dễ hiểu:
– Viết câu hỏi bằng ngôn ngữ của respondent
August 4, 2012 Thiết kế Survey hiệu quả 32

33. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lời
Question structure & response format: what are they?
• Hai nhóm cấu trúc câu Cấu trúc Description
hỏi: Câu hỏi mở Respondents viết câu trả lời bằng
từ ngữ của họ. Không có các lựa
– Câu hỏi mở (phi cấu chọn cho trước
trúc)
– Câu hỏi đóng (có cấu Câu hỏi đóng với Respondents chọn một hay vài
trúc) các lựa chọn phương án phù hợp từ tập hợp
không thứ tự các phương án rời rạc, không có
• Dạng thức trả lời (cách tổ thứ tự.
chức các phương án trả
lời) quyết định việc bạn Câu hỏi đóng với Các phương án trả lời được xếp
sẽ thu thập câu trả lời các lựa chọn có theo thứ tự nào đó theo chiều
thứ tự quan điểm hoặc hành vi.
ntn. Respondent chọn phương án phù
• Có một số dạng thức cho hợp nhất.
các câu hỏi đóng. Với
câu hỏi mở, dạng thức Câu hỏi lai Các phương án trả lời được liệt kê
(Hybrid) (như câu hỏi đóng) nhưng
trả lời đơn giản là text. respondent có thể tạo thêm câu trả
lời nếu các PA sẵn có không phù
hợp (như câu hỏi mở)
August 4, 2012 Thiết kế Survey hiệu quả 33

34. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lời
Question structure & response format: what are they?
• Bạn sẽ phân tích kết quả ntn?
– Cấu trúc và dạng thức câu hỏi sẽ ảnh hưởng đến việc phân tích kết quả
(bước #7), do đó phải lưu ý trước.
– Câu hỏi mở sẽ cho kết quả định tính. Nhiều thông tin và khó tổng hợp,
mất nhiều công sức.
– Thông thường các câu hỏi nội bộ là câu hỏi mở, và cần chuyển hóa
thành câu hỏi đóng. Một câu hỏi mở  một hoặc nhiều câu hỏi đóng.
• Có thể dùng câu hỏi mở trong survey?
– Câu hỏi mở có thể dùng trong phỏng vấn survey
– Nếu dùng trong survey tự khai thì phải rất hạn chế, đặc biệt khi quy mô
mẫu là lớn. Thông tin trả lời câu hỏi mở đôi khi khó diễn giải
(interprete), và survey tự khai không cho phép thực hiện hỏi follow-up,
nên khó xác định tính chính xác (validity)
– Có rủi ro trong việc diễn giải câu trả lời vì yếu tố chủ quan của người
phân tích kết quả.
• Chuyển mở thành đóng
– Dữ liệu định tính là chữ, dữ liệu định lượng là số. Mặc dù khác biệt này
có vẻ đáng kể, thực tế lại không phải vậy. Mọi dữ liệu định tính có thể
mã hóa và chuyển thành định lượng.
– Việc chuyển câu hỏi mở thành đóng dẫn đến việc các câu trả lời có thể
định lượng và tổng hợp.
August 4, 2012 Thiết kế Survey hiệu quả 34

35. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lời
Closed-ended questions with ordered responses
• Câu hỏi mở có thể chuyển thành (nhiều) câu hỏi đóng với các lựa
chọn có thứ tự thông qua quá trình chia độ (scaling)
• Scaling là việc gán số cho các đối tượng theo một quy tắc. Trong
survey, các đối tượng là các phát biểu (text), đặc biệt là phát biểu
về quan điểm, thái độ hay lòng tin.
• Có mấy cách chia độ khác nhau cho các lựa chọn (response
scales):
– Rẽ đôi (dichotomous response scales): ví dụ yes/no, agree/disagree
– Thứ tự (ordinal response scales): ví dụ poor, fair, neutral, good, very
good.
• Trong trường hợp thứ hai, các lựa chọn xếp theo một chiều,
respondent cần lựa chọn phương án phù hợp nhất. Ordinal
response scales còn được gọi là Likert scales
• Likert scales có thể có nhiều dải, ví dụ từ 0-4, 1-7,
1-9, v.v. Trường hợp respondent không thể trả lời
câu hỏi, nên có thêm phương án “Don’t Know”
hoặc “Doesn’t Apply”.
August 4, 2012 Thiết kế Survey hiệu quả 35

36. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lời
Closed-ended questions with unordered responses
• Câu hỏi đóng với các lựa chọn không thứ tự không hạn
chế respondent phải chọn từ thang các mức độ sắp xếp
theo một chiều cho trước. Loại câu hỏi này cung cấp các
lựa chọn không theo thứ tự và respondent phải cân nhắc
chúng. Cùng lúc, respondent có thể chọn tất cả các
phương án phù hợp.
August 4, 2012 Thiết kế Survey hiệu quả 36

37. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lời
Câu hỏi lai (hybrid)
• Câu hỏi lai là dạng câu hỏi đóng nhưng cho phép người
trả lời điền phương án khác nếu các phương án có sẵn
không phù hợp.
• Nên sử dụng khi bạn nghi ngờ chưa liệt kê được hết các
phương án
• Nên sử dụng với loại không có thứ tự (unordered) chứ
không phải loại có thứ tự (order)
August 4, 2012 Thiết kế Survey hiệu quả 37

38. 4.2.2. Từ ngữ cho câu hỏi
Question wording
• Để bảo đảm construct validity (bạn đo cái bạn muốn đo), phải bảo đảm các câu trả
lời nhận được là valid.
• Respondent phải:
– Hiểu câu hỏi
– Có khả năng cung cấp thông tin được yêu cầu
– Có mong muốn cung cấp thông tin được yêu cầu.
• Do đó, câu hỏi cần được viết cẩn thận. Việc viết câu hỏi không đúng sẽ dẫn đến kết
quả sai lệch. Các câu hỏi cần được viết để respondent hiểu được.
• Người ta liệt kê một số quy tắc viết, tuy nhiên, dùng không dễ vì chúng lại mâu thuẫn
với nhau:
– Không tù mù (do not be vague)
– Dùng từ giản đơn (use simple words)
– Ngắn gọn (keep it short)
– Cụ thể (be specific)
– Tránh định kiến (avoid bias)
– Không quá cụ thể (do not be too specific)
– Tránh các câu hỏi giả thiết (avoid hypothetical questions)
• Các quy tắc không nên áp dụng máy móc vì câu hỏi đều có ngữ cảnh. Câu hỏi
survey được viết:
– Cho đối tượng đích cụ thể
– Với mục đích cụ thể
– Đứng sau hoặc trước các câu hỏi khác.
• Có những từ ngữ khó dùng cho đối tượng này lại rất hợp cho đối tượng khác. Có câu
hỏi đứng riêng k0 có ý nghĩa nhưng lại rất ổn khi đứng sau một số câu khác. Do đó,
việc phân tích đối tượng (bước #2) là rất quan trọng.
August 4, 2012 Thiết kế Survey hiệu quả 38

39. 4.2.2. Từ ngữ cho câu hỏi
Các gợi ý khi viết Bảng hỏi
Gợi ý Hướng dẫn
Từ ngữ sử dụng có được hiểu nhất quán Pilot trước (bước #5)
k0?
Will the words be uniformly understood?
Câu hỏi có dùng những thuật ngữ, đoạn Lưu ý khi dùng thuật ngữ chuyên môn, thuật ngữ của
văn hay từ viết tắt không phổ biến? đơn vị
Do the questions use unconventional
terminology, phrases, or abbreviations?
Câu hỏi có quá kín đáo, tù mù hay quá Không nên cách ly các câu hỏi trong Bảng hỏi. Các
chính xác? câu liên quan sẽ làm giảm độ tù mù.
Are the questions too cryptic, vague, or Câu hỏi quá chính xác sẽ khó trả lời (ví dụ hỏi
precise? respondent thực hiện bao nhiêu lần một hoạt động
nào đó trong ngày)
Câu hỏi có định kiến? Ví dụ về câu hỏi của người bán quán bar (The Art of
Is the question biased? Asking Questions) – xem tr. 65
Câu hỏi có dễ bị từ chối? Người trả lời cảm thấy thông tin là riêng tư hoặc
Is the question objectionable? Người trả lời bị hỏi về các hành vi vi phạm. Chỉ một
vài câu hỏi kiểu này sẽ khiến respondent từ chối trả
lời toàn bộ Bảng hỏi.
August 4, 2012 Thiết kế Survey hiệu quả 39

40. 4.2.2. Từ ngữ cho câu hỏi
Các gợi ý khi viết Bảng hỏi
Gợi ý Hướng dẫn
Câu hỏi quá đòi hỏi? Đòi hỏi người trả lời phải suy nghĩ quá mức. Ví dụ hỏi
Is the question too demanding? về hành vi của quá khứ. Không tham thông tin quá
chính xác.
Câu hỏi phức? Nhiều câu hỏi kết hợp làm một. Cần tách riêng.
Is it a compound question?
Câu hỏi có 2 lần phủ định? Không bao giờ nên hỏi câu 2 lần phủ định (xem ví dụ
Does the question include a double trang sau)
negative?
Các phương án trả lời mâu thuẫn nhau Các phương án lẫn lộn vào nhau. Ví dụ:
hoặc chứa nhau? (A) 0-3 , (B) 3-5 , (C) 5-10, (D) > 10.
Are the answer choices mutually exclusive
and exhaustive?
Bạn có giả thiết quá nhiều về kiến thức và Nên có phương án “Don’t Know”, hoặc sử dụng câu
hành vi của respondent? hỏi hybrid
Have you assumed too much about
respondent knowledge or behavior?
Câu hỏi có đung về mặt kỹ thuật? Nếu có thông tin kèm theo câu hỏi, thì thông tin phải
Is the question technically accurate? đúng đắn về mặt kỹ thuật (làm người trả lời nghi ngờ
về trình độ của nhóm khảo sát)
August 4, 2012 Thiết kế Survey hiệu quả 40

41. 4.2.2. Từ ngữ cho câu hỏi
Ví dụ về câu hỏi 2 lần phủ định
• Chuyện cười survey
dùng 2 lần phủ định
– Giám đốc định bổ nhiệm
Trưởng Phòng nhưng lại
muốn tỏ ra dân chủ, nên
yêu cầu HR survey nhân
viên, làm sao bảo đảm
100% đồng ý. Sau một
hồi suy nghĩ, HR làm ra
survey sau: “Có phải
anh/ chị không phản đối
việc bổ nhiệm đồng chí
X làm Trưởng Phòng?
Các p/a trả lời:
• Đúng, không phản đối
• Không, không phản
đối”
August 4, 2012 Thiết kế Survey hiệu quả 41

42. 4.3. Thiết kế chuỗi câu hỏi và hình thức Bảng hỏi
Design Question Sequence and Overall Questionnaire Layout
• Đến lúc này, bạn đã có trong tay danh sách các câu hỏi
mà bạn tin là đáp ứng mục đích của survey. Tuy nhiên
còn 1 số việc cần làm trước khi Bảng hỏi của bạn được
hoàn tất và sẵn sằng cho test và phân phối.
• Để hoàn thiện Bảng hỏi, bạn cần chú ý các yếu tố sau:
– Độ dài của bảng hỏi
– Việc tổ chức chuỗi các câu hỏi
– Hướng dẫn và giới thiệu của mỗi phần Bảng hỏi
– Cách dàn trang Bảng hỏi
• Bản cứng
• Bản trên web
• Bản gửi qua email
• Các hình thức khác (ví dụ các phần mềm làm survey)
August 4, 2012 Thiết kế Survey hiệu quả 42

43. 4.3.1. Quyết định độ dài
• Vấn đề:
– Bảng hỏi quá dài là một lý do phổ biến nhất khiến respondent từ
chối điền survey. Người khảo sát phải bảo đảm được tỷ lệ trả lời
cao.
– Mỗi câu hỏi thêm làm giảm 0.5% trả lời, mỗi trang thêm – 5%.
Bảng hỏi quá 4 trang làm thụt giảm đáng kể tỷ lệ trả lời.
– Chất lượng thông tin cũng bị ảnh hưởng do respondent mệt mỏi,
chán.
• Các câu hỏi nên được xếp ưu tiên (bước #4.1.) để có
thể lược bỏ nếu cần
• Một số thủ thuật tăng tỷ lệ:
– Nếu topic được quan tâm
– Respondent được hứa sẽ nhận được kết quả
– Các khoản khen thưởng
August 4, 2012 Thiết kế Survey hiệu quả 43

44. 4.3.2. Tổ chức chuỗi câu hỏi
• Có 3 dạng câu hỏi trong Bảng hỏi:
– Câu hỏi demographic:
– Câu hỏi chính (substantive)
– Câu hỏi lọc (filter): xác định respondent cần trả lời phần nào
• Nhóm các câu hỏi và tổ chức chúng
– Nhóm các câu hỏi với nhau thành mục (section), viết các lời dẫn
dắt từ mục này sang mục khác
– Các câu hỏi demographic là thực tế (fact-based), còn câu hỏi
chính là cảm nhận (opinion-based). Câu hỏi demographic nên
hỏi trước vì dễ trả lời, dùng để khởi động trước khi vào câu hỏi
chính
– Nếu trong số các câu hỏi chính có câu hỏi mở thì nên để ở dưới
cùng
• Xâu chuỗi (sequencing)
– Xếp thứ tự các câu hỏi không phải là việc hiển nhiên. Cần lưu ý
quan hệ giữa câu trước và câu sau. Các câu hỏi cần được sắp
xếp logic, dễ hiểu cho người trả lời.
August 4, 2012 Thiết kế Survey hiệu quả 44

45. 4.3.3. Viết hướng dẫn và chuyển tiếp
Instructions and Transition Paragraphs
• Ngoài các câu hỏi, trong Bảng hỏi còn có các thông tin khác (non-
question, phi vấn):
– Tựa đề của survey
– Hướng dẫn điền
– Các đoạn chuyển tiếp
– Các định nghĩa
• Hướng dẫn
– Trong survey tự điền, người trả lời không có cơ hội thắc mắc, mọi
hướng dẫn phải có sẵn trong Bảng hỏi.
– Hướng dẫn cần được viết rõ ràng và ngay sát câu hỏi. Không nên giả
định rằng respondent tự biết phải làm gì.
• Viết các đoạn chuyển tiếp
– Nếu survey có nhiều mục, cần viết các đoạn chuyển tiếp ngắn để
respondent có định hướng.
• Định nghĩa
– Nếu bắt buộc phải dùng các thuật ngữ thì nên có định nghĩa để người
trả lời hiểu đúng. Định nghĩa có thể viết riêng (nếu nhiều), hoặc ngay
trong câu hỏi
August 4, 2012 Thiết kế Survey hiệu quả 45

46. 4.3.4. Dàn trang
• Dàn trang quan trọng vì:
– Gây ấn tượng với người trả lời • “Right and wrong
– Giúp họ hiểu câu hỏi dễ hơn, nhanh hơn do not exist in
• Hướng dẫn: graphic design.
– Bố trí các lựa chọn thẳng hàng, gọn gàng There is only
– Sử dụng hợp lý các khoảng trắng (white- effective and non-
space) effective
– Không để 1 câu hỏi tràn ra 2 trang communication”
– Dùng mép phải để bố trí các PA trả lời
[Bilak 95].
– Không lạm dụng phông chữ, kích thước và
màu sắc chữ.
– Chỉ dùng minh họa khi thật sự cần
– Không tham chiếu thông tin từ chỗ này sang
chỗ khác, nên để mọi thông tin liên quan ở
1 chỗ
– Để cớ chữ ít nhất là 10
– Không dùng CHỮ HOA.
– Đánh số trang, và nhắc lại Tựa đề survey ở
các trang.
August 4, 2012 Thiết kế Survey hiệu quả 46

47. 4.3.4. Dàn trang
August 4, 2012 Thiết kế Survey hiệu quả 47

48. 4.3.4. Dàn trang
August 4, 2012 Thiết kế Survey hiệu quả 48

49. 4.3.5. Survey trên Web
• Các hướng dẫn làm Bảng hỏi trên giấy cũng đúng cho
Bảng hỏi trên Web. Tuy nhiên Bảng hỏi trên Web có 1
số đặc thù riêng. Việc thiết kế bảng hỏi trên Web đòi hỏi
kỹ năng thiết kế trang Web và lập trình
• Có nhiều công ty cung cấp dịch vụ survey trên mạng
• Nếu kích thước của mẫu là lớn thì cần lưu ý đến tốc độ
truy cập
• Các ưu điểm của survey trên web:
– Thời gian trả lời nhanh hơn
– Dễ nhắc nhở vào trả lời
– Dễ xử lý dữ liệu
– Khả năng kiểm tra lỗi
– Dễ xử lý các câu hỏi filter (nhày từ mục này sang mục khác)
– Dùng pop-up để hướng dẫn và đưa ra định nghĩa
– Khả năng dùng drop-down box
August 4, 2012 Thiết kế Survey hiệu quả 49

50. 4.3.5. Survey trên Web
• Điểm lưu ý:
– Ngăn chặn những người không được phép vào
điền survey
– Ngăn chặn việc 1 người điền nhiều lần
– Bảo đảm privacy cho người điền (và cảm giác
về privacy)
• Hướng dẫn:
– Lựa chọn giữa lật trang hay cuộn xuống
– Thiết kế đồ họa: màu sắc, phông chữ, dàn
trang
– Sử dụng welcome screen
– Lưu ý việc di chuyển giữa các mục (navigation)
– Chọn hình thức thể hiện các phương án trả lời:
• Radio button, check boxes, drop-down boxes, text
input, text area
– Progress indicator
– Cho phép tạm nghỉ nếu survey dài
– Kiểm tra và báo lỗi trong quá trình
– Lưu ý vấn đề về truy cập: phần cứng, phần
mềm trên máy respondent, mạng. Sẵn sàng
phương án bổ sung (mail, paper).
– Nên có test cho survey trên web để kiểm tra
các vấn đề liên quan đến web.
August 4, 2012 Thiết kế Survey hiệu quả 50

51. 4.4. Viết các tài liệu phụ
Develop Ancillary Documents
• Ngoài Bảng hỏi, có một số tài liệu phụ giúp quá • Mục đích của survey
trình survey: • Tổ chức hay cá nhân tài trợ
– Thư báo trước (pre-notification) survey
– Cover letter của Bảng hỏi (hoặc Trang giới thiệu • Các thông tin khuyến khích
nếu làm bằng web) tham gia (incentives…)
– Thư nhắc điền survey
• Bảo đảm về bảo mật danh
– Thư cám ơn
tính
• Thư báo trước – Quan trọng trong các
– Làm tăng tỷ lệ trả lời (8% và 28.5% theo 1 số survey nhạy cảm (ví dụ liên
nghiên cứu) quan HR)
– Lặp lại nội dung của Cover letter và thông báo • Danh sách các mục của
thời điểm bắt đầu survey survey
• Cover letter gồm các nội dung như cột bên. • Giải thích kết quả sẽ được
• Thư nhắc công bố và sử dụng ntn
– Làm tăng đáng kể tỷ lệ trả lời • Ước lượng thời gian phải bỏ
– Nhắc ít nhất 2 lần ra để điền survey
– Ngắn gọn và đi ngay vào nội dung • Thời hạn cần hoàn thành
• Huy động cả nhóm khảo sát xem xét các tài liệu • Đầu mối liên hệ nếu có câu
phụ hỏi (email, phone)
August 4, 2012 Thiết kế Survey hiệu quả 51

52. 5. Pilot test Questionnaire
• Đến bước này, chắc bạn đã nóng
lòng phân phối Bảng hỏi cho mọi • A pilot test is a
người. Hãy dừng lại! simulation of your
survey
• Một khi đã phân phối thì sẽ không rút implementation
lại được nữa, cần phải pilot test. carried out on a
• Việc nhóm đã review và thử không small scale with
members of your
thay thế được pilot test, vì đối tượng target population
là khác nhau.
• Mục đích của pilot test là phát hiện
vấn đề hay điểm yếu của:
– Các câu hỏi
– Trình bày của Bảng hỏi
– Quá trình làm survey
– Công nghệ được sử dụng
August 4, 2012 Thiết kế Survey hiệu quả 52

53. 5. Pilot test Questionnaire
• Test các câu hỏi: • Cách tiến hành pilot
– Hướng dẫn có khó hiểu, gây nhầm lẫn? test:
– Câu hỏi có đúng không? Câu hỏi có dễ hiểu, sắp xếp hợp – Nếu mọi người ở
lý? cùng chỗ: làm
– Các phương án trả lời là hợp lý, không thiếu? trong 1 phòng, có
người hướng dẫn
– Có gì khó hiểu hoặc có thể hiểu nhiều cách khác nhau?
– Nếu không ở cùng
• Test layout: chỗ: hướng dẫn và
– Có khó khăn khi di chuyển (navigate)? thu thập ý kiến
– Bố trí các câu hỏi hợp lý, phông chữ dễ đọc phản hồi
– Việc sử dụng các yếu tố thiết kế đồ họa phát huy tác dụng • Sử dụng ý kiến phản
như mong muốn? hồi để điều chỉnh lại
• Test quá trình: survey.
– Mục đích của survey có ý nghĩa và được respondent quan
tâm?
– Respondent quan tâm đến kết quả survey ntn?
– Mất bao lâu để điền? Họ cảm thấy gì về việc này?
– Cảm nhận chung về survey
• Test công nghệ:
– Thông tin điền sai gây vấn đề hệ thống
– Dễ di chuyển
– Thông báo lỗi thân thiện và hữu ích
– Thời gian chết trong quá trình điền
– Dữ liệu được điền được lưu chính xác
– Mất dữ liệu
August 4, 2012 Thiết kế Survey hiệu quả 53

54. 6. Phân phối Bảng hỏi
• Sau khi pilot test, bạn đã sẵn sàng phân
phối Bảng hỏi hoặc cung cấp đường
dẫn. Người trả lời cần nhận được Thư
báo trước trước khi nhận được survey,
do đó họ sẽ không bị bất ngờ
• Bước #6 bao gồm:
– Kiểm soát việc phân phối
• Bảo đảm không bị trả lời nhiều lần, và
không có truy cập trả lời trái phép.
– Quyết định các khoảng thời gian dành
cho trả lời (response window)
• Từ lúc bắt đầu đến lúc kết thúc: 3-5 tuần
– Theo dõi tỷ lệ trả lời (monitoring the
response rate)
• Giúp quyết định khi nào thì gửi Thư nhắc
– Gửi Thư nhắc (sending reminders to
respondents)
• Survey 2 tháng: gửi sau tuần thứ 3, 5 và
7
August 4, 2012 Thiết kế Survey hiệu quả 54

55. 7. Phân tích kết quả và viết báo cáo
Analyze Results and Write Report – Overview
• Bạn đã thu thập xong dữ liệu,
nhưng còn lâu công việc mới thực
sự kết thúc
• Đến bước lấy thông tin, phân tích,
diễn giải và kết luận – sử dụng
báo cáo khảo sát (research
report), gồm 2 bước con:
– 7.1. Phân tích kết quả
– 7.2. Viết báo cáo. Ngoài báo cáo
chính bằng lời và các biểu đồ minh
họa, có thể làm thêm các báo cáo
phụ.
August 4, 2012 Thiết kế Survey hiệu quả 55

56. 7.1. Phân tích kết quả
• Survey web tự động tổ chức dữ liệu dưới dạng
bảng. Nếu survey giấy thì phải làm thủ công
• Gán số cho các phương án trả lời
– Nominal numbers (hư số)
– Ordinal numbers (số thứ tự)
– Interval numbers
– Ratio
• Nominal numbers
– không có mối liên quan giữa các phương án. Chỉ
dùng để mã hóa các phương án trả lời (nếu cần).
Dùng web thì không cần.
• Ordinal numbers
– thể hiện tương quan thứ tự giữa các phương án.
– Tuy nhiên khoảng cách giữa các phương án là
không như nhau và không xác định được. Ví dụ có 5
phương án gán số từ 1-5, thì khoảng cách giữa 2 và
1 khác với khoảng cách giữa 4 và 3.
– Do đó nếu tính giá trị trung bình thì không chính xác,
mà nên để kết quả đầy đủ của từng phương án. Có
thể tính median, nhưng không phải trung bình
– Thang Likert thuộc loại Ordinal
• Interval/Ratio
– Có thể tính trung bình
– Thường chỉ áp dụng cho câu hỏi “Có bao nhiêu…”
trong survey. Ít dùng.
August 4, 2012 Thiết kế Survey hiệu quả 56

57. 7.1. Phân tích kết quả
• Tổ chức dữ liệu • Không lạm dụng (misuse) đồ thị
– Sử dụng bảng (spreadsheet) – Nên để đồ thị đơn giản, tránh 3D
– Phân tích bằng các công cụ thống – Luôn để kích thước của mẫu bên
kê cạnh
– Biểu diễn bằng đồ thị và bảng – Thử vài loại đồ thị xem cái nào tốt
nhất
– So sánh cột trong bar chart dễ
hơn so sánh các miếng trong pie
chart
– Sử dụng nhất quán các thang
(scale)
– Chú thích trục X và Y
– Trục thời gian nên là X
– Dùng màu nhất quán và k0 quá
nhiều màu
– Test màu ra máy in nếu định in
đen trắng.
• Nên để gốc đồ thị có giá trị trục Y
là zero để có thể so sánh tỷ lệ các
cột đồ thị.
August 4, 2012 Thiết kế Survey hiệu quả 57

58. 7.1. Phân tích kết quả
• Khi nào nên dùng bảng?
– Đôi khi bảng lại hiệu quả hơn đồ thị.
Bảng phát huy tác dụng khi cần biểu
diễn dữ liệu số chính xác, có cấu trúc,
trong khi đồ thị thì thể hiện xu hướng,
so sánh rộng và thể hiện quan hệ
– Có thể phối hợp cả hai.
– Nếu có ít hơn 10-20 số thì có thể dùng
bảng
• Bảng tra chéo (cross-tabulation)
– So sánh câu trả lời của các nhóm đối
tượng khác nhau
– Sử dụng công cụ thống kê để kiểm tra
xem độ khác biệt có đáng kể không
(statistical significance) hay là chỉ do
sai số
• Xử lý câu hỏi mở
– Công cụ Affinity Diagram Technique
(xem chi tiết trong tài liệu tham khảo)
• So sánh với các báo cáo liên quan có
sẵn (benchmarking)
August 4, 2012 Thiết kế Survey hiệu quả 58

59. 7.2. Viết báo cáo
• Phân tích đã xong, bảng biểu đồ • Các câu hỏi gợi ý lúc bắt đầu
thị đã có, giờ là lúc bắt đầu viết viết BC:
báo cáo – Mục đích (purpose) của
• Báo cáo là minh chứng rõ rệt nhất survey
cho khảo sát của bạn, ảnh hưởng – Danh sách những người tham
đến việc người nghe đánh giá gia đóng góp cho survey
chất lượng của khảo sát và bản
thân bạn, do đó cần cân nhắc cẩn – Danh sách các công trình
thận nội dung, cách tổ chức của khác liên quan
báo cáo. – Bối cảnh dẫn đến việc làm
• Ngoài báo cáo chính, có thể có survey
nhiều bản khác cho các nhóm đối – Những rủi ro gì ảnh hưởng
tượng khác nhau, kể cả để đăng đến tính chính xác (validity)?
báo. Hành động xử lý?
• Việc đầu tiên cần làm: tách mình – Những bất ngờ xảy ra làm ảnh
khỏi các chi tiết trong thời gian hưởng validity?
qua, để nhìn thấy bức tranh tổng – Mô tả các kết quả (findings)
quát (big picture), chuyển thành chính
những thông điệp dễ hiểu cho – Hệ quả của survey
người nghe.
– Các khuyến cáo dựa trên kết
quả survey
August 4, 2012 Thiết kế Survey hiệu quả 59

60. 7.2. Viết báo cáo
• Lưu ý đến người nghe
– Viết bằng ngôn ngữ của họ
– Có thể có nhiều nhóm khác nhau, sẽ tiếp nhận thông tin khác
nhau
– Không tham chi tiết
• Các câu hỏi gợi ý:
– Ai là nhóm thính giả chính? Vị trí của họ trong tổ chức?
– Ai là nhóm phụ?
– Tại sao họ lại quan tâm đọc BC?
– Họ đã biết được gì liên quan đến chủ đề này?
– Điều quan trọng nhất họ cần biết là gì?
– Có những thuật ngữ hay khái niệm gì trong BC mà họ chưa rõ?
Liệt kê ra.
• Sau khi bạn viết BC, hãy quay lại kiểm tra các câu hỏi
trên lần nữa.
August 4, 2012 Thiết kế Survey hiệu quả 60

61. 7.2. Viết báo cáo
• Các mục của BC: • Phương pháp khảo sát (Research
• Trang Tựa đề (Title page) Method)
– Có thể khác với working title – Lấy mẫu
– Nêu trúng vấn đề, gây quan – Cách đo (công cụ Bảng hỏi)
tâm – Thiết kế và quy trình thực hiện
– Tên đơn vị, tác giả • Kết quả (Results)
• Mục lục (Table of Contents) – Tập trung thể hiện các dữ liệu khách
• Tóm tắt (Abstract, or Executive quan (fact)
Summary) – Có thể mô tả các quan sát, nhưng
– Dài khoảng 150 từ bình luận để phần sau.
– Được viết sau cùng • Kết luận và Khuyến cáo (Conclusions
and Recommendations)
• Giới thiệu (Introduction) – Đôi khi có tên là Thảo luận
– Mục đích khảo sát (discussion)
– Phát biểu vấn đề – Thể hiện ý nghĩa của survey
– Phạm vi – Lưu ý mô tả các hạn chế của survey
– Bối cảnh (ví dụ tỷ lệ trả lời thấp)
– Phát biểu các giả thiết nếu có – Đề xuất các hành động tiếp theo
(mà khảo sát định kiểm chứng) • Tham chiếu (Reference Section)
• Phụ lục (Appendix)
– Mỗi Phụ lục chỉ nên chứa 1 loại thông
tin
August 4, 2012 Thiết kế Survey hiệu quả 61

62. Hậu survey
• Như vậy là bạn đã hoàn thành survey và viết xong báo cáo.
Nếu đây là lần đầu tiên làm survey, chắc bạn đã rất kinh
ngạc vì nó tốn công đến vậy. Thông thường, người mới làm
hay có xu hướng đánh giá thấp khối lượng việc sẽ phải thực
hiện.
• Viết bảng hỏi rất dễ, nhưng viết một Bảng hỏi tốt (câu hỏi rõ
ràng, có thể trả lời chính xác, và kết quả có ý nghĩa) thì đòi
hỏi kỹ năng và kinh nghiệm.
• Trong nhiều trường hợp, việc của bạn chưa kết thúc ngay cả
khi đã nộp báo cáo. Thường thì bạn sẽ cần trình bày nó.
• Lưu ý là nội dung trình bày có thể mâu thuẫn với quan điểm
của một số người, do đó bạn cần bảo vệ kết quả survey.
Thông thường Người khảo sát k0 phải là người có thẩm
quyền quyết định, nhưng Người khảo sát cần bảo đảm kết
quả đã được lắng nghe và ghi nhận đúng.
• Bạn có thể chia sẻ kết quả qua việc công bố. Lưu ý cung cấp
đủ thông tin để tránh kết quả bị hiểu sai lệch (bóp méo)
• Đi tìm sự thật
– Việc đi tìm sự thật về một hệ thống hay một vấn đề phức tạp là
rất khó
– Sử dụng nhiều phương pháp bổ sung cho nhau (tam giác dữ
liệu)
– Survey phải được tiến hành cẩn thận (properly) để có thể đứng
vững qua thời gian.
August 4, 2012 Thiết kế Survey hiệu quả 62

63. Một số kinh nghiệm
Tài liệu tham khảo
Thực hành

64. Một số kinh nghiệm làm survey ở FSOFT
• Các lỗi hay gặp – Trong survey liên quan HR cần bảo
– Nhảy ngay vào viết Bảng hỏi mà không đảm tính ẩn danh (anonymity) của
tính đến kết quả sẽ được phân tích và người trả lời, cam kết không tiết lộ cho
sử dụng ntn (quick and dirty) ai.
• Thuê ngoài khiến nhân viên tin tưởng
– Phân phối Bảng hỏi tùy tiện (ví dụ mỗi hơn
Phòng ban in ra độ 10-20 bản và phát –
cho những người mình biết) Các tài liệu phụ trợ là rất quan trọng,
đặc biệt khi survey đông người.
– Không duy trì được Bảng hỏi ổn định – Cần test kỹ phần mềm survey trên web
và duy trì survey trong nhiều kỳ để có
thể so sánh và thấy xu hướng để bảo đảm việc gửi mail đến từng
respondent, không bị chặn, có thể theo
– Rất ngại viết báo cáo dõi progress, v.v.
• Một số kinh nghiệm hay – Trong survey HR, có thể chuyển các
– Kết quả theo thang Likert (1-5) không câu hỏi demographic xuống dưới cùng
chia trung bình mà tính số lượng các vì có người không muốn tiết lộ hết các
câu trả lời tích cực (4,5) và tiêu cực thông tin cá nhân này
(1,2), bỏ qua câu trung tính (3) – Chuyển câu hỏi mở sang câu hỏi
– Survey kép để nhận được quan điểm hybrid: đợt survey đầu để câu hỏi mở
của respondent về tầm quan trọng của (ví dụ: những nguyên nhân khiến Bạn
lĩnh vực, và lòng tin của respondent về yêu thích công ty) và phân tích tìm các
trạng thái của các hoạt động trong lĩnh nhóm nguyên nhân chính. Từ lần sau,
vực đó. đưa các nhóm nguyên nhân này thành
• Ví dụ: tầm quan trọng của mảng Đào các phương án, và thêm p/a Khác cho
tạo đối với nhân viên. Trong mảng này tự điền.
có các câu hỏi: tình trạng đáp ứng nhu • Công cụ
cầu, chất lượng tổ chức lớp học, v.v.
Respondent cho điểm ‘quan trọng’ từ 1- – Surveymonkey.com
5 cho cả mảng Đào tạo và cho điểm 1-5
cho từng câu hỏi.
August 4, 2012 Thiết kế Survey hiệu quả 64

65. Tài liệu tham khảo và Chú thích
• Mark Kasunic. Designing an Effective Survey.
Sep 2005. SEI. CMU/SEI-HB-2005-004
– www.sei.cmu.edu/reports/05hb004.pdf
• Chú thích cho trang 39: chuyện người bán bar.
– Một người bán bar tăng đột biến doanh số bán trứng tươi cho món sữa
đánh (milk shake). Nguyên nhân là do anh này không hỏi khách hàng
muốn uống sữa đánh là “ngài có dùng trứng hay không” mà hỏi “ngài
dùng 1 hay 2 quả”.
– Việc hỏi câu hỏi dẫn dắt (leading question) kiểu này phù hợp cho bán
hàng nhưng k0 phù hợp cho survey.
August 4, 2012 Thiết kế Survey hiệu quả 65

66. Thực hành: survey cho FSOFT Wiki (1)
Đây là Bảng hỏi do nhóm làm trước khi có • 4. Wiki đang trong quá trình phát
workshop  triển nội dung, bạn thấy nội dung
• FSOFT Wiki ra đời vào 05/08/2010, đây của wiki như thế nào?
là một website từ điển mở về FSOFT – Phong phú
bao gồm các nội dung: Tổ chức, Con – Chưa phong phú
người, Sự kiện, Dự án… Sau hơn 1 – Bạn có đề xuất gì về xây dựng nội
năm hoạt động, survey này nhằm giúp dung:
BBT có thể đánh giá được chất lượng • 5. Bạn có nghĩ wiki cần cho một
tin bài trên wiki và tìm hiểu nhu cầu của doanh nghiệp như FSOFT?
FSOFTer, qua đó có kế hoạch nâng cao
chất lượng và bổ sung thông tin. – Có
– Không
• 1. Bạn đã bao giờ ghé thăm wiki?
– Lý do:
– Rồi
– Chưa bao giờ
• 6. Bạn thấy giao diện của wiki như
thế nào:
• 2. Bạn có biết wiki có thể truy cập từ – Đẹp, dễ nhìn
Internet? – Nhàm chán
• (log in bằng user và pwd FSOFT) – Bạn có ý kiến gì:
– Có • 7. Bạn có muốn trở thành CTV của
– Không Wiki:
• 3. Bạn đã dành bao nhiều thời gian – Có
ghé thăm FSOFT Wiki một lần? – Không
– 20 phút • 8. Theo bạn wiki cần có những cải
– 10 phút tiến gì để phát triển:
– 5 phút – Về nội dung:
– Nhiều hơn 20 phút – Về hình thức:
August 4, 2012 Thiết kế Survey hiệu quả 66

67. Thực hành: survey cho FSOFT Wiki (2)
• Các lỗi được thảo luận và phát hiện:
– Nhảy ngay vào viết Bảng hỏi
– Không rõ mục đích dẫn đến một số câu hỏi
không có ý nghĩa (#2, #7)
– Không nói gì về đối tượng
– Các p/a trả lời đều chưa đáp ứng nhu cầu
phân tích và đề xuất hành động sau survey
– Lẫn lộn giữa câu hỏi nội bộ và câu hỏi trong
Bản hỏi (#4, #5, #8)
– Không có câu hỏi demographic
August 4, 2012 Thiết kế Survey hiệu quả 67

68. Thực hành: survey cho FSOFT Wiki (3)
Bảng hỏi được chỉnh lại sau workshop: • B2. Anh Chị truy cập FSOFT Wiki qua kênh
• A. Thông tin người trả lời. Phần này gồm 2 câu nào, hãy chọn tất cả các phương án phù
hỏi, là các thông tin giúp phân tích kết quả theo hợp:
vùng miền và thâm niên nhân viên.
– Qua các đường link trong các Bản tin 131
• A1. Địa điểm làm việc của Anh Chị:
– Qua Intranet (ví dụ qua Menu hoặc phần
– Hà Nội
Nhân vật trong ngày)
– Đà Nẵng
– Tp HCM
– Vào trực tiếp đường dẫn wiki.fsoft.com.vn.
– Nước ngoài – Khác (xin ghi rõ):
• A2. Thâm niên làm việc của Anh Chị tại FSOFT: • B3. FSOFT Wiki được thiết kế để có thể
– Dưới 1 năm truy cập từ mạng nội bộ và cả từ Internet
– Từ 1 năm đến dưới 3 năm
(giống email). Anh Chị truy cập FSOFT Wiki
– Từ 3 năm đến dưới 5 năm
–
bằng hình thức nào (chọn tất cả các
Từ 5 năm đến dưới 10 năm
– Từ 10 năm trở lên phương án phù hợp):
• B. Nội dung. Phần này gồm 12 câu chia làm 4 – Trong office qua mạng LAN
mục: câu B1-B4 - hiện trạng truy cập FSOFT – Ngoài office qua VPN
Wiki, câu B5-B8 - hiện trạng khai thác thông tin, – Ngoài office qua Internet (giống như truy cập
câu B9-B11 - hiện trạng đóng góp nội dung, và email)
câu B12 là các ý kiến đóng góp (free text) của
• B4. Anh Chị sử dụng thiết bị nào để truy
Anh Chị về 3 mục trên.
•
cập FSOFT Wiki (chọn tất cả các phương
B1. Hãy cho biết mức độ Anh Chị truy cập FSOFT
Wiki, xin chọn phương án gần đúng nhất: án phù hợp):
– Hàng ngày – PC/laptop ở công ty
– Hàng tuần – PC/laptop ở nhà
– Hàng tháng – Các thiết bị di động (tablet, smartphone, v.v.)
– Ít hơn hàng tháng
– Chưa vào bao giờ (xin chuyển sang câu B12)
August 4, 2012 Thiết kế Survey hiệu quả 68

69. Thực hành: survey cho FSOFT Wiki (4)
Bảng hỏi được chỉnh lại sau workshop (tiếp): • B9. FSOFT Wiki là nơi bất kỳ ai cũng có thể
• B5. Anh Chị vào FSOFT Wiki vì mục đích gì (chọn viết bài mới và sửa bài cũ. Anh Chị đã từng viết
tất cả các phương án phù hợp): bao nhiêu bài mới cho FSOFT Wiki?
– – Trên 10 bài
Tìm thông tin về một ai đó
– – Từ 6 đến 10 bài
Tìm đọc các bài Sử ký và các bài viết khác
– – Từ 2 đến 5 bài
Tìm thông tin về sự kiện, tổ chức, dự án, thuật ngữ.
– – 1 bài
Lướt qua vì tò mò, không chủ ý tìm kiếm thông tin gì cụ
thể – Chưa bao giờ
– Khác: (xin ghi rõ) • B10. Anh Chị đã tham gia chỉnh sửa nội dung
• B6. Theo Anh Chị, thông tin chứa trong FSOFT các bài sẵn có trên FSOFT Wiki?
Wiki là hữu ích đối với bản thân mình? – Nhiều hơn 10 bài
– Rất đồng ý – Từ 6 đến 10 bài
– Đồng ý – Từ 2 đến 5 bài
– Không có ý kiến – 1 bài
– Không đồng ý – Chưa bao giờ
– Rất không đồng ý • B11. Nếu Anh Chị đã từng viết mới hoặc chỉnh
• B7. Theo Anh Chị, thông tin trên FSOFT Wiki sửa bài cũ trên FSOFT Wiki, xin hãy cho ý kiến về
là dễ tìm kiếm? công cụ viết và sửa bài
– Rất đồng ý – Rất thuận tiện
– Đồng ý – Thuận tiện
– Không có ý kiến – Bình thường
– Không đồng ý – Không thuận tiện
– Rất không đồng ý – Rất không thuận tiện
• B8. Theo Anh Chị, giao diện của FSOFT Wiki • B12. Anh chị hãy cho các ý kiến đóng góp về:
là thân thiện? – việc truy cập vào FSOFT Wiki,
– Rất đồng ý – nội dung và cách thức mà Anh Chị muốn khai thác
– Đồng ý thông tin từ đó,
– – làm sao để mọi người tham gia đóng góp nội dung
Không có ý kiến nhiều hơn cho FSOFT Wiki.
– Không đồng ý
– Rất không đồng ý
August 4, 2012 Thiết kế Survey hiệu quả 69

70. Chốt hạ
• Cám ơn các anh chị, các bạn đã quan tâm nghe/ đọc bài này. Chi
tiết xin tham khảo tài liệu của M. Kasunic.
• Nếu thấy bổ ích, xin hãy giới thiệu cho những người khác.
• Nếu có nhu cầu trao đổi, xin email cho datpp@fsoft.com.vn
• Version 2012_05_25
August 4, 2012 Thiết kế Survey hiệu quả 70