Workshop thiết kế survey hiệu quả

14,938 views

Published on

Hướng dẫn thiết kế survey hiệu quả

Workshop thiết kế survey hiệu quả

  1. 1. Thiết kế survey hiệu quả Designing an Effective Survey Workshop Tháng 5/2012 Phan Phuong Dat, FPT Software “Surveys must be constructed properly in order for them to withstand the test of time”
  2. 2. Mục lục• Giới thiệu về bài trình bày• Survey là gì?• 7 bước thiết kế survey• Một số kinh nghiệm thực tế ở FSOFT• Tài liệu tham khảo• Thực hànhAugust 4, 2012 Thiết kế Survey hiệu quả 2
  3. 3. Giới thiệu• Trong phạm vi một tổ chức, survey được sử dụng nhiều, vì được cho là dễ dùng. Ai • Đối tượng trình bày: cũng có cảm giác mình có thể thiết kế và – Những người tham thực hiện survey dễ dàng. gia quá trình thiết kế• Tuy nhiên, sau khi có kết quả survey, survey nhóm tác giả lại rất hay rơi vào tình trạng – Những người đọc và “không biết làm gì với nó”. Kết quả gây sử dụng kết quả tranh cãi, không có ý nghĩa, và không giúp đưa ra kết luận hay hành động gì. survey• Nguyên nhân: phương pháp làm survey – Những người khác không được tuân thủ. quan tâm• Bài trình bày này giới thiệu phương pháp 7 bước theo tài liệu ‘Designing an Effective Survey’ (xem trang cuối). Thực chất bài này là bản lược dịch của tài liệu trên. Những chia sẻ thêm của tác giả bài trình Ghi chú: chất lượng dịch còn bày được viết bằng màu xanh. hạn chế, đặc biệt là việc tìm các• Bài hơi dài do cố gắng đủ chi tiết để người từ chuyên môn tiếng Việt. Tác giả mong nhận được phản hồi đọc có thể tự học mà không cần nghe trình về đ/c datpp@fsoft.com.vn bày.August 4, 2012 Thiết kế Survey hiệu quả 3
  4. 4. Survey là gì?Các phương pháp khảo sát, survey là gì, tính chất của survey, hạn chế của survey, v.v.
  5. 5. Các phương pháp khảo sát• Có nhiều phương pháp khảo sát (research), survey chỉ là 1 trong số đó.• Trước khi làm research, cần xem survey có phải là công cụ phù hợp hay không.• Các phương pháp khác: – documentary research (khảo sát qua nghiên cứu tài liệu) – laboratory experiments (thí nghiệm) – action research – case studies – field experiments (thực nghiệm) – field work (e.g., participant observation and ethnography) – simulation (mô phỏng) – in-depth interviews (phỏng vấn sâu)August 4, 2012 Thiết kế Survey hiệu quả 5
  6. 6. Survey là gì?• Điều tra, khảo sát, thăm dò.• Survey là một cách thu thập và phân tích dữ kiện thông qua việc những người được khảo sát (respondent) trả lời các câu hỏi hoặc các phát biểu (statement) được chuẩn bị trước.• Survey khác với các phương pháp thu thập dữ kiện khác ở chỗ, nếu được thực hiện đúng, cho phép tổng quát hóa về lòng tin (belief) và quan điểm (opinion) của nhóm đông người thông qua khảo sát chỉ một tập hợp con (subset) trong số họ.• Để bảo đảm kết quả là chính xác (valid), survey phải tuân thủ nghiêm ngặt quy trình thiết kế, xây dựng và phân phối bảng hỏi (questionnaire).August 4, 2012 Thiết kế Survey hiệu quả 6
  7. 7. Questionnaire vs. survey• Rất nhiều khi 2 thuật ngữ “questionnaire” và “survey” được dùng để chỉ cùng một thứ.• Tuy nhiên có sự khác biệt quan trọng giữa 2 khái niệm này: – Survey là một quá trình. Questionnaire là công cụ của survey. – Mặc dù survey luôn sử dụng questionnaire, quá trình survey mới là yếu tố quyết định về tính chính xác và hữu dụng của thông tin thu thập được qua questionnaire. – Survey phải được thực hiện thông qua một chu trình nghiêm ngặt. Nếu vi phạm, kết quả thu được có thể gây lầm lẫn (misleading), bị nghi ngờ và bác bỏ.August 4, 2012 Thiết kế Survey hiệu quả 7
  8. 8. Hai loại survey• Có hai loại survey: – Survey tự điền (self-administered questionnaires) – Survey bằng phỏng vấn (survey interviews, phân biệt với in-depth interviews)• Khác biệt giữa survey interview và in-depth interview: mục tiêu và cách thức – Survey interview: bảng hỏi được trình bày cho người tham gia khảo sát một cách giống hệt nhau. Mục đích là các interview phải lặp đi lặp lại, để có thể lượng hóa và so sánh – In-depth interview: có thể có trước các câu hỏi hay chủ đề, nhưng cuộc phỏng vấn diễn ra tùy hứng bởi cả người hỏi và người trả lời. Có thể phát sinh thêm chủ đề mới trong quá trình.• Kết hợp – Trong nhiều trường hợp, nên có vài cuộc phỏng vấn sâu với chuyên gia lĩnh vực quan tâm (subject-matter expert) trước khi thiết kế công cụ survey đại trà. – Việc này đặc biệt có ý nghĩa khi vấn đề định survey là tù mù và khó hiểu. Việc phỏng vấn sâu chuyên gia giúp xác định các câu hỏi cho survey.August 4, 2012 Thiết kế Survey hiệu quả 8
  9. 9. Các tính chất của survey Tính chất Mô tảHệ thống Survey tuân thủ một tập hợp quy tắc, bảo đảm các bước được thựcSystematic hiện tuần tự logicVô tư Survey lựa chọn các nhóm trong quần thể (population) một cách vôImpartial tư không có định kiến và ưu tiênĐại diện Survey bao gồm các đơn vị là đại diện cho vấn đề cần nghiên cứuRepresentative và quần thể liên quanDựa trên lý thuyết Các bước của survey dựa trên các nguyên tắc của khoa học vềTheory-Based hành vi con người và quy luật toán học về xác suất và thống kê.Định lượng Survey gán các giá trị số cho những tính chất phi số học của hành viQuantitative con người để có thể diễn giải một cách nhất quán các tính chất đóKhả lặp Những người khác, sử dụng phương pháp giống hệt và thực hiệnReplicable giống hệt thì nói chung sẽ nhận được kết quả giống hệt.August 4, 2012 Thiết kế Survey hiệu quả 9
  10. 10. Hạn chế của survey• Mặc dù survey có một số ưu điểm so với các phương pháp khảo sát khác, nó cũng có một số hạn chế cần lưu ý: – Để có thể tổng quát hóa kết quả, survey phải tuân thủ chặt chẽ quy trình xác định và chọn lựa người tham gia. – Việc tuân thủ có thể dẫn đến chi phí lớn về tiền và thời gian. – Dữ liệu survey là bề nổi (superficial). Thông thường ta không thể đào sâu vào chi tiết để tìm lời giải thích cho hiểu biết hay hành động của người được khảo sát. • Có thể thu thập luôn thông tin nguyên nhân bằng cách cho phép Người trả lời viết bình luận cho lựa chọn của mình (đặc biệt là các lựa chọn tiêu cực) • Nếu không có thông tin thì không nên phỏng đoán nguyên nhân. – Survey gây phiền nhiễu (obtrusive). Người tham gia ý thức được họ đang là đối tượng nghiên cứu. Họ thường trả lời khác đi so với thực tế nếu họ không rõ về mục tiêu của khảo sát. • Rất cần thuyết phục Người tham gia tin tưởng và muốn điền. – Thông tin nhận được là tự cấp (self-reported) và không phải lúc nào cũng chính xác.August 4, 2012 Thiết kế Survey hiệu quả 10
  11. 11. Các phương pháp khảo sátAugust 4, 2012 Thiết kế Survey hiệu quả 11
  12. 12. Tại sao lại cần quy trình?• Quá trình làm survey quyết • The information that a statistical định kết quả có hữu dụng survey or experiment provides is not (useful) hay không right because someone agrees with it, nor wrong because he does not;• Một survey có kết quả là sản the information is useful or not useful phẩm của vài loại kỹ năng phối depending on the information and hợp ăn ý với nhau: the questions that were built in – Kỹ năng thiết kế survey (bao initially in the statement of the gồm thống kê) problem, and on the skill that went – Chuyên gia của lĩnh vực cần into the preparation, execution, and khảo sát summary of the survey or experiment. The burden rests with – Hai loại kỹ năng này không the expert in the subject-matter, and thay thế nhau được with management, in the preparation• Người sẽ sử dụng kết quả của of the questionnaire or of the method survey (thường là nhóm quản of test, to get information that they lý, để hỗ trợ ra quyết định) can apply to the problem when the chịu trách nhiệm về qua trình results of the survey or experiment come in. [Deming 60] survey, bảo đảm rằng survey hỏi những câu hỏi dẫn đến sáng tỏ vấn đề và ra quyết định hiệu quả.August 4, 2012 Thiết kế Survey hiệu quả 12
  13. 13. Các Vai trò và trách nhiệm • Người khảo sát (Researcher) – Có kỹ năng thiết kế survey và thống kê – Điều phối quá trình survey, tác giả của survey plan – Chuyển các câu hỏi nội bộ thành câu hỏi survey – Phân phối và theo dõi phản hồi – Phân tích kết quả và viết báo cáo (survey report) • Chuyên gia lĩnh vực quan tâm (SME - Subject- matter expert) – Có kiến thức chuyên môn liên quan – Xác định mục đích survey – Xem xét các kết quả trung gian cũng như cuối cùng, và cho ý kiến – Tham gia test công cụ survey • Quản lý (Management) – Phê duyệt mục đích survey – Quyết định hành động sau khi có kết quả survey • Hỗ trợ (Researcher support) – Hỗ trợ sử dụng công cụ (web, mail, v.v.)August 4, 2012 Thiết kế Survey hiệu quả 13
  14. 14. Kế hoạch survey (Survey Plan)• Để bảo đảm các bên phối • Mục đích (Objectives) hợp tốt, Người khảo sát – objectives of the survey research cần viết kế hoạch để định • Thành viên (Team members & roles) hướng hành động cũng – team member responsibilities như chia sẻ thông tin giữa – time committed to project các thành viên. • Đối tượng đích (Target audience)• Kế hoạch được cập nhật – specific target audience of survey trong quá trình khi có thay – assumptions about the target audience đổi hay thông tin mới • Cách lấy mẫu (Sampling approach) – the approach for selecting the target audience population who will participate in the survey • Phương tiện (Media) – how the survey will be mediated (e.g., mail, email, Web-based, telephone) • Hành động (Activities) – description of survey process activities and how each team member will participate in the activity • Lịch (Schedule) – activity milestones • Sản phẩm (Product) – how the survey results will be reported (e.g., in a report or presentation, or both)August 4, 2012 Thiết kế Survey hiệu quả 14
  15. 15. Về survey nhanh (Quick and dirty)• Đã ai từng nói với bạn “Có một ít dữ liệu tốt hơn là không” (Having some data is better than nothing)? • “Validity” is – Kiểu suy nghĩ này khiến ta nhảy đến việc defined as “the viết một bảng hỏi nhanh (quick and dirty) best available để thu thập một ít thông tin. – Phát biểu “Có một ít dữ liệu tốt hơn là approximation to không” có thể dẫn đến sai lầm. Nếu dữ the truth of a liệu không chính xác (invalid), chúng ta có given proposition, thể kết luận và hành động sai. inference, or• Để bảo đảm rằng kết quả survey phản conclusion” ánh thực tế (validity), cần tuân thủ quy trình. Nếu không kết quả sẽ bị nghi ngờ.• Hai loại validity: – construct validity: Are we measuring what we think we are measuring? – external validity: Can the results be generalized to other people, places, or times?August 4, 2012 Thiết kế Survey hiệu quả 15
  16. 16. 7 bước thiết kế survey Các bước làm survey, hậu survey
  17. 17. 7 bước thiết kế survey1. Xác định mục đích2. Xác định đối tượng và đặc điểm3. Thiết kế mẫu4. Thiết kế và viết bảng hỏi5. Pilot test bảng hỏi6. Phân phối bảng hỏi7. Phân tích kết quả và viết báo cáoAugust 4, 2012 Thiết kế Survey hiệu quả 17
  18. 18. 1. Xác định mục đích Identify the Research Objectives (1)• Người khảo sát có xu hướng nhảy luôn vào viết câu hỏi ngay khi quyết định làm survey• Tuy nhiên, thành công của survey phụ thuộc vào việc làm kế hoạch, trên cơ sở xác định kỹ vấn đề.• Mục đích của survey được suy ra từ việc hiểu thấu đáo vấn đề định nghiên cứu. Mục đích của survey giúp xác định phạm vi và hướng dẫn cho các câu hỏi nội bộ (internal questions)• Cũng có thể từ các câu hỏi nội bộ suy ngược ra mục đích của survey (bottom-up)• Câu hỏi nội bộ sẽ không xuất hiện trên Bảng hỏi, mà cần được chuyển thành các câu hỏi theo ngôn ngữ của người được hỏi.August 4, 2012 Thiết kế Survey hiệu quả 18
  19. 19. 1. Xác định mục đích Identify the Research Objectives (2)• Tại sao cần xác định mục đích? – Mục đích khảo sát giúp xác định đối tượng và các câu hỏi – Không nên cho rằng tất cả thành viên của nhóm đều đã hiểu mục đích, do đó chúng cần được viết ra để kiểm tra xem mọi người có hiểu giống nhau không. – Có lúc mục đích được xác định dễ dàng, nhưng cũng có lúc không đơn giản vì có nhiều quan điểm khác nhau về vấn đề cần khảo sát. Khi đó có thể cần các cuộc làm việc để làm rõ hoặc thỏa thuận về mục đích• Nội dung của mục đích – Cần viết rõ bạn muốn làm gì khi thực hiện survey – Bạn sẽ làm gì với thông tin thu thập được• Không nên tham nhiều mục đích• Đã có ai làm chưa? – Học hỏi từ các survey của người khác Tam giác dữ liệu (data• triangulation) để đi tìm sự Tránh mục đích quá tham vọng thật về một vấn đề gì đó – Muốn quá nhiều thứ từ một survey – Nên kết hợp với các phương pháp khác nếu vấn đề cần nghiên cứu là phức tạpAugust 4, 2012 Thiết kế Survey hiệu quả 19
  20. 20. 2. Xác định đối tượng và đặc điểm Identify & Characterize the Target Audience• Bước #2 gồm 2 bước con: xác định quần thể (population) liên quan và mô tả đặc điểm để có thể tiến hành survey hiệu quả.• Population, đối tượng đích (target audience) và mẫu (sample) – In survey research, a “population” refers to all the members of a specific group. A population can be defined in terms of demography, geography, occupation, time, or some combination of these factors. – When you identify the population for your study, it then becomes the target audience for the research. – A “sample” is a subset of the population. In survey research, the sample is studied and the findings are generalized to the population.August 4, 2012 Thiết kế Survey hiệu quả 20
  21. 21. 2. Xác định đối tượng và đặc điểm Chọn đối tượng• Tùy vào vấn đề mà bạn đang tìm hiểu và ai là người có thể cung cấp thông tin, bạn sẽ chọn đối tượng survey. – Cần phải xác định rõ ràng ai là người sẽ trả lời survey. Điều này ảnh hưởng lớn đến thiết kế công cụ survey cũng như phương pháp phân phối. – Ví dụ các nhóm đối tượng: nhóm quản lý, nhóm kỹ thuật, v.v• Một khi đã xác định đối tượng survey, bạn cần thực hiện phân tích đối tượng để mô tả đặc điểm của những người trả lời (respondent). Hiểu họ sẽ giúp: – Xác định cách survey (giấy, phỏng vấn survey, web-based) phù hợp để có tỷ lệ trả lời cao và thông tin chính xác (valid) – Xây dựng nội dung bảng hỏi dễ hiểu đối với họ. Bảng hỏi phải được viết từ góc độ người điền chứ không phải từ góc độ người khảo sát.• Thực hiện phân tích – Đôi lúc bạn không hiểu hết các đặc điểm của đối tượng đích. Nên nhờ sự hỗ trợ của chuyên gia (SME).August 4, 2012 Thiết kế Survey hiệu quả 21
  22. 22. 2. Xác định đối tượng và đặc điểm Xác định đặc điểm đối tượng• Một số câu hỏi giúp xác định đặc điểm: – Có bao nhiêu người trong quần thể cần nghiên cứu? – Công việc và trách nhiệm của họ – Kinh nghiệm trong lĩnh vực liên quan – Liệu họ có gặp khó khăn nếu Bảng hỏi được: mail, sử dụng phần mềm trên web, hay đưa bản cứng cho họ? – Liệu chúng ta có thể giả thiết gì về kiến thức của họ về lĩnh vực mà survey định khảo sát? – Họ có sử dụng ngôn ngữ riêng khi nói về lĩnh vực này – Liệu họ có vui vẻ điền survey hay sẽ chống đối? – Họ sẽ dành khoảng bao nhiêu thời gian để điền survey?• Các thông tin này sẽ giúp bạn thiết kế và viết bảng hỏi.August 4, 2012 Thiết kế Survey hiệu quả 22
  23. 23. 3. Thiết kế mẫu Design the Sampling Plan• Ở bước #3 này, người khảo sát cần quyết định: – Sẽ lựa chọn những người tham gia survey ntn – Kích thước của mẫu – Những thông tin này có ảnh hưởng lớn đến việc tổng quát hóa kết quả ra ngoài phạm vi mẫu, và mức độ chính xác (precision) và tin cậy (confidence) của kết quả (findings)• Hai loại mẫu: – Mẫu xác suất (probability sample): được dùng nếu định tổng quát hóa kết quả khảo sát – Mẫu phi xác suất (non-probability sample): được dùng nếu kết quả chí dành cho nhóm đối tượng được khảo sát (không tổng quát hóa) – Census: mẫu = population • Khảo sát toàn bộ nhân viênAugust 4, 2012 Thiết kế Survey hiệu quả 23
  24. 24. 3. Thiết kế mẫu Mẫu XS và phi XS• Mẫu XS được thiết kế để bảo đảm mỗi người trong population đều có cơ hội được chọn như nhau. Bằng cách đó, có thể chọn được mẫu là đại diện cho toàn population. – Điều này cho phép tổng quát hóa kết quả lên toàn bộ population• Mẫu phi XS sử dụng đánh giá chủ quan khi chọn người trả lời. Những mẫu lấy chủ quan này không bảo đảm là đại diện được cho population• Ví dụ của việc sử dụng mẫu phi XS: – Phân phối bảng hỏi cho những người tham dự hội thảo, sự kiện – Tham khảo ý kiến một nhóm chuyên gia trong lĩnh vực nào đó – Gửi bảng hỏi qua web và cho phép mọi người lựa chọn trả lời hoặc không tùy thích.• Trong các ví dụ trên, kết quả chỉ áp dụng cho nhóm những người trả lời. Sẽ không có cơ sở tổng quát hóa kết quả cho bất kỳ ai, thời điểm hay địa điểm nào khác.• Đây là điểm khác biệt quan trọng, và là nguyên nhân gây lúng túng (confusion) trong một số survey đã được làm và công bố.August 4, 2012 Thiết kế Survey hiệu quả 24
  25. 25. 3. Thiết kế mẫu Sử dụng mẫu phi XS• Sử dụng mẫu phi XS thì có vấn đề gì không? Còn tùy vào tình huống cụ thể• Tình huống chấp nhận được: – Khi kết quả chỉ dành riêng cho một nhóm các cá nhân, thì không cần thiết kế mẫu. – Trong trường hợp đó, khi báo cáo kết quả cần làm rõ cho người đọc rằng không thể suy ra hay tổng quát hóa kết quả ra bên ngoài nhóm trả lời• Tình huống không được chấp nhận: – Không được sử dụng mẫu phi XS chỉ vì bạn không muốn bỏ ra công sức, thời gian hay tiền bạc cần thiết để làm mẫu XS – Nếu định tổng quát hóa thì bắt buộc dùng mẫu XSAugust 4, 2012 Thiết kế Survey hiệu quả 25
  26. 26. 3. Thiết kế mẫu Mẫu XS• Việc thiết kế mẫu XS đòi hỏi có kiến thức và sử dụng các công cụ xác suất thống kê. Nếu Nhóm khảo sát không có sẵn thành viên phù hợp thì nên thuê ngoài.• Nội dung không đề cập trong bài trình bày này. Những ai quan tâm có thể tham khảo tài liệu của SEI (slide cuối) và các tài liệu khác.August 4, 2012 Thiết kế Survey hiệu quả 26
  27. 27. 4. Thiết kế và viết Bảng hỏi – Mở đầuDesign and Write the Questionnaire – Overview • Bước #4 được chia làm 4 bước con (4.1 – 4.4). Các bước con về nguyên tắc được thực hiện tuần tự, nhưng cũng có thể lặp lại (iteration) – 4.1. Quyết định nội dung các câu hỏi – 4.2. Xác định loại câu hỏi, hình thức câu hỏi, và cách hành văn • 4.2.1. Cấu trúc câu hỏi và phương án trả lời • 4.2.2. Từ ngữ dùng để viết câu hỏi – 4.3. Thiết kế chuỗi câu hỏi và hình thức trình bày • 4.3.1. Quyết định độ dài • 4.3.2. Tổ chức chuỗi câu hỏi • 4.3.3. Viết Hướng dẫn và chuyển tiếp • 4.3.4. Dàn trang • 4.3.5. Survey trên Web – 4.4. Làm các tài liệu phụ kèm theo.August 4, 2012 Thiết kế Survey hiệu quả 27
  28. 28. 4. Thiết kế và viết Bảng hỏi – Mở đầuDesign and Write the Questionnaire – Overview• Bảng hỏi được thiết kế từ Mục đích và Đối tượng• Tầm quan trọng của Mục đích: – Mục đích không rõ ràng dẫn đến câu hỏi vô ích – Câu hỏi chung chung dẫn đến khó phân tích nguyên nhân và hành động về sau (ảnh hưởng đến Bước #7) – Nếu bạn thấy khó viết câu hỏi thì chứng tỏ mục đích chưa rõ, cần xem lại.• Tầm quan trọng của Đối tượng: – Một lỗi phổ biến mà người mới hay mắc phải: viết Bảng hỏi cho chính mình! Tức là sử dụng từ vựng của bản thân mà người trả lời có thể hiểu sai, hiểu khác. – Luôn nhớ: Bảng hỏi phải được viết cho người trả lời. Bước #2 giúp xác định đặc điểm của người trả lời để viết các câu hỏi về sau.August 4, 2012 Thiết kế Survey hiệu quả 28
  29. 29. 4. Thiết kế và viết Bảng hỏi – Mở đầu Các câu hỏi trước khi bắt đầu viết• Quá trình thiết kế Bảng hỏi cần giải đáp các câu hỏi sau: – Survey sẽ được thực hiện bằng cách nào (giấy, email, web, v.v.) – Bảng hỏi cần dài bao nhiêu? – Bảng hỏi cần được cấu trúc ntn? – Cần những tài liệu phụ trợ nào để tăng hiệu quả survey?• Một số vấn đề cần lưu tâm khi viết Bảng hỏi: – Bạn có thực sự biết bạn định đo cái gì? – Liệu tất cả những người được hỏi đều hiểu câu hỏi? – Các câu hỏi có phức tạp không? Có khó trả lời đối với respondent không? – Các respondents có khả năng và sẵn sàng có câu trả lời đúng đắn (accurate)? – Liệu cách hỏi có giúp cho việc lập bảng và phân tích kết quả sau này?August 4, 2012 Thiết kế Survey hiệu quả 29
  30. 30. 4.1 Quyết định câu hỏi Determine Questions to be Asked• Cần phân biệt câu hỏi mà nhóm khảo sát cần câu trả lời (câu hỏi nội bộ - internal questions) và câu hỏi mà respondent sẽ trả lời (các mục của Bảng hỏi - questionnaire items).• Mặc dù hai cái này liên quan đến nhau, thường thì câu hỏi nội bộ không phù hợp để hỏi respondents• Có 4 nhóm nội dung của câu hỏi được dùng trong survey. Bạn có thể hỏi mọi người về: – Thuộc tính – Thái độ – Lòng tin – Hành vi• Cần phân biệt 4 nhóm thông tin này để viết lại câu hỏi cho chính xác trong bước #4.2. Nếu không có thể dẫn đến việc thu thập thông tin sai.August 4, 2012 Thiết kế Survey hiệu quả 30
  31. 31. 4.1 Quyết định câu hỏi Các dạng câu hỏi• Câu hỏi về thuộc tính (Attribute questions) • Kết quả của – Hỏi về đặc tính cá nhân hoặc nhân khẩu học (demographic), bước #4.1. là tập ví dụ tuổi, trình độ học vấn, số người trong bộ phận, ngành hợp các câu hỏi nghề, năm kinh nghiệm. thể hiện suy nghĩ – Thông tin được sử dụng để phân tích sự khác biệt về thái độ, của cả nhóm về lòng tin, hành vi giữa các nhóm. thông tin cần thu• Câu hỏi về thái độ (Attitude questions) thập. – Câu hỏi về thái độ quan tâm đến thế giới quan và định hướng • Các câu hỏi này của cá nhân, hình thành trên cơ sở kinh nghiệm của họ. Câu nên được xếp hỏi nhóm này hỏi mọi người về cảm giác (feeling) của họ về gì thứ tự ưu tiên để đó và yêu cầu họ xác định thái độ positive nay negative. tiện cho việc rút• Câu hỏi về lòng tin (Belief questions) ngắn nếu cần, ở – Lòng tin là đánh giá của của respondent về điều họ cho là bước sau. đúng hay sai. Còn được gọi là câu hỏi về quan điểm (opinion) – Ranh giới giữa câu hỏi về thái độ và câu hỏi về quan điểm là tương đối mờ.• Câu hỏi về hành vi (Behavior questions) – Yêu cầu respondent mô tả về việc họ đã hoặc đang làm. – Thông tin thường được phân tích theo các góc độ: hành vi trong quá khứ hay hiện tại, tần suất, mức độ kết quả của hành vi• Xác định câu hỏi là việc của cả nhóm – Không nên một mình quyết định các câu hỏi nội bộ. Cần sự tham gia của tất cả thành viên. August 4, 2012 Thiết kế Survey hiệu quả 31
  32. 32. 4.2. Chọn loại câu hỏi, hình thức, cách hành văn Select Question Type, Format, and Specific Wording• Ở bước #4.2 này, nhóm khảo sát chuyển các câu hỏi nội bộ (kết quả của #4.1) thành Bảng hỏi (questionnaire). Các câu hỏi được viết lại để: – Câu trả lời có thể phân tích định lượng – Dễ hiểu cho đối tượng khảo sát.• Phân tích định lượng: – Chuyển câu hỏi mở (open-ended) thành một hoặc nhiều câu hỏi đóng (close-ended). – Câu hỏi mở gây khó khăn cho phân tích thống kê• Dễ hiểu: – Viết câu hỏi bằng ngôn ngữ của respondentAugust 4, 2012 Thiết kế Survey hiệu quả 32
  33. 33. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lờiQuestion structure & response format: what are they?• Hai nhóm cấu trúc câu Cấu trúc Description hỏi: Câu hỏi mở Respondents viết câu trả lời bằng từ ngữ của họ. Không có các lựa – Câu hỏi mở (phi cấu chọn cho trước trúc) – Câu hỏi đóng (có cấu Câu hỏi đóng với Respondents chọn một hay vài trúc) các lựa chọn phương án phù hợp từ tập hợp không thứ tự các phương án rời rạc, không có• Dạng thức trả lời (cách tổ thứ tự. chức các phương án trả lời) quyết định việc bạn Câu hỏi đóng với Các phương án trả lời được xếp sẽ thu thập câu trả lời các lựa chọn có theo thứ tự nào đó theo chiều thứ tự quan điểm hoặc hành vi. ntn. Respondent chọn phương án phù• Có một số dạng thức cho hợp nhất. các câu hỏi đóng. Với câu hỏi mở, dạng thức Câu hỏi lai Các phương án trả lời được liệt kê (Hybrid) (như câu hỏi đóng) nhưng trả lời đơn giản là text. respondent có thể tạo thêm câu trả lời nếu các PA sẵn có không phù hợp (như câu hỏi mở)August 4, 2012 Thiết kế Survey hiệu quả 33
  34. 34. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lờiQuestion structure & response format: what are they?• Bạn sẽ phân tích kết quả ntn? – Cấu trúc và dạng thức câu hỏi sẽ ảnh hưởng đến việc phân tích kết quả (bước #7), do đó phải lưu ý trước. – Câu hỏi mở sẽ cho kết quả định tính. Nhiều thông tin và khó tổng hợp, mất nhiều công sức. – Thông thường các câu hỏi nội bộ là câu hỏi mở, và cần chuyển hóa thành câu hỏi đóng. Một câu hỏi mở  một hoặc nhiều câu hỏi đóng.• Có thể dùng câu hỏi mở trong survey? – Câu hỏi mở có thể dùng trong phỏng vấn survey – Nếu dùng trong survey tự khai thì phải rất hạn chế, đặc biệt khi quy mô mẫu là lớn. Thông tin trả lời câu hỏi mở đôi khi khó diễn giải (interprete), và survey tự khai không cho phép thực hiện hỏi follow-up, nên khó xác định tính chính xác (validity) – Có rủi ro trong việc diễn giải câu trả lời vì yếu tố chủ quan của người phân tích kết quả.• Chuyển mở thành đóng – Dữ liệu định tính là chữ, dữ liệu định lượng là số. Mặc dù khác biệt này có vẻ đáng kể, thực tế lại không phải vậy. Mọi dữ liệu định tính có thể mã hóa và chuyển thành định lượng. – Việc chuyển câu hỏi mở thành đóng dẫn đến việc các câu trả lời có thể định lượng và tổng hợp.August 4, 2012 Thiết kế Survey hiệu quả 34
  35. 35. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lờiClosed-ended questions with ordered responses• Câu hỏi mở có thể chuyển thành (nhiều) câu hỏi đóng với các lựa chọn có thứ tự thông qua quá trình chia độ (scaling)• Scaling là việc gán số cho các đối tượng theo một quy tắc. Trong survey, các đối tượng là các phát biểu (text), đặc biệt là phát biểu về quan điểm, thái độ hay lòng tin.• Có mấy cách chia độ khác nhau cho các lựa chọn (response scales): – Rẽ đôi (dichotomous response scales): ví dụ yes/no, agree/disagree – Thứ tự (ordinal response scales): ví dụ poor, fair, neutral, good, very good.• Trong trường hợp thứ hai, các lựa chọn xếp theo một chiều, respondent cần lựa chọn phương án phù hợp nhất. Ordinal response scales còn được gọi là Likert scales• Likert scales có thể có nhiều dải, ví dụ từ 0-4, 1-7, 1-9, v.v. Trường hợp respondent không thể trả lời câu hỏi, nên có thêm phương án “Don’t Know” hoặc “Doesn’t Apply”.August 4, 2012 Thiết kế Survey hiệu quả 35
  36. 36. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lờiClosed-ended questions with unordered responses • Câu hỏi đóng với các lựa chọn không thứ tự không hạn chế respondent phải chọn từ thang các mức độ sắp xếp theo một chiều cho trước. Loại câu hỏi này cung cấp các lựa chọn không theo thứ tự và respondent phải cân nhắc chúng. Cùng lúc, respondent có thể chọn tất cả các phương án phù hợp. August 4, 2012 Thiết kế Survey hiệu quả 36
  37. 37. 4.2.1. Cấu trúc câu hỏi và dạng thức trả lời Câu hỏi lai (hybrid)• Câu hỏi lai là dạng câu hỏi đóng nhưng cho phép người trả lời điền phương án khác nếu các phương án có sẵn không phù hợp.• Nên sử dụng khi bạn nghi ngờ chưa liệt kê được hết các phương án• Nên sử dụng với loại không có thứ tự (unordered) chứ không phải loại có thứ tự (order)August 4, 2012 Thiết kế Survey hiệu quả 37
  38. 38. 4.2.2. Từ ngữ cho câu hỏi Question wording• Để bảo đảm construct validity (bạn đo cái bạn muốn đo), phải bảo đảm các câu trả lời nhận được là valid.• Respondent phải: – Hiểu câu hỏi – Có khả năng cung cấp thông tin được yêu cầu – Có mong muốn cung cấp thông tin được yêu cầu.• Do đó, câu hỏi cần được viết cẩn thận. Việc viết câu hỏi không đúng sẽ dẫn đến kết quả sai lệch. Các câu hỏi cần được viết để respondent hiểu được.• Người ta liệt kê một số quy tắc viết, tuy nhiên, dùng không dễ vì chúng lại mâu thuẫn với nhau: – Không tù mù (do not be vague) – Dùng từ giản đơn (use simple words) – Ngắn gọn (keep it short) – Cụ thể (be specific) – Tránh định kiến (avoid bias) – Không quá cụ thể (do not be too specific) – Tránh các câu hỏi giả thiết (avoid hypothetical questions)• Các quy tắc không nên áp dụng máy móc vì câu hỏi đều có ngữ cảnh. Câu hỏi survey được viết: – Cho đối tượng đích cụ thể – Với mục đích cụ thể – Đứng sau hoặc trước các câu hỏi khác.• Có những từ ngữ khó dùng cho đối tượng này lại rất hợp cho đối tượng khác. Có câu hỏi đứng riêng k0 có ý nghĩa nhưng lại rất ổn khi đứng sau một số câu khác. Do đó, việc phân tích đối tượng (bước #2) là rất quan trọng.August 4, 2012 Thiết kế Survey hiệu quả 38
  39. 39. 4.2.2. Từ ngữ cho câu hỏi Các gợi ý khi viết Bảng hỏi Gợi ý Hướng dẫnTừ ngữ sử dụng có được hiểu nhất quán Pilot trước (bước #5)k0?Will the words be uniformly understood?Câu hỏi có dùng những thuật ngữ, đoạn Lưu ý khi dùng thuật ngữ chuyên môn, thuật ngữ củavăn hay từ viết tắt không phổ biến? đơn vịDo the questions use unconventionalterminology, phrases, or abbreviations?Câu hỏi có quá kín đáo, tù mù hay quá Không nên cách ly các câu hỏi trong Bảng hỏi. Cácchính xác? câu liên quan sẽ làm giảm độ tù mù.Are the questions too cryptic, vague, or Câu hỏi quá chính xác sẽ khó trả lời (ví dụ hỏiprecise? respondent thực hiện bao nhiêu lần một hoạt động nào đó trong ngày)Câu hỏi có định kiến? Ví dụ về câu hỏi của người bán quán bar (The Art ofIs the question biased? Asking Questions) – xem tr. 65Câu hỏi có dễ bị từ chối? Người trả lời cảm thấy thông tin là riêng tư hoặcIs the question objectionable? Người trả lời bị hỏi về các hành vi vi phạm. Chỉ một vài câu hỏi kiểu này sẽ khiến respondent từ chối trả lời toàn bộ Bảng hỏi.August 4, 2012 Thiết kế Survey hiệu quả 39
  40. 40. 4.2.2. Từ ngữ cho câu hỏi Các gợi ý khi viết Bảng hỏi Gợi ý Hướng dẫnCâu hỏi quá đòi hỏi? Đòi hỏi người trả lời phải suy nghĩ quá mức. Ví dụ hỏiIs the question too demanding? về hành vi của quá khứ. Không tham thông tin quá chính xác.Câu hỏi phức? Nhiều câu hỏi kết hợp làm một. Cần tách riêng.Is it a compound question?Câu hỏi có 2 lần phủ định? Không bao giờ nên hỏi câu 2 lần phủ định (xem ví dụDoes the question include a double trang sau)negative?Các phương án trả lời mâu thuẫn nhau Các phương án lẫn lộn vào nhau. Ví dụ:hoặc chứa nhau? (A) 0-3 , (B) 3-5 , (C) 5-10, (D) > 10.Are the answer choices mutually exclusiveand exhaustive?Bạn có giả thiết quá nhiều về kiến thức và Nên có phương án “Don’t Know”, hoặc sử dụng câuhành vi của respondent? hỏi hybridHave you assumed too much aboutrespondent knowledge or behavior?Câu hỏi có đung về mặt kỹ thuật? Nếu có thông tin kèm theo câu hỏi, thì thông tin phảiIs the question technically accurate? đúng đắn về mặt kỹ thuật (làm người trả lời nghi ngờ về trình độ của nhóm khảo sát)August 4, 2012 Thiết kế Survey hiệu quả 40
  41. 41. 4.2.2. Từ ngữ cho câu hỏi Ví dụ về câu hỏi 2 lần phủ định • Chuyện cười survey dùng 2 lần phủ định – Giám đốc định bổ nhiệm Trưởng Phòng nhưng lại muốn tỏ ra dân chủ, nên yêu cầu HR survey nhân viên, làm sao bảo đảm 100% đồng ý. Sau một hồi suy nghĩ, HR làm ra survey sau: “Có phải anh/ chị không phản đối việc bổ nhiệm đồng chí X làm Trưởng Phòng? Các p/a trả lời: • Đúng, không phản đối • Không, không phản đối”August 4, 2012 Thiết kế Survey hiệu quả 41
  42. 42. 4.3. Thiết kế chuỗi câu hỏi và hình thức Bảng hỏiDesign Question Sequence and Overall Questionnaire Layout • Đến lúc này, bạn đã có trong tay danh sách các câu hỏi mà bạn tin là đáp ứng mục đích của survey. Tuy nhiên còn 1 số việc cần làm trước khi Bảng hỏi của bạn được hoàn tất và sẵn sằng cho test và phân phối. • Để hoàn thiện Bảng hỏi, bạn cần chú ý các yếu tố sau: – Độ dài của bảng hỏi – Việc tổ chức chuỗi các câu hỏi – Hướng dẫn và giới thiệu của mỗi phần Bảng hỏi – Cách dàn trang Bảng hỏi • Bản cứng • Bản trên web • Bản gửi qua email • Các hình thức khác (ví dụ các phần mềm làm survey) August 4, 2012 Thiết kế Survey hiệu quả 42
  43. 43. 4.3.1. Quyết định độ dài• Vấn đề: – Bảng hỏi quá dài là một lý do phổ biến nhất khiến respondent từ chối điền survey. Người khảo sát phải bảo đảm được tỷ lệ trả lời cao. – Mỗi câu hỏi thêm làm giảm 0.5% trả lời, mỗi trang thêm – 5%. Bảng hỏi quá 4 trang làm thụt giảm đáng kể tỷ lệ trả lời. – Chất lượng thông tin cũng bị ảnh hưởng do respondent mệt mỏi, chán.• Các câu hỏi nên được xếp ưu tiên (bước #4.1.) để có thể lược bỏ nếu cần• Một số thủ thuật tăng tỷ lệ: – Nếu topic được quan tâm – Respondent được hứa sẽ nhận được kết quả – Các khoản khen thưởngAugust 4, 2012 Thiết kế Survey hiệu quả 43
  44. 44. 4.3.2. Tổ chức chuỗi câu hỏi• Có 3 dạng câu hỏi trong Bảng hỏi: – Câu hỏi demographic: – Câu hỏi chính (substantive) – Câu hỏi lọc (filter): xác định respondent cần trả lời phần nào• Nhóm các câu hỏi và tổ chức chúng – Nhóm các câu hỏi với nhau thành mục (section), viết các lời dẫn dắt từ mục này sang mục khác – Các câu hỏi demographic là thực tế (fact-based), còn câu hỏi chính là cảm nhận (opinion-based). Câu hỏi demographic nên hỏi trước vì dễ trả lời, dùng để khởi động trước khi vào câu hỏi chính – Nếu trong số các câu hỏi chính có câu hỏi mở thì nên để ở dưới cùng• Xâu chuỗi (sequencing) – Xếp thứ tự các câu hỏi không phải là việc hiển nhiên. Cần lưu ý quan hệ giữa câu trước và câu sau. Các câu hỏi cần được sắp xếp logic, dễ hiểu cho người trả lời.August 4, 2012 Thiết kế Survey hiệu quả 44
  45. 45. 4.3.3. Viết hướng dẫn và chuyển tiếp Instructions and Transition Paragraphs• Ngoài các câu hỏi, trong Bảng hỏi còn có các thông tin khác (non- question, phi vấn): – Tựa đề của survey – Hướng dẫn điền – Các đoạn chuyển tiếp – Các định nghĩa• Hướng dẫn – Trong survey tự điền, người trả lời không có cơ hội thắc mắc, mọi hướng dẫn phải có sẵn trong Bảng hỏi. – Hướng dẫn cần được viết rõ ràng và ngay sát câu hỏi. Không nên giả định rằng respondent tự biết phải làm gì.• Viết các đoạn chuyển tiếp – Nếu survey có nhiều mục, cần viết các đoạn chuyển tiếp ngắn để respondent có định hướng.• Định nghĩa – Nếu bắt buộc phải dùng các thuật ngữ thì nên có định nghĩa để người trả lời hiểu đúng. Định nghĩa có thể viết riêng (nếu nhiều), hoặc ngay trong câu hỏiAugust 4, 2012 Thiết kế Survey hiệu quả 45
  46. 46. 4.3.4. Dàn trang• Dàn trang quan trọng vì: – Gây ấn tượng với người trả lời • “Right and wrong – Giúp họ hiểu câu hỏi dễ hơn, nhanh hơn do not exist in• Hướng dẫn: graphic design. – Bố trí các lựa chọn thẳng hàng, gọn gàng There is only – Sử dụng hợp lý các khoảng trắng (white- effective and non- space) effective – Không để 1 câu hỏi tràn ra 2 trang communication” – Dùng mép phải để bố trí các PA trả lời [Bilak 95]. – Không lạm dụng phông chữ, kích thước và màu sắc chữ. – Chỉ dùng minh họa khi thật sự cần – Không tham chiếu thông tin từ chỗ này sang chỗ khác, nên để mọi thông tin liên quan ở 1 chỗ – Để cớ chữ ít nhất là 10 – Không dùng CHỮ HOA. – Đánh số trang, và nhắc lại Tựa đề survey ở các trang.August 4, 2012 Thiết kế Survey hiệu quả 46
  47. 47. 4.3.4. Dàn trangAugust 4, 2012 Thiết kế Survey hiệu quả 47
  48. 48. 4.3.4. Dàn trangAugust 4, 2012 Thiết kế Survey hiệu quả 48
  49. 49. 4.3.5. Survey trên Web• Các hướng dẫn làm Bảng hỏi trên giấy cũng đúng cho Bảng hỏi trên Web. Tuy nhiên Bảng hỏi trên Web có 1 số đặc thù riêng. Việc thiết kế bảng hỏi trên Web đòi hỏi kỹ năng thiết kế trang Web và lập trình• Có nhiều công ty cung cấp dịch vụ survey trên mạng• Nếu kích thước của mẫu là lớn thì cần lưu ý đến tốc độ truy cập• Các ưu điểm của survey trên web: – Thời gian trả lời nhanh hơn – Dễ nhắc nhở vào trả lời – Dễ xử lý dữ liệu – Khả năng kiểm tra lỗi – Dễ xử lý các câu hỏi filter (nhày từ mục này sang mục khác) – Dùng pop-up để hướng dẫn và đưa ra định nghĩa – Khả năng dùng drop-down boxAugust 4, 2012 Thiết kế Survey hiệu quả 49
  50. 50. 4.3.5. Survey trên Web• Điểm lưu ý: – Ngăn chặn những người không được phép vào điền survey – Ngăn chặn việc 1 người điền nhiều lần – Bảo đảm privacy cho người điền (và cảm giác về privacy)• Hướng dẫn: – Lựa chọn giữa lật trang hay cuộn xuống – Thiết kế đồ họa: màu sắc, phông chữ, dàn trang – Sử dụng welcome screen – Lưu ý việc di chuyển giữa các mục (navigation) – Chọn hình thức thể hiện các phương án trả lời: • Radio button, check boxes, drop-down boxes, text input, text area – Progress indicator – Cho phép tạm nghỉ nếu survey dài – Kiểm tra và báo lỗi trong quá trình – Lưu ý vấn đề về truy cập: phần cứng, phần mềm trên máy respondent, mạng. Sẵn sàng phương án bổ sung (mail, paper). – Nên có test cho survey trên web để kiểm tra các vấn đề liên quan đến web. August 4, 2012 Thiết kế Survey hiệu quả 50
  51. 51. 4.4. Viết các tài liệu phụ Develop Ancillary Documents• Ngoài Bảng hỏi, có một số tài liệu phụ giúp quá • Mục đích của survey trình survey: • Tổ chức hay cá nhân tài trợ – Thư báo trước (pre-notification) survey – Cover letter của Bảng hỏi (hoặc Trang giới thiệu • Các thông tin khuyến khích nếu làm bằng web) tham gia (incentives…) – Thư nhắc điền survey • Bảo đảm về bảo mật danh – Thư cám ơn tính• Thư báo trước – Quan trọng trong các – Làm tăng tỷ lệ trả lời (8% và 28.5% theo 1 số survey nhạy cảm (ví dụ liên nghiên cứu) quan HR) – Lặp lại nội dung của Cover letter và thông báo • Danh sách các mục của thời điểm bắt đầu survey survey• Cover letter gồm các nội dung như cột bên. • Giải thích kết quả sẽ được• Thư nhắc công bố và sử dụng ntn – Làm tăng đáng kể tỷ lệ trả lời • Ước lượng thời gian phải bỏ – Nhắc ít nhất 2 lần ra để điền survey – Ngắn gọn và đi ngay vào nội dung • Thời hạn cần hoàn thành• Huy động cả nhóm khảo sát xem xét các tài liệu • Đầu mối liên hệ nếu có câu phụ hỏi (email, phone)August 4, 2012 Thiết kế Survey hiệu quả 51
  52. 52. 5. Pilot test Questionnaire• Đến bước này, chắc bạn đã nóng lòng phân phối Bảng hỏi cho mọi • A pilot test is a người. Hãy dừng lại! simulation of your survey• Một khi đã phân phối thì sẽ không rút implementation lại được nữa, cần phải pilot test. carried out on a• Việc nhóm đã review và thử không small scale with members of your thay thế được pilot test, vì đối tượng target population là khác nhau.• Mục đích của pilot test là phát hiện vấn đề hay điểm yếu của: – Các câu hỏi – Trình bày của Bảng hỏi – Quá trình làm survey – Công nghệ được sử dụngAugust 4, 2012 Thiết kế Survey hiệu quả 52
  53. 53. 5. Pilot test Questionnaire• Test các câu hỏi: • Cách tiến hành pilot – Hướng dẫn có khó hiểu, gây nhầm lẫn? test: – Câu hỏi có đúng không? Câu hỏi có dễ hiểu, sắp xếp hợp – Nếu mọi người ở lý? cùng chỗ: làm – Các phương án trả lời là hợp lý, không thiếu? trong 1 phòng, có người hướng dẫn – Có gì khó hiểu hoặc có thể hiểu nhiều cách khác nhau? – Nếu không ở cùng• Test layout: chỗ: hướng dẫn và – Có khó khăn khi di chuyển (navigate)? thu thập ý kiến – Bố trí các câu hỏi hợp lý, phông chữ dễ đọc phản hồi – Việc sử dụng các yếu tố thiết kế đồ họa phát huy tác dụng • Sử dụng ý kiến phản như mong muốn? hồi để điều chỉnh lại• Test quá trình: survey. – Mục đích của survey có ý nghĩa và được respondent quan tâm? – Respondent quan tâm đến kết quả survey ntn? – Mất bao lâu để điền? Họ cảm thấy gì về việc này? – Cảm nhận chung về survey• Test công nghệ: – Thông tin điền sai gây vấn đề hệ thống – Dễ di chuyển – Thông báo lỗi thân thiện và hữu ích – Thời gian chết trong quá trình điền – Dữ liệu được điền được lưu chính xác – Mất dữ liệuAugust 4, 2012 Thiết kế Survey hiệu quả 53
  54. 54. 6. Phân phối Bảng hỏi• Sau khi pilot test, bạn đã sẵn sàng phân phối Bảng hỏi hoặc cung cấp đường dẫn. Người trả lời cần nhận được Thư báo trước trước khi nhận được survey, do đó họ sẽ không bị bất ngờ• Bước #6 bao gồm: – Kiểm soát việc phân phối • Bảo đảm không bị trả lời nhiều lần, và không có truy cập trả lời trái phép. – Quyết định các khoảng thời gian dành cho trả lời (response window) • Từ lúc bắt đầu đến lúc kết thúc: 3-5 tuần – Theo dõi tỷ lệ trả lời (monitoring the response rate) • Giúp quyết định khi nào thì gửi Thư nhắc – Gửi Thư nhắc (sending reminders to respondents) • Survey 2 tháng: gửi sau tuần thứ 3, 5 và 7August 4, 2012 Thiết kế Survey hiệu quả 54
  55. 55. 7. Phân tích kết quả và viết báo cáo Analyze Results and Write Report – Overview• Bạn đã thu thập xong dữ liệu, nhưng còn lâu công việc mới thực sự kết thúc• Đến bước lấy thông tin, phân tích, diễn giải và kết luận – sử dụng báo cáo khảo sát (research report), gồm 2 bước con: – 7.1. Phân tích kết quả – 7.2. Viết báo cáo. Ngoài báo cáo chính bằng lời và các biểu đồ minh họa, có thể làm thêm các báo cáo phụ.August 4, 2012 Thiết kế Survey hiệu quả 55
  56. 56. 7.1. Phân tích kết quả• Survey web tự động tổ chức dữ liệu dưới dạng bảng. Nếu survey giấy thì phải làm thủ công• Gán số cho các phương án trả lời – Nominal numbers (hư số) – Ordinal numbers (số thứ tự) – Interval numbers – Ratio• Nominal numbers – không có mối liên quan giữa các phương án. Chỉ dùng để mã hóa các phương án trả lời (nếu cần). Dùng web thì không cần.• Ordinal numbers – thể hiện tương quan thứ tự giữa các phương án. – Tuy nhiên khoảng cách giữa các phương án là không như nhau và không xác định được. Ví dụ có 5 phương án gán số từ 1-5, thì khoảng cách giữa 2 và 1 khác với khoảng cách giữa 4 và 3. – Do đó nếu tính giá trị trung bình thì không chính xác, mà nên để kết quả đầy đủ của từng phương án. Có thể tính median, nhưng không phải trung bình – Thang Likert thuộc loại Ordinal• Interval/Ratio – Có thể tính trung bình – Thường chỉ áp dụng cho câu hỏi “Có bao nhiêu…” trong survey. Ít dùng.August 4, 2012 Thiết kế Survey hiệu quả 56
  57. 57. 7.1. Phân tích kết quả• Tổ chức dữ liệu • Không lạm dụng (misuse) đồ thị – Sử dụng bảng (spreadsheet) – Nên để đồ thị đơn giản, tránh 3D – Phân tích bằng các công cụ thống – Luôn để kích thước của mẫu bên kê cạnh – Biểu diễn bằng đồ thị và bảng – Thử vài loại đồ thị xem cái nào tốt nhất – So sánh cột trong bar chart dễ hơn so sánh các miếng trong pie chart – Sử dụng nhất quán các thang (scale) – Chú thích trục X và Y – Trục thời gian nên là X – Dùng màu nhất quán và k0 quá nhiều màu – Test màu ra máy in nếu định in đen trắng. • Nên để gốc đồ thị có giá trị trục Y là zero để có thể so sánh tỷ lệ các cột đồ thị.August 4, 2012 Thiết kế Survey hiệu quả 57
  58. 58. 7.1. Phân tích kết quả• Khi nào nên dùng bảng? – Đôi khi bảng lại hiệu quả hơn đồ thị. Bảng phát huy tác dụng khi cần biểu diễn dữ liệu số chính xác, có cấu trúc, trong khi đồ thị thì thể hiện xu hướng, so sánh rộng và thể hiện quan hệ – Có thể phối hợp cả hai. – Nếu có ít hơn 10-20 số thì có thể dùng bảng• Bảng tra chéo (cross-tabulation) – So sánh câu trả lời của các nhóm đối tượng khác nhau – Sử dụng công cụ thống kê để kiểm tra xem độ khác biệt có đáng kể không (statistical significance) hay là chỉ do sai số• Xử lý câu hỏi mở – Công cụ Affinity Diagram Technique (xem chi tiết trong tài liệu tham khảo)• So sánh với các báo cáo liên quan có sẵn (benchmarking)August 4, 2012 Thiết kế Survey hiệu quả 58
  59. 59. 7.2. Viết báo cáo• Phân tích đã xong, bảng biểu đồ • Các câu hỏi gợi ý lúc bắt đầu thị đã có, giờ là lúc bắt đầu viết viết BC: báo cáo – Mục đích (purpose) của• Báo cáo là minh chứng rõ rệt nhất survey cho khảo sát của bạn, ảnh hưởng – Danh sách những người tham đến việc người nghe đánh giá gia đóng góp cho survey chất lượng của khảo sát và bản thân bạn, do đó cần cân nhắc cẩn – Danh sách các công trình thận nội dung, cách tổ chức của khác liên quan báo cáo. – Bối cảnh dẫn đến việc làm• Ngoài báo cáo chính, có thể có survey nhiều bản khác cho các nhóm đối – Những rủi ro gì ảnh hưởng tượng khác nhau, kể cả để đăng đến tính chính xác (validity)? báo. Hành động xử lý?• Việc đầu tiên cần làm: tách mình – Những bất ngờ xảy ra làm ảnh khỏi các chi tiết trong thời gian hưởng validity? qua, để nhìn thấy bức tranh tổng – Mô tả các kết quả (findings) quát (big picture), chuyển thành chính những thông điệp dễ hiểu cho – Hệ quả của survey người nghe. – Các khuyến cáo dựa trên kết quả surveyAugust 4, 2012 Thiết kế Survey hiệu quả 59
  60. 60. 7.2. Viết báo cáo• Lưu ý đến người nghe – Viết bằng ngôn ngữ của họ – Có thể có nhiều nhóm khác nhau, sẽ tiếp nhận thông tin khác nhau – Không tham chi tiết• Các câu hỏi gợi ý: – Ai là nhóm thính giả chính? Vị trí của họ trong tổ chức? – Ai là nhóm phụ? – Tại sao họ lại quan tâm đọc BC? – Họ đã biết được gì liên quan đến chủ đề này? – Điều quan trọng nhất họ cần biết là gì? – Có những thuật ngữ hay khái niệm gì trong BC mà họ chưa rõ? Liệt kê ra.• Sau khi bạn viết BC, hãy quay lại kiểm tra các câu hỏi trên lần nữa.August 4, 2012 Thiết kế Survey hiệu quả 60
  61. 61. 7.2. Viết báo cáo• Các mục của BC: • Phương pháp khảo sát (Research• Trang Tựa đề (Title page) Method) – Có thể khác với working title – Lấy mẫu – Nêu trúng vấn đề, gây quan – Cách đo (công cụ Bảng hỏi) tâm – Thiết kế và quy trình thực hiện – Tên đơn vị, tác giả • Kết quả (Results)• Mục lục (Table of Contents) – Tập trung thể hiện các dữ liệu khách• Tóm tắt (Abstract, or Executive quan (fact) Summary) – Có thể mô tả các quan sát, nhưng – Dài khoảng 150 từ bình luận để phần sau. – Được viết sau cùng • Kết luận và Khuyến cáo (Conclusions and Recommendations)• Giới thiệu (Introduction) – Đôi khi có tên là Thảo luận – Mục đích khảo sát (discussion) – Phát biểu vấn đề – Thể hiện ý nghĩa của survey – Phạm vi – Lưu ý mô tả các hạn chế của survey – Bối cảnh (ví dụ tỷ lệ trả lời thấp) – Phát biểu các giả thiết nếu có – Đề xuất các hành động tiếp theo (mà khảo sát định kiểm chứng) • Tham chiếu (Reference Section) • Phụ lục (Appendix) – Mỗi Phụ lục chỉ nên chứa 1 loại thông tinAugust 4, 2012 Thiết kế Survey hiệu quả 61
  62. 62. Hậu survey • Như vậy là bạn đã hoàn thành survey và viết xong báo cáo. Nếu đây là lần đầu tiên làm survey, chắc bạn đã rất kinh ngạc vì nó tốn công đến vậy. Thông thường, người mới làm hay có xu hướng đánh giá thấp khối lượng việc sẽ phải thực hiện. • Viết bảng hỏi rất dễ, nhưng viết một Bảng hỏi tốt (câu hỏi rõ ràng, có thể trả lời chính xác, và kết quả có ý nghĩa) thì đòi hỏi kỹ năng và kinh nghiệm. • Trong nhiều trường hợp, việc của bạn chưa kết thúc ngay cả khi đã nộp báo cáo. Thường thì bạn sẽ cần trình bày nó. • Lưu ý là nội dung trình bày có thể mâu thuẫn với quan điểm của một số người, do đó bạn cần bảo vệ kết quả survey. Thông thường Người khảo sát k0 phải là người có thẩm quyền quyết định, nhưng Người khảo sát cần bảo đảm kết quả đã được lắng nghe và ghi nhận đúng. • Bạn có thể chia sẻ kết quả qua việc công bố. Lưu ý cung cấp đủ thông tin để tránh kết quả bị hiểu sai lệch (bóp méo) • Đi tìm sự thật – Việc đi tìm sự thật về một hệ thống hay một vấn đề phức tạp là rất khó – Sử dụng nhiều phương pháp bổ sung cho nhau (tam giác dữ liệu) – Survey phải được tiến hành cẩn thận (properly) để có thể đứng vững qua thời gian.August 4, 2012 Thiết kế Survey hiệu quả 62
  63. 63. Một số kinh nghiệmTài liệu tham khảo Thực hành
  64. 64. Một số kinh nghiệm làm survey ở FSOFT• Các lỗi hay gặp – Trong survey liên quan HR cần bảo – Nhảy ngay vào viết Bảng hỏi mà không đảm tính ẩn danh (anonymity) của tính đến kết quả sẽ được phân tích và người trả lời, cam kết không tiết lộ cho sử dụng ntn (quick and dirty) ai. • Thuê ngoài khiến nhân viên tin tưởng – Phân phối Bảng hỏi tùy tiện (ví dụ mỗi hơn Phòng ban in ra độ 10-20 bản và phát – cho những người mình biết) Các tài liệu phụ trợ là rất quan trọng, đặc biệt khi survey đông người. – Không duy trì được Bảng hỏi ổn định – Cần test kỹ phần mềm survey trên web và duy trì survey trong nhiều kỳ để có thể so sánh và thấy xu hướng để bảo đảm việc gửi mail đến từng respondent, không bị chặn, có thể theo – Rất ngại viết báo cáo dõi progress, v.v.• Một số kinh nghiệm hay – Trong survey HR, có thể chuyển các – Kết quả theo thang Likert (1-5) không câu hỏi demographic xuống dưới cùng chia trung bình mà tính số lượng các vì có người không muốn tiết lộ hết các câu trả lời tích cực (4,5) và tiêu cực thông tin cá nhân này (1,2), bỏ qua câu trung tính (3) – Chuyển câu hỏi mở sang câu hỏi – Survey kép để nhận được quan điểm hybrid: đợt survey đầu để câu hỏi mở của respondent về tầm quan trọng của (ví dụ: những nguyên nhân khiến Bạn lĩnh vực, và lòng tin của respondent về yêu thích công ty) và phân tích tìm các trạng thái của các hoạt động trong lĩnh nhóm nguyên nhân chính. Từ lần sau, vực đó. đưa các nhóm nguyên nhân này thành • Ví dụ: tầm quan trọng của mảng Đào các phương án, và thêm p/a Khác cho tạo đối với nhân viên. Trong mảng này tự điền. có các câu hỏi: tình trạng đáp ứng nhu • Công cụ cầu, chất lượng tổ chức lớp học, v.v. Respondent cho điểm ‘quan trọng’ từ 1- – Surveymonkey.com 5 cho cả mảng Đào tạo và cho điểm 1-5 cho từng câu hỏi.August 4, 2012 Thiết kế Survey hiệu quả 64
  65. 65. Tài liệu tham khảo và Chú thích• Mark Kasunic. Designing an Effective Survey. Sep 2005. SEI. CMU/SEI-HB-2005-004 – www.sei.cmu.edu/reports/05hb004.pdf• Chú thích cho trang 39: chuyện người bán bar. – Một người bán bar tăng đột biến doanh số bán trứng tươi cho món sữa đánh (milk shake). Nguyên nhân là do anh này không hỏi khách hàng muốn uống sữa đánh là “ngài có dùng trứng hay không” mà hỏi “ngài dùng 1 hay 2 quả”. – Việc hỏi câu hỏi dẫn dắt (leading question) kiểu này phù hợp cho bán hàng nhưng k0 phù hợp cho survey.August 4, 2012 Thiết kế Survey hiệu quả 65
  66. 66. Thực hành: survey cho FSOFT Wiki (1) Đây là Bảng hỏi do nhóm làm trước khi có • 4. Wiki đang trong quá trình phát workshop  triển nội dung, bạn thấy nội dung• FSOFT Wiki ra đời vào 05/08/2010, đây của wiki như thế nào? là một website từ điển mở về FSOFT – Phong phú bao gồm các nội dung: Tổ chức, Con – Chưa phong phú người, Sự kiện, Dự án… Sau hơn 1 – Bạn có đề xuất gì về xây dựng nội năm hoạt động, survey này nhằm giúp dung: BBT có thể đánh giá được chất lượng • 5. Bạn có nghĩ wiki cần cho một tin bài trên wiki và tìm hiểu nhu cầu của doanh nghiệp như FSOFT? FSOFTer, qua đó có kế hoạch nâng cao chất lượng và bổ sung thông tin. – Có – Không• 1. Bạn đã bao giờ ghé thăm wiki? – Lý do: – Rồi – Chưa bao giờ • 6. Bạn thấy giao diện của wiki như thế nào:• 2. Bạn có biết wiki có thể truy cập từ – Đẹp, dễ nhìn Internet? – Nhàm chán• (log in bằng user và pwd FSOFT) – Bạn có ý kiến gì: – Có • 7. Bạn có muốn trở thành CTV của – Không Wiki:• 3. Bạn đã dành bao nhiều thời gian – Có ghé thăm FSOFT Wiki một lần? – Không – 20 phút • 8. Theo bạn wiki cần có những cải – 10 phút tiến gì để phát triển: – 5 phút – Về nội dung: – Nhiều hơn 20 phút – Về hình thức: August 4, 2012 Thiết kế Survey hiệu quả 66
  67. 67. Thực hành: survey cho FSOFT Wiki (2)• Các lỗi được thảo luận và phát hiện: – Nhảy ngay vào viết Bảng hỏi – Không rõ mục đích dẫn đến một số câu hỏi không có ý nghĩa (#2, #7) – Không nói gì về đối tượng – Các p/a trả lời đều chưa đáp ứng nhu cầu phân tích và đề xuất hành động sau survey – Lẫn lộn giữa câu hỏi nội bộ và câu hỏi trong Bản hỏi (#4, #5, #8) – Không có câu hỏi demographicAugust 4, 2012 Thiết kế Survey hiệu quả 67
  68. 68. Thực hành: survey cho FSOFT Wiki (3)Bảng hỏi được chỉnh lại sau workshop: • B2. Anh Chị truy cập FSOFT Wiki qua kênh• A. Thông tin người trả lời. Phần này gồm 2 câu nào, hãy chọn tất cả các phương án phù hỏi, là các thông tin giúp phân tích kết quả theo hợp: vùng miền và thâm niên nhân viên. – Qua các đường link trong các Bản tin 131• A1. Địa điểm làm việc của Anh Chị: – Qua Intranet (ví dụ qua Menu hoặc phần – Hà Nội Nhân vật trong ngày) – Đà Nẵng – Tp HCM – Vào trực tiếp đường dẫn wiki.fsoft.com.vn. – Nước ngoài – Khác (xin ghi rõ):• A2. Thâm niên làm việc của Anh Chị tại FSOFT: • B3. FSOFT Wiki được thiết kế để có thể – Dưới 1 năm truy cập từ mạng nội bộ và cả từ Internet – Từ 1 năm đến dưới 3 năm (giống email). Anh Chị truy cập FSOFT Wiki – Từ 3 năm đến dưới 5 năm – bằng hình thức nào (chọn tất cả các Từ 5 năm đến dưới 10 năm – Từ 10 năm trở lên phương án phù hợp):• B. Nội dung. Phần này gồm 12 câu chia làm 4 – Trong office qua mạng LAN mục: câu B1-B4 - hiện trạng truy cập FSOFT – Ngoài office qua VPN Wiki, câu B5-B8 - hiện trạng khai thác thông tin, – Ngoài office qua Internet (giống như truy cập câu B9-B11 - hiện trạng đóng góp nội dung, và email) câu B12 là các ý kiến đóng góp (free text) của • B4. Anh Chị sử dụng thiết bị nào để truy Anh Chị về 3 mục trên.• cập FSOFT Wiki (chọn tất cả các phương B1. Hãy cho biết mức độ Anh Chị truy cập FSOFT Wiki, xin chọn phương án gần đúng nhất: án phù hợp): – Hàng ngày – PC/laptop ở công ty – Hàng tuần – PC/laptop ở nhà – Hàng tháng – Các thiết bị di động (tablet, smartphone, v.v.) – Ít hơn hàng tháng – Chưa vào bao giờ (xin chuyển sang câu B12)August 4, 2012 Thiết kế Survey hiệu quả 68
  69. 69. Thực hành: survey cho FSOFT Wiki (4)Bảng hỏi được chỉnh lại sau workshop (tiếp): • B9. FSOFT Wiki là nơi bất kỳ ai cũng có thể• B5. Anh Chị vào FSOFT Wiki vì mục đích gì (chọn viết bài mới và sửa bài cũ. Anh Chị đã từng viết tất cả các phương án phù hợp): bao nhiêu bài mới cho FSOFT Wiki? – – Trên 10 bài Tìm thông tin về một ai đó – – Từ 6 đến 10 bài Tìm đọc các bài Sử ký và các bài viết khác – – Từ 2 đến 5 bài Tìm thông tin về sự kiện, tổ chức, dự án, thuật ngữ. – – 1 bài Lướt qua vì tò mò, không chủ ý tìm kiếm thông tin gì cụ thể – Chưa bao giờ – Khác: (xin ghi rõ) • B10. Anh Chị đã tham gia chỉnh sửa nội dung• B6. Theo Anh Chị, thông tin chứa trong FSOFT các bài sẵn có trên FSOFT Wiki? Wiki là hữu ích đối với bản thân mình? – Nhiều hơn 10 bài – Rất đồng ý – Từ 6 đến 10 bài – Đồng ý – Từ 2 đến 5 bài – Không có ý kiến – 1 bài – Không đồng ý – Chưa bao giờ – Rất không đồng ý • B11. Nếu Anh Chị đã từng viết mới hoặc chỉnh• B7. Theo Anh Chị, thông tin trên FSOFT Wiki sửa bài cũ trên FSOFT Wiki, xin hãy cho ý kiến về là dễ tìm kiếm? công cụ viết và sửa bài – Rất đồng ý – Rất thuận tiện – Đồng ý – Thuận tiện – Không có ý kiến – Bình thường – Không đồng ý – Không thuận tiện – Rất không đồng ý – Rất không thuận tiện• B8. Theo Anh Chị, giao diện của FSOFT Wiki • B12. Anh chị hãy cho các ý kiến đóng góp về: là thân thiện? – việc truy cập vào FSOFT Wiki, – Rất đồng ý – nội dung và cách thức mà Anh Chị muốn khai thác – Đồng ý thông tin từ đó, – – làm sao để mọi người tham gia đóng góp nội dung Không có ý kiến nhiều hơn cho FSOFT Wiki. – Không đồng ý – Rất không đồng ýAugust 4, 2012 Thiết kế Survey hiệu quả 69
  70. 70. Chốt hạ• Cám ơn các anh chị, các bạn đã quan tâm nghe/ đọc bài này. Chi tiết xin tham khảo tài liệu của M. Kasunic.• Nếu thấy bổ ích, xin hãy giới thiệu cho những người khác.• Nếu có nhu cầu trao đổi, xin email cho datpp@fsoft.com.vn• Version 2012_05_25August 4, 2012 Thiết kế Survey hiệu quả 70

×