Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20121125_アンケートを作ろう@アンケート研究会

6,401 views

Published on

20121125@Japan_BLS_Association

Published in: Education

20121125_アンケートを作ろう@アンケート研究会

  1. 1.    魅惑の戦略的アンケート研究会(仮称)@日本BLS協会 アンケートを作ろう 2012/11/25(Sun) 廣江 貴則 早稲田大学理工学術院 創造理工 t-hiroe@umin.ac.jp http://www.thiroe.net 1
  2. 2. 今日の方向性• 一度立ち止まって,知識を再構築 ‣ 基本的なところは皆知っているらしい• 白紙からアンケートを作ってみる• 他者の作成したアンケートの評価• アンケート改善のためのアドバイス 2
  3. 3. 出口• 仮説に応じたアンケート設計ができる• 自ら立てた問いに対する回答として, 適切な尺度や記述方法を選択できる• 回答者の視点で評価・検証できる ✓ 「会場の出口(非常口)」は青木さんに。 3
  4. 4. とりあえず2組に• 自己紹介(くらいはしておかないと…)• 2組にわかれてください• みんなで考える• 午後はグループ作業• ID/ISDこわい 4
  5. 5. ちょっと立ちどまる 5
  6. 6. なぜアンケートをやるのか 6
  7. 7. • 知りたいことがある• 講習会や講義の効果を測りたい• 問題点を抽出して,改善したい• (回答者が)どんな考えなのか知りたい• 学会発表のため• ボスの命令/押し付けられた 7
  8. 8. 知りたいことを ねる• 知りたいことを ねないと意味がない• でも… 8
  9. 9. これはアンケート? 9
  10. 10. アンケートの質• 目的によって欲しい結果は異なる - (こういうことを言うから一部で異端扱いされるらしい) ‣ 授業改善のためのアンケート ‣ 学会発表/論文のためのアンケート ‣ 予算をとるためのアンケート 10
  11. 11. ちなみに…• アンケートはinvisibleなもの• 論文で調査に使ったアンケート(全文)を 見たことは(ほぼ)ないはず• 最近は査読者に統計家が入ってはいるが 質問項目についてはほとんど手つかず 11
  12. 12. 今日扱うアンケート• 「改善のためのアンケート」に近い ‣ 知りたいことを ねる ‣ 答えてほしい人に答えてもらう ‣ 嘘なく答えてもらう 12
  13. 13. 攻めの調査と守りの調査•仮説検証型調査 •仮説生成型調査‣ 攻めの調査 ‣ (どちらかといえば)   守りの調査‣ 仮説をたてる ‣ 仮説の設定は不要‣ 仮説の検証 ‣ 実態把握が主目的‣ 仮説は直感でもよい  (先行研究でもよい) ‣ 二次調査が要る場合も 13
  14. 14. 今日は仮説検証型で• 仮説によって質問項目が絞れる• 「暗黙の仮説」をあえて意識する• 一般的なアンケートの多くは仮説検証型 - (今回は全数調査を前提にします) 14
  15. 15. アンケートの設計プロセス 15
  16. 16. 1.調査テーマと目的の設定2.調査タイトルの決定3.仮説設定4.制約条件の確認(時期,予算,倫理)5.調査対象者,データ収集法決定6.アンケート(質問紙)設計,検討,実施 16
  17. 17. 出所: “質問紙法による本調査実施までの各プロセスの関連性”, 鈴木淳子(2011) 17
  18. 18. テーマと目的の明確化• テーマは(少なくとも)同じ分野の人に  説明したときに,理解してもらえるか  どうかを基準とするとよい• テーマや目的が明確でない場合,一度の 調査で欲張りすぎる事例が散見される 18
  19. 19. レイアウトの検討 19
  20. 20. 忘れずにやっておきたい• 倫理的配慮に関する記述• 質問項目に付番する(通し番号)• 回答方法(番号,単語に○など)の統一• 回答の進行指示(スキップする場合など)• 重要部分の強調(下線,太字など) 20
  21. 21. ほかに注意すべきレイアウト上の問題は? 21
  22. 22. まだいろいろある• 回答者の立場でみると分かることが多い ✓ 括弧(  )の大きさ ✓ 文字のサイズ ✓ 行間,余白 ✓ 専門用語や外来語の使用 22
  23. 23. 質問項目の検討 23
  24. 24. デモグラフィック項目• 性別,年齢,職業,職種,年収,etc.• どんな調査にも含まれる• 分析の基礎となる極めて重要な情報• 質問の仕方によっては答えてもらえない• 不必要な項目は聞かない方が得策 24
  25. 25. デモグラフィック項目は アンケート用紙の最初 or 最後 どっち? 25
  26. 26. 最初• 歴史的には「最初」(Face Sheet)• 重要な情報は最初に集めておきたい ‣ 最初に置けば,忘れられることはほぼない• 最初の段階で警戒され,その後の質問に 正直に回答してもらえないリスクも 26
  27. 27. 最後• 近年の一般的な傾向(鈴木ら,2011) ✓ 「最後にあなた自身について伺います」 ✓ 「回答を分析するために必要な項目です」• 集中力が切れて適当になる,忘れられる  といったリスクがある 27
  28. 28. 最初 or 最後 ふたたび• あくまでもひとつの考え方として… ✓ プライバシーの問題がなければ最初も可 ✓ 他人に知られたくない質問をする場合は   最後にすることが望ましい‣ (収入などは)回答に幅をもたせる方法も 28
  29. 29. 選択式回答法の検討 29
  30. 30. 選択式回答法の長所と短所を考える 30
  31. 31. 選択式回答法の長所と短所• 長所 • 短所 ‣ 回答が簡単 ‣ 選択肢設定が難しい ‣ 全員が共通の枠組み ✓ 選択肢以外に選べない で回答してくれる ✓ バイアスが生じやすい ‣ 数値/コード化可能 ‣ 無回答の場合の解釈 が難しい ‣ 統計分析がしやすい ‣ 意図的無回答 or 忘れ 31
  32. 32. 選択式回答法の形式 32
  33. 33. 選択式回答法• 二項選択法・Filter Question• 多項選択法(択一/複数選択/限定選択)• 順位法(完全順位法/一部順位法)• 恒常和法• Likert Scale 33
  34. 34. 二項選択法• 二択(2つにしか分類できないもの)• 2つの対立するカテゴリーを選択肢に• Filter Questionにむいている• 嗜好や態度を把握するには限界がある ‣ e.g. アボカドは好きですか? − 好き or 嫌い 34
  35. 35. Filter Question• 回答者を分類するための質問• 必要な人にだけ質問に答えてもらう ‣ 適当な回答,嘘の回答を防ぐ❖ 【質問1】あなたは新聞を読みますか?   【質問2】1で「はい」の方にお尋ねします.  1日に何分くらい新聞を読みますか? 35
  36. 36. 多項選択法• 3つ以上の選択肢を用いる• 複数の選択肢から1つ,または複数選択 ‣ 大きく分類して3種類の方法がある• 選択肢が増えて,情報に現実味が増す• 全ての選択肢を検討させる工夫が必要 36
  37. 37. 多項選択法;択一式(SA)• 複数の選択肢の中から1つだけ選択• 「好き・嫌い・どちらでもない」が一例• 回答しやすく,無回答も防げる• 得られる情報は限定的 37
  38. 38. 多項選択法;複数選択(MA)• 複数の選択肢の中から該当するものを全て選択• 選択肢の数や配置が極めて重要になる ‣ 両極選択バイアス(最初 or 最後が多い)• 重要な肢以外も「とりあえず」選ぶ恐れ• 最も重要なものに特別な印をつける方法もある 38
  39. 39. 多項選択法;限定選択(LA)• 複数の選択肢から指定された数だけ(まで)選ぶ ‣ 指定された数だけ必ず選ぶ場合(3つ選ぶ) ‣ 選択可能な上限を指定する場合(3つまで)• 不適当な回答を無理に選ぶ可能性がある• 制限数は全選択肢の1/3程度(酒井, 2001) 39
  40. 40. 順位法• 複数の項目について順位をつける• 回答も分析も面倒(Friedman test)• 項目数は3∼7程度(Mangione, 1995)• 完全順位法と一部順位法 40
  41. 41. 完全順位法と一部順位法• 完全順位法 ‣ 全選択肢について,順位付けを行う• 一部順位法 ‣ 順位付けする項目数を限定する       e.g. 以下の7項目から重要だと思うものを3つ 選び,1位から3位まで順位をつけてください 41
  42. 42. 恒常和法• 順位+項目間の重要性の違いを測る• 全項目に100% or 100点を与えて分配• 分析が面倒           (Conjoint Analysis/重回帰分析) 42
  43. 43. 恒常和法の具体例• 宝くじが当たったら何に使いますか? 合計が 100%になるように,空欄に記入してください 1. 貯金  (     )% 2. 旅行  (     )% 3. 買い物 (     )% 4. 投資  (     )% 5. その他 (     )%         合計:100% 43
  44. 44. Likert Scale(1/4)• リッカート尺度(Rensis Likert, 1932) ‣ 例のアレ ‣ 評定法の一種(他には一対比較など) ‣ 尺度間の間隔が等しいと仮定 ‣ 統計的処理が比較的容易だが… 44
  45. 45. Likert Scale(2/4)• 評定段階は3∼9の奇数段階が多用される• 段階が細かすぎると,回答も比較も困難 ‣ 9段階尺度の回答の再現性は高くない(小嶋, 1975)• 中間選択肢を抜いて偶数にすることも ‣ 強制選択尺度(Forced-choice Scale) 45
  46. 46. Likert Scale(3/4)• 質問項目が多い場合は表形式にすることも検討 46
  47. 47. Likert Scale(4/4)• 言葉で段階を示す場合は明確にする 「非常に」「まったく」「かなり」 「やや」「まあ」「どちらかといえば」 「あまり」「ほとんど」「ぜんぜん」 47
  48. 48. 中間選択肢はどんなときに 使う/使わないのか※ 参考:日本人に対する調査では,中心化傾向(中間選択肢を選ぶ傾向)が極めて強い 48
  49. 49. 中間選択肢• 使う場合 • 使わない場合 ‣ 複雑な問題について ‣ ほとんどの全ての  質問をする場合 回答者が何らかの  明確な意見を持って ‣ 中間選択肢を選ぶ  いたり,経験して  という仮説の場合 いる場合 ‣ どうしてもどちらか 選んでほしい場合 49
  50. 50. 都合のよい評価• 5段階尺度 ‣ 結果を述べる - 赤で示した項目が  非常によい 「よい」に該当 とてもよい - 尺度としては妥当では ないが,こういった  まあよい 使われ方も少なくない あまりよくない (悪いとは言わない) 全くよくない 50
  51. 51. 自由回答法の検討 (自由記述) 51
  52. 52. 自由回答法の長所と短所を考える 52
  53. 53. 自由回答法の長所と短所• 長所 • 短所 ‣ 選択肢の制限がなく ‣ 回答に時間を要する 自由に回答可能 ‣ 無回答が多い ‣ 回答の幅が広い ‣ 質問と無関係の回答 ✓ 多様なデータが集まる ✓ 方向性を定めにくく, ‣ 事前の予想を超える 言いたい放題になる 回答が得られる ✓ 質問設計上の困難さ 53
  54. 54. 自由回答法の欠点をカバーする 54
  55. 55. Specific open question• 限定的記述質問• 事実,行動,嗜好などの情報に対する質問• 単語または1行程度,回答スペースも用意 あなたの好きな果物を3つまで挙げてください  (     )(     )(     ) 55
  56. 56. Sentence completion question• 文章完成型質問• 文頭だけ提示して文章を完成させる• 記述内容について誘導できる このWSで最も印象に残った話は    である  このWSの改善点は          である 56
  57. 57. Short-answer question• 短文/単語回答型質問• どんな回答が得られるか予想できない場合• 短い言葉で答えられる質問設計 今年のクリスマスを楽しく過ごすためにあなたが  最も重要だと考えることは何ですか.       分からない方は「分からない」とご記入ください. 57
  58. 58. 頻度に関して• 回数や期間,頻度を ねる場合,選択式 ではなく回答欄を作成して自由記述式に する方がよい - 回答者によって幅がありすぎる - すべての選択肢を準備できない恐れ 58
  59. 59. バイアスの検討 59
  60. 60. 主なバイアス(質問側)• 価値判断を含む質問• 同調圧力・Yes-tendency• Halo effect• 隠れた前提のある質問• Double-barreled question 60
  61. 61. 価値判断を含む質問• 語尾に価値判断を含むと誘導 ‣ 「∼すべきだと思いませんか」 ‣ 「∼に困っていませんか」- 回答者に明確な意見がない場合,    強い影響を与える 61
  62. 62. 同調圧力• 社会的(同調)圧力を伴うと誘導 ‣ 一般に言われる/社会問題化している- e.g. 近年,政治離れによる投票率の低下が社会問題に なっています.あなたは次回の衆議院議員選挙で 投票に行きますか.(行く・行かない・未定) 62
  63. 63. Yes-tendency• 「いいえ」よりも「はい」を選ぶ• 知識の有無を問う際に顕著(山田, 2010) ‣ 「知らないことは恥ずかしい」• 同じ種類の質問を反復しても生じる 63
  64. 64. 賛成?反対?• 「あなたは○○に賛成ですか」 ‣ 「賛成」に誘導される傾向• 「あなたは に反対ですか」 ‣ 「反対」に誘導される傾向✓ 「賛成ですか、それとも反対ですか」 64
  65. 65. Halo effect• 影響力が強い人名や組織,職業が回答を 誘導( ら, 1987) ‣ 「○○学の専門家である□□教授」 ‣ 「△△学会の専門委員会」• 権威に対して同調する(逆もある) 65
  66. 66. 隠れた前提がある質問• あなたは新聞を一日何分くらい読みますか ‣ 「新聞を読んでいる」という暗黙の前提 ‣ 質問者の感覚 ≠ 回答者の実態 ‣ 読まない人が0分と書くかどうか分からない ‣ Filter Questionで「読まない」人を排除 66
  67. 67. Double-barreled question• 二重質問• 1つの質問に2つ以上の異なる論点• 専門家もやる,頻度の高いミス(Azzara, 2010)• 選択肢を増やすか,質問を分割して対処• 論点並列型と論点従属型 67
  68. 68. 二重質問の具体例• 論点並列型 ‣ 「∼や∼」,「もしくは」で接続される - 「FacebookやTwitterを利用していますか」• 論点従属型 ‣ 一方がもう一方に従属 - 「ダイエットのために運動していますか」 68
  69. 69. 嘘の回答と回答バイアス 69
  70. 70. 嘘の回答を招きやすい質問• 倫理・道徳に関する質問 ‣ 社会規範や一般に正義とされる話題• プライバシーに関わる質問• 調査者が期待している回答が明らかな質問 ‣ 授業・講習会後の評価 70
  71. 71. 主な回答バイアス• 両極選択バイアス• 社会的望ましさバイアス• 中間回答バイアス• 記憶バイアス(記憶効果)• 極端反応バイアス 71
  72. 72. 両極選択バイアス• 選択肢が多い場合に生じる• 最初か最後の選択肢を選ぶ傾向• 面倒になって全てに目を通さない• 項目数の見直し,グループ化で対処 ‣ 多項選択では,多くても8∼10項目 72
  73. 73. 社会的望ましさバイアス• 社会的に受け入れられやすい内容の回答• 調査者が期待していると思う回答 ‣ 授業・講習会後の評価によくある ‣ 改善目的のアンケートでは致命的 73
  74. 74. 中間回答バイアス• 評定法を用いる場合に生じる• 中心化傾向(中間選択肢を選ぶ)• 日本人に対する調査では非常に多い• 可能なら偶数の評定段階を用いる 74
  75. 75. 記憶バイアス(記憶効果)• 過去の出来事や行動についての質問• 時期(X年前)もなかなか思い出せない• 記憶質問に対する回答の信頼性は低い  (直井, 1998)• 結果は参考程度にとどめる必要がある 75
  76. 76. 極端反応バイアス• (たとえば5段階尺度で)両極の選択肢   ばかりを選ぶ傾向• 回答者個人の傾向• アンケート設計者は悪くない• 回答は集計の対象外にしたほうがよい 76
  77. 77. 質問順序と構成の検討 77
  78. 78. 検討のポイント• 合計質問数• 重要な質問・デモグラフィック項目の位置• 事実・行動 — 意見・意識・態度• 簡単な質問 — 難しい質問• 一般的な質問 — 個別の質問• 選択式 — 自由回答式• 総合評価 — 個別評価 78
  79. 79. 質問順序と構成• 様々な考え方があり,一定の解はない• 関連するテーマはまとめる ‣ 次の質問に影響を与える場合は要注意• 重要な質問は中間付近に配置• 尺度項目が30を超えると回答が適当に (Dornyei, 2003) 79
  80. 80. 第二部実際に作ってみる 80
  81. 81. 第三部アンケート検討会 81

×