Recommended
More Related Content
Similar to 20130901_survey_nagoya
Similar to 20130901_survey_nagoya (20)
More from Takanori Hiroe
More from Takanori Hiroe (15)
Recently uploaded
Recently uploaded (20)
20130901_survey_nagoya
- 1. アンケート研究会・名古屋@愛知県産業労働センター アンケートを作ろう 2013/09/01(Sun) 廣江 貴則 Twitter: @taka_hiroe Website: http://www.thiroe.net 1
- 2. SELF-INTRODUCTION • 2013年4月から京都在住；以前は東京に • 専門は生物統計学(Biostatistics)；もともとは工学系 • 教育手法もいいけれど、評価はどうするの？ • うさぎ一匹（ぬいぐるみ）と暮らす • 久しぶりの名古屋です 2
- 3. 今日の方向性 • 一度立ち止まって，知識を再構築 ‣ 基本的なところは皆知っている • 白紙からアンケートを作ってみる • 他の人の作成したアンケートの検討・評価 ‣ アドバイスできるようになれるとよい 3
- 5. 予定と連絡事項 • 自己紹介（くらいはしておかないと…） ‣ 気になること，いま抱えている問題など • 午後はグループワークと成果物の検討会 • ４組に分かれてください • 持ってきたデータがあれば，先に預かります 5
- 8. • 知りたいことがある • 講習会や講義の効果を測りたい • 問題点を抽出して，改善したい • (回答者が)どんな考えなのか知りたい • 学会発表のため • ボスの命令/押し付けられた 8
- 9. • 知りたいことを ねないと意味がない • でも… 知りたいことを ねる 9
- 10. 知りたいことを ねる？ • 知りたいと思うことを知るには，なにが必要か • （もしくは）どんな状態ならそれを満たすか 10
- 11. アンケートの質 • 目的によって欲しい結果は異なる - （こういうことを言うから一部で異端扱いされるらしい） ‣ 授業改善のためのアンケート ‣ 学会発表/論文のためのアンケート ‣ 予算をとるためのアンケート 11
- 12. ちなみに… • アンケートは基本的にinvisibleなもの • 論文で調査に使ったアンケート(全文)を見たことは (ほぼ)ないはず；だから勉強しようにもできない • 最近は査読者に統計家が入ってはいるが質問項目に ついてはほとんど手つかず 12
- 13. 今日扱うアンケート • 「改善のためのアンケート」を想定 ‣ 全数調査（標本抽出については扱わない） ‣ 知りたいことを ねる ‣ 答えてほしい人だけに，嘘なく答えてもらう 13
- 15. 母集団と標本 • 母集団：統計的調査・分析の対象となる集団全体 • 母集団すべてを調査することが困難な場合，標本を抽 出して，そこから確率論的に母集団を推定する 母集団 標本 抽出 (Sampling) 推測 標本調査全数調査 15
- 17. 母集団を推定可能な調査を • 本来は調査設計の段階で確認すべきことだが… • 母集団から無作為に標本をとらないと実態を表せない • 20歳代女性 and 眼鏡：「渋谷で200人に聞きました」 ‣ 「渋谷」ではデータに偏りがある可能性が高い ‣ 報告書に「20代女性のP%が眼鏡」とは書けない 17
- 18. 有限母集団と無限母集団 • 有限母集団 • 無限母集団（一般に「母集団」というとこちら） ‣ 母集団を構成する要素が無限個 ‣ 標本数 << 母集団の要素の個数 ‣ 将来にわたって同様の要素が生成される場合 18
- 19. 母集団を全て調べる？ • 一般的に，母集団を全て調べることは困難を伴う • 20歳代女性全員，マウス全てを調べるのは非現実的 • 標本調査で母集団の推定をするのが合理的 • ただし，標本はある程度の誤差を持つ • 誤差を考慮しながら推定したり，検定したり… 19
- 20. 標本調査の落とし穴 • 母集団を取り違えて推定し，報告書で論理の飛躍 ‣ 「インターネット上で調査」→ 日本人全体の傾向 ‣ 「X病院の看護師全員を調査」→ 日本の看護師全体 ‣ 「名称が同じで中身の違うプログラムYの修了者」 → プログラムYの修了者全員 20
- 21. 患者満足度調査 • なにがいけないのか考えてみる ‣ 外来受診者1000人/日の病院（80%は予約患者） ‣ 外来受付時刻9:00∼11:00（予約でも受付は必要） ‣ 調査紙（アンケート）で外来受診者の満足度を知る ‣ 10:00∼11:00の間に窓口周辺にいる患者に無作為に配布 21
- 22. なにがいけないのか • 「患者」を代表できる標本かどうか • 9:00来院の人／11:00来院の人の意見は聞けるのか • 標本の集め方の妥当性を再検討する必要がある • 問題発見の切り口は統計学的な考え方だけではない 22
- 23. 意外と多い全数調査 • 全数調査：母集団全てを調べる調査方法のこと • 対象を全部調べるので，推定（や検定）は原則不要 • コストがかかるので…と思われがちだが，意外に多い • 身近な具体例をいくつか考えてみよう 23
- 24. 全数調査の具体例 • 企業や集団におけるスタッフの満足度 • 研修前後の試験／事後アンケート • 学力試験（サンプリングしたらひどいことに） • etc. 24
- 25. 報告書の結果が全てではない • 母集団を取り違えて調査が行われている可能性 • アンケートの調査紙同様，データを集計して，結果を 導きだす過程もある意味invisibleなもの • 論文や報告書に生データが掲載されることはまずない • 分析方法は示しても，全て説明があるわけではない 25
- 26. そろそろ本題に… 26
- 27. •仮説検証型調査 ‣ 攻めの調査 ‣ 仮説をたてる ‣ 仮説の検証 ‣ 仮説は直感でもよい (先行研究でもよい) •仮説生成型調査 ‣ 守りの調査 ‣ 仮説の設定は不要 ‣ 実態把握が主目的 ‣ 二次調査が要る場合 が多い 攻めの調査と守りの調査 27
- 29. 今日は仮説検証型 • 仮説を明確化すると，質問項目が絞れる • 「暗黙の仮説」をあえて意識する • 一般的なアンケートの多くは仮説検証型 - (今回は全数調査を前提にします) 29
- 30. アンケートの設計プロセス 30
- 34. レイアウトの検討 34
- 35. まず忘れずにやっておきたい • 倫理的配慮に関する記述 • 質問項目に付番する(通し番号) • 回答方法(番号，単語に○など)の統一 • 回答の進行指示(スキップする場合など) 35
- 37. まだいろいろある • 回答者の立場でみると分かることが多い ✓ 括弧（ ）の大きさ ✓ 文字のサイズ，色 ✓ 行間，余白 etc. 37
- 38. 質問項目の検討 38
- 39. デモグラフィック項目 • 性別，年齢，職業，職種，年収，経験年数，etc. • どんな調査にも含まれる内容 • 分析の基礎となる極めて重要な情報 • 質問の仕方や内容によっては答えてもらえない 39
- 41. 答えてもらいにくい質問 無回答もしくは嘘の回答が増える • 年収（分からない場合 or 答えたくない場合） • 年齢（ちなみに私は老眼ですが意外と若いです） • 体重/体脂肪率 etc. 嘘の回答は解析の際に見分けがつかないので厄介 41
- 42. デモグラフィック項目は アンケート用紙の 最初 OR 最後 どっち？ 42
- 43. 最初 • 歴史的には「最初」(Face Sheet) • 重要な情報は最初に集めておきたい ‣ 最初に置けば，忘れられることはほぼない • 最初の段階で警戒され，その後の質問に正直に回答 してもらえないリスクがある 43
- 44. 最後 • 近年の一般的な傾向（鈴木ら，2011） ✓「最後にあなた自身について伺います」 ✓「回答を分析するために必要な項目です」 • 集中力が切れて適当になる，忘れられるといった リスクがある 44
- 45. 最初 OR 最後 ふたたび • あくまでもひとつの考え方として… ✓プライバシーの問題がなければ最初も可 ✓他人に知られたくない質問をする場合は最後にすること が望ましい ‣ (収入などは)回答に幅をもたせる方法も 45
- 46. 選択式回答法の検討 46
- 48. 選択式回答法の長所と短所 • 長所 ‣ 回答が簡単 ‣ 全員が共通の枠組み で回答してくれる ‣ 数値/コード化可能 ‣ 統計解析がしやすい • 短所 ‣ 選択肢設定が難しい ✓ 選択肢以外に選べない ✓ バイアスが生じやすい ‣ 無回答の場合の解釈 が難しい ‣ 意図的無回答 or 忘れ 48
- 49. 選択式回答法の形式 49
- 50. 選択式回答法 • 二項選択法・Filter Question • 多項選択法(択一/複数選択/限定選択) • 順位法(完全順位法/一部順位法) • 恒常和法 • Likert Scale 50
- 51. 二項選択法 • 二択（２つにしか分類できないもの） • ２つの対立するカテゴリーを選択肢に • Filter Questionにむいている • 嗜好や態度を把握するには限界がある ‣ e.g. アボカドは好きですか？ − 好き or 嫌い 51
- 52. FILTER QUESTION • 回答者を分類するための質問 • 必要な人だけに，その先の質問に答えてもらう ‣ 適当な回答，嘘の回答を防ぐ ❖ 【質問1】あなたは新聞を読みますか？ はい or いいえ ❖ 【質問2】1で「はい」の方にお尋ねします． 1日に何分くらい新聞を読みますか？ 52
- 53. 多項選択法 • 3つ以上の選択肢を用いる • 複数の選択肢から1つ，または複数選択 ‣ 大きく分類して3種類の方法がある • 選択肢が増えて，情報に現実味が増す 53
- 54. 多項選択法；択一式(SA) • 複数の選択肢の中から１つだけ選択 • 「好き・嫌い・どちらでもない」が一例 • 回答しやすく，無回答が少ない • 得られる情報は限定的 54
- 55. 多項選択法；複数選択(MA) • 複数の選択肢の中から該当するものを全て選択 • 選択肢の数や配置が極めて重要になる ‣ 両極選択バイアス（最初 or 最後が多い） • 重要な肢以外も「とりあえず」選ぶ恐れ • 最も重要なものに特別な印をつける方法も 55
- 56. 多項選択法；限定選択(LA) • 複数の選択肢から指定された数だけ(まで)選ぶ ‣ 指定された数だけ必ず選ぶ場合(3つ選ぶ） ‣ 選択可能な上限を指定する場合(3つまで） • 不適当な回答を無理に選ぶ可能性がある • 制限数は全選択肢の1/3程度(酒井, 2001) 56
- 57. 順位法 • 複数の項目について順位をつける • 回答も分析も面倒(Friedman test) • 項目数は3∼7程度(Mangione, 1995) • 完全順位法と一部順位法 57
- 58. 完全順位法と一部順位法 • 完全順位法 ‣ 全選択肢について，順位付けを行う • 一部順位法 ‣ 順位付けする項目数を限定する e.g. 以下の7項目から重要だと思うものを3つ選 び，1位から3位まで順位をつけてください 58
- 59. 恒常和法 • 順位＋項目間の重要性の違いを測る • 全項目に100% or 100点を与えて分配 • 分析が面倒 (Conjoint Analysis/重回帰分析) 59
- 60. 恒常和法の具体例 • 宝くじが当たったら何に使いますか？ 合計が 100%になるように，空欄に記入してください 1.貯金 （ ）% 2.旅行 （ ）% 3.買い物 （ ）% 4.投資 （ ）% 5.その他 （ ）% 合計：100% 60
- 61. LIKERT SCALE(1/4) • リッカート尺度(Rensis Likert, 1932) ‣ 例のアレ ‣ 評定法の一種(他には一対比較など) ‣ 尺度間の間隔が等しいと仮定 61
- 62. LIKERT SCALE(2/4) • 評定段階は3∼9の奇数段階が多用される • 段階が細かすぎると，回答も比較も困難 ‣ 9段階尺度の回答の再現性は高くない(小嶋, 1975) • 中間選択肢を抜いて偶数にすることも ‣ 強制選択尺度(Forced-choice Scale) 62
- 64. LIKERT SCALE(4/4) • 言葉で段階を示す場合は，大小関係を明確にする 「非常に」「まったく」「かなり」 「やや」「まあ」「どちらかといえば」 「あまり」「ほとんど」「ぜんぜん」 64
- 66. 中間選択肢 • 使う場合 ‣ 複雑な問題について 質問をする場合 ‣ 中間選択肢を選ぶと いう仮説のもとで調 査を行う場合 • 使わない場合 ‣ ほとんどの全ての 回答者が明確な意見 を持っていたり， そのことがらについ て経験している場合 ‣ どうしてもどちらか 選んでほしい場合 66
- 67. 片側のスケールもある • 片側の尺度 • 0, +1, +2, +3, +4 という形式（ラベルは数字でなくてよい） • 0%(0), 25%(+1), 50%(+2), 75%(+3), 100%(+4) のイメージ • 刺激を与えた場合に，何らかの反応はあるという仮説 • 両側で扱われるマイナスの評価は，0の中に包含する • 正規分布しやすいため，分析が比較的やり易い 67
- 71. 自由回答法の長所と短所 • 長所 ‣ 選択肢の制限がなく 自由に回答可能 ‣ 回答の幅が広い ✓ 多様なデータが集まる ‣ 事前の予想を超える 回答が得られる • 短所 ‣ 回答に時間を要する ‣ 無回答が多い ‣ 質問と無関係の回答 ✓ 方向性を定めにくく，言いた い放題になる ✓ 質問設計が難しい 71
- 73. SPECIFIC OPEN QUESTION • 限定的記述質問 • 事実，行動，嗜好などの情報に対する質問 • 単語または１行程度，回答スペースも用意 あなたの好きな果物を３つまで挙げてください （ ）（ ）（ ） 73
- 74. SENTENCE COMPLETION QUESTION • 文章完成型質問 • 文頭だけ提示して文章を完成させる • 記述内容について誘導できる このWSで最も印象に残った話は である このWSの改善点は である 74
- 75. SHORT-ANSWER QUESTION • 短文/単語回答型質問 • どんな回答が得られるか予想できない場合 • 短い言葉で答えられる質問設計 今年のクリスマスを楽しく過ごすためにあなたが 最も重要だと考えることは何ですか．分からない 方は「分からない」とご記入ください． 75
- 76. 頻度に関して • 回数や期間，頻度を ねる場合，選択式ではなく 回答欄を作成して自由記述式にする方がよい - 回答者によって幅がありすぎる - すべての選択肢を準備できない可能性 76
- 78. バイアスの検討 78
- 79. 主なバイアス(質問側) • 価値判断を含む質問 • 同調圧力・Yes-tendency • Halo effect • 隠れた前提のある質問 • Double-barreled question 79
- 80. 価値判断を含む質問 • 語尾に価値判断を含むと誘導 ‣ 「∼すべきだと思いませんか」 ‣ 「∼に困っていませんか」 - 回答者に明確な意見がない場合，質問文に誘導される 80
- 81. 同調圧力 • 社会的(同調)圧力を伴うと誘導 ‣ 一般に言われる/社会問題化している - e.g. 近年，政治離れによる投票率の低下が社会問題 になっています．あなたは次回の国政選挙で投票に 行きますか．(行く・行かない・未定) 81
- 82. YES-TENDENCY • 「いいえ」よりも「はい」を選ぶ • 知識の有無を問う際に顕著(山田, 2010) ‣ 「知らないことは恥ずかしい」 ‣ 知識の確認は可能な限りテストですべき • 同じ種類の質問を反復しても生じる 82
- 83. 賛成？反対？ • 「あなたは○○に賛成ですか」 ‣ 「賛成」に誘導される傾向 • 「あなたは に反対ですか」 ‣ 「反対」に誘導される傾向 ✓「賛成ですか、それとも反対ですか」 83
- 84. HALO EFFECT • 影響力が強い人名や組織，職業が回答を誘導( ら, 1987) ‣ 「○○病予防の専門家である□□医師」 ‣ 「△△学会の専門委員会」 • 権威に対して同調する(逆もある) 84
- 85. 隠れた前提がある質問 •あなたは新聞を一日何分くらい読みますか ‣ 「新聞を読んでいる」という暗黙の前提 ‣ 質問者の感覚 ≠ 回答者の実態 ‣ 読まない人が0分と書くかどうか分からない ‣ Filter Questionで「読まない」人を排除 85
- 86. DOUBLE-BARRELED QUESTION • 二重質問 • 1つの質問に2つ以上の異なる論点 • 専門家もやる，頻度の高いミス(Azzara, 2010) • 選択肢を増やすか，質問を分割して対処 •論点並列型と論点従属型 86
- 87. 二重質問の具体例 • 論点並列型 ‣ 「∼や∼」，「もしくは」で接続される - 「FacebookやTwitterを利用していますか」 • 論点従属型 ‣ 一方がもう一方に従属 - 「ダイエットのために運動していますか」 87
- 88. 嘘の回答と回答バイアス 88
- 89. 嘘の回答を招きやすい質問 • 倫理・道徳に関する質問 ‣ 社会規範や一般に正義とされる話題 • プライバシーに関わる質問 • 調査者が期待している回答が明らかな質問 ‣ 典型例：授業・講習会後の評価 89
- 90. 主な回答バイアス(回答側) • 両極選択バイアス • 社会的望ましさバイアス • 中間回答バイアス • 記憶バイアス(記憶効果) 90
- 91. 両極選択バイアス • 選択肢が多い場合に生じる • 最初か最後の選択肢を選ぶ傾向 • 面倒になって全てに目を通さない • 項目数の見直し，グループ化で対処 91
- 92. 社会的望ましさバイアス • 社会的に受け入れられやすい内容の回答 • 調査者が期待していると思う回答 ‣ 授業・講習会後の評価によくある ‣ 改善目的のアンケートでは致命的 92
- 93. 中間回答バイアス • 評定法を用いる場合に生じる • 中心化傾向(中間選択肢を選ぶ) • 日本人に対する調査では非常に多い • 避けたいなら偶数段階もしくは片側の評定を用いる 93
- 94. 記憶バイアス(記憶効果) • 過去の出来事や行動についての質問 • 時期(X年前)もなかなか思い出せない • 記憶質問に対する回答の信頼性は低い(直井, 1998) • 結果は参考程度にとどめる必要がある 94
- 95. 極端反応バイアス • (たとえば5段階尺度で)両極の選択肢ばかりを 選択する傾向 • 回答者個人の傾向 • アンケート設計者は悪くない • 回答は集計の対象外にする 95
- 96. 質問順序と構成の検討 96
- 97. 検討のポイント • 合計質問数 • 重要な質問・デモグラフィック項目の位置 • 事実・行動 — 意見・意識 • 簡単な質問 — 難しい質問 • 一般的な質問 — 個別の質問 • 選択式 — 自由回答式 97
- 98. 質問順序と構成 • 様々な考え方があり，一定の解はない • 関連するテーマはまとめる ‣ 次の質問に影響を与える場合は要注意 • 重要な質問は中間付近に配置 • 尺度項目が30を超えると回答が適当に(Dornyei, 2003) 98
- 99. 最後に問題提起として • 態度はアンケートで測れるのか？ ‣ 「態度教育」 ‣ 答えはよくわからない ‣ 少なくとも現在行われている方法では，無理に近い 99
- 100. 第二部：実際に作ってみる 100
- 101. グループワーク • テーマは「カードゲームに関するアンケート」 • 制限時間：120分間（PCで作成してください） • 終了後に検討会を実施（各グループ毎に発表） • 実際に依頼されている案件です • 依頼者からの要求事項は文書にまとめてあります 101
- 102. 第三部：検討会 102
- 103. 検討会 • グループ別に作成したアンケートを呈示して説明 • 工夫したところをアピール • 回答者の視点で評価して，設計者の言葉でアドバイス 103
- 104. おわりに • 今日紹介したのは，ほんの一部分かつひとつの考え方 • 答えやすさ（ + 分析のしやすさ） • アンケートをとって終わり，というわけではない • 続編：「集計・分析の基礎」（統計の基礎的な話） • 「自由記述分析」編を製作中 104
- 105. おつかれさまでした • 質問はいつでもどうぞ • スライドはSlideShareにアップロードします • Weblog: http://www.thiroe.net • Twitter: @taka_hiroe / Facebook: takanorihiroe • SlideShare: http://www.slideshare.net/thiroe 105