SlideShare a Scribd company logo
2013-02-26 (@世新大學社心系)
實驗設計
研究策略、控制干擾變相
1
2
實	
 驗
✤ 北齊	
 顏之推	
 (531-591)	
 顏氏家訓	
 歸心:「昔在江南,不信有千人氈
帳,及來河北,不信有二萬斛船;皆實驗也。」
✤ 實地的試驗。
✤ 中華民國教育部重編國語辭典
✤ 科學上為了要闡明某種現象或驗證某種理論,用種種人為的方法,
加以反覆試驗,並觀察其變化,稱為「實驗」。
3
Brain storming
1. 從大方向尋找研究議題
·•記憶
·•心電感應
4
Brain storming
1. 從大方向尋找研究議題
·•記憶
2. 可以操弄的方法
✤ 給予不同數量的材料給受試者記憶
✤ 給予不同性質的材料給受試者記憶
✤ 訓練受試者的記憶能力
✤ 不同族群的記憶能力
5
Brain storming
2. 可以操弄的方法
3. 可以觀察哪些表現
✤ 正確率
✤ 反應時間
✤ 閾值
✤ 腦波反應
6
Brain storming
2. 可以操弄的變項	
 (獨變項)
✤ 給予不同數量的材料給受
試者記憶
✤ 給予不同性質的材料給受
試者記憶
✤ 訓練受試者的記憶能力
✤ 不同族群的記憶能力	
 
3. 測量表現的變項	
 (依變項)
✤ 正確率
✤ 反應時間
✤ 閾值
✤ 腦波反應
4. 決定了獨變項、依變項之後,剩下的就是干擾變項。
7
Brain storming
·•可以操弄的變項	
 (獨變項)
✤ 給予不同量的材料
✤ 給予不同性質的材料
✤ 訓練受試者的認知能力
✤ 比較不同族群的認知能力	
 
·•測量表現的變項	
 (依變項)
✤ 正確率
✤ 反應時間
✤ 閾值
✤ 生理反應
4. 決定了獨變項、依變項之後,剩下的就是干擾變項。
8
實驗設計 Experimental Design
✤ Kirk: A plan for assigning subjects to experimental conditions and
the statistical analysis associated with the plan.
✤ 將受試者分配到各種實驗情境之下
✤ 採取適當的統計分析
9
統計假設 (statistical hypotheses)
✤ Formulation of statistical hypotheses that are germane to the scientific
hypothesis.
✤ 虛無假設、對立假設
✤ 兩個測量值是否相等?
✤ H0: µ1 - µ2 = 0
✤ H1: µ1 - µ2 ≠ 0
✤ 數個測量值是否相等?
✤ H0: µ1 = µ2 = µ3
✤ H1: µ1 ≠ µ2 ≠ µ3
✤ 某一個測量值等於零?
✤ H0: ! = 0
✤ H1: ! ≠ 0
10
提出與實驗相關的變數
✤ 三個V
✤ 獨變項 IV (independent variable):輻射劑量
✤ 依變項 DV (dependent variable):食量
✤ 干擾變項 (nuisance/confounding variable):體重、免疫能力
11
選擇受試的單位以及數量
✤ 說明受試者的屬性、來源
✤ e.g.:語言能力、社經地位、學區、班級
✤ 預估需要多少人
12
說明分配受試者、實驗刺激的方式
✤ CRD, RBD, LSD, CRFD..., etc
✤ 會在下一堂課仔細說明
13
選擇統計方法
✤ H0/H1的考驗方式
✤ 依變項有無違反統計考驗的假設?
✤ 常態分佈、極端值、球型假設
✤ 多重考驗
14
✤ Acceptable research hypotheses
✤ “...questions that can be answered by procedures that are
available or that can be developed.”
✤ 能夠提出實作的程序,即使在當下的時空環境無法達成,但可
以提出可行的方向
Formulation of Plans for
Collection and Analysis of Data
15
✤ Distinction between independent and dependent variables
✤ 獨變項 IV (independent variable/ treatments)
✤ 研究者操弄的因素
✤ 受試者有無接觸過某種環境、刺激
✤ 依變項 DV (dependent variable)
✤ 受試者的表現
✤ e.g.:	
 反應時間、腦波數值、有無某種反應
Formulation of Plans for
Collection and Analysis of Data
16
✤ Selection of independent variable
✤ 選擇和研究假設有關的變項,盡量簡化變項的數量
✤ 決定每個變項中需要幾個組別 (levels)
Formulation of Plans for
Collection and Analysis of Data
17
✤ Quantitative independent variables
✤ 輻射劑量	
 (microwatts):	
 0,	
 20k,	
 40k,	
 60k
✤ “數量”上不同
✤ “間距大小”要能夠彰顯獨變相的效果
✤ “組別數量”能夠涵蓋所有的變化(function)
✤ Qualitative independent variables
✤ “類別”上不同
Formulation of Plans for
Collection and Analysis of Data
18
✤ Selection of the dependent variable
✤ 選擇和研究假設有關的測量值,可以考慮這幾個面向:
✤ sensitivity: 0 vs 1, -∞~∞
✤ reliability: 可否穩定的重複觀察?
✤ distribution: 常態分佈,或者有特定的機率函數?
✤ practicality: 研究需求的設備、人員等等環境要素
✤ 本課程僅介紹一種測量值的狀況,有些研究需要同時觀察多種
測量值,請參考多變量分析(multivariate designs)
Formulation of Plans for
Collection and Analysis of Data
19
✤ Nuisance variables
✤ Bias: 干擾變項對觀察值的影響
✤ 實驗進行過程中各種人為因素、硬體屬性都有可能造成bias
✤ “實驗設計”的目的就是要避免bias,以免造成研究生的悲劇...
✤ 如果不幸的在事後發現難以挽回的	
 bias,請儘早提出來討論並
且修証實驗設計。已經收的資料就先放一邊,標明為“有bias	
 
的資料”,不納入統計分析。
Formulation of Plans for
Collection and Analysis of Data
20
✤ 常見的研究方法:
✤ 實驗	
 Experiments
✤ 準實驗	
 Quasi-experiments
✤ 訪查	
 Surveys
✤ 個案研究	
 Case studies
✤ 田野觀察 Naturalistic observation
✤ 分類依據:研究者介入的程度
Research Strategies
21
✤ 研究方法包含下列三項就表示採用了實驗法的手段
✤ manipulation:	
 操弄
✤ 研究者操弄一個或數個獨變項
✤ random	
 assignment
✤ 採用隨機分配的方式排除干擾變項
✤ observation/	
 measurement
✤ 觀察依變項
實驗 Experiments
22
✤ 無法使用隨機的方式將受試者分
配到各種獨變項之下
✤ 基於研究倫理考量,有些議題無
法採用標準的實驗設計
✤ e.g.:	
 有閱讀障礙、無閱讀障礙
✤ The Newburgh-Kingston
Caries-Fluorine Study
(Hilleboe, 1956)
準實驗 Quasi-Experiments
23
✤ 兩個城鎮的氣候、水源、人口數
量相似
✤ 一開始供水中的氟含量都是0.1	
 
ppm
✤ IV:	
 飲水中有無增加氟化物
✤ 0.1	
 ppm	
 (Kingston)	
 v.s.	
 1.2	
 ppm	
 (Newburgh)
✤ DV: 每一百個牙齒的蛀牙數量
✤ Ss:	
 6-12	
 歲兒童
準實驗 Quasi-Experiments
24
25
✤ 事後回溯研究Ex post facto studies
✤ e.g.:	
 使用小學四年級學生的學業能力區分有無閱讀障礙
✤ 回溯性研究/	
 前瞻性研究	
 Retrospective and prospective studies
✤ 縱斷性研究/	
 橫斷性研究	
 Longitudinal and cross-sectional studies
✤ 結合縱斷-橫斷式研究/	
 以固定時距抽樣研究	
 Longitudinal-overlapping
and time-lag studies
✤ 時間序列法/	
 重複測量單一受試	
 Time-series and single-subject studies
Other Research Strategies
26
✤ 回溯性研究	
 Retrospective Studies
✤ IV以及DV在進行研究之前已經產生
✤ 基於倫理考量,必須等著IV和DV發生
✤ e.g.	
 核能輻射線對於人體健康的影響,來自二次大戰長崎、廣島居民在核爆
之後的研究。
✤ 前瞻性研究	
 Prospective Studies
✤ IV以及DV在進行研究之後才產生
✤ e.g.:	
 是否帶有某種基因(IV-1)?	
 篩選之後觀察受試者在某操弄(IV-2)下的表現
(DV)
回溯性研究/	
 前瞻性研究
27
回溯性研究/	
 前瞻性研究
28
✤ 縱斷性研究	
 Longitudinal Studies
✤ 長期、重複觀察同一組受試者
✤ 橫斷性研究	
 Cross-sectional Studies
✤ 同時測試多組受試者,受試者的性質相似,依照某種經驗發生的時
期等距的分組(cohort)。
✤ e.g.:	
 結婚年數、罹病年數、年齡
✤ 比較經濟、實惠,但是干擾因素較多
縱斷性研究/	
 橫斷性研究
29
✤ 結合縱斷-橫斷式研究	
 Longitudinal-overlapping Study
✤ 保留縱斷性研究的長期、重複觀察特性,利用分組cohort	
 的方式壓
縮執行的時間。
✤ 以固定時距抽樣研究	
 Time-lag Study
✤ 每次受測的對象不同
30
✤ 時間序列法	
 Time-series Study
✤ 紀錄IV介入之前、中、後的DV,觀察DV隨著時間變化的趨勢。
✤
31
✤ 重複測量單一受試	
 Single-subject Study
✤ 不違反研究倫理的狀況下才可以使用
✤ 觀察DV	
 的基準值	
 (baseline),然後觀察IV	
 介入之下的	
 DV
✤ baseline	
 --->	
 treatment
✤ 僅測量兩次	
 DV	
 時,差異可能來自隨機變異(e.g.:	
 statistical	
 regression)
✤ 增加一次	
 baseline	
 測量:	
 baseline	
 --->	
 treatment	
 --->	
 baseline
✤ 保守起見,可以再增加一次轉換的過程	
 (reversals)
✤ 增	
 baseline	
 --->	
 treatment	
 --->	
 baseline	
 --->treatment
32
l 任何研究的目的都是要彰顯獨變項	
 (IVs)	
 的效果,提出可重複檢驗的
結論,並且可以推論到整個母群的表現。影響研究的效度之因素如下
(Campbell	
 and	
 Stanley,	
 1996;	
 Cook	
 and	
 Campbell,	
 1979):
1. Statistical conclusion validity: 是否使用適當的統計方法?IV	
 的效
果會不會來自隨機誤差?
2. Internal validity: 是否只有IV	
 足以解釋DV	
 的變化?
3. Construct validity of causes and effects: IV	
 對	
 DV	
 的影響是否有中
介變項?
4. External validity: DV和	
 IV	
 之間的關聯可否適用於整個母群?如果
使用其他的作業形態、實驗環境可否得到一樣的結果?
Threats toValid Inference Making
33
✤ Low statistical power 效果量較低:	
 由於抽樣人數不夠、沒有適當的控
制變異性、過於保守的檢定方法,因此不容易拒絕虛無假設	
 (H0)。
✤ Violated assumptions of statistical tests 違反統計分析的假設: 各種推
論統計程序都有其基本原則,比如資料的變異性、分佈等等。可能會高
估效果的可性度,錯誤地拒絕虛無假設。
✤ Fishing for significant results and the error rate problem: 隨著變項的
數量、組別越多,研究者需要執行越多次組間比較,提高了Type	
 1	
 
error	
 rate。
✤ Reliability	
 of	
 measures:	
 DV	
 的變異性過高導致無法拒絕虛無假設。
Threats to Statistical Conclusion
Validity (1)
34
✤ Reliability of treatment implementation: 組間(levels)的差距不夠大,變異量蓋過組間DV	
 平均數,導致無法
拒絕虛無假設。
✤ 先做pilot	
 study
✤ Random irrelevancies in the experimental setting: 受試者的生理、社會經濟等因素未控制,導致變異量過
大而無法拒絕虛無假設。
✤ 徵求受試者的時候列出主要需求條件,比如年齡、性別、母語,但是公開文件的內容不可違反實驗倫
理。準備一些相關的問卷在受試者抵達的時候進行survey,比如愛丁堡慣用手問卷、識字量表、IQ-test	
 
分測驗等等。
✤ Random heterogeneity of respondents: 受試者的氣質(idiosyncratic	
 characteristics)	
 也會導致變異量過大而
無法拒絕虛無假設。
✤ 安排適當的練習題目,觀察受試者的練習狀況,設定中止實驗的條件。分析個別受試者資料時設定刪
除受試者的條件,比如正確率、可用的題數等等。
Threats to Statistical Conclusion
Validity (2)
35
✤ History:	
 實驗進行同時,受試者在接受treatment的時候其產生時序上的變化,比如練習效果。或者,受試者
會針對每一次的treatment	
 調整下一次反應的策略。
✤ Maturation:	
 測試不同年齡層的受試者會因為生理、生活經驗等因素隨著年紀增加而影響DV	
 的表現。
✤ Testing:	
 受試者重複接受測試的時候已經熟悉實驗情境,並且瞭解哪些因素可能會影響實驗情境。
✤ Instrumentation	
 實驗儀器的參數
✤ Statistical	
 regressions:	
 DV	
 的變化只是往平均值靠攏
✤ Selection:	
 受試者接受不同treatment的時候,組別之間使用的受試者有某些特性已經足以影響DV	
 。
✤ Mortality:	
 受試者無法持續完成縱斷性研究,或者因為其它因素遺失部分的受試者,遺漏值(missing	
 value)	
 
改變了	
 DV	
 的分佈特性。
✤ Interactions	
 with	
 selection:	
 上述幾個狀況和“selection”一起發生。
Threats to InternalValidity (1)
36
✤ Ambiguity	
 about	
 the	
 direction	
 of	
 causal	
 influence:	
 無法斷定DV	
 和IV	
 之間的因
果關係。
✤ 比如,語音覺識能力	
 (phonological	
 awareness)	
 和閱讀能力。
✤ Diffusion	
 or	
 imitation	
 of	
 treatments:	
 受試者察覺到IV	
 的各組別之間的關聯,
自發性的改變反應策略並且改變DV。
✤ Compensatory	
 rivalry	
 by	
 respondents	
 receiving	
 less	
 desirable	
 treatments:	
 e.g.	
 	
 
John	
 Henry	
 effect
✤ Resentful	
 demoralization	
 of	
 respondents	
 receiving	
 less	
 desirable	
 treatments:	
 受
試者知道他們接受的treatment	
 被期望要表現得比較差,反而表現得更差。
Threats to InternalValidity (2)
37
✤ Interaction	
 of	
 testing	
 and	
 treatment:	
 每個受試者在測試的前半段會比較集中注意。到後半段時有人
會持續注意作業定且越來越精熟,但有的人則相反。
✤ Interaction	
 of	
 selection	
 and	
 treatment:	
 願意接受實驗,或者能夠接受實驗的人可能會破壞	
 “隨機抽
樣”原則,並且無法反應母群的特性。
✤ Interaction	
 of	
 setting	
 and	
 treatment:	
 實驗環境的特殊性質	
 (教室	
 v.s.	
 工廠)	
 導致DV	
 的變化只限於某
種環境下才能發生。
✤ Interaction	
 of	
 history	
 and	
 treatment:	
 收集DV	
 當下的某個時空環境決定了實驗結果,以至於無法重
複這些結果。
✤ Reactive	
 arrangements:	
 有些受試者警覺到自己在參與實驗並且比較投入在作業中,有些受試者則
沒有俱備同樣的警覺度,因此重複測試的時候DV	
 表現得不一致。
✤ Multiple-treatment	
 interference:	
 每次實驗安排的treatment	
 不一樣,而且每次得到DV	
 的效果也不
同。e.g:	
 文字辨識作業時給予高頻詞、低頻詞,但每次實驗使用的詞彙不一樣。
Threats to ExternalValidity
38
✤ Experimenter-expectancy effect: 研究者記錄、篩選資料的時候造成DV	
 
在各組之間有差異。
✤ Demand characteristics: 受試者事先透過別的方式得知實驗內容,或者
對於實驗過程已經有所準備、預期。
OtherThreats toValid Inference
Making (1)
39
✤ Subject-predisposition effects: 受試者常常參與實驗,已經有許多經驗以及相關
的知識....
✤ Cooperative-subject effect
✤ Screw you effect
✤ Evaluation apprehension
✤ Faithful subjects*****
✤ Placebo effect: 受試者預期自己要表現的不一樣而造成DV	
 的變化
OtherThreats toValid Inference
Making (2)
40
✤ General Approaches to Control
✤ Experimental control
✤ 讓每一位受試者具有同樣的干擾變項
✤ 隨機地將treatment	
 給予受試者
✤ 把干擾變項納入實驗設計的	
 IV
✤ Statistical control: 共變數分析
Controlling NuisanceVariables(1)
41
✤ Some Specific Approaches to Control (part 1)
✤ Blind procedures: 不違反研究倫理之下,不告知受試者研究的目的
(single-blind)。安排非主要研究人員給予刺激、記錄反應(double-blind)。
✤ Deception: 受試者接受的資訊與研究目的無關。
✤ Unobtrusive experimentation: 受試者不知道自己已經處在實驗過程
中。
✤ Multiple researchers
Controlling NuisanceVariables(2)
42
✤ Some Specific Approaches to Control (part 2)
✤ Debriefing: 在實驗之後詢問受試者對於作業的感覺、使用什麼策略
✤ Experimenter-expectancy control groups
✤ Unrelated-experiment technique
✤ Quasi-control group
✤ Yoked control procedure
Controlling NuisanceVariables(3)
43
1. Responsibility of researcher
2. Informed consent
3. Protection from harm
4. Protection of rights
5. Research deception
6. Confidentiality
7. Debriefing
8. Accurate and reporting
EthicalTreatment of Subjects
44
✤ 謹守這三個底線:
✤遵守人體實驗委員會的意見
✤不要讓受試者暴露在不必要的風險之下
✤採用非侵入性、對生理無害的行為作業時,注意受試者會不會對測
驗本身產生精神或心理壓力,並且盡量減少其困擾
EthicalTreatment of Subjects
45

More Related Content

Similar to Kirk' Experimental Design, Chapter 1

104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
文化大學
 
调查研究.pptx
调查研究.pptx调查研究.pptx
调查研究.pptx
BoxunHuang
 
ntu_lis_course_method-of-research_ questionnaire 980401
ntu_lis_course_method-of-research_ questionnaire 980401ntu_lis_course_method-of-research_ questionnaire 980401
ntu_lis_course_method-of-research_ questionnaire 980401Chi-Nan Hsieh
 
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
文化大學
 
調查研究法
調查研究法調查研究法
調查研究法
stcnknu
 
教育測驗與評量972 2
教育測驗與評量972 2教育測驗與評量972 2
教育測驗與評量972 2clinic
 
調查與研究方法分析師認證-三星統計-2012
調查與研究方法分析師認證-三星統計-2012調查與研究方法分析師認證-三星統計-2012
調查與研究方法分析師認證-三星統計-2012Beckett Hsieh
 
How to Read Paper
How to Read PaperHow to Read Paper
How to Read Paper
Chung-Han Yang
 
1.臨床試驗設計的常見問題與分析
1.臨床試驗設計的常見問題與分析1.臨床試驗設計的常見問題與分析
1.臨床試驗設計的常見問題與分析netnk
 
命理學在敘述上的盲點與易經占卜案例討論
命理學在敘述上的盲點與易經占卜案例討論命理學在敘述上的盲點與易經占卜案例討論
命理學在敘述上的盲點與易經占卜案例討論
彥佑 李
 
社會工作研究方法 社會工作師考試學儒
社會工作研究方法 社會工作師考試學儒社會工作研究方法 社會工作師考試學儒
社會工作研究方法 社會工作師考試學儒
TAAZE 讀冊生活
 
社會研究法 讀實力-2013高普考試.各類特考學儒
社會研究法 讀實力-2013高普考試.各類特考學儒社會研究法 讀實力-2013高普考試.各類特考學儒
社會研究法 讀實力-2013高普考試.各類特考學儒
TAAZE 讀冊生活
 
20210414 Ecology Panel_Hsu Hao-chieh
20210414 Ecology Panel_Hsu Hao-chieh20210414 Ecology Panel_Hsu Hao-chieh
20210414 Ecology Panel_Hsu Hao-chieh
ChiashenTsai1
 
臨床試驗的研究設計簡介 Pro tocol design
臨床試驗的研究設計簡介 Pro tocol design臨床試驗的研究設計簡介 Pro tocol design
臨床試驗的研究設計簡介 Pro tocol designnetnk
 

Similar to Kirk' Experimental Design, Chapter 1 (16)

104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
 
调查研究.pptx
调查研究.pptx调查研究.pptx
调查研究.pptx
 
ntu_lis_course_method-of-research_ questionnaire 980401
ntu_lis_course_method-of-research_ questionnaire 980401ntu_lis_course_method-of-research_ questionnaire 980401
ntu_lis_course_method-of-research_ questionnaire 980401
 
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
104.09.09 1-德國農莊-顧客行為分析-創造顧客價值與創造消費者需求-詹翔霖教授
 
調查研究法
調查研究法調查研究法
調查研究法
 
教育測驗與評量972 2
教育測驗與評量972 2教育測驗與評量972 2
教育測驗與評量972 2
 
調查與研究方法分析師認證-三星統計-2012
調查與研究方法分析師認證-三星統計-2012調查與研究方法分析師認證-三星統計-2012
調查與研究方法分析師認證-三星統計-2012
 
How to Read Paper
How to Read PaperHow to Read Paper
How to Read Paper
 
1.臨床試驗設計的常見問題與分析
1.臨床試驗設計的常見問題與分析1.臨床試驗設計的常見問題與分析
1.臨床試驗設計的常見問題與分析
 
命理學在敘述上的盲點與易經占卜案例討論
命理學在敘述上的盲點與易經占卜案例討論命理學在敘述上的盲點與易經占卜案例討論
命理學在敘述上的盲點與易經占卜案例討論
 
社會工作研究方法 社會工作師考試學儒
社會工作研究方法 社會工作師考試學儒社會工作研究方法 社會工作師考試學儒
社會工作研究方法 社會工作師考試學儒
 
社會研究法 讀實力-2013高普考試.各類特考學儒
社會研究法 讀實力-2013高普考試.各類特考學儒社會研究法 讀實力-2013高普考試.各類特考學儒
社會研究法 讀實力-2013高普考試.各類特考學儒
 
20210414 Ecology Panel_Hsu Hao-chieh
20210414 Ecology Panel_Hsu Hao-chieh20210414 Ecology Panel_Hsu Hao-chieh
20210414 Ecology Panel_Hsu Hao-chieh
 
Ch9 sampling
Ch9 samplingCh9 sampling
Ch9 sampling
 
Ch9 sampling
Ch9 samplingCh9 sampling
Ch9 sampling
 
臨床試驗的研究設計簡介 Pro tocol design
臨床試驗的研究設計簡介 Pro tocol design臨床試驗的研究設計簡介 Pro tocol design
臨床試驗的研究設計簡介 Pro tocol design
 

More from Kevin Chun-Hsien Hsu

[1062BPY12001] Data analysis with R / April 26
[1062BPY12001] Data analysis with R / April 26[1062BPY12001] Data analysis with R / April 26
[1062BPY12001] Data analysis with R / April 26
Kevin Chun-Hsien Hsu
 
[1062BPY12001] Data analysis with R / April 19
[1062BPY12001] Data analysis with R / April 19[1062BPY12001] Data analysis with R / April 19
[1062BPY12001] Data analysis with R / April 19
Kevin Chun-Hsien Hsu
 
[1062BPY12001] Data analysis with R / week 4
[1062BPY12001] Data analysis with R / week 4[1062BPY12001] Data analysis with R / week 4
[1062BPY12001] Data analysis with R / week 4
Kevin Chun-Hsien Hsu
 
[1062BPY12001] Data analysis with R / week 3
[1062BPY12001] Data analysis with R / week 3[1062BPY12001] Data analysis with R / week 3
[1062BPY12001] Data analysis with R / week 3
Kevin Chun-Hsien Hsu
 
[1062BPY12001] Data analysis with R / week 2
[1062BPY12001] Data analysis with R / week 2[1062BPY12001] Data analysis with R / week 2
[1062BPY12001] Data analysis with R / week 2
Kevin Chun-Hsien Hsu
 
Regression 0410
Regression 0410Regression 0410
Regression 0410
Kevin Chun-Hsien Hsu
 
Statistical computing 03
Statistical computing 03Statistical computing 03
Statistical computing 03
Kevin Chun-Hsien Hsu
 
Statistical computing 01
Statistical computing 01Statistical computing 01
Statistical computing 01
Kevin Chun-Hsien Hsu
 
Statistical computing 00
Statistical computing 00Statistical computing 00
Statistical computing 00
Kevin Chun-Hsien Hsu
 
Chi square
Chi squareChi square
Multiple regression
Multiple regressionMultiple regression
Multiple regression
Kevin Chun-Hsien Hsu
 
Model III ANOVA & Simple Main Effects
Model III ANOVA & Simple Main EffectsModel III ANOVA & Simple Main Effects
Model III ANOVA & Simple Main Effects
Kevin Chun-Hsien Hsu
 
Essentials of EEG/MEG
Essentials of EEG/MEGEssentials of EEG/MEG
Essentials of EEG/MEG
Kevin Chun-Hsien Hsu
 
APA style
APA styleAPA style
R intro 20140716-basic
R intro 20140716-basicR intro 20140716-basic
R intro 20140716-basic
Kevin Chun-Hsien Hsu
 
R intro 20140716-advance
R intro 20140716-advanceR intro 20140716-advance
R intro 20140716-advance
Kevin Chun-Hsien Hsu
 

More from Kevin Chun-Hsien Hsu (16)

[1062BPY12001] Data analysis with R / April 26
[1062BPY12001] Data analysis with R / April 26[1062BPY12001] Data analysis with R / April 26
[1062BPY12001] Data analysis with R / April 26
 
[1062BPY12001] Data analysis with R / April 19
[1062BPY12001] Data analysis with R / April 19[1062BPY12001] Data analysis with R / April 19
[1062BPY12001] Data analysis with R / April 19
 
[1062BPY12001] Data analysis with R / week 4
[1062BPY12001] Data analysis with R / week 4[1062BPY12001] Data analysis with R / week 4
[1062BPY12001] Data analysis with R / week 4
 
[1062BPY12001] Data analysis with R / week 3
[1062BPY12001] Data analysis with R / week 3[1062BPY12001] Data analysis with R / week 3
[1062BPY12001] Data analysis with R / week 3
 
[1062BPY12001] Data analysis with R / week 2
[1062BPY12001] Data analysis with R / week 2[1062BPY12001] Data analysis with R / week 2
[1062BPY12001] Data analysis with R / week 2
 
Regression 0410
Regression 0410Regression 0410
Regression 0410
 
Statistical computing 03
Statistical computing 03Statistical computing 03
Statistical computing 03
 
Statistical computing 01
Statistical computing 01Statistical computing 01
Statistical computing 01
 
Statistical computing 00
Statistical computing 00Statistical computing 00
Statistical computing 00
 
Chi square
Chi squareChi square
Chi square
 
Multiple regression
Multiple regressionMultiple regression
Multiple regression
 
Model III ANOVA & Simple Main Effects
Model III ANOVA & Simple Main EffectsModel III ANOVA & Simple Main Effects
Model III ANOVA & Simple Main Effects
 
Essentials of EEG/MEG
Essentials of EEG/MEGEssentials of EEG/MEG
Essentials of EEG/MEG
 
APA style
APA styleAPA style
APA style
 
R intro 20140716-basic
R intro 20140716-basicR intro 20140716-basic
R intro 20140716-basic
 
R intro 20140716-advance
R intro 20140716-advanceR intro 20140716-advance
R intro 20140716-advance
 

Kirk' Experimental Design, Chapter 1

  • 2. 2
  • 3. 實 驗 ✤ 北齊 顏之推 (531-591) 顏氏家訓 歸心:「昔在江南,不信有千人氈 帳,及來河北,不信有二萬斛船;皆實驗也。」 ✤ 實地的試驗。 ✤ 中華民國教育部重編國語辭典 ✤ 科學上為了要闡明某種現象或驗證某種理論,用種種人為的方法, 加以反覆試驗,並觀察其變化,稱為「實驗」。 3
  • 5. Brain storming 1. 從大方向尋找研究議題 ·•記憶 2. 可以操弄的方法 ✤ 給予不同數量的材料給受試者記憶 ✤ 給予不同性質的材料給受試者記憶 ✤ 訓練受試者的記憶能力 ✤ 不同族群的記憶能力 5
  • 6. Brain storming 2. 可以操弄的方法 3. 可以觀察哪些表現 ✤ 正確率 ✤ 反應時間 ✤ 閾值 ✤ 腦波反應 6
  • 7. Brain storming 2. 可以操弄的變項 (獨變項) ✤ 給予不同數量的材料給受 試者記憶 ✤ 給予不同性質的材料給受 試者記憶 ✤ 訓練受試者的記憶能力 ✤ 不同族群的記憶能力 3. 測量表現的變項 (依變項) ✤ 正確率 ✤ 反應時間 ✤ 閾值 ✤ 腦波反應 4. 決定了獨變項、依變項之後,剩下的就是干擾變項。 7
  • 8. Brain storming ·•可以操弄的變項 (獨變項) ✤ 給予不同量的材料 ✤ 給予不同性質的材料 ✤ 訓練受試者的認知能力 ✤ 比較不同族群的認知能力 ·•測量表現的變項 (依變項) ✤ 正確率 ✤ 反應時間 ✤ 閾值 ✤ 生理反應 4. 決定了獨變項、依變項之後,剩下的就是干擾變項。 8
  • 9. 實驗設計 Experimental Design ✤ Kirk: A plan for assigning subjects to experimental conditions and the statistical analysis associated with the plan. ✤ 將受試者分配到各種實驗情境之下 ✤ 採取適當的統計分析 9
  • 10. 統計假設 (statistical hypotheses) ✤ Formulation of statistical hypotheses that are germane to the scientific hypothesis. ✤ 虛無假設、對立假設 ✤ 兩個測量值是否相等? ✤ H0: µ1 - µ2 = 0 ✤ H1: µ1 - µ2 ≠ 0 ✤ 數個測量值是否相等? ✤ H0: µ1 = µ2 = µ3 ✤ H1: µ1 ≠ µ2 ≠ µ3 ✤ 某一個測量值等於零? ✤ H0: ! = 0 ✤ H1: ! ≠ 0 10
  • 11. 提出與實驗相關的變數 ✤ 三個V ✤ 獨變項 IV (independent variable):輻射劑量 ✤ 依變項 DV (dependent variable):食量 ✤ 干擾變項 (nuisance/confounding variable):體重、免疫能力 11
  • 13. 說明分配受試者、實驗刺激的方式 ✤ CRD, RBD, LSD, CRFD..., etc ✤ 會在下一堂課仔細說明 13
  • 15. ✤ Acceptable research hypotheses ✤ “...questions that can be answered by procedures that are available or that can be developed.” ✤ 能夠提出實作的程序,即使在當下的時空環境無法達成,但可 以提出可行的方向 Formulation of Plans for Collection and Analysis of Data 15
  • 16. ✤ Distinction between independent and dependent variables ✤ 獨變項 IV (independent variable/ treatments) ✤ 研究者操弄的因素 ✤ 受試者有無接觸過某種環境、刺激 ✤ 依變項 DV (dependent variable) ✤ 受試者的表現 ✤ e.g.: 反應時間、腦波數值、有無某種反應 Formulation of Plans for Collection and Analysis of Data 16
  • 17. ✤ Selection of independent variable ✤ 選擇和研究假設有關的變項,盡量簡化變項的數量 ✤ 決定每個變項中需要幾個組別 (levels) Formulation of Plans for Collection and Analysis of Data 17
  • 18. ✤ Quantitative independent variables ✤ 輻射劑量 (microwatts): 0, 20k, 40k, 60k ✤ “數量”上不同 ✤ “間距大小”要能夠彰顯獨變相的效果 ✤ “組別數量”能夠涵蓋所有的變化(function) ✤ Qualitative independent variables ✤ “類別”上不同 Formulation of Plans for Collection and Analysis of Data 18
  • 19. ✤ Selection of the dependent variable ✤ 選擇和研究假設有關的測量值,可以考慮這幾個面向: ✤ sensitivity: 0 vs 1, -∞~∞ ✤ reliability: 可否穩定的重複觀察? ✤ distribution: 常態分佈,或者有特定的機率函數? ✤ practicality: 研究需求的設備、人員等等環境要素 ✤ 本課程僅介紹一種測量值的狀況,有些研究需要同時觀察多種 測量值,請參考多變量分析(multivariate designs) Formulation of Plans for Collection and Analysis of Data 19
  • 20. ✤ Nuisance variables ✤ Bias: 干擾變項對觀察值的影響 ✤ 實驗進行過程中各種人為因素、硬體屬性都有可能造成bias ✤ “實驗設計”的目的就是要避免bias,以免造成研究生的悲劇... ✤ 如果不幸的在事後發現難以挽回的 bias,請儘早提出來討論並 且修証實驗設計。已經收的資料就先放一邊,標明為“有bias 的資料”,不納入統計分析。 Formulation of Plans for Collection and Analysis of Data 20
  • 21. ✤ 常見的研究方法: ✤ 實驗 Experiments ✤ 準實驗 Quasi-experiments ✤ 訪查 Surveys ✤ 個案研究 Case studies ✤ 田野觀察 Naturalistic observation ✤ 分類依據:研究者介入的程度 Research Strategies 21
  • 22. ✤ 研究方法包含下列三項就表示採用了實驗法的手段 ✤ manipulation: 操弄 ✤ 研究者操弄一個或數個獨變項 ✤ random assignment ✤ 採用隨機分配的方式排除干擾變項 ✤ observation/ measurement ✤ 觀察依變項 實驗 Experiments 22
  • 23. ✤ 無法使用隨機的方式將受試者分 配到各種獨變項之下 ✤ 基於研究倫理考量,有些議題無 法採用標準的實驗設計 ✤ e.g.: 有閱讀障礙、無閱讀障礙 ✤ The Newburgh-Kingston Caries-Fluorine Study (Hilleboe, 1956) 準實驗 Quasi-Experiments 23
  • 24. ✤ 兩個城鎮的氣候、水源、人口數 量相似 ✤ 一開始供水中的氟含量都是0.1 ppm ✤ IV: 飲水中有無增加氟化物 ✤ 0.1 ppm (Kingston) v.s. 1.2 ppm (Newburgh) ✤ DV: 每一百個牙齒的蛀牙數量 ✤ Ss: 6-12 歲兒童 準實驗 Quasi-Experiments 24
  • 25. 25
  • 26. ✤ 事後回溯研究Ex post facto studies ✤ e.g.: 使用小學四年級學生的學業能力區分有無閱讀障礙 ✤ 回溯性研究/ 前瞻性研究 Retrospective and prospective studies ✤ 縱斷性研究/ 橫斷性研究 Longitudinal and cross-sectional studies ✤ 結合縱斷-橫斷式研究/ 以固定時距抽樣研究 Longitudinal-overlapping and time-lag studies ✤ 時間序列法/ 重複測量單一受試 Time-series and single-subject studies Other Research Strategies 26
  • 27. ✤ 回溯性研究 Retrospective Studies ✤ IV以及DV在進行研究之前已經產生 ✤ 基於倫理考量,必須等著IV和DV發生 ✤ e.g. 核能輻射線對於人體健康的影響,來自二次大戰長崎、廣島居民在核爆 之後的研究。 ✤ 前瞻性研究 Prospective Studies ✤ IV以及DV在進行研究之後才產生 ✤ e.g.: 是否帶有某種基因(IV-1)? 篩選之後觀察受試者在某操弄(IV-2)下的表現 (DV) 回溯性研究/ 前瞻性研究 27
  • 29. ✤ 縱斷性研究 Longitudinal Studies ✤ 長期、重複觀察同一組受試者 ✤ 橫斷性研究 Cross-sectional Studies ✤ 同時測試多組受試者,受試者的性質相似,依照某種經驗發生的時 期等距的分組(cohort)。 ✤ e.g.: 結婚年數、罹病年數、年齡 ✤ 比較經濟、實惠,但是干擾因素較多 縱斷性研究/ 橫斷性研究 29
  • 30. ✤ 結合縱斷-橫斷式研究 Longitudinal-overlapping Study ✤ 保留縱斷性研究的長期、重複觀察特性,利用分組cohort 的方式壓 縮執行的時間。 ✤ 以固定時距抽樣研究 Time-lag Study ✤ 每次受測的對象不同 30
  • 31. ✤ 時間序列法 Time-series Study ✤ 紀錄IV介入之前、中、後的DV,觀察DV隨著時間變化的趨勢。 ✤ 31
  • 32. ✤ 重複測量單一受試 Single-subject Study ✤ 不違反研究倫理的狀況下才可以使用 ✤ 觀察DV 的基準值 (baseline),然後觀察IV 介入之下的 DV ✤ baseline ---> treatment ✤ 僅測量兩次 DV 時,差異可能來自隨機變異(e.g.: statistical regression) ✤ 增加一次 baseline 測量: baseline ---> treatment ---> baseline ✤ 保守起見,可以再增加一次轉換的過程 (reversals) ✤ 增 baseline ---> treatment ---> baseline --->treatment 32
  • 33. l 任何研究的目的都是要彰顯獨變項 (IVs) 的效果,提出可重複檢驗的 結論,並且可以推論到整個母群的表現。影響研究的效度之因素如下 (Campbell and Stanley, 1996; Cook and Campbell, 1979): 1. Statistical conclusion validity: 是否使用適當的統計方法?IV 的效 果會不會來自隨機誤差? 2. Internal validity: 是否只有IV 足以解釋DV 的變化? 3. Construct validity of causes and effects: IV 對 DV 的影響是否有中 介變項? 4. External validity: DV和 IV 之間的關聯可否適用於整個母群?如果 使用其他的作業形態、實驗環境可否得到一樣的結果? Threats toValid Inference Making 33
  • 34. ✤ Low statistical power 效果量較低: 由於抽樣人數不夠、沒有適當的控 制變異性、過於保守的檢定方法,因此不容易拒絕虛無假設 (H0)。 ✤ Violated assumptions of statistical tests 違反統計分析的假設: 各種推 論統計程序都有其基本原則,比如資料的變異性、分佈等等。可能會高 估效果的可性度,錯誤地拒絕虛無假設。 ✤ Fishing for significant results and the error rate problem: 隨著變項的 數量、組別越多,研究者需要執行越多次組間比較,提高了Type 1 error rate。 ✤ Reliability of measures: DV 的變異性過高導致無法拒絕虛無假設。 Threats to Statistical Conclusion Validity (1) 34
  • 35. ✤ Reliability of treatment implementation: 組間(levels)的差距不夠大,變異量蓋過組間DV 平均數,導致無法 拒絕虛無假設。 ✤ 先做pilot study ✤ Random irrelevancies in the experimental setting: 受試者的生理、社會經濟等因素未控制,導致變異量過 大而無法拒絕虛無假設。 ✤ 徵求受試者的時候列出主要需求條件,比如年齡、性別、母語,但是公開文件的內容不可違反實驗倫 理。準備一些相關的問卷在受試者抵達的時候進行survey,比如愛丁堡慣用手問卷、識字量表、IQ-test 分測驗等等。 ✤ Random heterogeneity of respondents: 受試者的氣質(idiosyncratic characteristics) 也會導致變異量過大而 無法拒絕虛無假設。 ✤ 安排適當的練習題目,觀察受試者的練習狀況,設定中止實驗的條件。分析個別受試者資料時設定刪 除受試者的條件,比如正確率、可用的題數等等。 Threats to Statistical Conclusion Validity (2) 35
  • 36. ✤ History: 實驗進行同時,受試者在接受treatment的時候其產生時序上的變化,比如練習效果。或者,受試者 會針對每一次的treatment 調整下一次反應的策略。 ✤ Maturation: 測試不同年齡層的受試者會因為生理、生活經驗等因素隨著年紀增加而影響DV 的表現。 ✤ Testing: 受試者重複接受測試的時候已經熟悉實驗情境,並且瞭解哪些因素可能會影響實驗情境。 ✤ Instrumentation 實驗儀器的參數 ✤ Statistical regressions: DV 的變化只是往平均值靠攏 ✤ Selection: 受試者接受不同treatment的時候,組別之間使用的受試者有某些特性已經足以影響DV 。 ✤ Mortality: 受試者無法持續完成縱斷性研究,或者因為其它因素遺失部分的受試者,遺漏值(missing value) 改變了 DV 的分佈特性。 ✤ Interactions with selection: 上述幾個狀況和“selection”一起發生。 Threats to InternalValidity (1) 36
  • 37. ✤ Ambiguity about the direction of causal influence: 無法斷定DV 和IV 之間的因 果關係。 ✤ 比如,語音覺識能力 (phonological awareness) 和閱讀能力。 ✤ Diffusion or imitation of treatments: 受試者察覺到IV 的各組別之間的關聯, 自發性的改變反應策略並且改變DV。 ✤ Compensatory rivalry by respondents receiving less desirable treatments: e.g. John Henry effect ✤ Resentful demoralization of respondents receiving less desirable treatments: 受 試者知道他們接受的treatment 被期望要表現得比較差,反而表現得更差。 Threats to InternalValidity (2) 37
  • 38. ✤ Interaction of testing and treatment: 每個受試者在測試的前半段會比較集中注意。到後半段時有人 會持續注意作業定且越來越精熟,但有的人則相反。 ✤ Interaction of selection and treatment: 願意接受實驗,或者能夠接受實驗的人可能會破壞 “隨機抽 樣”原則,並且無法反應母群的特性。 ✤ Interaction of setting and treatment: 實驗環境的特殊性質 (教室 v.s. 工廠) 導致DV 的變化只限於某 種環境下才能發生。 ✤ Interaction of history and treatment: 收集DV 當下的某個時空環境決定了實驗結果,以至於無法重 複這些結果。 ✤ Reactive arrangements: 有些受試者警覺到自己在參與實驗並且比較投入在作業中,有些受試者則 沒有俱備同樣的警覺度,因此重複測試的時候DV 表現得不一致。 ✤ Multiple-treatment interference: 每次實驗安排的treatment 不一樣,而且每次得到DV 的效果也不 同。e.g: 文字辨識作業時給予高頻詞、低頻詞,但每次實驗使用的詞彙不一樣。 Threats to ExternalValidity 38
  • 39. ✤ Experimenter-expectancy effect: 研究者記錄、篩選資料的時候造成DV 在各組之間有差異。 ✤ Demand characteristics: 受試者事先透過別的方式得知實驗內容,或者 對於實驗過程已經有所準備、預期。 OtherThreats toValid Inference Making (1) 39
  • 40. ✤ Subject-predisposition effects: 受試者常常參與實驗,已經有許多經驗以及相關 的知識.... ✤ Cooperative-subject effect ✤ Screw you effect ✤ Evaluation apprehension ✤ Faithful subjects***** ✤ Placebo effect: 受試者預期自己要表現的不一樣而造成DV 的變化 OtherThreats toValid Inference Making (2) 40
  • 41. ✤ General Approaches to Control ✤ Experimental control ✤ 讓每一位受試者具有同樣的干擾變項 ✤ 隨機地將treatment 給予受試者 ✤ 把干擾變項納入實驗設計的 IV ✤ Statistical control: 共變數分析 Controlling NuisanceVariables(1) 41
  • 42. ✤ Some Specific Approaches to Control (part 1) ✤ Blind procedures: 不違反研究倫理之下,不告知受試者研究的目的 (single-blind)。安排非主要研究人員給予刺激、記錄反應(double-blind)。 ✤ Deception: 受試者接受的資訊與研究目的無關。 ✤ Unobtrusive experimentation: 受試者不知道自己已經處在實驗過程 中。 ✤ Multiple researchers Controlling NuisanceVariables(2) 42
  • 43. ✤ Some Specific Approaches to Control (part 2) ✤ Debriefing: 在實驗之後詢問受試者對於作業的感覺、使用什麼策略 ✤ Experimenter-expectancy control groups ✤ Unrelated-experiment technique ✤ Quasi-control group ✤ Yoked control procedure Controlling NuisanceVariables(3) 43
  • 44. 1. Responsibility of researcher 2. Informed consent 3. Protection from harm 4. Protection of rights 5. Research deception 6. Confidentiality 7. Debriefing 8. Accurate and reporting EthicalTreatment of Subjects 44