研究中的效度与信度问题 吴凯 东北财经大学旅游与酒店管理学院
吴凯    [email_address]    http://kaiwu2007.spaces.live.com/ 研究方向: 旅游者选择建模 Tourist Choice Modelling 旅游体验 Tourist Experience 旅游需求预测与建模  Tourism Demand Forecasting and Modelling
报告的结构 1. 操作层面的效度与信度 一般性讨论 Triangulation 论文开题与写作思考 2. 理论层面的效度与信度
1. 操作层面的效度与信度
1.1  一般性讨论 1.1.1  效度与信度的关系 1.1.2  效度分析 1.1.3  信度分析
1.1. 1   信度与效度关系 低效度、无信度 无效度、高信度 高效度、高信度 1.1 1.2 1.3
一般情况下,可靠性与有效性之间有一个均衡问题。 一个有效的研究 一定 是可靠的,但是一个可靠的研究 不一定 有效。 取得可靠性相对于有效性而言要容易一些。 1.1 1.2 1.3
1.1. 2  效度 效度指概念定义( conceptual definition )及操作化定义( operational definition )间是否契合  注重测量工具本身是否正确反映现象的属性 ? 是否可以测出研究者想要了解的某种特质? 效度可分为四类: 表面效度 (Face Validity) 内容效度 (Content Validity) 关联效度 (Criterion-related Validity) 结构效度 (Construct Validity) 1.1 1.2 1.3
表面效度由评估人根据自己对所要测量的概念的理解,根据自身的判断来断定工具是否适当。 表面效度( face validity ) 1.1 1.2 1.3
内容效度( content validity ) 内容效度根据理论基础及实际经验来对工具是否包括足够的项目而且有恰当的内容分配比例所作出的判断 资源有限,欲望无穷 问题的选择 与主题相关程度 能否反应问题重点 是否具代表性 主观判断 1.1 1.2 1.3
关联效度 (criterion-related validity) 关联效度用来比对测量结果与效标间之关连性。 效标不一定要是测验,也可把专家之评断当作效标。 衡量之目标愈复杂,愈难找到有效之效标。 1.1 1.2 1.3
结构效度 (construct validity) 结构效度指的是一些无法直接量测到的指标(态度、情绪等)通常必须通过一些外在特征或行为表现来推估。 相对于内容效度与关联效度,结构效度比较具争议性。 1.1 1.2 1.3
信度是指可靠性或一致性。信度好的指标在同样或类似的条件下重复操作,可以得到一致或稳定的结果。 信度既包括“个人分数的正确性( Accuracy of one person’s score  )”,也包括“体测验分数的一致性( Consistency of scores of a group of people )”。 信度可以分为四类: 内部一致性( internal consistency ) 稳定性( stability  ) 代表性( representative ) 等值性( equivalence ) 1.1 . 3   信度 1.1 1.2 1.3
内在一致性( internal consistency ) 内在一致性指组成研究工具的各项目之间的同质性或内在相关性。 衡量单一次测验或调查之信度。 分半信度( Split half ):将测验项目分成两部分,计算两者间的相关系数。 Cronbach’α 相关系数 理想的信度值一般要求新的测量工具信度值在 0.7 以上,已经发展的比较成熟的工具要在 0 .8 以上,内在一致性信度一般要求在 0 .8 以上。 1.1 1.2 1.3
稳定性( stability ) 稳定性( stability reliability ):指标在不同时间做测量时,可以得到同样的结果。通常我们是用测试与再测试方法( test-retest method )来度量一个指标的稳定程度,也就是将同样的指标重新测量同一群体,如果得到同样(或非常接近)的结果,则此指标具有稳定性。  1.1 1.2 1.3
代表性( representativeness ) 代表性信度指横跨次级群组的信度。也就是把指标用于不同次级群组(如年龄、性别)时,可以得到同样的结果 。 1.1 1.2 1.3
等值性( equivalence ) 等值性指使用两种不同版本的测量工具,在短时间内对相同群体进行两次测验或调查,通过比较二者之间的一致性来推断信度。 1.1 1.2 1.3
提高信度的方法 明确的概念化:当我们只测量单一构念或构念的一个面向( subdimension ),并有清楚的理论定义时,信度就会增加; 提升测量尺度的精确性; 使用多重指标:多重指标能使研究者测量一个构念的广泛定义内容。这就好像是从概念领域中做抽样( sampling from the conceptual domain ),使研究者能测量到一个构念的不同层面; 使用预试( pretests )、前导研究( pilot studies )及重复测试( replication ) 1.1 1.2 1.3
资料 研究者 理论 方法 1.2 Triangulation 1.1 1.2 1.3
关于论文选题 关于开题报告 关于研究设计 关于调查 关于访谈 关于数据分析 关于论文写作 1.3  论文开题与写作思考 1.1 1.2 1.3
关于论文选题 题目的新与旧 题目的大与小 题目的表达 1.1 1.2 1.3
关于开题报告 研究的意义 研究的方法 研究的可行性 1.1 1.2 1.3
关于研究设计 量的研究: 调查 实验 准实验 质性研究的设计 访谈 参与性观察 文本分析 1.1 1.2 1.3
关于调查 明确研究问题 形成研究假设 设计问卷 调查实施 数据录入 数据分析 报告写作 1.1 1.2 1.3
关于访谈 访谈对象 访谈形式 资料整理 编码 概念模型 1.1 1.2 1.3
关于数据分析 数据的预处理 软件的选择 方法的正确使用 图表的编排 1.1 1.2 1.3
论文写作 报告与论文的差别 标准化与个性化 表达的弹性 引用与抄袭的区别
2. 理论层面的效度与信度
1.1  哲学立场 唯物主义与唯心主义 英美哲学与欧陆哲学 现代主义与后现代主义
2.2  关于知识和学科 研究是知识的系统有组织的积累; 知识在于共享与传播; 学科是人造物; 学科有权力和暴力问题; 研究的范围和意义
2.3  关于范式 理论与范式的关系 范式间的关系 专注与超越 关于谦逊
参考资源
 

Validity And Reliability In Research2009 11 12