1. Confiabilidad y validez en
psicología
Silva, A. (1992). Métodos Cuantitativos en Psicología. Un enfoque metodológico. México:
Trillas.
Representación Cuantitativa
de Datos Psicológicos
Dr. Daniel González Lomelí

2. Introducción
Los métodos de la evaluación conductual
consisten en la identificación de unidades
de respuesta significativas y las variables
que la
controlan
(organísmicas o
ambientales) con el propósito de entender
y modificar la conducta (Nelson y Hayes,
1981).
 Técnicas de evaluación conductual:

–
–
–
–
–
Entrevista.
Observación directa. Respuestas:
Autoinforme.
Cognoscitivas
Automonitoreo.
Fisiológicas
Aparatos mecánicos
Motoras
y electrónicos.

3. Introducción

En la evaluación conductual (EC):
– La confiabilidad de sus instrumentos es una
condición necesaria para la validación de los
mismos.
– Informar sobre la validez de los tratamientos,
puesto que “la probabilidad de detectar una
diferencia en la ejecución entre condiciones de
tratamiento está en función directa de la
confiabilidad de la medida usada”.
– La utilización de técnicas de observación
directa se debe a que son congruentes con los
supuestos teóricos de la EC, tales como:
 Que
sea conductual
 Que sea empírica
Nota: se cuestiona la confiabilidad y validez de las otras técnicas de EC
(autoinforme, entrevista, etcétera).

4. La observación directa:
métodos de registro
 La
observación conductual directa se
lleva a cabo en medios naturales, en
situaciones análogas o en ambientes
estructurados, con la finalidad de
identificar y cuantificar el segmento
conductual de interés, encontrar los
determinantes de los cuales la
conducta es función, así como
también en la evaluación de los
resultados de la intervención.

5. La observación directa:
métodos de registro
 En
la EC no sólo interesa identificar
las características relevantes del
segmento conductual que permita
describirlo sino, entre otras cosas, la
forma de medir esas características.

6. La observación directa:
métodos de registro
 Cuando
deseamos medir alguna
propiedad de la conducta mediante
una técnica de observación directa se
debe tener en cuenta que la
conducta ocurre de forma continua,
y que necesariamente debe ser
segmentada
a
partir
del
establecimiento
de
un
límite
espaciotemporal determinado.

7. La observación directa:
métodos de registro
Sin embargo, puesto que la conducta no
sólo ocurre en un espacio temporal sino
que también se presenta de una manera
particular, es preciso además, especificar
la topografía de la respuesta.
 Estas propiedades de la conducta, la
geografía y la topografía, son dos aspectos
muy importantes cuando se va a llevar a
cabo la evaluación de una conducta
mediante un instrumento de medición
observacional directo.


8. La observación directa:
métodos de registro
 Una
vez que el segmento conductual
se ha identificado por medio de la
determinación
del
límite
espaciotemporal en donde se va a
llevar a cabo la observación y se
especifica
la
topografía,
debe
seleccionarse una estrategia para
medir el parámetro o los parámetros
de interés.

9. La observación directa:
métodos de registro
 La
cuantificación debe efectuarse
sobre el parámetro más relevante
para la conducta particular, y puede
ser la frecuencia, la duración,
distancia de recorrido, ocurrencia por
oportunidades,
productos
permanentes, etcétera.

10. Confiabilidad

Después de que se mide un evento
conductual cabe preguntarse:
– ¿Realmente se está midiendo lo que se quiere
medir? validez
– ¿Reflejan las medidas obtenidas las variaciones
de la dimensión del evento conductual medido?
confiabilidad
 La confiabilidad ha de responder:
– ¿Los datos obtenidos mediante un instrumento
son estables y relativamente predecibles?
– ¿Las mediciones obtenidas por medio de un
instrumento corresponden a las verdaderas
medidas de la propiedad en cuestión?

11. Confiabilidad

Instrumento de medición: cualquier tipo
de aparato (contador, relojes, galvanómetro,
entre otros) o procedimiento (entrevista,
encuesta, registro conductual, etcétera) que
proporcione datos acerca de la conducta o
evento de interés (Nava, 1984).
 Índices de confiabilidad:
– Por ensayo o punto por punto. Porcentaje
de acuerdo y coeficientes de correlación: Ji
cuadrada, Coeficiente de contingencia C, el
coeficiente phi, el coeficiente kappa, pi,
coeficiente de correlación intraclase.
– Por sesión. Coeficiente de correlación de
Pearson,
confiabilidad
para
datos
secuenciales.

12. Confiabilidad
 La
Ji cuadrada: probar la “Bondad de
ajuste”
de
los
datos
de
un
observador con un conjunto de
valores estándar esperados.
X =Σ Σ
(fo – fe )
 Fórmula
------------2
t
i=1 j=1
k
ij
ij
2
feij
foij es la frecuencia observada de la casilla ubicada en el renglón i de la
columna j, y
feij es la frecuencia esperada de la casilla ubicada en el renglón i de la
columna j. Se obtiene al multiplicar el total marginal del renglón i por el total
marginal de la columna j, y dividiendo el producto por el total general (N).

13. Confiabilidad

Tabla 3.3 datos hipotéticos de la conducta de un niño de
levantarse de su asiento en el salón de clase.
30
O1
1
1
1
1
O2
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
60
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1
1

14. Matriz resultante al codificar los registros de ambos observadores
Observador 2
0
10
0
1
4
a
Observador 1
15
b
6
1
5
11
c
12
39
33
45
d
16
44
60

15. El cálculo de la χ2 está dado por la fórmula:
χ2=Σt Σk
(foij – feij)2
i=1 j=1
χ
feij
2
2
2
2
= (10 - 4) + (5 – 11 ) + (6 – 12) + (39 - 33) = 16.36
2
4
11
12
33
Nota: Una de las desventajas de este estimador es que sólo brinda un
índice global de asociación para la totalidad de la distribución del código
de observación, ya que aun cuando se realiza la contrastación no es
posible tener un estimador puntual de la confiabilidad de dichos datos.
El coeficiente de contingencia C
brinda una medida de
asociación o relación entre los registros de los dos observadores
C=[
χ2 ]√
N+χ2
] √ = 0.46
60 + 16.36
Conclusión: el acuerdo entre observadores
es de 0.46
C=[
16.36

16. El coeficiente phi ( φ ): mide la asociación entre los
registros de los dos observadores
 Fórmula
φ=
del coeficiente phi:
ad – bc
√ (a + c) (b + d) (a + b) (c + d)
φ=
(10) (39) – (5) (6)
√ (10 + 6) (5 + 39) (10 + 5) (6 + 39)
φ=
390 – 30
√ 475200
= 0.52

17. El coeficiente kappa ( κ ): calcula el acuerdo
entre dos observadores al registrar una categoría
conductual
La fórmula de κ es:
κ = Po – Pc
1 - Pc
Donde:
Po es la proporción de acuerdos entre observadores, y
Pc es la proporción de acuerdos por azar.
Po = (10 + 39) = 0.817
60
Pc = [ (16 x 15) + (44 x 45) ] / 60 = 0.617
κ = 0.817 – 0.617 = 0.52
1 - 0.617
60
Sκ = [ Po (1 – Po) ] √
N (1 – Pc)2
Sκ = [ 0.817 (1 – 0.817) ] √ = 0.13
Z=
κ
Sκ
Z = 0.52 = 4
2
0.13
El valor de 60 (1 – 0.617)
probabilidad asociado para este valor de Z conforme a la Tabla A del
apéndice II, es p (Z = 4) = 0.00003, el cual es significativo con α igual a .01, ya que
p < .001 por lo tanto, se puede concluir que el acuerdo entre observadores es
mucho mayor que el que podría esperarse ocurriera por azar.

18. Coeficientes de confiabilidad cuando se registran más
de dos categorías conductuales
Tabla 3.4. Datos hipotéticos obtenidos por dos registradores al medir las
conductas de agresión (A), acercamiento afectivo (B) y aislamiento (C).
30
A A B B C B A A A A A C C C B A C B B B C A A A A A C C C A
A A A A C C A A A A A C C C C A A C A A A B B A A A A C C B
60
A B B A C A A B B A A B B A A C A A C A A B B B B B B B C B
B B B B A B A A A A B B B B B C B B C A A C B B C C C C C B
Observador 2
A
A
Observador 1
B
15
11
B
6
7
C
4
25
C
26
21
9
18
8
13
17
60

19. Coeficientes de confiabilidad cuando se
registran más de dos categorías conductuales
Scott propuso un índice que llamó pi ( π ) para estimar el acuerdo
entre los observadores, y se calcula por la ecuación π Po – Pe
=
1 - Pe
Donde:
Po es la proporción de veces en que ambos observadores están de
acuerdo en la aparición de una categoría conductual (diagonal de la matriz).
Po
=
15 + 7 + 9
60
=
0.517
Pe es el acuerdo probable o esperado:
Categoría A observador 1: 26/60 = 0.433
Categoría A observador 2: 25/60 = 0.417
Promedio P1 = 0.425
Pe = (0.425)2 + (0.325)2 + (0.25)2 = 0.349
π
=
0.517 – 0.349 = 0.26
1 – 0.349

20. Coeficientes de confiabilidad cuando se
registran más de dos categorías conductuales
El coeficiente Kappa también puede emplearse para calcular la
confiabilidad en este tipo de registros. Calcular Kappa (κ) es más
conveniente, puesto que puede contrastarse la significancia del
valor obtenido.
Po = 15 + 7 + 9 = 0.517
60
Pc
=
κ = 0.517 – 0.347 =
[(25)(26) + (18)(21) + (17)(13)]/60 = 0.347
60
0.26
Sκ = [ Po (1 – Po) ] √
1 – 0.347
Sκ
Z=
κ
Sκ
=
0.26 =
2.62
0.099
=
N (1 – Pc)2
[ 0.517 (1 – 0.517) ] √ = 0.099
N (1 – 0.347)2
Conforme a la Tabla de valores de Z, este valor de Z tiene una probabilidad asociada de
p (2.62) = 0.0044, que es menor de α = 0.01, por lo que puede concluirse que la
confiabilidad obtenida por los observadores al registrar las tres categorías conductuales
es significativa.

21. Cuando se utilizan más de dos observadores y se
registra una sola categoría conductual
Coeficiente de Correlación Intraclase (CCI)
CCI
=
1
–
(N)(R) [ (T)(R) – Σ Si 2]
(T) [ (N)(R) –T] (R - 1)
R es el número de observadores
N es el número de intervalos o sujetos de observación
T es el total de intervalos en los que se presentó la conducta
Si es el total de apariciones de la conducta a través de los
observadores en el intervalo o sujeto (i).
Ejemplo: Seis observadores entrenados registran la conducta de un niño
de conversar en el salón de clase, durante 20 intervalos de observación de
dos minutos cada uno. Al final de cada intervalo, si el niño estaba
platicando los observadores anotaban un 1 en la hoja de registro, y en
caso de que no fuera así, un 0. En la Tabla 3.5 se muestra los datos
hipotéticos.

22. Tabla 3.5. Datos hipotéticos obtenidos por seis observadores al examinar la
conducta de un niño, cuando platica en el salón de clase.
Intervalos de
observación
1
2
3
Observadores
4
5
6
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
1
1
1
1
0
0
0
0
1
0
1
1
1
1
0
0
0
0
1
1
1
0
0
1
0
0
1
0
0
0
1
1
1
1
1
0
0
0
1
1
1
1
0
1
0
0
1
0
0
0
1
1
0
0
1
0
0
0
1
1
0
0
0
1
0
0
1
0
0
0
1
1
0
0
1
1
0
0
0
1
1
1
0
1
0
0
1
0
0
0
1
1
1
0
1
0
0
0
1
1
1
0
1
1
0
0
0
0
0
0
1
1
1
1
1
0
0
0
1
1
11
10
9
7
10
10
Si
5
3
2
6
0
0
4
0
1
0
6
6
4
3
5
1
0
0
5
6
57

23. CCI
=
1 (N)(R) [ (T)(R) – Σ S ]
–
i
2
(T) [ (N)(R) –T] (R - 1)
CCI = 1 – (20)(6) [(57)(6) – (25 + 9 + 4 + 36 + 16 + 1 + 36 + 36 + 16 + 9 + 25 + 1 + 25 + 36) ] =
57 [ (20) (6) – 57] (6 – 1)
CCI = 1 –
8040 = 0.55
17955
En conclusión, se puede afirmar que la confiabilidad con la que
estuvieron registrando los seis observadores la conducta de un
niño de conversar en el salón de clase fue de 0.55