Este documento describe los procedimientos y la recolección de datos para la administración de pruebas. Explica los pasos para preparar, aplicar y recolectar una prueba, incluyendo la preparación del espacio y materiales, las instrucciones a los evaluandos, y la recolección de la información para evaluar la utilidad de la prueba. También discute los métodos para recolectar feedback de los evaluandos y evaluadores después de aplicar la prueba.

1. AAddmmiinniissttrraacciióónn ddee pprruueebbaass
PPrroocceeddiimmiieennttooss yy rreeccoolleecccciióónn ddee ddaattooss
IIDD77775566 EEvvaalluuaacciióónn ddeell AApprreennddiizzaajjee ddee IIddiioommaass
EEnneerroo--MMaarrzzoo 22001144
PPrrooff.. YYrriiss CCaassaarrtt
yyccaassaarrtt@@uussbb..vvee

2. AAddmmiinniissttrraacciióónn
Procedimientos para administrar la prueba
y para recolectar información:
Evaluar la utilidad de la prueba:
Información de diversas fuentes sobre las cualidades de
la prueba con el fin de mejorar su utilidad.
Hacer inferencias sobre la habilidad lingüística
de los evaluandos:
Puntuaciones de la prueba.
(Bachman & Palmer, 1996)

3. CCoonnssiiddeerraacciioonneess
Se deben seguir los lineamientos establecidos
en el diseño y la operacionalización. Esta etapa
está relacionada con las otras cíclicamente.
Permite tener CIERTO control sobre el proceso
de administración.
Comprende las etapas de preparación,
administración y recolección de datos.
(Bachman & Palmer, 1996)

4. PPrroocceeddiimmiieennttooss ppaarraa llaa
aaddmmiinniissttrraacciióónn ddee llaa
pprruueebbaa
Preparar las condiciones de administración
Proporcionar las instrucciones
Mantener un ambiente adecuado
Recoger las pruebas

5. PPrreeppaarraarr llaass ccoonnddiicciioonneess ddee
aaddmmiinniissttrraacciióónn
Evaluar la adecuación del espacio.
Verificar la disponibilidad de materiales,
equipos, etc.
Definir el momento más adecuado y la
duración de la prueba.
Asignar tareas y roles a los evaluadores
(entrenamiento y práctica).
(Bachman & Palmer, 1996)

6. DDiiffeerreenntteess pprruueebbaass,,
ddiiffeerreenntteess ccoonnssiiddeerraacciioonneess
Prueba de producción oral:
Dos áreas separadas bien iluminadas y
tranquilas (entrevista y dramatización).
Disponibilidad de escritorios, guion de
entrevistas, equipo de grabación, etc.
Suficiente tiempo para cada evaluando.
Contemplar un tiempo para recesos
(administradores).
(Bachman & Palmer, 1996)

7. DDiiffeerreenntteess pprruueebbaass,,
ddiiffeerreenntteess ccoonnssiiddeerraacciioonneess
Prueba de escritura con grupos
numerosos:
Ambiente sin distracciones y con
suficiente espacio.
Disponibilidad de suministros para
escribir.
Tomar medidas para que no se copien
con el fin de maximizar la utilidad. ¿?
(validez de las interpretac(iBoancehs mdea lna s& p uPnatlumaeciro, n1e9s9)6)

8. PPrrooppoorrcciioonnaarr llaass iinnssttrruucccciioonneess
Es esencial que todos los evaluandos
reciban las instrucciones. Se debe
procurar las condiciones necesarias para
que todos escuchen o lean las
instrucciones.
Entrenar al personal para suministrar las
instrucciones en forma oral.
(Bachman & Palmer, 1996)

9. MMaanntteenneerr uunn aammbbiieennttee aaddeeccuuaaddoo
Asegurarse de que no haya elementos
que distraigan a los evaluandos durante
la administración de la prueba.
Controlar variabilidad, sin sacrificar la
autenticidad.
Una actitud autoritaria puede producir
un impacto negativo.
(Bachman & Palmer, 1996)

10. RReeccooggeerr llaass pprruueebbaass
Es el último paso de la administración.
Aprovechar para que los evaluandos
comenten por escrito sobre su
experiencia.
Tomar nota de las observaciones y
sugerencias de los evaluandos puede
tener un impacto positivo.
(Bachman & Palmer, 1996)

11. Prueba pprreelliimmiinnaarr vvss.. pprruueebbaa
ooppeerraattiivvaa
Su propósito es
recoger información
sobre la utilidad de
la prueba para
revisar la prueba o
el procedimiento de
administración.
Su propósito es
obtener datos
(puntuación) para
hacer inferencias
sobre la habilidad
lingüística de los
evaluandos.
(Bachman & Palmer, 1996)

12. PPrruueebbaa pprreelliimmiinnaarr
Al comienzo generalmente se hace con
individuos o grupos reducidos para recoger datos
cualitativos. ((eeaarrllyy pprree--tteessttiinngg))
Luego se recogen datos con grupos más grandes
siguiendo las instrucciones de la prueba. En ese
caso se recolectan datos cuantitativos y
cualitativos. ((ffiieelldd ttrriiaall))
Estos procedimientos dependerán de los
recursos disponibles y de la magnitud de la
prueba. (Bachman & Palmer, 1996)

13. PPrruueebbaa ooppeerraattiivvaa
Aunque su principal propósito es obtener las
puntuaciones, “también es importante
continuar recolectando datos sobre los
procedimientos de evaluación, los cuales
proporcionan información acerca de las
modificaciones que podrían ser necesarias para
mejorar la ________ utilidad
(efectividad) de la prueba.”
(Bachman & Palmer, 1996; 234-235)

14. RReeccoolleecccciióónn ddee
iinnffoorrmmaacciióónn ppaarraa eevvaalluuaarr
llaa uuttiilliiddaadd ddee llaa pprruueebbaa
Propósitos específicos
Tipos de feedback
Fuentes de información
Recursos disponibles
Métodos de recolección

15. PPrrooppóóssiittooss eessppeeccííffiiccooss
Procedimientos (espacio y evaluadores)
Asignación y distribución del tiempo
Claridad de las instrucciones
Reacción de los evaluandos a las tareas
(Bachman & Palmer, 1996)

16. AAddeeccuuaacciióónn ddee llooss pprroocceeddiimmiieennttooss
Resulta imposible anticipar los posibles
problemas que pueden surgir:
Espacio: condiciones inesperadas como
ruido, iluminación inadecuada, etc.
(prueba de comprensión oral y cuadernillos)
Evaluadores:
(Bachman & Palmer, 1996)

17. AAddeeccuuaacciióónn ddee llooss pprroocceeddiimmiieennttooss
Resulta imposible anticipar los posibles
problemas que pueden surgir:
Espacio: condiciones inesperadas como
ruido, iluminación inadecuada, etc.
(prueba de comprensión oral y cuadernillos)
Evaluadores: entrenamiento insuficiente,
hostilidad, no habla la lengua materna de
los evaluandos, etc.
(Bachman & Palmer, 1996)

18. AAddeeccuuaacciióónn ddee llooss pprroocceeddiimmiieennttooss
Resulta imposible anticipar los posibles
problemas que pueden surgir:
Espacio: condiciones inesperadas como
ruido, iluminación inadecuada, etc.
((pprruueebbaa ddee ccoommpprreennssiióónn oorraall yy ccuuaaddeerrnniillllooss))
Evaluadores: entrenamiento insuficiente,
hostilidad, no habla la lengua materna de
los evaluandos, etc.
(Bachman & Palmer, 1996)

19. AAssiiggnnaacciióónn yy ddiissttrriibbuucciióónn ddeell ttiieemmppoo
A través de una prueba piloto se puede
determinar si el tiempo estipulado es
suficiente para que los evaluandos se
desempeñen de acuerdo a su capacidad.
Los evaluandos requirieron diferente cantidad
de tiempo para realizar las tareas de la
primera parte de una prueba.
Los evaluandos requirieron de mucho tiempo
para leer y entender las instrucciones y
ejemplos de las tareas de la prueba.
(Bachman & Palmer, 1996)

20. CCllaarriiddaadd ddee llaass iinnssttrruucccciioonneess
Se recomienda utilizar las especificaciones de
la tarea como punto de partida con el
propósito de indicar a los evaluandos las
características de la respuesta esperada.
Esto contribuirá a que exista una
correspondencia entre la respuesta del
evaluando y el uso de la lengua en el ámbito
de uso de la lengua descrito en las
especificaciones.
(Bachman & Palmer, 1996)

21. RReeaacccciióónn ddee llooss eevvaalluuaannddooss
Es posible recolectar información cualitativa:
Con respecto a los procedimientos: duración,
materiales, etc.
Con respecto a las tareas: relevancia,
dificultad, longitud, etc.
Los datos cuantitativos (puntuaciones) se
pueden analizar estadísticamente para
obtener información sobre el desempeño de
los evaluandos.
(Bachman & Palmer, 1996)

22. TTiippooss ddee ffeeeeddbbaacckk
Sobre la habilidad lingüística:
Pregunta: ¿En qué medida las tareas de la
prueba requieren el uso de los diferentes
componentes de su habilidad lingüística?
Problema: Poca variabilidad en la notas
de una prueba cuyo objetivo es evaluar el
conocimiento sobre organización textual
en un amplio rango de niveles.
(Bachman & Palmer, 1996)

23. TTiippooss ddee ffeeeeddbbaacckk
Sobre el proceso de administración:
Cuando los evaluandos hacen preguntas
relevantes sobre las tareas o la mecánica
de la prueba que no están contempladas en
las instrucciones.
Si al administrar una prueba los
administradores se dan cuenta que la
grabación no se escucha bien en todas las
áreas del salón.
(Bachman & Palmer, 1996)

24. FFuueenntteess ddee iinnffoorrmmaacciióónn
Evaluandos
 Percepciones y actitudes acerca de la prueba.
Evaluadores
 Efectividad de los procedimientos de
administración.
Usuarios
 Utilidad de las puntuaciones de la prueba con
relación a sus necesidades.
(Bachman & Palmer, 1996)

25. RReeccuurrssooss ddiissppoonniibblleess
Por lo general, el proceso de recolección de
datos culmina después de que la prueba se
utiliza por primera vez.
Sin embargo, es recomendable continuar
recolectando datos sobre la utilidad de la
prueba mientras la prueba se continúe
utilizando.
Mantener el balance entre la utilidad de la
prueba y los recursos disponibles.
(Bachman & Palmer, 1996)

26. MMééttooddooss ddee rreeccoolleecccciióónn
Cuestionarios
Selección múltiple
Escalas
Abiertos
Protocolos de pensamiento en voz alta
Observación y descripción
Entrevistas
(Bachman & Palmer, 1996)

27. CCuueessttiioonnaarriiooss
Selección múltiple: información específica y
respuestas limitadas, pero podría quedar
información fuera de las alternativas
Escalas: Información específica (cuantificable) sobre
la intensidad y dirección de sus sentimientos sobre
varios aspectos de la prueba. Restringe el rango y
contenido de las respuestas.
Abiertos: Recoge respuestas que probablemente no
se anticiparon, pero a lo mejor no se recoge
información puntual de interés.
(Bachman & Palmer, 1996)

28. Protocolos de pensamiento eenn vvoozz aallttaa
Los evaluandos describen el proceso de
contestar la prueba mientras la contestan.
La recolección de datos es inmediata.
Falta de control sobre el contenido del
feedback.
Dificultad cuando se trata de una prueba
de producción oral o comprensión
auditiva.
(Bachman & Palmer, 1996)

29. OObbsseerrvvaacciióónn yy ddeessccrriippcciióónn
Un observador externo se encarga de
monitorear el proceso de administración y
describe lo que observa.
Formato abierto para registrar lo que
observa
Instrucciones o una lista de cotejo con
categorías específicas sobre lo que debe
observar.
(Bachman & Palmer, 1996)

30. EEnnttrreevviissttaass
No estructurada: Los evaluandos hablan
libremente sobre lo que deseen comentar.
Estructurada: Se le hacen preguntas
específicas sobre los aspectos que se
desean indagar.
Puede tener un impacto positivo porque
los evaluandos se sienten involucrados,
pero requiere de tiempo (recursos).
(Bachman & Palmer, 1996)

31. RReeffeerreenncciiaass
Bachman, L. and Palmer, A. (1996).
Language Testing in Practice: Designing
and Developing Useful Language Tests.
Oxford, UK: Oxford University Press.

32. 20 de mayo de 2014 (Sesión 12)
• Métodos alternativos de evaluación.
• Actividad 4
• Entrega del proyecto final
27 de mayo de 2014
Entrega del portafolio

33. Proyecto individual (35%)
Diseño, administración y análisis de resultados de
un instrumento desarrollado por el participante
para evaluar las habilidades lingüísticas de un
grupo determinado de estudiantes. El proyecto
constará de dos partes:
• PARTE I: Versión preliminar de las
especificaciones y del instrumento (10%).
• PARTE II: Versión revisada de las especificaciones
y del instrumento aplicado y análisis de los
resultados del instrumento (25%).