Experiencias en la docencia en línea de historia económica: Grubric una herramienta de evaluación automática de respuestas abiertas
1. Experiencias
en
historia
económica:
comisión
de
exámenes,
test
puntuables
con
caducidad,
preguntas
9po
test
en
el
móvil,
webconferencia
semanal
con
el
equipo
docente
Miguel
Santamaría
Lancho
21/10/15
msantamaria@cee.uned.es
2
2. Equipo
docente
• Miguel
Santamaría
• Mauro
Hernández
• José
Ubaldo
Bernardos
• Rafael
Barquín
HISTORIA
ECONÓMICA
MUNDIAL
(G.
ECONOMÍA)
HISTORIA
ECONÓMICA
(G.
ADE)
21/10/15
msantamaria@cee.uned.es
3
3. Índice
• Qué
pretendemos
trabajar
con
la
Historia
Económica
• El
sistema
de
evaluación
para
alinear
obje9vos
• Recursos
para
trabajar
la
asignatura
• El
problema
de
la
baja
tasa
de
presentados
• Hipótesis
sobre
posibles
causas
• Experiencias
(2012-‐13
/
2014-‐15)
– ¿Es
la
mala
formación
inicial?
–
Pruebas
de
nivel
– ¿Es
que
no
estudian
bien?
–
Comisión
de
exámenes
– ¿Les
falta
mo9vación?
-‐
Qstream
– ¿No
planifican
bien?
Test
puntuables
con
caducidad
– ¿Se
sienten
aislados?
–
Webconferencia
semanal
con
E.D.
21/10/15
msantamaria@cee.uned.es
4
4. Cuáles
son
nuestros
obje9vos
• Al
diseñar
la
asignatura
nos
propusimos
aprovecharla
para
trabajar:
– Pensamiento
crí9co
– La
capacidad
de
expresión
escrita
– La
apuesta
por
la
calidad
en
el
trabajo
personal,
mediante
la
autoevaluación
• Para
ello
además
de
los
materiales
correspondientes
diseñamos
un
sistema
de
evaluación
enfocado
a
desarrollar
esas
capacidades
21/10/15
msantamaria@cee.uned.es
5
5. 10 temas
Tipo test t.1
10 Preguntas cortas
desarrollo
Ac9vidades
Prác9cas
resueltas
Tipo test t.2 Tipo test t. 10
Examen final
Test
10
preguntas
2
puntos
5
Preguntas
desarrollo
Hasta
5
puntos
Ac9vidades
Prác9cas
Hasta
3
puntos
1ª
PEC
(Ac9vidad
Prác9ca)
2ª
PEC
(Ac9vidad
Prác9ca)
Ev. Cont.:2 PECs voluntarias hechas en línea y corregidas por el tutor
+
10 pruebas tipo test (si se hacen en la fecha indicada)
Hasta
2
puntos
máximo
Si….
5
10
pruebas
9po
test
puntuables
1 punto 1 punto 1 punto
Evaluación y Autoevaluación
Ac9vidades
Prác9cas
resueltas
Ac9vidades
Prác9cas
resueltas
10 Preguntas cortas
desarrollo
10 Preguntas cortas
desarrollo
21/10/15
msantamaria@cee.uned.es
6
6. Recursos
disponibles
Pdf
de
libro
1
videoclase
por
tema
Versión
mp·∙3+pdf
1
foro
por
tema
Test
autoevaluacion
Preguntas
cortas
con
solución
Prác9cas
resueltas
Webconf
semanal
con
E.D.
21/10/15
msantamaria@cee.uned.es
7
8. ¿Podría
influir
en
la
tasa
de
evaluación
el
4po
de
examen?
Predominaban
los
9po
test,
pero:
• También
había
exámenes
de
desarrollo
en
otras
asingaturas
• Algunos
9po
test
requerían
un
desarrollo
previo
21/10/15
msantamaria@cee.uned.es
9
9. Otras
hipótesis
• Mala
formación
de
par9da
• Mala
planificación
del
9empo
• Falta
de
un
buen
método
de
estudio
• Escasa
mo9vación
en
esta
asignatura
• Trabajo
aislado
para
los
que
no
pueden
ir
a
tutorías
21/10/15
msantamaria@cee.uned.es
10
10. Experiencias
2009-‐2016
Recurso/Experiencia Objetivo 2009-102010-112011-122012-132013-142014-152015-16
Videoclases
Apoyo
estudio
Test autoevaluación
Preparac
exam
PEC
Preparac
exam
Prácticas resueltas
Preparac
exam
Preguntas cortas
resueltas
Preparac
exam
Prueba de nivel
Preparac
previa
Comisión de exámenes
Métodología
estudio
Qstream juego basado
en test de Historia Ec
Motivación
Test puntuables
Gestión
tiempo
Webconferencia equipo
docente
Motivación
Exanen a la carta
Personalizar
evaluación
Grubric: corrector aut
preguntas abiertas
Preparac
exam
21/10/15
msantamaria@cee.uned.es
11
11. Prueba
de
nivel
(2012-‐13)
¿Era
la
mala
formación
previa
el
problema?
21/10/15
msantamaria@cee.uned.es
12
12. Prueba
de
nivel
(2012-‐13)
Gráfico
de
dispersión
nota
en
pruebas
de
nivel
y
nota
en
examen
final.
Fuente:
Hernández,
M,
Santamaría,
M
(2013):
Memoria
Redes
de
Innovación
docente,
p.
11.
21/10/15
msantamaria@cee.uned.es
13
13. Comisión
de
exámenes
(2012-‐13)
• Los
estudiantes
proponían
preguntas
9po
test
para
el
examen.
– Se
revisaban
por
el
E.D.
– Se
hacia
una
videoconferencia
semanal
para
discu9r
las
preguntas
– Un
30%
de
las
preguntas
de
examen
final
serían
de
las
propuestas
por
los
estudiantes
¿Estudiaban
mal?
21/10/15
msantamaria@cee.uned.es
14
14. Comisión
de
exámenes
(2012-‐13
• Estudian
para
memorizar
• Su
obje9vo
es
ser
capaces
de
reconocer
la
respuesta
correcta
• Se
aprenden
colecciones
de
preguntas
Cuando
el
profesor
pone
el
examen
Cuando
los
estudiantes
ponen
el
examen
• Hacen
una
lectura
analí9ca
• Tienen
que
discriminar
lo
importante
de
lo
que
no
lo
es
• Prac9can
la
expresión
escrita
• Prac9can
la
expresión
oral
para
deba9r
con
sus
compañeros
las
preguntas
Resultados:
-‐ Se
inscribieron
52
-‐ Aportaron
preguntas
37
-‐ Par9cipaban
en
videoconferencias
entre
12-‐15
-‐ Les
requería
demasiado
9empo
21/10/15
msantamaria@cee.uned.es
15
15. Test
puntuables
con
caducidad
2013-‐14
• Se
propuso
un
ritmo
de
estudio
de
un
tema
por
semana.
• Cada
semana
se
abría
el
test
correspondiente
al
tema.
• Se
daban
10
días
para
responder
• Contestando
los
10
test
hasta
1
punto
extra
en
la
nota
final,
si
se
aprobaba
el
examen.
• Tienen
dos
intentos
y
la
nota
final
es
la
media
de
ambos
¿Cómo
incen9var
una
buena
ges9ón
del
9empo
y
llevar
la
asignatura
al
día?
21/10/15
msantamaria@cee.uned.es
16
16. Test
puntuables
con
caducidad
2013-‐14
TEMA
2013-‐14
PORCENT
2014-‐15
PORCENT
1196
estud
905
estud
1
301
25,17
235
25,97
2
259
21,66
242
26,74
3
293
24,50
264
29,17
4
289
24,16
265
29,28
5
317
26,51
265
29,28
6
161
13,46
344
38,01
7
190
15,89
257
28,40
8
155
12,96
226
24,97
9
104
8,70
183
20,22
10
163
13,63
174
19,23
Empiezan
haciendolo
como
un
25
por
ciento
y
va
bajando.
Hemos
mejorado
21/10/15
msantamaria@cee.uned.es
17
17. Q-‐Stream:
un
juego
que
engancha
(2013-‐14)
• Juego:
– Recibes por correo-e 2 preguntas por día sobre la
asignatura
• Si respondes mal, se muestra la respuesta correcta
– La pregunta se vuelve a formular a los 10 días, para ver si
recuerdas la respuesta
• Si respondes bien, se volverá a hacer la pregunta en 1
semana. Si vuelves a responder bien se te retira la
pregunta
– Con las respuestas vas acumulando puntos. A través
del tablero de puntuaciones puedes ver cual ha sido tu
rendimiento comparado con otros compañeros.
¿No
les
mo9va
la
historia
económica?
21/10/15
msantamaria@cee.uned.es
18
18. Q-‐Stream:
un
juego
que
engancha
(2013-‐14)
21/10/15
msantamaria@cee.uned.es
19
19. Q-‐Stream:
un
juego
que
engancha
(2013-‐14)
21/10/15
msantamaria@cee.uned.es
20
20. Q-‐Stream:
un
juego
que
engancha
(2013-‐14)
• "La
herramienta
es
maravillosa,
otra
buena
idea
más…"
• "Me
parece
una
buena
idea
y
no
sabéis
cómo
agradecemos
los
alumnos
este
9po
de
inicia9vas
por
parte
del
equipo
docente,
sobre
todo
los
que
carecemos
de
tutorías
presenciales"
•
"A
mi
me
parece
una
idea
EXCELENTE!...
Una
buena
forma
de
aprender
y
fijar
conocimientos.
Se
agradece
muchísimo!"
•
"El
sistema
puede
dar
luz
sobre
a
qué
4po
de
cues4ones
4enes
que
estar
atento
a
la
hora
de
estudiar,
por
tanto
nada
se
pierde
por
responder
preguntas
que
no
se
ha
estudiado
porque
te
marcan
el
i9nerario
que
has
de
recorrer
con
el
libro
y
así
reconocer
a
qué
áreas
9enes
que
prestar
atención."
• "Se
agradece
mucho
su
inicia9va,
el
hecho
de
tener
un
reto
diario
ayuda
a
no
"despegarse"
de
la
asignatura
y
a
recordar
y
fortalecer
conceptos."
• "La
verdad,
es
una
inicia9va
muy
buena,
pensaba
que
esta
asignatura
me
iba
a
costar
mucho,
pero
no
es
así.
Se
me
hace
muy
amena."
• "
Muy
ú9l.
Entretenido.
Mo4vador.
Una
buena
forma
de
fijar
conocimiento."
•
"Buenas
tardes,
hoy
no
me
deja
responder
a
las
2
preguntas
diarias,
me
indica
que
no
tengo
ninguna
pregunta
pendiente.
¿Puede
ser
porque
ayer
en
vez
de
2
respondí
4?
Es
que
es
un
vicio
y
una
forma
diver4da
de
aprender.
:)"
• "Me
ha
encantado
el
Qstream.
Conste
que
he
vuelto
después
de
pensármelo
varias
veces.
Es
adic4vo.
Muy
adic4vo.
"
21/10/15
msantamaria@cee.uned.es
21
21. Q-‐Stream:
un
juego
que
engancha
(2013-‐14)
21/10/15
msantamaria@cee.uned.es
22
22. Webconferencia
Equipo
Docente
2014-‐15
• Periodicidad
semanal
(1
hora
a
1
hora
y
media)
• 1ª
parte.
Se
hacen
10
preguntas
9po
test
con
la
herramienta
de
encuesta
de
alF
– La
respuesta
es
anónima
– Gráfico
con
el
resultado
global
(sirve
para
ver
donde
hay
dudas)
• 2ª
parte.
Ac9vidad
prác9ca,
se
van
haciendo
preguntas
y
ellos
responden
por
chat.
Tema
Asisten
Visitas
Fechas
1
90
599
25-‐feb
2
82
305
4-‐mar
3
64
290
11-‐mar
4
58
187
18-‐mar
5
55
176
25-‐mar
6
44
124
8-‐abr
7
42
68
15-‐abr
8
32
62
23-‐abr
9
33
40
30-‐abr
Mo9vación
–
ges9ón
del
9empo
–
consolidación-‐
preparación
examen
21/10/15
msantamaria@cee.uned.es
23
25. G-‐RUBRIC.
Una
herramienta
para
evaluar
automá4camente
las
respuestas
“abiertas”
de
los
estudiantes
que
se
integra
en
la
metodología
UNED
y
facilita
la
adquisición
de
conocimientos
y
el
desarrollo
de
habilidades
de
pensamiento.
Miguel
Santamaría
Lancho
21/10/15
msantamaria@cee.uned.es
26
26. • Competencia
escrita:
– Estrategia
de
aprendizaje
– Permite
desarrollar
habilidades:
• Pensamiento
crí9co
• Razonamiento
• Ser
un
escritor
competente
requiere
– Prác9ca
frecuente
– Esfuerzo
– Al
docente:
Tiempo
para
corregir
y
dar
feedback
• Proliferación
de
pruebas
9po
test
tanto
en
universidades
a
distancia
como
presenciales.
21/10/15
msantamaria@cee.uned.es
27
27. Valoración
Contenido
Escritura
Proceso
Herramienta
de
aprendizaje
Herramienta
de
pensamiento
Prác4ca,
orientación
y
refuerzo
Revisar
Ortograya
Retroinformación
Producto
Puntuación
Gramá9ca
Historia
Economía
Organización
Errores
Ideas
Lectores
Obje9vos
Frases
Corrección
Argumentación
Estructura
Repe9da
Personal
Detallada
Evaluación
Conocimiento
Tiempo
Objeto
Traducir
Planificar
21/10/15
msantamaria@cee.uned.es
28
28. Una
herramienta
para
evaluación
automá9ca
de
preguntas
con
respuesta
abierta
21/10/15
msantamaria@cee.uned.es
29
30. ¿Son
fiables
los
humanos
para
corregir
preguntas
abiertas?
Referred to 76 Econ. History final exams from Valencia-Alzira center (June 2013)
!
!1#
!0,5#
0#
0,5#
1#
1,5#
2#
2,5#
3#
3,5#
4#
1# 4# 7# 10#13#16# 19#22#25#28# 31#34#37#40#43#46# 49#52#55#58# 61#64#67#70#73#76#
Essay+Short#Questions#differential#(Grade#2!Grade#1)#
Calificaciones
de
76
exámenes
finales
del
centro
de
la
UNED
en
Alcira-‐Valencia
(Junio
de
2013)
Diferencias
de
calificación
entre
dos
correctores
en
la
nota
conjunta
de
preguntas
cortas+prác9ca
(calificación
máxima
8
puntos)
21/10/15
msantamaria@cee.uned.es
31
31. resuma
los
aspectos
más
destacables
del
siguiente
texto”
“compare
los
puntos
de
vista
de
los
autores
que
han
tratado…”
“reproduzca
las
ideas
principales
de
la
teoría
de…”
TIPOS
DE
ACTIVIDADES
QUE
SE
PUEDEN
PROPONER
A
LOS
ESTUDIANTES
21/10/15
msantamaria@cee.uned.es
32
32. Resumidor
y
4tulador
Sistema
(aux.)
de
información
Evaluador
de
textos
académicos
Categorización
Categoriza
un
texto
de
acuerdo
con
una
serie
de
conceptos
previamente
establecidos.
Ofrece
los
“n”
vecinos
semán4cos
más
próximos
a
un
concepto
(palabra
o
frase).
Proporciona
las
palabras
o
frases
que
mejor
representan
al
texto.
Evalúa
un
texto
de
acuerdo
con
una
serie
de
conceptos
y
“pesos”
determinados
por
un
experto.
Es4lo
/
Calificación
/
Feedback
GallitoAPI®
y
G-‐Rubric®
son
propiedad
de
Seman4a
Lab
(www.seman9alab.es),
una
spin-‐off
de
la
UNED.
G-‐
Rubri
c
21/10/15
msantamaria@cee.uned.es
33
33. CREACIÓN
DE
CORPUS
DE
CONOCIMIENTO
ESPACIO
SEMÁNTICO
21/10/15
msantamaria@cee.uned.es
34
34. Respuesta
de
oro
El
mercan9lismo:
polí9cas
y
obje9vos.
Respuesta
de
oro.
El
mercan9lismo
es
un
conjunto
de
ideas
y
polí9cas
desplegadas
en
la
Europa
moderna
(siglos
XVI,
XVII
y
XVIII)
con
el
obje9vo
de
fortalecer
al
Estado
a
través
de
la
economía,
especialmente
mediante
una
balanza
comercial
favorable
y
la
acumulación
de
metales
preciosos
(bullonismo).
Las
polí9cas
son
de
varios
9pos,
destacando:
a)
las
enfocadas
a
obtener
superávit
de
balanza
comercial
(proteccionismo
arancelario,
prohibición
de
exportar
oro
o
plata
o
materias
primas,
compañías
comerciales
privilegiadas,
actas
de
navegación,
monopolios
coloniales);
b)
fomento
de
las
manufacturas
(aranceles
o
prohibiciones
de
importaciones,
leyes
contra
el
lujo,
manufacturas
reales);
c)
otras
polí9cas:
favoreciendo
la
natalidad,
limitación
o
tasa
de
precios
interiores.
Suelen
asociarse
a
los
nombres
de
Colbert
en
Francia,
o
las
compañías
inglesas
u
holandesa
de
Indias
(VOC).
21/10/15
msantamaria@cee.uned.es
35
35. Una
herramienta
para
evaluación
automá9ca
de
preguntas
con
respuesta
abierta
21/10/15
msantamaria@cee.uned.es
36
48. Intento
5
Definición
Polí9cas
oeriales
Polí9cas
relacionadas
con
las
manufacturas
21/10/15
msantamaria@cee.uned.es
49
49. Intento
5
Definición
Polí9cas
comerciales
Polí9cas
relacionadas
con
las
manufacturas
21/10/15
msantamaria@cee.uned.es
50
50. • Experiencia
en
Historia
Económica
– 5
ac9vidades
– 6
intentos
disponibles
por
pregunta
21/10/15
msantamaria@cee.uned.es
51
51. G-‐Rubric
• Proporciona
al
estudiante
– Puntuación
global
de
la
redacción
o
forma
(ortograya,
sintaxis,
gramá9ca,
es9lo...)
(0
a
100)
– Puntuación
sobre
la
calidad
del
contenido
(0
a
10
puntos)
– Feedback
personal
y
detallado
• Indica
en
que
medida
las
ideas
principales
indicadas
por
el
profesor
están
presentes
21/10/15
msantamaria@cee.uned.es
52
52. Ac4vidades
de
aprendizaje
basadas
en
objetos
reu9lizables
elaborados
por
los
profesores
del
Equipo
Docente
de
la
asignatura
Historia
económica
del
Grado
de
Economía
de
la
UNED.
Experiencia/Ac9vidades
ACTIVIDAD 3: Economías bajomedievales
INSTRUCCIONES
1. Lea bien la pregunta y responda con la mayor precisión posible.
2. Tenga presente la extensión recomendada: si las respuestas son mucho más largas o más
cortas la calificación se verá afectada.
3. Evalúe la respuesta y trate de mejorarla en los siguientes ensayos ayudándose de las
informaciones que proporciona G-Rubric.
TAREA PROPUESTA
Distinga los rasgos principales de las economías en Europa entre los siglos VII y X.
• Extensión de su respuesta entre 70 y 80 palabras.
• Dispone de SEIS oportunidades o intentos.
LECTURA
Tema 3: La Edad Media. Las bases de la expansión europea (c. 450 – c. 1450) (páginas
129 a 143) [Perteneciente al libro Bernardos, J.U., Hernández, M. y Santamaría, M. (2014).
Historia Económica, Madrid: UNED.]
21/10/15
msantamaria@cee.uned.es
53
53. Resultados
Grup
o
Es4l
o
Calificaci
ón
Feedbac
k
Ensayo
s
Gr.
1
P
P
P
6
Gr.
2
P
P
6
Gr.
3
P
P
1
21/10/15
msantamaria@cee.uned.es
54
57. GRUPO
1
GRUPO
2
Lee
un
texto
Escucha
un
vídeo
Redacta
1ª
respuesta
Redacta
2
respuesta
Redacta
1ª
respuesta
Redacta
2ª
respuesta
Feedback
Feedback
21/10/15
msantamaria@cee.uned.es
58
58. José
María
Luzón1*,
Mauro
Hernández2,
Miguel
Santamaría2
y
Guillermo
Jorge-‐Botana1
1
Dpto.
de
Psicología
Evolu9va
y
de
la
Educación;
Facultad
de
Psicología
(UNED)
/
Seman9a
Lab
(www.seman9alab.es);
2
Dpto.
de
Economía
Aplicada
e
Historia
Económica;
Facultad
de
CC.
Económicas
y
Empresariales
(UNED);
*
Datos
de
contacto:
913
987
947
/
jmluzon@psi.uned.es
Muchas
gracias
21/10/15
msantamaria@cee.uned.es
59