1. Not everything that counts can be counted, and not everything that can be counted counts
Einstein
Learning Analytics
By @cristobalcobo
@fundacionceibal

2. in loving memory of erik duval (1965 - 2016)
always pushing the boundaries of technology and education

3. ¿Qué es Big Data?

4. h"p://www.newyorker.com/news/daily-­‐comment/obamas-­‐change-­‐of-­‐heart-­‐on-­‐tes:ng
“There’s
no
evidence
that
adding
tes:ng
:me
improves
academic
performance”

6. School Climate Measurement Tool
https://safesupportivelearning.ed.gov/edscls

7. 3 lecciones
- Cambiar la forma de evaluar
- Repensar las formas de recopilar información
- Ampliar los indicadores para comprender el aprendizaje

9. FROM
EVALUATION
INTO
ASSESSMENT
Big Data's Making Education Smarter https://www.youtube.com/watch?v=K_wAHEHTy-g

10. ¿Qué es Learning Analytics?
New Media Consortium, & EDUCAUSE Learning Initiative. (2015). NMC Horizon Report: 2012
Higher Education Edition. Austin, TX: The New Media Consortium.
Existe un creciente interés por incorporar nuevas
fuentes de datos para personalizar la experiencia
de aprendizaje; así como por adoptar evaluaciones
formativas para evaluar aprendizaje.
>> El interés por un "nuevo" campo de evaluación y
aprendizaje.

11. : Construir experiencias pedagógicas más personalizadas;
: Identificar poblaciones de estudiantes en riesgo;
: Analizar factores que afectan completar exitosamente el ciclo escolar

12. by @R3beccaF at @OpenUniversity

13. uso de las huellas digitales dejadas por los alumnos en los entornos de aprendizaje en línea
con el fin de mejorar la enseñanza y el aprendizaje y los entornos en los que éstos ocurren.
by @R3beccaF at @OpenUniversity

15.
Analíticas de Aprendizaje:
Colección y análisis de los datos generados durante el proceso de
aprendizaje para mejorar la calidad de la enseñanza y el aprendizaje
360°
Comprender mejor cómo se utiliza la tecnología para el aprendizaje
(e.j. patrones de uso, formas de crear conocimiento, creación de
comunidades de aprendizaje).

16. by @R3beccaF at @OpenUniversity

17. by @R3beccaF at @OpenUniversity

20. Datos Masivos en Educación: La informática y las tecnologías
móviles han generado una evolución en la educación hacia nuevos
paradigmas de enseñanza/aprendizaje.
El acceso a una importante cantidad de datos que representan
procesos de aprendizaje (individual o grupal) para ser analizados y
apoyar procesos de mejora.

21. Learning analytics posibilita:
• Educación basada en evidencias
• Permite contrastar teorías o enfoques con evidencias
• Visualizaciones posibilitan “traducir” los resultados
Brooks, C., Greer, J., & Gutwin, C. (2014). The data-assisted approach to building intelligent technology-enhanced learning
environments. In Learning Analytics (pp. 123-156). Springer New York.

22. ¿Qué taxonomías existen?

25. Administrators,
government
Learners,
faculty

26. Verbert, K., Manouselis, N., Drachsler, H., & Duval, E. (2012). Dataset-driven research to
support learning and knowledge analytics. Educational Technology & Society, 15(3), 133-148.
1. Recolectar grandes cantidades de datos
2. Traducir esos datos en información relevante
3. Usar la información estratégicamente
(ej. personalización, evaluación formativa o sumativa, predictivo)
Pasos: Collection > Storage > Analysis > Processing

28. Ayuda a evaluar las acciones pasadas para estimar el potencial
de las acciones futuras con las cuales tomar mejores decisiones y
adoptar estrategias más eficaces
Cumulative contributions by user type. Power learners are highlighted in red
Bulger Bright Cobo (2016) What role do “power learners” play in online learning communities?

29. o Medir - recopilar - analizar y presentar datos.
sobre los estudiantes y sus contextos.
o Descubrir información y conexiones sociales
para predecir y asesorar.

30. deep analytics

31. Diferentes niveles:
1. Información sobre los estudiantes a nivel individual (y sus
patrones de comportamiento).
2. Predicción de qué estudiantes requieren apoyo.
3. Apoyo a docentes a monitorear y planificar su trabajo.
4. Ofrece a los docentes guías para acciones formativas.
5. A los administradores les brinda retroalimentación sobre la
efectividad de sus estrategias.

32. The
Value
of
Learning
Analy:cs
h"ps://www.youtube.com/watch?v=PJbQ16Qj8Fc

33. ¿Quién realiza esto?

34. NUEVOS PERFILES
PROFESIONALES >

35. NUEVOS PERFILES
PROFESIONALES >

36. Alfabetización de datos
(Data Awareness)
o La capacidad de formular y
responder preguntas usando
datos.
o El pensamiento basado en
evidencias (datos apropiados,
y herramientas para
interpretar la información).
o Capacidad de interpretar,
representar y comunicar los
datos para encontrar
soluciones.

37. ¿Cuáles son las
fases críticas?

38. by @R3beccaF at @OpenUniversity

39. Siemens,
G.,
Dawson,
S.,
&
Lynch,
G.
(2014).
Improving
the
Quality
and
Produc:vity
of
the
Higher
Educa:on
Sector
–
Policy
and
Strategy
for
Systems-­‐Level
Deployment
of
Learning
Analy:cs.
Canberra,
Australia:
Office
of
Learning
and
Teaching,
Australian
Government.
Retrieved
from
h"p://solaresearch.org/Policy_Strategy_Analy:cs.pdf

41. www.jisc.ac.uk/rd/projects/effective-learning-analytics
Creación de Capacidades

42. ¿Qué sabemos hasta
ahora?

44. The
Smartest
Tutor
-­‐
Personalized
learning
from
Knewton
h"ps://www.youtube.com/watch?v=IjJDH_WeREQ
a new, free tool that aims to automate
personalized instruction for teachers.
h"p://www.wired.com/2015/08/knewton-­‐robot-­‐tutor/#slide-­‐2

45. Plan Ceibal - Uruguay:
Caso uno

46. Sistema de Evaluación en Línea en
Uruguay
Presentación originalmente realizada por Dr. Andrés Peri, Director
División de Investigación, Evaluación y Estadística
Administración Nacional de Educación Pública Uruguay

47. Sistema de Evaluación en Línea en Uruguay
Administración Nacional de Educación Pública Uruguay – Plan Ceibal
Evaluación formativa en línea:
Diseño:
• 800,000 usuarios: 6 años de aplicación.
3er año primaria a 3er año media.
• Más que medir busca identificar el grado de
logro, no acredita saberes
• fortalezas y debilidades (ex-post).
• No pretende asignar una calificación sino
identificar el desempeño del alumno.

48. Evolución de las pruebas aplicadas en línea
95000
240000
370000
480000
793000
852000
0
100000
200000
300000
400000
500000
600000
700000
800000
900000
2009
2010
2011
2012
2013
2014
2º
2º
y
6º
3º-4º,5º-6º3º
a
6º
3º
a
6º
3º
a
3º

50. La devolución de resultados en tiempo real
Retroalimenta
con
información
relevante
Para
diseñar
estrategias
de
intervenciones
oportunas
al
maestro
a
nivel
de
su
grupo
al
director
a
nivel
de
su
centro
educa:vo
al
inspector
a
nivel
de
su
jurisdicción
a
las
autoridades
educa:vas
a
nivel
nacional
h"p://docentes.sea.edu.uy
h"p://alumnos.sea.edu.uy
h"p://directores.sea.edu.uy
h"p://inspectores.sea.edu.uy

51. Portal de
directores

53. Resultados
de
la
acDvidad
y
porcentaje
de
respuestas
correctas
por
grado
JusDficacion
es

54. Portal
de
docentes
Cédula:
CONVIE
Contraseña:
CONVIE

55. mirada
horizontal
desempeño
individual
de
cada
alumno
en
las
ac:vidades
propuestas
mirada
ver/cal
desempeño
del
grupo
en
cada
una
de
las
ac:vidades
Pantalla de
resultados

56. Plan Ceibal - Uruguay:
Caso dos

57. By @cecilmarconi

58. By @cecilmarconi

59. By @cecilmarconi

60. By @cecilmarconi

61. By @cecilmarconi

62. Objectives:
(i) to implement a monitoring system in
Learning Analytics which integrate and
analyze existing large-scale information in
the different CEIBAL databases;
> 24 months project <

63. PHASE
ONE:
TO
CREATE
THE
CONDITIONS:
How
does
the
database
inventory
and
dic:onary
of
CEIBAL
looks
like?
Objec:ve
1.
Data
Landscape.
Objec:ve
2.
Data
Management.
PHASE
TWO:
TO
CONDUCT
THE
ANALYTICS
Can
we
trace
the
learning
pathway
of
students
when
using
different
online
platorms?
Objec:ve
3.
Data
Analysis.
Objec:ve
4.
Users
Modeling.
PHASE
THREE:
PROMOTING
DATA
AWARENESS
How
to
make
learning
analy:c
more
meaningful?
Objec:ve
5.
Visualiza:on.
How
and
when
using
big
data
in
learning?
And
Why?
Objec:ve
6.
Awareness.

64. ¿Cuáles son los desafíos
pendientes que plantea
Learning Analytics?

66. Varios métodos han sido
utilizados para proteger la
privacidad del paciente.
Este dibujo (1822 por
Jacques-Pierre Maygnier)
muestra un procedimiento de
"compromiso", en la que el
médico está de rodillas
delante de la mujer, pero no
puede ver a sus genitales.
¿Cuál es el problema con la Privacidad?

67. DELICATE:
lista de
verificación -
para establecer
la confiabilidad
de Learning
Analytics

68. by @R3beccaF at @OpenUniversity

69. Sharon Slade, catedrática
Faculty of Business, Management and Law at The Open University.
"Los desarrolladores de software están muy entusiasmados con lo que los datos
pueden entregar, pero no se cuestionan las preocupaciones (ej. privacidad de los
estudiantes o exactitud de los algoritmos utilizados).

70. Hay un conflicto entre crear modelos
que proporcionan resultados fiables y
elaborar modelos transparentes para
los usuarios.
OU es responsable de explicar
(aclarar) cómo los sujetos se ven
afectados por las aplicaciones de
analítica de aprendizaje.
Datos sensibles: • origen racial o
étnico • creencias • discapacidad y
otros (salud) • vida sexual.
El uso de datos estudiantiles para
fines de investigación han de ser
aprobados por Comité de Ética de
Investigación Humana (HREC).

71. Fuente:
Learning
analy:cs
in
small-­‐scale
teacher-­‐led
innova:ons:
Ethical
and
data
privacy
issues
infoscience.epfl.ch/record/216899/files/MJRodriguezTriana%20et
%20al.%20-­‐%202016%20-­‐%20LA%20in%20small-­‐scale%20teacher-­‐led%20innova:ons.pdf?version=1
La participación de los maestros en el diseño del proceso contribuye a introducir "la ética
desde el diseño" (además “privacy by design”).
El maestro es clave para definir los propósitos educativos del análisis contribuye a mejorar la
validez de los resultados (añade evidencias directamente de los profesores y estudiantes) y
es consciente de las limitaciones de los resultados.

72. Analíticas de aprendizaje:
"tiene problemas para representar la naturaleza de las conexiones,
entre los conjuntos de datos y personas."
Necesitamos interpretaciones humanas.

74. http://bdes.datasociety.net

75. Criterios a considerar 1.0:
1. Comienza con escalas pequeñas
2. El potencial es evidente, también las
responsabilidades que implica
3. Incluir al docente en el diseño, análisis y
explotación
4. Gobierno: Adopta estructuras horizontales del
gobierno de learning analytics (conjuntos de
datos, infraestructura técnica y intervenciones)
5. Conflictos: Minimizar los posible conflictos
(diferentes grupos de interés) sobre
interpretación y uso de datos

76. Criterios a considerar 2.0:
1. Anonimización: Puede ser imposible eliminar
toda posibilidad de identificar a una persona sin
reglas sobre el uso de archivos anónimizados.
2. Reduccionismo: El análisis de grandes volúmenes
de datos puede contener información imprecisa
sobre los individuos (ej: modelos incorrectos o
observación parcial).
3. Propiedad de la información: Aspectos éticos y
legales en acceso y uso de LA (informar usuario)
Estamos en la infancia de Analíticas de Aprendizaje

77. To save
Education,
Don’t click
here?

78. fundacionceibal.edu.uy
@cristobalcobo