Rubrick Analytics: eina de gestió del retorn personalitzat M. Jesús Marco, David Baneres

1. Rubrick Analytics: eina de gestió del
retorn personalitzat
M. Jesús Marco, Estudis d'informàtica, Multimèdia i Telecomunicació, Universitat Oberta de Catalunya
David Baneres, Estudis d'informàtica, Multimèdia i Telecomunicació, Universitat Oberta de Catalunya
En qualsevol context d’aprenentatge, el feedback resulta un element clau que complementa i
acompanya la qualificació que el professor fa de les activitats d’avaluació continuada de
l’estudiant. Facilita a l’estudiant les correccions, comentaris i suggeriments per a millorar i
continuar el seu procés d’aprenentatge al llarg del semestre. En aquesta article, presentem
l’eina Rubrick dissenyada als Estudis d'Informàtica, Multimèdia i Telecomunicació de la UOC
tant per facilitar el procés d’anàlisis del retorn personalitzat.
Fonamentalment, el retorn té dues funcions complementàries. La primera comunicar a
l’estudiant el grau d’assoliment dels objectius i/o competències proporcionant-li recursos que
li permetin corregir i millorar el seu nivell. Per exemple “Hauries de revisar el concepte de
recursivitat que trobaràs al tema 3 dels materials perquè has comès alguna errada que indica
que encara tens dubtes sobre aquest concepte”. La segona, impulsar i guiar l’aprenentatge
oferint pautes per tal que l’estudiant pugui progressar i autoregular-se. Per exemple “Els qui
hàgiu acabat el disseny de l’algorisme del primer exercici, podeu consultar el manual de
Codificació en llenguatge C on trobareu pautes per poder-lo codificar i així aneu avançant la
tasca que haureu de fer a la propera activitat”. Aquestes dues funcions es poden articular a
través de diferents tipus de feeback:
a) el retorn general, per exemple, la solució d’una activitat que es publica a l’aula;
b) el retorn personalitzat grupal, com ara un informe que el professor envia als estudiants
indicant quins han estat els errors més freqüents que han comès els estudiants en aquella
aula); o
c) el retorn individual on es realitza la correcció detallada i concreta de l’exercici de cada
estudiant.
Depenent del tipus de competències i objectius de l’activitat serà més adequat donar un o
altre tipus o diversos a la vegada.
Partint d’aquest marc conceptual del feedback, la potencialitat i la influència que el feedback
pugui tenir per als estudiants en els seus resultats d’aprenentatge és molt important. Però
també és cert que posar-ho en pràctica no és pas senzill. La gestió manual del feedback pot ser
una tasca molt feixuga i no escalable en assignatures amb un gran nombre d'estudiants. A més,
la gestió manual inhabilita l'opció de fer una anàlisi del resultats, ja que no hi ha cap forma
automatitzada de recollir i analitzar els resultats del feedback.

2. L’eina que presentem intenta facilitar al professor dos aspectes concrets dins tot aquest
procés. Per una banda, sistematitzar l’elaboració del retorn personalitzat individual, i, per una
altra, simplificar la manera de fer arribar aquest retorn als estudiants.
En [1] es pot trobar la descripció completa i detallada tan de l’eina com dels primers resultats
del seu ús en les assignatures de "Fonaments de computadors" i "Competència comunicativa
per a professionals de les TIC" en estudis grau d'Informàtica, Multimèdia i Telecomunicació de
la UOC. Encara que l'eina es pot utilitzar tant en un entorn presencial com virtual, l'article
mostrava com mitjançant aquesta eina es podia gestionar de forma eficient i sostenible el
retorn individualitzat en un entorn virtual. A més, les assignatures seleccionades tenien la
particularitat de ser assignatures de primer semestre dels graus amb una elevada matrícula.
L’eina presentada en [1] és una plataforma web que dóna suport a tot el procés de retorn
personalitzat des de la generació de les matrius de correcció per cadascuna de les activitats
fins a l’enviament del retorn a l’estudiant. Les matrius de correcció de cada activitat estan
inspirades en el concepte de rúbrica, entesa com a una relació d'indicadors que determinen els
aspectes clau a considerar i avaluar en cada activitat, juntament amb una descripció dels
diferents nivells de qualitat en la seva resolució (en el nostre cas: no arriba al mínim, mínim
exigible, desitjable, excel·lència). Aquesta rúbrica serveix de pauta tant per la correcció de
l’activitat com per l’elaboració del feedback. A efectes pràctics, la plataforma proporciona les
següents funcionalitats:
• Creació de les matrius de correcció i la rúbrica associada.
• Gestió de les matrius per la correcció de cadascuna de les activitats i per cada
estudiant. A més, el sistema té la particularitat de poder realitzar l'avaluació de forma
sense connexió. D'aquesta forma, l'avaluació es pot realitzar en tot moment sense
tenir que estar constantment connectat l'eina. El sistema manega les matrius en forma
de fulles de càlcul i té un sistema d'exportació i importació de matrius. Fem notar que
el sistema incrementa notablement l'eficiència i l'escalabilitat del feedback, ja que
aquest sistema elimina la gestió i l'enviament manual del resultat del feedback.
D'aquesta forma el professor es pot focalitzar més en la realització del feedback i no
tant en la gestió del mateix.
• Comunicació dels resultats: Un cop elaborades les matrius i carregades a l’eina,
l’estudiant pot consultar el seu retorn individualitzat.
En aquest article volem fer èmfasi en un aspecte concret de l’eina: la seva potència per
conèixer en temps real el progrés dels estudiants. El fet de tenir incorporats els resultat de
cada indicador de la rúbrica per cada activitats i estudiant ens permet explotar aquesta
informació de manera automàtica. D'aquesta forma el professor pot fer una explotació de les
dades de tot el grup d'estudiants de cada aula i de l'assignatura en general. Concretament,
l'anàlisi de dades pot permetre:
• Saber quines competències majoritàriament estan ben assolits i quins no, on hi ha
dificultats per d’aquesta manera reforçar aquests aspectes a nivell d’aula, insistir,
reconduir les properes activitats, reforçar-ho amb material complementari, etc.
• Situar el nivell de cada estudiant dins del grup.
• Detectar mancances en els materials.

3. • Detectar problemes en les activitats en temps real.
• Elaborar de manera eficient i eficaç el retorn personalitzat grupal.
• Fer comparatives entre els resultats de les diferents aules o entre diferents semestres.
En definitiva, a més de facilitar l’elaboració i enviament de feedback als estudiants és una molt
bona eina per copsar el progrés dels estudiants a un nivell de detall molt més fi que el que
permeten els sistemes estàndards i, a més, en temps real. D’aquesta manera es poden fer
correccions i millores immediates en el mateix semestre.
Com a treball futur, es proposa analitzar en profunditat els resultats obtinguts en les proves
pilot realitzades en [1] i com poden ajudar en el redisseny de les assignatures i en la
planificació de futurs semestres per a millorar la docència de les assignatures.
Acknowledgements:
This research was partly funded by the Spanish Government through the project TIN2013-
45303-P "ICT-FLAG" Enhancing ICT education through Formative assessment, Learning
Analytics and Gamification.
Referències:
[1] Baneres, D.; Marco M.J., "Análisis del retorno personalizado en un entorno virtual de
aprendizaje," XIX Jornadas sobre la Enseñanza Universitaria de la Informática (JENUI),
pp.85-92, 10-12 July 2013 doi:10.6035/e-TIiT.2013.13