1. Instrument d’Évaluation des Objets d’Apprentissage (LORI)
Manuel de l’utilisateur
John Nesbit (nesbit@sfu.ca)
Karen Belfer (kbelfer@vcc.ca)
Tracey Leacock (tleacock@sfu.ca)
LORI a été mis au point par le Réseau de Recherche et d’Evaluation en e-Learning (eLera), avec l’appui de
TeleLearning NCE, CANARIE Inc. et eduSourceCanada. Nous remercions Natasha Boskic, Anne Archambault et
John Vargo pour leur contribution aux versions précédentes de LORI.
Instrument d’Evaluation des Objets d’Apprentissage (LORI) Version 2.0
2009‐01‐01
2. Qu’entend-on par objets d’apprentissage? Les objets d’apprentissage sont des ressources en ligne ou des logiciels
interactifs utilisés à des fins d’apprentissage. Une seule image, une page de texte, une simulation interactive ou un cours
entier pourraient tous constituer des exemples d’objets d’apprentissage. Lorsque les objets d’apprentissage sont conçus
pour être réutilisés, ils peuvent être partagés et il est alors possible d’en réduire les coûts globaux de production.
Quelle est l’utilité d’un instrument d’évaluation? Une recherche effectuée par le biais d’un important service d’archivage
en ligne des objets d’apprentissage peut permettre d’accéder à des milliers d’objets. Les évaluations aident les utilisateurs à
faire une sélection en fonction de la qualité et de l’utilité. Le LORI facilite la comparaison entre les objets car il permet de
disposer d’un modèle d’évaluation standard.
Qu’est-ce que le LORI ? En évaluant un objet d’apprentissage à l’aide du LORI, les évaluateurs peuvent attribuer des notes et
faire des commentaires en ce qui concerne huit éléments :
1. Qualité du contenu : précision, présentation équilibrée des idées, niveau de détail approprié et possibilité de
réutilisation dans divers contextes.
2. Harmonisation des objectifs d’apprentissage : harmonisation des objectifs d’apprentissage, des activités,
des évaluations et des caractéristiques de l’apprenant.
3. Feedback et adaptation : contenu ou feedback adaptatif guidé par l’apport différentiel ou la modélisation de
l’apprenant.
4. Motivation : aptitude à motiver et à intéresser une population d’apprenants identifiée.
5. Conception de la présentation : conception des informations visuelles et auditives pour un meilleur
apprentissage et un traitement mental efficace.
6. Convivialité des interactions : facilité de navigation, prévisibilité de l’interface utilisateur et qualité des
fonctions de l’interface aide.
7. Accessibilité : conception de formats de contrôle et de présentation adaptés aux apprenants handicapés et
mobiles.
8. Respect des normes : respect des normes internationales et exploitabilité sur des plates-formes techniques
d’usage courant.
3. Comment les objets sont-ils notés ?
Élevé
5
4
3
2
1
Faible
Pour chaque élément, la qualité fait l’objet d’une évaluation sur la base d’une grille de notation comportant cinq échelons. Lorsque
l’élément est jugé non pertinent pour l’objet d’apprentissage ou lorsque l’évaluateur estime ne pas être suffisamment qualifié pour
juger ce critère, alors, l’évaluateur peut choisir de se retirer en cochant la case « sans objet ».
Comment utiliser le LORI? Le LORI peut être utilisé pour des évaluations individuelles ou en panel. En cas d’utilisation par un panel
d’évaluation, nous recommandons le modèle de participation convergente pour une évaluation collaborative (Nesbit, Belfer, & Vargo,
2002). Les résultats de chaque élément doivent être présentés en tant que notes moyennes accompagnées par des commentaires des
évaluateurs.
Références
Leacock, T.L., & Nesbit, J.C. (2007). The quality of learning objects. Educational Technology and Society, 10(2), 44‐59.
Nesbit, J., Belfer, K., & Vargo, J. (2002). A convergent participation model for evaluation of learning objects. Canadian Journal of
Learning and Technology/La revue canadienne de l’apprentissage et de la technologie, 28(3).
4. 1. Qualité du contenu
Précision, présentation équilibrée des idées, niveau de détail approprié et possibilité de réutilisation dans divers contextes
Description de notation de
Le contenu ne comporte pas d’erreur et il est présenté sans a priori ou omissions susceptibles d’induire les
apprenants en erreur. Les assertions sont étayées par des données et un raisonnement. Les présentations mettent
l’accent sur les principaux points et les idées majeures sont suffisamment détaillées. Les groupes culturels et
ethniques sont représentés de manière équilibrée et avec tact. Le contenu est applicable à une large gamme de
contextes d’apprentissage et adapté à plusieurs types et niveaux d’apprenants.
Exemple de notation de
Dans une animation simulant l’action de pompage du cœur, l’on constate que le contenu est fiable,
mais l’omission d’informations importantes et utiles peut induire l’apprenant en erreur. L’animation
montre le sang qui passe de l’oreillette droite au ventricule gauche. Cependant, elle ne montre pas le
sang qui passe du ventricule droit aux poumons et des poumons à l’oreillette gauche. Certains
étudiants pourraient être amenés à croire, à tort, que le sang va directement du ventricule droit à
l’oreillette gauche, sans passer par les poumons. L’animation est adaptée à la biologie enseignée dans
le secondaire, mais elle tient pour acquis que les apprenants connaissent déjà certains termes
spécialisés comme les mots artère et veine.
Description de notation de
Une ou plusieurs des caractéristiques suivantes rendent l’objet d’apprentissage inexploitable.
• Le contenu est inexact.
• La présentation du contenu est faussée par un a priori et d’importantes omissions.
• Le degré de précision n’est pas satisfaisant.
• Le contenu ne peut pas faire l’objet d’une réutilisation.
• Les différences culturelles ou ethniques ne sont pas représentées de manière équilibrée.
5
4
3
2
1
5. 2. Harmonisation des objectifs d’apprentissage
Harmonisation des objectifs d’apprentissage, des activités, des évaluations et des caractéristiques de l’apprenant
Description de notation de
Les objectifs d’apprentissage sont déclarés, soit dans le contenu auquel l’apprenant a accès, soit dans les
métadonnées disponibles. Les objectifs d’apprentissage sont adaptés aux apprenants ciblés. Les activités, le
contenu et les évaluations de l’apprentissage dispensé par l’objet sont en conformité avec les objectifs déclarés.
L’objet d’apprentissage est satisfaisant en lui-même et par lui-même pour permettre aux apprenants de réaliser les
objectifs d’apprentissage.
Exemple de notation de
S’agissant d’un objet d’apprentissage sur la fonction cardiaque, sept sur dix questions sur un post-test
correspondent à une animation simulant l’action de pompage du cœur. Il est très peu probable que le
groupe d’apprenants ciblé tire les réponses à trouver à trois des questions posées des informations
présentées dans l’animation, même si les instructions laissent à penser qu’aucune ressource
supplémentaire n’est nécessaire.
Description de notation de
Au moins une des caractéristiques ci-après rend l’objet d’apprentissage inexploitable.
• Aucun objectif d’apprentissage n’est apparent.
• Les évaluations, les activités d’apprentissage et autres formes de contenu sont, pour l’essentiel, mal assortis.
• Les objectifs d’apprentissage ne sont pas adaptés aux apprenants ciblés.
5
4
3
2
1
6. 3. Feedback et adaptation
Contenu ou feedback adaptatif guidé par l’apport différentiel ou la modélisation de l’apprenant
Description de notation de
L’objet d’apprentissage a la capacité (a) d’adapter les messages ou activités instructifs aux besoins ou
caractéristiques particuliers de l’apprenant ou (b) de simuler ou d’imaginer les phénomènes présentement à l’étude
en réponse à l’apport différentiel de l’apprenant. Il est utilisé un modèle ou profil de l’apprenant qui influence le
comportement de l’objet d’apprentissage
Exemple de notation de
Un objet d’apprentissage relatif à l’action de pompage du cœur offre un feedback mais ne comporte
pas un modèle de l’apprenant. Après chaque question du quiz, l’objet d’apprentissage indique si la
réponse de l’apprenant est correcte ou fausse et, si elle est fausse, il fournit la bonne réponse. Lorsque
des réponses ont été apportées à toutes les questions, il donne le score total. Même s’il n’utilise pas
les réponses de l’apprenant pour adapter les présentations suivantes, l’objet d’apprentissage peut
toujours être utile.
Description de notation de
L’objet d’apprentissage peut permettre l’interactivité pour la navigation, mais :
• il n’y a pas de feedback en ce qui concerne la qualité ou l’exactitude de la réponse d’un étudiant.
• il n’existe ni un relevé des réponses, ni un modèle d’apprenant qui influe sur les présentations éducatives.
• il n’existe pas de simulation ou de kit d’outils dont le rendement peut varier en fonction de la contribution de
l’apprenant.
5
4
3
2
1
7. 4. Motivation
Aptitude à motiver et intéresser une population d’apprenants identifiée.
Description de notation de
L’objet d’apprentissage est très motivant. Le contenu est adapté aux objectifs et intérêts personnels des apprenants
ciblés. L’objet offre un choix, des activités d’apprentissage réalistes, de l’interactivité, de l‘humour, du drame ou des
problèmes se présentant comme des jeux. Il donne des résultats réalistes et définit des critères de réussite. Le
feedback compare les performances de l’apprenant et les critères, montre les conséquences naturelles des
performances et explique comment ces performances peuvent être améliorées. Après avoir travaillé avec l’objet
d’apprentissage, les apprenants devraient faire preuve d’une recrudescence d’intérêt pour le sujet.
Exemple de notation de
Une animation multimédia sur l’anatomie du cœur comprend une narration audio toute simple.
L’objet comprend un post-test de données factuelles, mais l’animation ne contient aucun problème.
L’apprenant ne peut ni contrôler l’animation, ni interagir avec elle. Après avoir travaillé avec l’objet
d’apprentissage, il est probable que les apprenants ne constatent ni une recrudescence ni un recul de
leur intérêt pour le sujet d’apprentissage. Malgré ses insuffisances en termes de motivation, l’objet
peut toujours être utile aux apprenants.
Description de notation de
L’objet n’est pas utile du fait de l’une ou plusieurs des caractéristiques ci-après :
• Le contenu n’est pas adapté aux objectifs des apprenants ciblés.
• Les activités sont trop faciles ou trop difficiles pour les apprenants ciblés.
• Les caractéristiques qui suscitent l’intérêt sont des distractions qui entravent l’apprentissage.
• Les apprenants n’ont pas la possibilité de faire un choix.
• Le feedback n’informe pas les apprenants de leur niveau de compétence par rapport aux objectifs
d’apprentissage.
5
4
3
2
1
8. 5. Conception de la présentation
Conception d’informations visuelles et auditives pour un meilleur apprentissage et un traitement mental efficace.
Description de notation de
Les valeurs de production et la conception des informations permettent à l’apprenant de s’instruire avec efficacité.
Les présentations réduisent au minimum les recherches visuelles. Le texte est lisible. Les graphiques et diagrammes
sont accompagnés de légendes et débarrassés de tout élément encombrant. Une narration orale accompagne les
événements animés ou enregistrés sur vidéo. Des titres significatifs rendent compte du contenu des textes.
L’écriture est claire, concise et sans erreurs. La couleur, la musique et les éléments illustratifs sont agréables d’un
point de vue esthétique et n’entravent pas les objectifs de l’apprentissage.
Exemple de notation de
L’action de pompage du cœur est clairement décrite dans le texte en sus de l’animation, mais, pour les
apprenants, il est difficile d’établir des liens entre des événements précis de l’animation et les parties
du texte qui les décrivent. Malgré ce défaut, l’objet d’apprentissage peut toujours être utile.
Description de notation de
La conception des informations, l’esthétique ou les valeurs de production ne sont pas bonnes. L’objet
d’apprentissage peut se révéler inutilisable pour des raisons comme les suivantes :
• La police choisie ou la taille de la police réduit considérablement la vitesse de lecture.
• Les informations nécessaires sont illisibles.
• La qualité vidéo ou audio est insuffisante pour les besoins de l’apprentissage.
• Le choix des couleurs, des images ou des sons perturbe les objectifs de l’apprentissage.
• La conception des informations produit un processus cognitif inutile.
• Les titres des textes sont insuffisants ou ne sont pas dignes d’intérêt pour les apprenants.
5
4
3
2
1
9. 6. Utilité des interactions
Facilité de navigation, prévisibilité de l’interface utilisateur et qualité des fonctions de l’interface aide.
Description de notation de
La conception de l’interface utilisateur informe les apprenants implicitement de la manière d’interagir avec l’objet
ou il y a des instructions claires qui guident l’utilisation. La navigation par le biais de l’objet est facile, intuitive et ne
connaît pas de trop grand retard. Le comportement de l’interface utilisateur est cohérent et prévisible.
Exemple de notation de
L’interface d’une animation de la fonction cardiaque est utilisable mais peut être améliorée pour une
conception et des instructions de meilleure qualité. L’animation contient des légendes qui
n’apparaissent que lorsque l’utilisateur passe le curseur sur chaque partie légendée du cœur. Il est
difficile d’identifier les parties contenant des légendes si on ne passe pas le curseur sur chaque partie
de l’animation. Malgré ce défaut, l’objet d’apprentissage peut toujours être utile.
Description de notation de
L’interface utilisateur de l’objet d’apprentissage se caractérise par l’un ou plusieurs des scénarios suivants :
• Les éléments de navigation, comme les boutons et les hyperliens, sont absents.
• Plusieurs hyperliens ou boutons ne fonctionnent pas.
• Les retards dans la navigation sont excessifs.
• Le fonctionnement de l’interface n’est pas intuitif et les instructions ne sont pas fournies.
• Le fonctionnement de l’interface est incohérent et imprévisible.
5
4
3
2
1
10. 7. Accessibilité
Conception de formats de contrôle et de présentation adaptés aux apprenants handicapés et mobiles.
Description de notation de
L’objet d’apprentissage est particulièrement adapté aux apprenants souffrant d’un handicap sensoriel et moteur et
il est possible d’y accéder à l’aide d’appareils fonctionnels et essentiellement portatifs. Il suit les lignes directrices de
l’IMS pour des applications d’apprentissage accessibles et se conforme au niveau « AAA » des Règles pour
l’accessibilité des contenus Web (W3C).
Exemple de notation de
Un objet d’apprentissage consistant en une page HTML intégrant une animation avec des sous-titres
pour la narration auditive et une description auditive supplémentaire de l’action visuelle. Cependant,
l’objet ne donne pas d’informations précises sur plusieurs acronymes et utilise des éléments de la
police HTML au lieu des propriétés de la police CSS pour contrôler la taille de la police. Il est conforme
au niveau « A » des Règles pour l’accessibilité des contenus Web (W3C).
Description de notation de
Pour des raisons telles que celles évoquées ci-dessous, l’objet d’apprentissage est inutilisable pour de nombreux
apprenants handicapés.
• Aucun sous-titrage n’est prévu pour la vidéo.
• Aucune transcription n’est prévue pour les dossiers audio.
• Des balises Alt ne sont pas prévues pour les images.
• Pour que les graphiques soient compris, il faut pouvoir percevoir les couleurs.
5
4
3
2
1
11. 8. Respect des normes
Respect des normes internationales et exploitabilité sur des plates-formes techniques d’usage courant.
Description de notation de
L’objet d’apprentissage respecte toutes les normes et spécifications internationales pertinentes. Il s’agit, en
particulier, des normes IEEE Learning Object Metadata et des directives techniques définies par IMS, IEEE, SCORM
et W3C (à l’exception des lignes directrices relatives à l’accessibilité). Des métadonnées standard suffisantes sont
fournies par un code balisé dans l’objet et présentées dans une page accessible aux utilisateurs.
Exemple de notation de
Un objet d’apprentissage en ligne est enregistré dans un entrepôt de données avec six des domaines
des métadonnées les plus couramment utilisées dans la norme LOM de l’IEEE. L’objet est conforme
aux normes des métadonnées SCORM et obtient la validation W3C HTML, mais il ne passe pas le test
de conformité SCORM relatif à l’interopérabilité et au content packaging.
Description de notation de
L’objet d’apprentissage n’est conforme à aucune des normes et spécifications internationales pertinentes:
• Les métadonnées ne sont pas suffisantes ou ne sont pas formatées conformément aux normes internationales
des métadonnées des objets d’apprentissage.
• L’objet d’apprentissage ne respecte aucune des lignes directrices de W3C et SCORM (à l’exception des lignes
directrices relatives à l’accessibilité).
5
4
3
2
1
12. Feuille de notation
Objet d’apprentissage ___________________________ Évaluateur ___________________________
Observations générales:
Critères d’évaluation 1 2 3 4 5 NA
1. Qualité du contenu: précision, présentation équilibrée des idées, niveau de
détail approprié et possibilité de réutilisation dans divers contextes
2. Harmonisation des objectifs d’apprentissage: harmonisation des objectifs
d’apprentissage, des activités, des évaluations et des caractéristiques des
apprenants
3. Feedback et adaptation: contenu ou feedback adaptatif guidé par l’apport
différentiel ou la modélisation de l’apprenant
4. Motivation: aptitude à motiver et à intéresser une population d’apprenants
identifiée
5. Conception de la présentation : conception d’informations visuelles et
auditives pour un meilleur apprentissage et un traitement mental efficace
6. Utilité des Interactions : facilité de navigation, prévisibilité de l’interface
utilisateur et qualité des fonctions de l’interface aide
7. Accessibilité : conception de formats de contrôle et de présentation adaptés
aux apprenants handicapés et mobiles
8. Respect des normes : respect des normes internationales et exploitabilité sur
des plates-formes techniques d’usage courant