2. 11/12/2018 Dig-e-Lab 2/26
Enseignement distant et le problème des
interactions individuelles
En enseignement à distance un des problèmes récurrents
résulte de la multiplication des interactions individuelles, et
des dialogues que ces interactions instaurent entre
l’apprenant et l’enseignant.
3. 11/12/2018 Dig-e-Lab 3/26
Travailler en groupe
Une des solutions pédagogiques constamment préconisée dans
ce type de situation consiste à augmenter les travaux de groupe
pour substituer à l’expertise de l’enseignant une expertise par les
pairs
Cette préconisation génère néanmoins des écueils liés aux
spécificités de l’enseignement distant. Ainsi quelle que soit
l’ingénierie mise en œuvre dans la formation, le dispositif ne peut
échapper, dans les premiers mois, à un embrasement, révélateur
des difficultés de mise en place d’une communauté
d’apprentissage
4. 11/12/2018 Dig-e-Lab 4/26
Adultes en enseignement distant, analyse des
motifs d’embrasement en début de formation
La reprise d’étude (Font-Harmant, 1996) et la nécessité de se
familiariser avec le métier d’étudiant (Coulon, 1997).
Passer d’une évaluation de la tâche à la construction des
compétences (Meirieu, 2005)
Le conflit instrumental : le fait d’utiliser pour la communication des
instruments mobilisés par ailleurs dans un cadre privé. (même objet
mais instrumentation différente) (Marquet 2011)
Le manque de repère dans le groupe qui résulte du non respect en
début de formation des critères d’émergence d’une communauté de
pratique (Preece, 2000)
L’ambiguïté motivationnelle de la reprise d’étude lié au management
de la terreur existentielle (Pyszczynski & al, 1997)
5. 11/12/2018 Dig-e-Lab 5/26
Approfondissement théorique
L’idée que cette situation de stress est propice à des phénomènes
d’attachement et de rejets que l’ingénierie doit prendre en
compte, pour essayer d’en minimiser l’impact sur l’ensemble du
groupe.
L’empreinte, (Lorentz 1941)
L’attachement, (Bowly et Ainsworth, 85)
Le tempérament, (Chess et Thomas, 77)
Favoriser l’attitude prosociale en maximisant les gains et en
minimisant les coûts. (La théorie de l'échange social, E. J.
Lawler et S. R. Thye, 1999)
6. 11/12/2018 Dig-e-Lab 6/26
L’ingénierie produite
Vers la formulation d’une
ingénierie spécifique : une
semaine d’intégration
permettant la familiarisation
instrumentale, l’expression
d’une identité numérique, la
découverte des autres.
Débouchant sur un choix de
nidification assisté permettant
minimiser le stress pendant la
première phase de formation
lors de l’établissement d’un
groupe de travail.
7. 11/12/2018 Dig-e-Lab 7/26
La mise en œuvre
Semaine d’intégration : 10 jours
Identité numérique. Quelle est l’image que je renvoie à l’autre.
Demander des choses personnelles, photos, etc.
Prévoir une activité individuelle ou d’interaction qui donne du sens à
l’action d’aller voir les éléments perso fournis par la communauté.
Bonnes pratiques : expliciter l’usage d’outils de la sphère privée
(Hangout, Skype, WhatsApp, Facebook), Messenger…) qui
mobilisent du temps inutile pour l’apprentissage, et auxquels sont
souvent attachées des connotations affectives.
Travail à rendre toutes les 6-12 heures pour formaliser le démarrage
de la formation, les mettre au travail et établir une rupture,
“ provoquer le stress ”.
Multiplication des activités et des configurations de groupe +
questionnaire pour faciliter les appariements.
8. 11/12/2018 Dig-e-Lab 8/26
La mise en œuvre
Phase 1 : Nidification = 16 semaines
Introduction d’élément dissonant pour favoriser l’émergence de la
crise et non l’éviter : dissonance organisationnelle, cognitive,
pédagogique, etc. Permet à la classe de s’exprimer et de nidifier.
À ce stade les étudiants qui créent une page FB nous disent
constater peu de participation.
Phase 2 : Mise en concurrence = 16 semaines
Ouverture des groupes, peer rewieving, mise en projet,
Les étudiants communiquent entre eux, page FB largement utilisée.
Phase 3 : Communauté de pratique = 16 semaines
S’ouvrent sur la communauté IPM : anciens, nouveaux, recherche
des travaux des autres, proposition des stages
9. 11/12/2018 Dig-e-Lab 9/26
L’ensemble de la recherche menée
Premier semestre 2016 recueil de donnée qualitatif sur base de 9 entretiens
sur les effets de la semaine de démarrage et de la nidification
Analyse qualitative et lexicographique réalisée en 2017 par Sonia Proust→
résultats positifs sur le SEP et les phases d’intérêt.
Deuxième semestre 2017 étude quantitative et qualitative confirmatoire, portant
sur le ressenti global individuel et collectif → questionnaire (n=157)
comportant des échelles suivantes :
Sentiment d’efficacité personnelle
Sentiment d’appartenance sociale
Perception instrumentale d’une communauté
Phase d’intérêt
Verbatim concernant la semaine de démarrage.
Analyse quantitative et lexicographique réalisée en décembre 2017 par Pierre-André
Caron
10. 11/12/2018 Dig-e-Lab 10/26
Analyse des Verbatim de la première enquête
travail de recherche réalisé par Sonia Proust
IRaMuTeQ nous a permis de
visualiser l’ensemble du corpus en
proposant une présentation
hiérarchique de la liste des termes
employés sous forme de nuage
(corrélation de la fréquence des
formes à leur taille). L’intérêt de
cet outil réside dans le fait qu’il
permet de saisir synthétiquement
l’univers lexicométrique des
entretiens. Si cet outil permet de
visualiser d’un seul coup d’œil la
distribution des termes et
notamment la fréquence des mots
« travail » et« groupe », sa portée
reste cependant restreinte puisqu’il
ne montre pas les liens entre ceux-
ci.
11. 11/12/2018 Dig-e-Lab 11/26
Analyse des similitudes du corpus complet
L’analyse de similitudes
met au jour les
cooccurrences, c’est-à-dire
l’apparition simultanée de
deux ou de plusieurs mots
dans le même discours,
mais aussi et surtout la
proximité des termes .
Une première ADS a donc
été effectuée en prenant
en compte le corpus in
extenso.
Elle fait montre d’une
centralité basée sur deux
communautés (« travail »
et « groupe ») et confirme
l’importance des termes
déjà relevés dans le nuage
de mots.
12. 11/12/2018 Dig-e-Lab 12/26
Seconde analyse sur le corpus réduit « Groupe »
Une seconde analyse, met
en œuvre une démarche
de recherche par itération,
en restreignant le corpus
aux questions relatives au
groupe,
12 questions sur 15
(calcul des cooccurrences
et algorithme de
Fruchterman-Reingold à
partirdes formes les plus
utilisées jusqu’à 7).
13. 11/12/2018 Dig-e-Lab 13/26
Complémentarité et compétences
On retrouve dans cette seconde analyse les deux
communautés dominantes mais d’autres registres
apparaissent « profil » et « compétence » qui se
manifestent avec des indices de cooccurrences de valeur
quasi identique. On retrouve dans chacune de ces deux
communautés périphériques le même lexique (« techno » /
« technique » / « informatique » et « pédago » / «
pédagogie »). L’analyse de ce lexique et l’usage du
concordancier mettent en évidence l’importance de la
complémentarité des profils et des compétences dans
la composition des groupes
14. 11/12/2018 Dig-e-Lab 14/26
Temps et étudiants
Les modalités du travail de groupe sont aussi évoquées dans la forme
périphérique « travailler » : on y voit apparaître les termes « soir », « outil »
et « utiliser ».
L’ADS montre également une deuxième forme centrale qui structure les
discours. Il s’agit du terme « travail », que l’on retrouve par ailleurs sous sa
forme verbale « travailler », mais en moindre importance, et qui est liée
lexicalement à la communauté « groupe ». Ici,« travailler » et « travail »
semblent se référer à des mondes lexicaux différents. Le « travail » est
plutôt rattaché à ses composantes intrinsèques et à sa mise en œuvre. Les
deux registres directement reliés au « travail » sont le « temps » (indice de
cooccurrence [15]) et sa gestion ainsi que « étudiant », à considérer ici
sous sa forme plurielle (« étudiants » majoritairement relevé dans le
concordancier 1 ) et dont la proximité avec la communauté « travail » traduit
un lien fort entre ces champs lexicaux ; l’usage du concordancier montre
en effet qu’une bonne organisation du travail passe par la
connaissance de ses pairs .
15. 11/12/2018 Dig-e-Lab 15/26
Classification Hiérarchique Descendante (CHD)
le dendrogramme des classes met en évidence que la
méthode et l’organisation du travail semblent prévaloir
lorsqu’il s’agit de mener à bien un projet de groupe. Une
organisation optimale présenterait les caractéristiques
suivantes : un chef de projet, une répartition des rôles et
des tâches au sein du groupe, des temps synchrones.
17. 11/12/2018 Dig-e-Lab 17/26
En conclusion de la première étude
Les résultats de cette analyse lexicométrique apportent
quelques éléments préliminaires concernant les facteurs qui
déterminent le bon fonctionnement d’un groupe d’apprenants
mis en situation de réaliser un projet de façon collective.
Ainsi, ressortent trois composantes : l’individu, le groupe, le
projet.
Malgré la distinction faite entre l’individu (dimension
individuelle) et le groupe (dimension sociale), le but commun
(dimension cognitive) apporté par le projet prévaut.
Cette analyse met en outre l’accent sur l’importance particulière
accordée par les apprenants à la complémentarité des profils et
des compétences au sein des groupes, condition à la richesse
et à l’aboutissement du projet.
19. 11/12/2018 Dig-e-Lab 19/26
Les résultats
id promo SEP II ISA ISM PICP PICB
Min. : 1.00 d16b :25 Min. :1.333 Min. :1.200 Min. :1.500 Min. :1.500 Min. :2.000 Min. :1.200
1st Qu.: 40.00 d17v :25 1st Qu.:4.556 1st Qu.:4.833 1st Qu.:4.625 1st Qu.:5.312 1st Qu.:4.000 1st Qu.:4.000
Median : 78.00 d15 :21 Median :5.300 Median :5.500 Median :5.500 Median :6.000 Median :4.571 Median :4.667
Mean : 78.42 d17o :20 Mean :5.142 Mean :5.412 Mean :5.163 Mean :5.909 Mean :4.543 Mean :4.617
3rd Qu.:118.00 d16r :18 3rd Qu.:5.900 3rd Qu.:6.167 3rd Qu.:6.000 3rd Qu.:6.750 3rd Qu.:5.200 3rd Qu.:5.400
Max. :157.00 p16 :15 Max. :7.000 Max. :7.000 Max. :7.000 Max. :7.000 Max. :6.143 Max. :7.000
(Other):25 NA's :14 NA's :10 NA's :10 NA's :11 NA's :5 NA's :6
PICR ACCp ACCe INTe SemD Mo tailleG
Min. :1.000 Min. :1.000 Min. :1.00 Min. :1.000 Min. :1.400 Min. : 0.00 Min. : 1.000
1st Qu.:4.250 1st Qu.:4.000 1st Qu.:4.05 1st Qu.:3.400 1st Qu.:3.800 1st Qu.: 7.00 1st Qu.: 2.000
Median :5.000 Median :5.000 Median :5.20 Median :4.600 Median :5.000 Median : 7.00 Median : 3.000
Mean :4.978 Mean :4.875 Mean :4.97 Mean :4.435 Mean :4.813 Mean : 48.69 Mean : 3.698
3rd Qu.:6.000 3rd Qu.:6.000 3rd Qu.:6.00 3rd Qu.:5.800 3rd Qu.:5.800 3rd Qu.: 30.00 3rd Qu.: 3.000
Max. :7.000 Max. :7.000 Max. :7.00 Max. :7.000 Max. :7.000 Max. :540.00 Max. :30.000
NA's :5 NA's :20 NA's :15 NA's :15 NA's :23 NA's :30 NA's :33
Moyenne au
SEP, SAS, INT,
PIC positive,
Anova non
significative, un
étudiant sur
deux construit
son groupe
final dans la
première
semaine, et en
moyenne au
bout d’un mois
et demi.
La taille du
groupe final est
de 3.
21. 11/12/2018 Dig-e-Lab 21/26
Analyse en composante principale
Un premier résultat de
cette ACP concerne
le rapport étroit entre
le SEP avec la
perception de la
communauté, Le
second axe oppose,
quant à lui, la mesure
de l’intérêt à la
mesure de
l’acceptation sociale
entre les étudiants.
22. 11/12/2018 Dig-e-Lab 22/26
Classificationhiérarchique
encomposanteprincipale
Elle met en évidence 4 profils dont d’ordonnancement suit
globalement la dimension horizontale du SEP. La mesure du
sentiment d’acceptation sociale entre les étudiants joue un
rôle secondaire mais non négligeable en discriminant la
satisfaction des étudiants les moins satisfaits.
27. 11/12/2018 Dig-e-Lab 27/26
En conclusion
Phases de recherche et phases de ré-ingénierie se sont ainsi succédées
pendant trois ans et ont impacté quatre promotions d’un dispositif de
formation. La recherche menée a permis au cours de ces trois ans
d’appréhender la nature des difficultés rencontrées par les étudiants, elle a
permis aux deux moments clés, relatés dans cette communication, de
proposer au travers différents jeux d’hypothèses, une ingénierie pour y
remédier. L’ingénierie a ainsi permis dans un premier temps de formuler une
semaine d’intégration autour de six missions adressants les difficultés
rencontrées : se familiariser au métier de l’étudiant, distinguer tâche et
compétence, appréhender les conflits instrumentaux inhérents à l’usage
académique d’artefacts instrumentés dans la sphère privée, clarifier ses
choix motivationnels. Dans un deuxième temps, elle a favorisé au travers
des missions individuelles ou de groupe, l’émergence d’un choix de
nidification assistée permettant minimiser le stress pendant la première
phase de formation lors de l’établissement d’un groupe de travail.
28. Votre logo
Media-use tracking in a language
learning environment – NedBox case
PROGRAMME DE COOPÉRATION TRANSFRONTALIÈRE
GRENSOVERSCHRIJDEND SAMENWERKINKSPROGRAMMA
AVEC LE SOUTIEN DU FONDS EUROPÉEN DE DÉVELOPPEMENT RÉGIONAL
MET STEUN VAN HET EUROPEES FONDS VOOR REGIONALE ONTWIKKELING
Votre logo
Isabeau Fievez
Prof. Dr. Piet Desmet
Dr. Maribel Montero-Perez
Dr. Frederik Cornillie
29. Votre logo
15/02/19 29
Rationale
• Last decades, great amount of online language learning
platforms (e.g. DuoLinguo, Babel, Fluentu, Verbling…)
• Using multimedia material
• Videos
• Articles
• Games
• With exercises
• From literature this sort of multimedia material
stimulates language learning
30. Votre logo
15/02/19 30
Rationale
• Research mainly focused on:
• Effects of specific activities with multimedia material
on aspects of language learning (e.g. vocabulary,
grammar…)
• Almost nothing on how people use the multimedia material
(= on their learning process)
• More information on learning process more possibilities
to help, find solutions, improve platform
Interesting to work with NedBox
33. Votre logo
15/02/19 33
Outline study
• First part:
• Get qualitative data via online questionnaire on:
• The use of the features available on NedBox
• The perceived usefulness of these features
• Second part:
• Investigate learners’ actual use of the platform
• By using eye-tracking data
• Get data on their perceived usefulness with interviews
and questionnaire
34. Votre logo
15/02/19 34
First part – How?
• Online questionnaire via LimeSurvey
• In collaboration with Université de Lille
• In French, Dutch and English
• Link to questionnaire was sent by e-mail to registered on
NedBox + posted on facebook page
35. Votre logo
15/02/19 35
First part – What?
• Questionnaire on:
• The use NedBox users make of the features
• Their perceived usefulness of the features
• Features researched:
42. Votre logo
15/02/19 42
First part – Descriptive results
• Do they use the features offered on NedBox?
N = 130
CONTROL FEEDBACK SOLUTION HINT
DIFFICULTY
EXERCISE SUBTITLES
TYPE OF
EXERCISE
DEFINITION
WORD THEME
Use it 95.4% 77.7% 82.3% 70.8% 93.8% 81.7% 80.2% 57.7% 89.3%
Do not use it
0.8% 11.5% 11.5% 11.5% 0.8% 9.9% 9.2% 10% 5.3%
Have never seen
it
3.8% 10.8% 6.2% 17.7% 5.4% 8.4% 10.7% 32.3% 5.3%
43. Votre logo
15/02/19 43
First part – Descriptive results
• How do they perceive the features? “I find this feature
useful”
CONTROL FEEDBACK SOLUTION HINT
DIFFICULTY
EXERCISE SUBTITLES
TYPE OF
EXERCISE
DEFINITION
WORD
Strongly
disagree
2.5% 3.1% 1% 2.3% 0% 2% 2% 1.4%
Disagree 0% 0% 0% 0% 0% 0% 0% 0%
Neither
agree/nor agree
2.5% 4.2% 4.9% 8% 5.3% 3.9% 8.9% 7.1%
Agree 5% 12.5% 7.8% 15.9% 9.7% 8.8% 11.9% 17.1%
Strongly agree 89.9% 80.2% 86.4% 73.9% 85% 85.3% 77.2% 74.3%
N Total 119 96 103 88 113 102 101 70
N Missing 5 5 4 4 8 5 4 5
44. Votre logo
15/02/19 44
First part – Descriptive results
• How do they perceive the features? “I learn better with this
feature”
FEEDBACK SOLUTION HINT
DIFFICULTY
EXERCISE SUBTITLES
DEFINITION
WORDS
Strongly disagree 3% 2.9% 2.3% 1.7% 2% 2.8%
Disagree 0% 0% 0% 0% 0% 0%
Neither agree/nor
agree
9.1% 5.8% 9.2% 5.2% 4% 5.6%
Agree 14.1% 10.7% 19.5% 14.8% 13.9% 15.5%
Strongly agree 73.7% 80.6% 69% 78.3% 80.2% 76.1%
Valid 99 103 87 115 101 71
Missing 2 4 5 6 6 4
45. Votre logo
15/02/19 45
First part – Descriptive results
• On the whole participant seem to
• Use all the features
• Except for the definition of words in the text, since
32% of the respondents had never seen it was
possible
• Find all features useful and helpful to learn
46. Votre logo
15/02/19 46
First part – Descriptive results
/! All respondents were registered users of NedBox = used
to the website
•48% of the respondents uses NedBox 1 or several times a
week and 36,6% 1 or several times a month
•53% assesses their proficiency as intermediate
•93% had at least a higher secondary diploma (40% had a
Master)
What about the actual use of non-registered, less proficient
users ? 2nd
part !
47. Votre logo
15/02/19 47
Second part – What?
• Eye-tracking study
• Participants = adults looking for a job in different centres
• Task: use NedBox during 40 minutes while eyes are tracked
49. Votre logo
15/02/19 49
Second part – What?
• Data:
• Eye movements analysed Actual use of features
• Vocabulary test to evaluate their proficiency
• Scores on the exercises
• Questionnaire on perceived usefulness of features
50. Votre logo
15/02/19 50
Second part – Preliminary results: actual use
N= 18 CONTRO
L
%
FEEDBACK
%
HINT
%
SOLUTION
%
SUBTITLES
%
DEFINITIONS
%
Use it 93,3 1,4 12,1 4,6 19,9 1,9
Do not
use it
6,7 98,6 87,9 95,4 80,1 98,1
N = 130
CONTROL
%
FEEDBACK
%
HINT
%
SOLUTION
%
SUBTITLES
%
DEFINITIONS
%
Use it 95.4 77.7 70.8 82.3 81.7 57.7
Do not use it 0.8 11.5 11.5 11.5 9.9 10
51. Votre logo
15/02/19 51
Second part – Preliminary results
• Why did they not use the features?
• Feedback: did not see they need to get feedback
• Hint & solution: most of them wanted to find the
answer without help
• Subtitles: did not need them
• Definitions: they did not think about using definitions
and/or did not need them
• Characteristics participants:
• Only 3 out of 18 participants had already used NedBox
before the experiment
• Range from A1 B2
52. Votre logo
15/02/19 52
Second part – Preliminary results
• “I use the features”
Caution should be taken as we interpret the results of the online
questionnaire
CONTRO
L
FEEDBACK HINT SOLUTION SUBTITLES DEFINITIONS
(Very)
strongly
disagree
0% 28,6% 42,9% 0% 28,6% 57,1%
Disagree 0% 0% 0% 0% 14,3% 0%
Neither
agree nor
disagree
14,3% 14,3% 14,3% 14,3% 14,3% 42,9%
Agree 0% 14,3% 14,3% 0% 14,3% 0%
(Very)
strongly
agree
85,7% 42,9% 28,6% 85,7% 28,6% 0%
55. Votre logo
15/02/19 55
Third part
• Next study on actual use:
• Longitudinal study
• Not controlled
• Tracking & logging
56. Votre logo
15/02/19 56
Conclusion
• Huge difference of behaviour between registered and non-
registered
• Difficult to compare since the registered only answered a
questionnaire
• When using NedBox for the first time, a lot of features are
left aside, not used
• Third part to investigate the change of use over time
57. laboratoire Trigone-CIREL et département SEFA
Univ’ Lille
Acceptation instrumentale d’un
dispositif d’autoformation pour
l’apprentissage des langues
le terrain NedBox
58. 11/12/2018 58/8
Notre problématique
La formation NedBox est une suite de module mêlant
vidéos et exercices d’auto-formation permettant
l’apprentissage du Néerlandais pour des apprenants
débutants ou non dans cette langue.
La problématique du projet Dig-e-Lab consiste à fournir
des éléments de mesure et de compréhension de l’usage
apprenant de cette formation
Pour mener ce projet, notre recherche mobilise le cadre
théorique du modèle de l’acceptation des technologies
(Venkatesh, Morris, Davis, & Davis, 2003) que nous
complétons dans sa dimension utilité (Caron & Heutte,
2017)
59. 11/12/2018 59/8
Le cadre du
Technology Acceptance Model (TAM)
Selon Davis (1986) l’attitude envers l’utilisation
d’un outil serait influencé par la perception de
l’utilité et par la perception de la facilité
d’utilisation.
61. 11/12/2018 61/8
Problématique du projet
Une des difficultés d'appliquer les modèles d'acceptation de la technologie
dans un contexte de formation concerne la nature duale de la perception
d'utilité qui est directement issue de la relation duale Enseignement /
Apprentissage.
Utile ?
→ pour moi : pour apprendre
→ pour l’institution pour me former
Notre recherche vise ainsi à comprendre et quantifier comment pour un
apprenant la perception de NedBox se décompose :
En différentes perceptions d'utilité
En différentes perceptions d’utilisabilité
Elle vise également à comprendre comment les nouvelles pratiques
professionnelles s’inscrivent dans le dispositif.
62. 11/12/2018 62/8
Autres cadres théoriques moblisé
Pour cette recherche nous mobilisons
également le Sentiment d’efficacité personnelle
qui dans d’autres recherches s’est révélé être
un bon indicateur de la satisfaction apprenante.
Nous mobilisons aussi le cadre théorique de la
mesure de l’intérêt selon Hiddi et Reninger,
pour distinguer l’intérêt lié à la situation et
l’intérêt lié à la formation.
64. 11/12/2018 64/12
Le recueil de donnée
Le recueil de donnée a été réalisé en juillet 2018, environ
300 réponses dont 92 exploitables.
L’intérêt, l’utilisabilité et l’utilité générale sont perçues très
positivement par les apprenants
65. 11/12/2018 65/12
Analyse en composantes principales
Les 2 premiers axes de l’ ACP expriment 54.47% de l’inertie totale du jeu de
données C’est un pourcentage assez important, et le premier plan représente donc
convenablement la variabilité contenue dans une grande part du jeu de données actif
Les variables qui discriminent le mieux les individus sont pour la Dimension 1 :
l’intérêt situationnel activé, maintenu et l’utilité générale
Pour la Dimension 2 : l’injonction
66. 11/12/2018 66/12
Prise en compte des variables supplémentaires :
sexe, niveau, from
La probabilité critique du test de Wilks indique que la variable, dont les modalités
séparent au mieux les individus sur le plan, est la variable : From
→ c’est à dire l’origine géographique de l’apprenant !!
From FromC Niv Sex
0.027 0.056 0.41 0.66
67. 11/12/2018 67/12
Clusterisation hiérarchique
La classe 1 est caractérisée
par de faibles valeurs pour
les variables UTG, ISM, ISA,
II, UPM, SEP et UTF
La classe 2 est caractérisée
par de faibles valeurs pour
les variables UTB, SEP, UTF,
ISM, ISA et UTG
La classe 3 est caractérisée
par de fortes valeurs pour les
variables ISA, UTG, ISM,
UTB et SEP ainsi que :
de faibles valeurs pour les
variables UTI et UPM
La classe 4 est caractérisée
par de fortes valeurs pour les
variables UPM, UTI, UTF,
SEP, ISM, UTB, UTG, ISA et
II
Les moins impliqués sont ceux qui perçoivent le moins
l’utilité du dispositif, et pour lesquels l’intérêt pour la langue
est faible. L’ergonomie du dispositif ne joue que pour les
plus impliqués.
68. 11/12/2018 68/12
En conclusion
Trois dimensions expliquent au mieux la motivation des apprenants :
l’intérêt pour la matière, l’utilité et l’injonction. Cette dernière bien que
ressentie assez faiblement discrimine fortement les apprenants.
l’utilisabilité et les éléments ergonomiques ne jouent pas
actuellement de rôle important dans l’expérience d’apprentissage,
sauf pour les étudiants les plus impliqués.
La dimension qui discrimine le mieux l’expérience d’apprentissage
est l’origine géographique des étudiants : c’est donc sur cette base
qu’il faut construire une individualisation de la formation.
Editor's Notes
Hi everyone, I am going to present a twofold study on the use case NedBox. It is still ongoing so no « improvement » have been done so far. We have for now, researched what should be improved !
Why have we decided to work with NedBox? Simply because NedBox is a great online language platform which uses multimedia material. From the literature we know that this sort multimedia material stimulates language learning
However the research on this multimedia material has often been conducted on the effects of this material ON language learning but not on HOW learners use them, on their learning process
But knowing how they use them and do not use them could also offer more possibilities to help them, to find problems and solutions and of course to improve the platform
So what is NedBox? NedBox is a website for Dutch learners, from beginners to high proficient. There is always a video or a text with exercises right beside
I am now going to describe what I have done.The first part is a qualitative study, with an online questionnaire on the use and perceived usefulness of the features on NedBox
The second part investigates learners’ actual use of NedBox with eye-tracking but also investigates their perceived usefulness with interviews
How did we implement that? We developped the questionnaire with the partners of the university of Lille and the people responsible of the platform
All questions were in French, Dutch and English since we cannot be sure of their mothertongue before launching the questionnaire.
The link to the questionnaire was sent by e-mail to registered of the website and also posted on its facebook page
First, the first part of the study. We have developed a questionnaire that researched the use and perceived usefulness of features such as
The questionnaire looked like this, we have the question first then they have to answer if they use the features, if they don’t or if they have not seen the feature at all
Then we asked them about the perceived usefulness, so whether they think the feature is useful and whether they learn better by using it or not, with a Likert scale
We managed to get 307 answers but ony 136 were complete
We clearly see that the big majority of respondents use the features, except for the ‘Definitions of words’ in the text, for which 32% indicated having never seen the feature
For the perceived usefulness we have the same scenario, they all find the features really useful
And they also think it is helpful to learn Dutch
So, on the whole the respondents use all features except for the definitions and find them useful and helpful
However, we should keep in mind that all respondents were registered users of NedBox, who are used to use it several times a week or a month
Moreover the majority evaluated themselves as already intermediate in Dutch, and 93% had at least a higher secondary diploma
What if we looked at the use of non-registered, less proficient participants?
For this, I conducted an eye-tracking study with adults looking for a job or following Dutch lesson for their job
They had to use NedBox during 40 minutes, they all saw the same pages but could do anything they wanted on it. When they were done they would quit the page and another one would open automatically. I will show that later on in the demonstration
So this is what the data look like. We see the grey spot moving, it is the eye gaze, the red dot is where they click
Here we clearly see that the participant answers the questions while reading the text. He/she reads the instruction then goes looking for the answer. I had other participants who would tackle this really differently, by first reading the whole text and then answer the question without reading it again.
So I analysed the eye-movement, I also gave them a vocabuary test to have an idea of their proficiency, I kept their scores on the website and also interviewed some of the about the perceived usefulness
The preliminary results showed that almost all participants did not make use of any features except for the ‘control’
This really contradicts the results of the questionnaire where most participants indicated using all features.
I therefore asked some of them why they did not.
So what could explain this? First of all their proficiency, the participant in the second part were les proficient but of course the most logical explanation is that only 3 out of 18 participants had already used NedBox before the experiment. However, I gave an explanation of each feature to each participant before the experiment began, so they were all aware of their presence and use but still did not use them.
I therefore also gave some of them a questionnaire on the perceived usefulness.
I also gave some of them a questionnaire on whether they used the features or not.
From this table we see we should be cautious because the participants of the experiment sometimes indicated they used some features (feedback, solution) whereas they actually almost never did. We also have here a lot of « neither agree nor disagree » because most of them told me « I did not think about using them ».
What this can tell us about the online questionnaire results is that the participants may have indicated they used some features even if they don’t, as is here the case.
But it also points that the features are used when participants are more familiar with the platform.
What should we conclude from that? How could we ‘improve’ this?
Make the features and their usefulness clearer: definitions in the text, why not highlight the words that have a definitions?
Feedback, maybe this should be given right beneath the control button when clicked on, so they cannot miss it.
But of course we should also investigate the problem further and we will. I have planned a third part of the study, in which I will let students use NedBox at home for a certain period of time. They will be tracked and logged so I can see what they have done, and they will not be conotrolled so that the use is as natural as possible.From that I will be able to see if the actual use changes over time, if the participants get better, if they are some other features of the website which are not used …
And of course the last step will be to improve the platform and check whether the improvments are useful or not.
In conclusion, we can say that there is clearly a huge difference of behaviour between the registered and non-registered. Unfortunately it is difficult to compare the data because there is no way to know whether the answers to the questionnaire really matches the actual use of the website by the respondents.
Participants of the eye-tracking study did almost never use the different features except for the ‘control’ one. So the third part of the study will help us determine if this is due to the fact that they had never used NedBox before or if it is a pattern.