Mario Gielen_Presentatie Verdediging_Linkedin

The impact of structuring peer feedback in a
wiki-based CSCL environment on
performance and feedback content
Doctorandus: Mario Gielen
Promotor: Prof. dr. Bram De Wever
Verdediging proefschrift Mario Gielen – 13 juni 2016

Theoretisch kader – Onderzoeksdoelen – Methodologie – Resultaten – Conclusie
De impact van het structureren van peer feedback in een wiki-gebaseerde
CSCL omgeving op de prestatie en de inhoud van de feedback.

Start
opdracht
Einde
opdracht
Score &
feedback
PRODUCT
PROCES

Start
opdracht
Einde
opdracht
Score &
feedback
PRODUCT
PROCES
Geven en ontvangen
van peer feedback

PEER ASSESSMENT for LEARNING (Dysthe, 2004)
Peer assessment (PA)
 Waardevol voor zowel assessor (beoordelaar) en assessee
(beoordeelde) (Topping, 1998)
 Voorbeeld van een complexe leertaak (Weinberger et al. 2007)
Implementatie van PA praktijken
 PA praktijken optimaliseren ifv
leerproces?
(Strijbos & Sluijsmans, 2010; Sadler, 2010)

DE KRACHT VAN PEER FEEDBACK (Cho & MacArthur, 2010)
Peer feedback (PFB)
 Feedback moet bestaan uit verificaties en elaboraties (Narciss, 2008)
 Liefst beide elementen (eg. Coll, Rochera, & De Gispert, 2014).
Effectieve PFB
 Bepaald door de inhoud, vorm en functie
 3 essentiële vragen beantwoorden: (Hattie & Timperley, 2007)
 Wat zijn de doelen? (feed up)
 Welke vooruitgang heb ik geboekt? (feed back)
 Wat moet ik doen om nog te verbeteren? (feed forward)
Hoe kunnen we kwaliteitsvolle feedback nastreven?

VRAGEN NAAR FEEDBACK
GEVEN VAN FEEDBACK
EVALUEREN ONTVANGEN FEEDBACK
(MEERDERE ITERATIES?)

HET STRUCTUREREN VAN PEER FEEDBACK
Peer feedback proces
 Nood aan ondersteuning en structuur!
 Belang van feedback dialoog (Carless, 2015)
 Hoe PFB proces optimaliseren i.f.v het leerproces?
Onderzoek
 Focus voornamelijk op rol van
de beoordelaar(Gielen et al., 2010)
 Beoordeelde actief betrekken
 Creëren van PFB dialoog

OD 3: (a) Het ontwikkelen en (b) implementeren van een inhoudsanalyseschema om de
inhoud van de PFB berichten te bestuderen.
OD 1: Het onderzoeken van de impact van een verschillend niveau van structurering van
het PFB proces op de prestatie van de lerende.
OD 2: Het onderzoeken van de impact van een verschillend niveau van structurering in het
PFB proces op de PFB kwaliteit van de lerende, gemeten door de Feedback Quality Index
(Prins, et al., 2006).

CONTEXT
Context
 Quasi-experimenteel onderzoeksdesign
 Authentieke en real-life situaties
 In wiki-gebaseerde CSCL omgeving
 1e Bachelor studenten Pedagogische
Wetenschappen
Opleidingsonderdeel ‘Onderwijskunde’ (7ECTS - Prof Dr. Martin Valcke):
 Studenten (N>125) gerandomiseerd in groepen van 5
 Online schrijfopdrachten: draft en finale versie
 Online PFB binnen de groep
 Verplicht praktisch gedeelte (8/20)

38 groepen
N = 179
Repeated measures
ANOVA
Independent-
samples t-test
9 groepen
N = 41
123 PFB berichten
4717 segmenten
Content analysis
AN(C)OVA
MAN(C)OVA
2011 - 2012 2012 - 2013 2012 - 2013 2013 - 2014 2013 - 2014
Studie 1
Wel of geen
structuur in een
PFB template
Impact op:
• de prestatie
• het leereffect
• de perceptie
Studie 2
De mate van
aangeboden
structuur in een
PFB template
Impact op:
• de prestatie
• PFB kwaliteit
(FQI, 2006)
Studie 3
De mate van
aangeboden
structuur in een
PFB template
Impact op:
specifieke inhoud
van PFB berichten
(CA schema)
Studie 4
Structureren van
de rol van assessor
en assessee in het
PFB proces
Impact op:
• de prestatie
• PFB kwaliteit
(FQI, 2006)
Studie 5
Structureren van
de rol van assessor
en assessee in het
PFB proces
Impact op:
specifieke inhoud
van PFB berichten
(CA schema)
37 groepen
N = 168
3 Meetmomenten
Multilevel Analyse
27 groepen
N = 125
3 Meetmomenten
Multilevel Analyse
16 groepen
N = 79
237 PFB berichten
8440 segmenten
Content analysis
Multilevel Analyse
INTERVENTION 1 INTERVENTION 2 INTERVENTION 3

INTERVENTION 3
2013 - 2014
INTERVENTION 2
2012 - 2013
Study 1:
Peer assessment in a wiki:
Product improvement,
students’ learning and
perception regarding
peer feedback
(Chapter 2)
Study 2:
Structuring the PA Process:
A Multilevel Approach for the
Impact on Product
Improvement and Peer
Feedback Quality
(Chapter 3)
Study 5:
The added value of structuring
the role of both assessor and
assessee for students’ peer
feedback content
(Chapter 6)
duction
1)
Gen
a
Study 4:
Scripting the Role of Assessor
and Assessee en Peer
Assessment: Impact on Peer
Feedback Quality and
Product Improvement
(Chapter 5)
ntent
INTERVENTION 1
(RO
2011 - 2012
Study 3:
Structuring Peer Assessment:
Comparing the Impact of the
Degree of Structure on the
Peer Feedback Content
(Chapter 4)
(RO
OD1
OD2
OD3

STUDIE 2
Het onderzoeken van de impact van een verschillend niveau van structurering
in het PFB proces op de kwaliteit van de prestatie en peer feedback.
Impact van de mate van aangeboden structuur in een PFB template
 Geen structuur: enkel lijst met criteria
 Basis structuur: lijst met criteria met 2 richtvragen
 Uitgebreide structuur: lijst met criteria gegroepeerd volgens principes van
feed up – feedback – feed forward
 Draft en finale score van abstracten – scoring rubric
 PFB score op basis van Feedback Quality Index (Prins et al., 2006)
OD1/OD2
DOEL
CONDITIES
FOCUS

CONDITIES

OD1: Het onderzoeken van de impact van een verschillend niveau van
structurering in het PFB proces op de prestatie van de lerende.
RESULTATEN

RESULTATEN

OD2: Het onderzoeken van de impact van een verschillend niveau van
structurering in het PFB proces op de PFB kwaliteit van de lerende.
RESULTATEN

Time 1 Time 2 Time 3
30
40
50
60
70
MeanPeerFeedbackScore
No structure
Basic structure
Elaborate structure
RESULTATEN

INTERVENTION 3
2013 - 2014
INTERVENTION 2
2012 - 2013
Study 1:
Peer assessment in a wiki:
Product improvement,
students’ learning and
perception regarding
peer feedback
(Chapter 2)
Study 2:
Structuring the PA Process:
A Multilevel Approach for the
Impact on Product
Improvement and Peer
Feedback Quality
(Chapter 3)
Study 5:
The added value of structuring
the role of both assessor and
assessee for students’ peer
feedback content
(Chapter 6)
duction
1)
Gen
a
Study 4:
Scripting the Role of Assessor
and Assessee en Peer
Assessment: Impact on Peer
Feedback Quality and
Product Improvement
(Chapter 5)
ntent
INTERVENTION 1
(RO
2011 - 2012
Study 3:
Structuring Peer Assessment:
Comparing the Impact of the
Degree of Structure on the
Peer Feedback Content
(Chapter 4)
(RO
OD3

STUDIE 2 STUDIE 5
Theoretisch kader – Onderzoeksvragen – Methodologie – Resultaten – Conclusie
Draft versie
Geven van PFB
Finale versie
Draft versie
Vragen naar
PFB
Voorbereiden
van PFB
Geven van PFB
Finale versie
Evalueren van
ontvangenPFB

STUDIE 5
Het ontwikkelen en implementeren van een inhoudsanalyseschema
Impact van het structureren van de rol van assessor en assessee op de specifieke
inhoud van PFB berichten
 Controle conditie
 Request conditie
 Checklist conditie
 Combinatie conditie
OD3
DOEL
CONDITIES
n
FOCUS
h
Inhoudscategorieën
 PFB stijl
 PFB type en focus
 PFB instemming en implementatie

RESULTATEN STUDIE 5
CAT: PEER FEEDBACK STIJL
• Vrij gebalanceerde proportie verificaties en elaboraties
• in het algemeen iets meer elaboraties (45/55)
CAT: PEER FEEDBACK TYPE & FOCUS
• Verificaties:
• Hoofdzakelijk positieve verificaties
• minder negatieve verificaties over de tijd
• Elaboraties:
• Vrij gebalanceerde proportie informatieve en suggestieve elaboraties
• in het algemeen iets meer suggestieve elaboraties (60/40)
• Vragen naar feedback: meer informatieve elaboraties – ‘justifications’
• PFB template – criterium niveau
CAT: INSTEMMING & IMPLEMENTATIE
• Hoofdzakelijk akkoord met ontvangen PFB
• De helft wordt daadwerkelijk geïmplementeerd

CONCLUSIE
Nood aan interventies om PFB proces te optimaliseren in functie van het
leerproces van de student
Bevindingen
 Kwaliteit van prestatie en PFB stijgt significant over de tijd
 Belang van extra structuur versus meer oefengelegenheden
 Belang van geoptimaliseerde en gestructureerde PFB template
 Feedback request: stijging van informatieve elaboraties

IMPLICATIES
Onderzoek
 Interventies om rol van beoordeelde te belichten
 Verder bouwen op ontwikkeld inhoudsanalyseschema
Praktijk
 Gebruiksvriendelijke PFB template
 Weldoordachte ‘structurering’ – MIX!
 Aanbieden van ondersteuning voor alle actoren
 Integreren meerdere oefenmomenten
 Stimuleren van feedbackdialoog

SUGGESTIES VOOR VERVOLGONDERZOEK
Populatie
 Andere opleidingen / vakken
 Verschillende expertise van studenten
 Longitudinaal onderzoek: meer iteraties
PFB inhoud
 Welke aspecten zijn vooral belangrijk voor de taakherwerking?
 Wat is de relatie tussen de gevraagde feedback en de
ontvangen feedback met de bijhorende evaluatie?

Mario Gielen_Presentatie Verdediging_Linkedin

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (6)

Similar to Mario Gielen_Presentatie Verdediging_Linkedin

Similar to Mario Gielen_Presentatie Verdediging_Linkedin (20)

Mario Gielen_Presentatie Verdediging_Linkedin