Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion

1,382 views

Published on

Presentatie van het digitale peer evaluatie instrument dat door de TU Delft wordt gebruikt voor team evaluatie.

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,382
On SlideShare
0
From Embeds
0
Number of Embeds
326
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Presentatie Onderwijsdagen 2011 Scorion peer evaluatie TUDelft Parantion

  1. 1. Peer Review versie 3:Teamprestaties meten, volgen, toetsenDr. Ir. Gillian Saunders-Smits i.s.m. Parantion Delft University of Technology Challenge the future
  2. 2. Context Faculteit Luchtvaart- en Ruimtevaarttechniek• 2000+ studenten in BSc en MSc• In BSc wordt veel gebruikt gemaakt van Projectonderwijs (ca. 35 ECTS)• Studenten werken in groepen van 8 – 10 studenten aan zeer diverse projecten 2
  3. 3. Probleem: Beoordeling• Onder docenten grote behoefte aan assistentie bij beoordelen• Grootste problematiek: • Wie heeft wat gedaan? • Hoe groot is de individuele bijdrage geweest? • Wat is de kwaliteit van de bijdrage? • Hoe heeft een persoon bijgedragen aan het groepsproces? 3
  4. 4. Werken in een project Formulering Project Project doel resultaat EvaluatieTijd 4
  5. 5. Werken in project onderwijs projecten Formulatie Project Project doel resultaat Leer resultaatTijd 5
  6. 6. Oplossing: Peer & Zelf evaluatiesPeer evaluatie:Het beoordelen van leden van het eigen projectteam op hun bijdrage tot het project en de manierwaarop die bijdrage tot stand is gekomen.Zelfevaluatie:Het beoordelen van de eigen bijdrage tot hetproject en de manier waarop die bijdrage totstand is gekomen. 6
  7. 7. Type peer evaluatiesDrie types peer evaluatie:1. Ranking (van beste tot slechtste)2. Pot verdelen (een pot punten of geld door het team onderling laten verdelen)3. Rubrics (aan de hand van opgestelde criteria studenten elkaar laten beoordelen)Voor projectonderwijs in het HO is op LR ervaren dat optie 3 het beste werkt. 7
  8. 8. Uitvoering• Gekozen voor een bestaande set rubrics zoals gebruikt op de United States Air Force Academy in their project• Een Rubric is een scoringsvorm waarbij je iemand punten geeft gebaseerd op van te voren opgestelde criteria 8
  9. 9. CriteriaOp L&R aan de TU Delft worden 5 criteriagebruikt:• Job performance• Attitude• Initiative• Communication• Management of Resources 9
  10. 10. Job Performance Attitude Leadership/Initiative Management of Communication ResourcesConsistently does more than Positive and professional Takes initiative to seek out Uses time effectively in and out Oral and written skillsrequired. Work is of attitude which favorably work, concerned with getting of group and works to get excellent. Very effectiveexceptional quality. influences other company the job done. Very involved in others to do the same. All tasks within the group and to members. the technical project. completed on or ahead of reviewers. schedule.Sometimes does more than Positive attitude toward Readily accepts tasks, Uses time effectively in and of Usually effective.required. Work is of high project and the team. sometimes seeks more work. group. Completes all tasks onquality. A producer. Gets involved in the project. time.Performs all assigned tasks. Neutral attitude. Gets involved enough to Wastes some time in group, but Generally gets the pointQuality of work is acceptable. complete tasks. Does his/her works hard when a deadline is across. Tries to improve in share. near. Most tasks completed on weak areas. time.Performs all assigned tasks. Negative attitude toward Tends to watch others work. Wastes most of group time. Skills ineffective. Makes anWork must be redone or project and/or project. Gets involved only when Seldom seen doing productive effort to improve.repaired to meet standards. necessary. Volunteers to help work. Some tasks completed when it will look good. late.Performs some assigned Negative attitude which Lets others do the work; does Does little useful work in group Skills ineffective. Makestasks. Work must be redone adversely affects other the minimum he/she thinks is or out; wastes his/her time and little or no effort toby others to meet standards. company members or project. needed to get by. others. Work is constantly late. improve. 10
  11. 11. Criteria: Job Performance ++ + 0 - --Consistently Sometimes Performs all Performs all Performsdoes more does more assigned assigned somethan than tasks. tasks. Work assignedrequired. required. Quality of must be tasks. WorkWork is of Work is of work is redone or must beexceptional high quality. acceptable. repaired to redone byquality A producer meet others to standards meet standards. 11
  12. 12. Criteria: Attitude ++ + 0 - --Positive and Positive Neutral Negative Negativeprofessional attitude attitude. attitude attitudeattitude, toward toward team whichwhich project and and/or adverselyfavourably the team project. affects otherinfluences teamother team members ormembers. project. 12
  13. 13. Criteria: Initiative ++ + 0 - --Takes Readily Gets involved Tends to Lets othersinitiative to accepts enough to watch others do the work;seek out tasks, complete work. Gets does thework, sometimes tasks. Does involved only minimumconcerned seeks more his/her when he/she thinkswith getting work. Gets share. necessary. is needed tothe job done. involved in Volunteers to get by.Very involved the project. help when itin the will looktechnical good.project. 13
  14. 14. Criteria: Management of Resources ++ + 0 - --Uses time Uses time Wastes some Wastes most Does littleeffectively in effectively in time in of group useful workand out of and of group. group, but time. Seldom in group orgroup and Completes all works hard seen doing out; wastesworks to get tasks on when a productive his/her timeothers to do time. deadline is work. Some and others.the same. All near. Most tasks Work istasks tasks completed constantlycompleted on completed on late. late.or ahead of time.schedule. 14
  15. 15. Criteria: Communication ++ + 0 - --Oral and Usually Generally Skills Skillswritten skills effective. gets the ineffective. ineffective.excellent. point across. Makes an Makes littleVery effective Tries to effort to or no effortwithin the improve in improve. to improve.group and to weak areas.reviewers. 15
  16. 16. IT systeem implementatie eisen• Web based, systeem onafhankelijk• Exporteerbare files• Batch enroll functie• Neutrale interface• Criteria kunnen aangepast en aangevuld worden• Ratings zijn niet terug te voeren op individuen• Docent is regisseur en beslist wat er met de data gebeurt 16
  17. 17. Hoe in te vullen?• Per teamlid en voor zichzelf het meest van toepassing zijnde hokje invullen voor iedere categorie• Mogelijkheid tot het geven van een toelichting via commentaar box• Commentaar kan “private” of “public” worden gegeven 17
  18. 18. Data beheer• Zodra een student zijn scores doorgeeft, worden deze toegevoegd aan het gemiddelde van de groep. Op deze manier is het systeem volledig anoniem.• Alle studenten loggen in met NetID• Studenten kunnen hun oordelen toelichten. Hier wordt veelvuldig gebruik van gemaakt. Studenten kunnen kiezen voor 2 niveaus voor publicatie: • de hele groep • de staf 18
  19. 19. Ervaringen met Peer evaluaties• Om optimaal gebruik te kunnen maken van peer evaluaties moeten ze min. twee keer per project worden uitgevoerd (halverwege en aan het eind)• Commentaar functie wordt als zeer nuttig ervaren• Omdat de resultaten niet in een cijfer wordt omgezet wordt het systeem door studenten geaccepteerd als eerlijk• Een goede IT infrastructuur is onontbeerlijk om de administratieve lasten voor docenten te beperken 19
  20. 20. Gebruik tot nu toe• Vanaf 2000 met eigen systeem gewerkt gemaakt door student assistenten• Aantal gebruikers van systeem groeide hard• Steeds moeilijker systeem in eigen beheer te houden en te updaten: continuïteit kwam in gevaar• Eind 2009 is besloten om met externe partner in zee te gaan: Parantion• Vanaf september 2011: Zeer succesvolle TU brede implementatie 20
  21. 21. Parantion: Scorion Bidirectionele API 21
  22. 22. ScorionFaciliteren en visualiseren van leer- en ontwikkelprocessen.• Vorm • Modulair• Beheer: • Itembank • Formulieren • Groepen• Toepassing: • 360⁰ feedback • Beoordelen • Voortgang • Portfolio 22
  23. 23. Vorm/ modulair 23
  24. 24. Beheer: Itembank 24
  25. 25. Beheer: Formulieren 25
  26. 26. Beheer: Groepen 26
  27. 27. Toepassing: 360⁰ feedback 27
  28. 28. Toepassing: Beoordelen 28
  29. 29. Toepassing: Voortgang 29
  30. 30. Toepassing: Portfolio 30
  31. 31. Peer evaluaties in Scorion Group Aantal vragenlijsten: 2x2 Self Self Peer Peer 31
  32. 32. Hoeveel vragenlijsten zou….8 32
  33. 33. Dus: L&R voor één vak• Projectonderwijs L&R • 46 groepen • 8 studenten per groep • X 8 vragenlijsten 2944 33
  34. 34. Demo/screenshots 34
  35. 35. Demo/ screenshots 35
  36. 36. Demo/ screenshots Self Peer 36
  37. 37. Feedback 37
  38. 38. Conclusies• Peer evaluaties zijn een hele nuttige tool bij het beoordelen van individuele bijdrages in projectonderwijs• IT-infrastructuur voor dit type projecten moet professioneel worden opgezet om vertrouwelijkheid, stabiliteit en continuïteit te garanderen• Met hulp van het Scorion systeem van Parantion hebben we dit bereikt 38
  39. 39. Vragen?• www.tudelft.nl • Dr. Ir. Gillian N. Saunders-Smits (G.N.Saunders@tudelft.nl)• www.parantion.nl • Drs. R.A. Smabers (roel.smabers@parantion.nl) • Drs. R.J. Smeenk (robert.smeenk@parantion.nl) 39

×