Proeven aan Proeve HvA 15 april 2010

1,236 views

Published on

Published in: Education
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
1,236
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Proeven aan Proeve HvA 15 april 2010

  1. 1. Proeven aan Proeveeen korte bespreking van het de resultaten van het Proeve programma op hoofdlijnen <br />15 april 2010 ; HvA<br />Frank Benneker<br />
  2. 2.
  3. 3. De feedback <br />Dit is een schermafdruk van PLATO-IV, (Programmed Logic Automated Teaching Operations)<br />Een ICT onderwijssysteem dat in gebruik was aan de UvA tussen 1977- 1979. Het idee was om een wereldwijd netwerk opzetten van Plato systemen die onderwijsmateriaal en toetsen zouden uitwisselen.<br />In 1985 was Plato-IV bij meer dan 100 campussen in gebruik. Plato is ontwikkeld aan de Universiteit van Ilinois vanaf 1960.<br />Bron: Computer Museum UvAhttp://www.science.uva.nl/museum/PLATO.html<br />
  4. 4. Belangrijke conclusies in 1979 van Plato aan de UvA<br />Kosten ontwikkeling digitaal onderwijsmateriaal duurin relatie tot de houdbaarheid<br />Mens – machine (computer) interactie niet echt optimaal<br />Het combineren van onderwijsmateriaal via de computer met de traditionele manier van onderwijs geven levert de nodige moeilijkheden op <br />Meer info:<br />"Leren met de computer, eindrapport van het Plato-proefproject",University of Amsterdam 1979 (in Dutch); B. Camstra e.o. (E.H. Dooijes):. <br />
  5. 5. “Cloud” services<br />Zelfbouw<br />Community (Open) Source<br />personal pages academic staff<br />Student Homepages<br />Studiegids<br />U-drive<br />MijnUvA (Uportal)<br />interfaces<br />UVA COMMUNITIES (Sakai)<br />mediamosa<br />ODG - Wereld<br />Mieloso<br />UvAwiki<br />Euphorus<br />Maple-TA<br />Portfolio (SAKAI)<br />mediasite / webcolleges<br />QMP<br />Evasys<br />streaming media server<br />Blackboard<br />ClosedSource<br />
  6. 6.
  7. 7. Missie & Doel van Proeve@UvA<br />Onderzoeken of een ICT instrument voor toetsing een bijdrage kan leveren aan de kwaliteitsverbetering in het onderwijs.<br />Eindproduct:<br />Advies aan de ICT & O programmaraad dat ingaat op de eisen en randvoorwaarden voor een nieuwe dienst om innovatief gebruik te maken van ICT instrumenten voor formatief en summatief toetsen<br />
  8. 8. Welke concrete producten ?<br />Ondersteuning voor de diverse ict instrumenten die aan de UvA worden ingezet voor toetsing<br />Een nieuwe infrastructuur voor de proeve pilot & grassroot projectengebaseerd op Question Mark Perception<br />Een actieve community van docenten , onderwijs-ondersteuners en ICTO mensen <br />Tenders voor projecten en grassroots initiatieven<br />Bijeenkomsten, workshops, trainingen, congres<br />Publicaties; online (websites, wiki) en gewoon op papier<br />
  9. 9. Context<br />
  10. 10.
  11. 11.
  12. 12. Waarom deze diversiteit ?<br />Verschillende doelgroepen<br />Sakai : niet regulier onderwijs ; Bb regulier onderwijs<br />Specifieke functionaliteiten<br />Maple TA ; Qbank<br />Ondersteuning deel processen in de toetscyclus<br />Bv Respondus als ondersteunde auteursomgeving<br />Evasys voor onderwijsevaluaties<br />Vraag in het Proeve programma ?<br />Is er behoefte aan generieke toetssoftware met brede ondersteuning van toetscyclus ?<br />Question mark Perception is ingezet als pilotomgeving voor deze vraag<br />
  13. 13. De Pilotprojecten & Grassroots<br />Onderzoeken vanuit diverse invalshoeken (onderwijs, organisatie en technologie) welke mogelijkheden en toepassingen realiseerbaar zijn met een ICT instrument voor toetsing<br />Toepassingen zo gevarieerd mogelijk<br />Duidelijke resultaten en mijlpalen<br />Redelijke verdeling over faculteitenFDR, FMG, GNK, FGW, FNWI, ILO, IIS<br />Ruimte voor een beperkt aantal projecten<br />Begroting maximaal 20.000 euro (projecten)(dat is inclusief 25% matching)<br />Grassroots ; € 1000 per grassroot (15)<br />
  14. 14. Aspecten in de pilotprojecten & grassroots<br />Rol in het Onderwijsproces<br />Itembanken en toetsconstructie<br />Efficiency voordelen<br />Toets- en itemanalyse<br />Werken met complexe vragen<br />Verwerking van open vragen<br />Automatische feedback<br />Toetsafname <br />Grote <br />Kleine groepen <br />Formatief <br />Summatief<br />
  15. 15. De projecten<br />Blijf bij de (statistiek)les!Formatieve voortgangstoetsen in het statistiekonderwijs<br />Kwaliteitsprong Maple TA bij 1ste jaar Exacte Wetenschappen<br />KLeTSKlinische Lijn Electronisch Toets Systeem<br />digiTAAL <br />Werken aan de kennisbasis <br />@daptief Toetsen<br />
  16. 16. De grassroots <br />Nooit meer Plagiaat <br />BMA; Blackboard-isering van Normatieve Pragmatiek<br />Kate Moss Digitized <br />Interactief werkboek Statistiek <br />Understanding Anthropological Theory <br />Toets en leer! <br />CSI Amsterdam: toetsing en feedback op complexe opdrachten<br />Cuéntame<br />Instaptoetsen<br />Training door directe feedback voor docent en student<br />Onderken de vraag<br />Essayeer meer<br />Groene vingers laten zien wat ze kunnen<br />Biotechnology, 001LS<br />
  17. 17. Inzet van digitaal toetsen <br />nieuwe toetsvormen mogelijk door de introductie van:<br />Nieuwe vraagtypen , b.v. “spoken response” <br />Inzet van multimedia in de opdracht<br />Ontsluiting van meerdere bronnen tijdens een toets<br />Introductie van itembanken draagt bij aan het hergebruik van toetsvragen en de kwaliteit van toetsen<br />vereenvoudigt de ontwikkeling en inzet van “tussen toetsen” en diagnostische toetsen<br />kan een bijdrage leveren aan een beter begrip van de stof bij studenten en het studieresultaat<br />kan een bijdrage leveren aan een optimalisatie van het proces van creëren, aanbieden en verwerken van toetsen & toetsresultaten<br />
  18. 18. Lessen geleerd<br />Techniek is weerbarstig en in sommige gevallen de reden voor sterke frustraties en beperkingen<br />Ondersteuning van docenten op de werkvloer (technisch en toetsinhoudelijk) is een essentiële randvoorwaarde maar kostbaar<br />Introductie van nieuwe mogelijkheden geeft kansen om studenten hun vaardigheden te laten tonen<br />Het opzetten en levend houden van een community van docenten en andere gebruikers is lastig en is nog niet goed gelukt<br />Digitaal toetsen kan bijdragen aan verbetering van kwaliteit en efficiency maar vereist een verandering in het proces van creëren, organiseren en aanbieden van toetsen.<br />
  19. 19. Generieke conclusies<br />Het Informatiseringscentrum is goed in staat de ICT randvoorwaarden te leveren maar:<br />Is NIET de primaire actor voor de realisatie van de fysieke toetslocaties (summatief toetsen)<br />De begeleiding en ondersteuning van docenten (individueel, teams) is de taak van Faculteit / OWI<br />De meeste OER’s kunnen niet goed overweg met een verandering die het gevolg is van een digitaal toetsproces<br />Het onderwijs moet de leiding nemen, het IC en de onderwijs organisatie kunnen belangrijke deelprocessen invullen.<br />
  20. 20. Conclusies uit de eindrapportage I<br />Beleid en Implementatie<br /><ul><li>Stel een commissie Proeve in
  21. 21. Werk aan beleidsformulering en advisering bij implementatie
  22. 22. Regel de juridische randvoorwaarden
  23. 23. Traject voor professionalisering van docenten
  24. 24. Ondersteuning en begeleiding van docenten
  25. 25. Expertise community Proeve</li></li></ul><li>Het Toetslandschap<br /><ul><li>Opschalen huidige Toetslandschap
  26. 26. Opschalen huidige QMP pilotomgeving
  27. 27. Professionaliseren dienstverlening:
  28. 28. Blackboard
  29. 29. Maple TA
  30. 30. Onderzoek naar de kosten summatief toetsen
  31. 31. In kaart brengen problematiek toetszalen</li></ul>Conclusies uit de eindrapportage II<br />
  32. 32. Een fictieve rekensom voor een business case<br />Casus Bachelor student (er zijn 18.000 bachelor studenten)Summatief10 tentamens per jaar; 1 tentamen is digitaal (10 %)<br />UvA breed zijn dit 18.000 tentamens (volledig digitaal)tijdwinst voor het verwerkingsproces is 30 minbesparing in uren : 9000 ( +/- 6 fte)<br />Formatief<br />20 tussen toetsen per jaar ; 10 digitaal ( 50%)<br />UvA breed zijn dit 180.000 tussentoetsen (volledig digitaal)tijdwinst voor het verwerkingsproces is 10 minbesparing in uren : 30.000 (+/- 20 fte)<br />
  33. 33. Uitdagingen <br />Draagvlak en de wens is breed aanwezig, maar vrijmaken van mensen en middelen (in faculteiten en OWI’s) is problematisch <br />Hoe meten we een kwaliteitstoename in het onderwijsproces ?<br />De business case gaat al snel over efficiency en niet over onderwijskwaliteit (zie het fictieve rekenmodel)<br />Stabiele, veilige en betrouwbare infrastructuur is een essentiële voorwaarde maar is kostbaar op de schaal van voorzieningen voor de gehele UvA<br />
  34. 34. Activiteiten in 2010<br />Start Proeve IIOntwikkelen van een QMP (5) campusbrede infrastructuur. In eerste instantie voor formatieve toetsing Ontwikkelen van een exploitatiemodel (kosten en opbrengsten)<br />Beleidsvraagstukken uitwerken en agenderen<br />
  35. 35. eindrapport<br />
  36. 36. Frank Benneker: <br />frank.benneker@uva.nl <br />020 525 4914<br />
  37. 37.
  38. 38. De projecten<br />aan Pedagogiek- en OnderwijskundestudentenHarry Garst, Bonne Zijlstra, Sumit Mehra, Frans OortHet directe doel is het aanbieden van wekelijkse voortgangstoetsen<br />gedurende de collegereeks van het eerstejaars statistiekonderwijs aan<br />pedagogiek- en onderwijskundestudenten. Het uiteindelijke doel is om<br />met behulp van digitale, formatieve voortgangstoetsen <br />(1) studenten aan te zetten tot actief studeren en uitstelgedrag tegen te gaan,<br />(2) studenten onmiddellijk inzicht te geven in hun huidige kennisniveau <br />(3) eventuele deficiënties in statistiekkennis (formatief toetsend) weg te werken.<br />
  39. 39. Kwaliteitsprong Maple TA bij 1ste jaar Exacte Wetenschappen Leendert van Gastel, Na drie jaar gebruik bij Exacte Wetenschappen van Maple TA is de pilotfase afgelopen en is gestructureerde inpassing in het 1ste jaars onderwijs voorzien. Om dit goed te laten verlopen is het nu het juiste moment voor een systematische evaluatie vanuit didactisch, wiskundig en technologisch perspectief. Vervolgens is het plan om een verbeterronde uit te voeren voor het studiejaar 2008/2009 inclusief evaluatie. <br />
  40. 40. (KLeTS)Klinische Lijn Electronisch Toets Systeem Drs. M. van der Weerd, Drs. N.R. Bos,<br />Met voorliggende pilot wil het AMC een volgende fase in gaan: elektronische afname van de Klinische Lijntoets. <br />De Klinische Lijn toets is een summatieve casustoets die aan het einde van elk studiejaar Geneeskunde wordt afgenomen. De toets bestaat uit een serie klinische casus vanuit de verschillende medische disciplines waarbij de student op basis van de beschrijving van de symptomen bij een patient en bevindingen bij lichamelijk en eenvoudig aanvullend onderzoek een aantal vragen moet beantwoorden, dikwijls betrekking hebbend op de meest waarschijnlijke diagnose, noodzakelijke aanvullende diagnostiek en therapie<br />
  41. 41. digiTAAL, Ineke Vedder De pilot heeft betrekking op nieuwe vormen van diagnostische toetsing en het simuleren van en experimenteren met summatieve toetsing van groepen talenstudenten, voor de geïntegreerde toetsing van luistervaardigheid, vocabulaire, grammatica en spreekvaardigheid. Bij de pilot zijn de volgende moderne vreemde talen betrokken: Frans, Italiaans, Spaans, alsmede een taal met afwijkende karakers (Slavische taal). De pilot beoogt de gebruiksmogelijkheden van Question Mark Perception te onderzoeken.<br />
  42. 42. Werken aan de kennisbasis Anne-Martine Gielis Doelstelling is de ontwikkeling, constructie, implementatie en evaluatie van een gevarieerde online itembank met behulp waarvan flexibel inzetbare valide toetsen kunnen worden samengesteld om de kennisbasis van studenten van de eerstegraads lerarenopleiding van het ILO te testenIn dit project willen we:<br /> een plan van eisen opstellen voor een valide online toetsenbank, een valide itembank maken voor een aantal vakken die voldoende gevuld is voor het afnemen van maximaal 4 toetsen per student, expertise opdoen op het gebied van digitaal toets en de in het project ontwikkelde toetsen uitproberen met studenten en docenten in zowel diagnostische als summatieve toetsennieuwe vragen met video ontwikkelen<br />
  43. 43. @daptief Toetsen<br /> Marco Teunisse, Sharon Klinkenberg Een aantal keer per jaar wordt het vak Spss gegeven aan studenten psychologie (~400 studenten, in 7 groepen), psychobiologie (~120 studenten) en informatiekunde (~60 studenten). Binnen dit onderwijs moeten studenten wekelijks een opdracht (assignment) inleveren in Blackboard. Aangezien het om grote groepen studenten gaat is het nakijken veel werk. Geautomatiseerd nakijken kan veel tijd opleveren. Daarnaast willen we studenten een adaptieve formatieve oefentoets kunnen aanbieden<br />Ontwikkelen van oefentoets voor het vak Spss<br />Uitzoeken of een dergelijke oefentoets adaptief kan worden gemaakt in QMP<br />Geautomatiseerd nakijken van verplichte opdrachten. <br />

×