Vraaggestuurde, longitudinale feedback van  landelijke voortgangstoetsen :  Van kennistoetsing  naar assessment van compet...
Voortgangstoetsing in geneeskunde onderwijs <ul><li>Achtergrond </li></ul><ul><ul><li>1976 Geneeskunde Maastricht </li></u...
Wat is voortgangstoetsing <ul><li>totale kennisdomein basisarts eindtermen (vgl. eindexamen) </li></ul><ul><li>4 x  per ja...
Voordelen VT <ul><li>voorkomt toetsgestuurd studeren </li></ul><ul><li>beloont elke individuele studieactiviteit  </li></u...
Toepassingen VT <ul><li>Geneeskundefaculteiten: </li></ul><ul><li>- Maastricht, Nijmegen, Groningen, Leiden </li></ul><ul>...
Interuniversitaire voortgangstoets geneeskunde <ul><li>200 meerkeuze vragen </li></ul><ul><ul><li>17 Categorieën (ICD) </l...
VOSYS systeem <ul><li>Itembanking unit  </li></ul><ul><li>Itemtypes: goed/fout/?  </li></ul><ul><li>Test constructie volge...
VOSYS functionaliteit <ul><li>Case admin (CAD) </li></ul><ul><li>Vraag admin </li></ul><ul><ul><li>classificaties </li></u...
Huidige feedback <ul><li>Papieren formulier </li></ul><ul><li>Alleen huidige toets </li></ul><ul><li>Tekst </li></ul><ul><...
Universiteit Maastricht
<ul><li>SURF-project Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen </li></ul><ul><li>Feedback ov...
<ul><li>Deelnemende universiteiten </li></ul><ul><ul><li>Universiteit Maastricht </li></ul></ul><ul><ul><li>Universiteit G...
Verkenning <ul><li>Zoekmethode </li></ul><ul><li>Er is naar literatuur over dit onderwerp gezocht met behulp van Pubmed, W...
Resultaten <ul><li>Er is tot op heden weinig beschreven met betrekking tot feedback van de voortgangstoets.  </li></ul><ul...
Behoefte onderzoek <ul><li>Twee doelgroepen: </li></ul><ul><ul><li>Studenten </li></ul></ul><ul><li>>Uitgevoerd in Groning...
Behoefteonderzoek-Conclusies <ul><li>Belangrijkste feedback is uitslag van de laatste toets </li></ul><ul><li>Grafieken me...
Functionaliteit ProF systeem <ul><li>Feedback: kwantitatieve score-informatie voor totaal en subtoetsen </li></ul><ul><li>...
Niet-functionele eisen <ul><li>Webgebaseerd </li></ul><ul><li>Flexibiliteit in het systeem t.a.v weergave scores, meetmome...
Uitdagingen <ul><li>Verschillende curricula </li></ul><ul><li>Uitzonderingen </li></ul><ul><li>Invoering ba-ma </li></ul>
Conceptueel ontwerp ProF <ul><li>Modulaire opbouw </li></ul><ul><ul><li>Uitwisselbare modules voor prognoses, cumulatie, e...
 
<ul><li>1: Exportmodule </li></ul><ul><ul><li>export gegevens uit vosys-database </li></ul></ul><ul><li>2: Rekenmodule A e...
 
 
 
 
 
 
 
 
 
 
Universiteit Maastricht Jaargroep 3
 
 
 
Technische keuzes <ul><li>Vosys: Oracle database </li></ul><ul><li>Export: Oracle SQL views </li></ul><ul><li>Rekenmodules...
Werkwijze <ul><li>Ieder kwartaal: </li></ul><ul><ul><li>Exporteer data uit VOSYS </li></ul></ul><ul><ul><li>Bereken cumula...
Huidige status <ul><li>Midterm-review 31 oktober </li></ul><ul><li>Ontwikkeling export-import gaande </li></ul><ul><li>Ont...
Conclusies <ul><li>Modulaire aanpak zorgt voor beheersbaarheid </li></ul><ul><li>Flexibiliteit is essentieel gezien voorts...
Upcoming SlideShare
Loading in …5
×

Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen; van kennistoetsing naar assesment van competentiegroei - Ilske Timmermans

1,350 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,350
On SlideShare
0
From Embeds
0
Number of Embeds
9
Actions
Shares
0
Downloads
9
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen; van kennistoetsing naar assesment van competentiegroei - Ilske Timmermans

  1. 1. Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen : Van kennistoetsing naar assessment van competentiegroei SURF Onderwijsdagen 2008
  2. 2. Voortgangstoetsing in geneeskunde onderwijs <ul><li>Achtergrond </li></ul><ul><ul><li>1976 Geneeskunde Maastricht </li></ul></ul><ul><ul><li>PGO </li></ul></ul><ul><ul><li>Zelfstandig leren en ontwikkelen van eigen leerdoelen </li></ul></ul><ul><li>Voortgangstoetsing </li></ul>
  3. 3. Wat is voortgangstoetsing <ul><li>totale kennisdomein basisarts eindtermen (vgl. eindexamen) </li></ul><ul><li>4 x per jaar afgenomen bij alle studenten </li></ul><ul><li>beklijvende, functionele kennis </li></ul>
  4. 4. Voordelen VT <ul><li>voorkomt toetsgestuurd studeren </li></ul><ul><li>beloont elke individuele studieactiviteit </li></ul><ul><li>meet functionele, beklijvende kennis </li></ul><ul><li>herhaalde meting van dezelfde kennis </li></ul><ul><li>aparte herkansing niet nodig </li></ul><ul><li>vroeg ontdekken uitblinkers </li></ul><ul><li>feedback aan studenten en docenten </li></ul><ul><li>veel onderzoeksmogelijkheden - cross-sectioneel en longitudinaal design - sub-test vergelijkingen - curriculumonafhankelijk </li></ul>
  5. 5. Toepassingen VT <ul><li>Geneeskundefaculteiten: </li></ul><ul><li>- Maastricht, Nijmegen, Groningen, Leiden </li></ul><ul><li>- VU </li></ul><ul><li>- Gent, Berlijn, Tampere-Finland, Manchester - Pretoria - Missouri Kansas City, McMaster Hamilton </li></ul><ul><li>Specialistenopleiding: - Huisarts - Kindergeneeskunde </li></ul>
  6. 6. Interuniversitaire voortgangstoets geneeskunde <ul><li>200 meerkeuze vragen </li></ul><ul><ul><li>17 Categorieën (ICD) </li></ul></ul><ul><ul><li>19 Disciplines </li></ul></ul><ul><li>4 maal per jaar </li></ul><ul><li>Alle geneeskunde studenten (jaar 1-6) </li></ul>
  7. 7. VOSYS systeem <ul><li>Itembanking unit </li></ul><ul><li>Itemtypes: goed/fout/? </li></ul><ul><li>Test constructie volgens Blauwdruk </li></ul><ul><li>Berekenen/Beheren Item Analyse Scores en Uitkomsten Longitudinale resultaten </li></ul>
  8. 8. VOSYS functionaliteit <ul><li>Case admin (CAD) </li></ul><ul><li>Vraag admin </li></ul><ul><ul><li>classificaties </li></ul></ul><ul><ul><li>Auteurs </li></ul></ul><ul><ul><li>Literatuur </li></ul></ul><ul><li>Blueprint admin </li></ul><ul><li>Test admin </li></ul><ul><li>Result admin (RED) </li></ul><ul><li>Sessie admin </li></ul><ul><li>Import Student Data (antwoorden) </li></ul><ul><li>Norm admin </li></ul><ul><li>Berekenen Scores </li></ul><ul><ul><li>Item Analyse </li></ul></ul><ul><ul><li>Resultaten berekenen </li></ul></ul><ul><ul><li>Aanpassen van normen </li></ul></ul><ul><li>Export Resultaten </li></ul>
  9. 9. Huidige feedback <ul><li>Papieren formulier </li></ul><ul><li>Alleen huidige toets </li></ul><ul><li>Tekst </li></ul><ul><li>Geen grafische weergave </li></ul>
  10. 10. Universiteit Maastricht
  11. 11. <ul><li>SURF-project Vraaggestuurde, longitudinale feedback van landelijke voortgangstoetsen </li></ul><ul><li>Feedback over toetsresultaten, geen items </li></ul><ul><li>Web georiënteerd </li></ul><ul><li>Vraaggestuurd / Student georiënteerd </li></ul><ul><li>Longitudinale / predictieve feedback </li></ul>
  12. 12. <ul><li>Deelnemende universiteiten </li></ul><ul><ul><li>Universiteit Maastricht </li></ul></ul><ul><ul><li>Universiteit Groningen </li></ul></ul><ul><ul><li>Universiteit Nijmegen </li></ul></ul><ul><ul><li>Universiteit Leiden </li></ul></ul><ul><ul><li>September 2007 - Augustus 2009 </li></ul></ul>
  13. 13. Verkenning <ul><li>Zoekmethode </li></ul><ul><li>Er is naar literatuur over dit onderwerp gezocht met behulp van Pubmed, Web of science (SSCI & SCI) en Eric. Trefwoorden: </li></ul><ul><ul><li>Progress test, Quarterly Profile Examination, Feedback, Assessment, Test Results, Test Scores, Progress review system, Formative, summative, Medical education </li></ul></ul><ul><li>Informatie over feedback van de VT bij verschillende universiteiten via Internet </li></ul><ul><li>Contact met de universiteiten voor informatie over rapporteren van de VT resultaten. </li></ul>
  14. 14. Resultaten <ul><li>Er is tot op heden weinig beschreven met betrekking tot feedback van de voortgangstoets. </li></ul><ul><li>Verschillende media om de toetsresultaten aan hun studenten te verstrekken. </li></ul><ul><li>In de meeste gevallen feedback als tekstbestand </li></ul><ul><li>Weinig aandacht voor grafische representatie van de (longitudinale) resultaten </li></ul>
  15. 15. Behoefte onderzoek <ul><li>Twee doelgroepen: </li></ul><ul><ul><li>Studenten </li></ul></ul><ul><li>>Uitgevoerd in Groningen en Leiden (Harro Medema) </li></ul><ul><ul><li>Onderwijsorganisatie </li></ul></ul><ul><li>>Uitgevoerd in Groningen, Nijmegen, Maastricht (Ilske Timmermans) </li></ul>
  16. 16. Behoefteonderzoek-Conclusies <ul><li>Belangrijkste feedback is uitslag van de laatste toets </li></ul><ul><li>Grafieken met toetsverleden en prognose (longitudinale feedback). </li></ul><ul><li>Cumulatieve score voor detailscores </li></ul><ul><li>Waarschuwing naar de student en de studie-adviseur bij structurele afwijking. </li></ul><ul><li>Prognose over korte periode </li></ul>
  17. 17. Functionaliteit ProF systeem <ul><li>Feedback: kwantitatieve score-informatie voor totaal en subtoetsen </li></ul><ul><li>Momentaan, longitudinaal en predictief </li></ul><ul><li>Individueel en geaggregeerd </li></ul><ul><li>Individuele score en referentie </li></ul><ul><li>Gebaseerd op Vosys gegevens </li></ul>
  18. 18. Niet-functionele eisen <ul><li>Webgebaseerd </li></ul><ul><li>Flexibiliteit in het systeem t.a.v weergave scores, meetmomenten etc. </li></ul><ul><li>Veel gebruikers tegelijk (4x per jaar) </li></ul><ul><li>Aggregatie over grote groepen kost veel rekentijd </li></ul>
  19. 19. Uitdagingen <ul><li>Verschillende curricula </li></ul><ul><li>Uitzonderingen </li></ul><ul><li>Invoering ba-ma </li></ul>
  20. 20. Conceptueel ontwerp ProF <ul><li>Modulaire opbouw </li></ul><ul><ul><li>Uitwisselbare modules voor prognoses, cumulatie, etc. </li></ul></ul><ul><li>Berekeningen off-line </li></ul><ul><li>Datawarehouse aanpak </li></ul><ul><li>Schaalbare architectuur </li></ul>
  21. 22. <ul><li>1: Exportmodule </li></ul><ul><ul><li>export gegevens uit vosys-database </li></ul></ul><ul><li>2: Rekenmodule A en B </li></ul><ul><ul><li>A: individuele prognoses </li></ul></ul><ul><ul><li>B: Geaggregeerde peergroepgegevens </li></ul></ul><ul><li>3: Importmodule </li></ul><ul><ul><li>Import in feedbackdatabase </li></ul></ul><ul><li>4: Feedbackdatabase </li></ul><ul><ul><li>Basis voor de visualisatieapplicatie </li></ul></ul><ul><li>5: Visualisatieapplicatie </li></ul><ul><ul><li>Presentatie gegevens in feedbackdatabase </li></ul></ul><ul><li>6: Feedback portal/website </li></ul><ul><ul><li>Achtergrondinformatie VT en feedback en Portal </li></ul></ul>
  22. 33. Universiteit Maastricht Jaargroep 3
  23. 37. Technische keuzes <ul><li>Vosys: Oracle database </li></ul><ul><li>Export: Oracle SQL views </li></ul><ul><li>Rekenmodules: Matlab </li></ul><ul><li>Import en transformatie: Perl </li></ul><ul><li>Feedbackdatabase: MySQL </li></ul><ul><li>GUI: PHP </li></ul>
  24. 38. Werkwijze <ul><li>Ieder kwartaal: </li></ul><ul><ul><li>Exporteer data uit VOSYS </li></ul></ul><ul><ul><li>Bereken cumulatie en prognose per student (alle gewenste soorten) </li></ul></ul><ul><ul><li>Bepaal peergroepen </li></ul></ul><ul><ul><li>Bereken verdeling en prognose per peergroep </li></ul></ul><ul><ul><li>Importeer data in ProF database </li></ul></ul>
  25. 39. Huidige status <ul><li>Midterm-review 31 oktober </li></ul><ul><li>Ontwikkeling export-import gaande </li></ul><ul><li>Ontwerp GUI gereed, ontwikkeling start binnenkort </li></ul><ul><li>Ontwikkeling gereed eerste kwartaal 2009 </li></ul><ul><li>Test, pilot en evaluatie t/m Juli 2009 </li></ul>
  26. 40. Conclusies <ul><li>Modulaire aanpak zorgt voor beheersbaarheid </li></ul><ul><li>Flexibiliteit is essentieel gezien voortschrijdende inzichten </li></ul>

×