• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Evaluatierapport onderzoekseenheid kwaliteit_van_l_1_
 

Evaluatierapport onderzoekseenheid kwaliteit_van_l_1_

on

  • 1,440 views

 

Statistics

Views

Total Views
1,440
Views on SlideShare
1,440
Embed Views
0

Actions

Likes
0
Downloads
2
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Evaluatierapport onderzoekseenheid kwaliteit_van_l_1_ Evaluatierapport onderzoekseenheid kwaliteit_van_l_1_ Document Transcript

    • EvaluatierapportOnderzoekseenheid‘Kwaliteit van Leren’Faculteit EducatieHogeschool van Arnhem en Nijmegen
    • Scheveningseweg 46 2517 KV Den Haag T (070) 30 66 800 F (070) 30 66 870 I www.hobeon.nl E info@hobeon.nl Evaluatierapport Onderzoekseenheid ‘Kwaliteit van Leren’ Faculteit Educatie Hogeschool van Arnhem en NijmegenHobéon® Management Consult BVDatum:5 september 2010Auteur:F.M. Brouwer
    • INHOUDSOPGAVESAMENVATTING 1 OPDRACHT EN WERKWIJZE 3 DE ONDERZOEKSEENHEID KWALITEIT VAN LEREN 6 1.  Missie 6 2.  Het werkprogramma en portfolio van de onderzoekseenheid 8 3.  Het onderzoeksprofiel 10 4.  Inbedding en positionering binnen de HAN 10 5.  Omvang van de onderzoekseenheid 11 6.  Kwaliteit van de onderzoekers 12 7.  Samenwerkingsverbanden en interne relaties 13 8.  Publicaties, presentaties en andere producten van het onderzoek 14 9.  Kwaliteitszorg van de onderzoekseenheid 15 10.  Output, impact en waardering 15 BIJLAGE 1 Samenstelling commissie en cv’s 17 BIJLAGE 2 Programma visitatie 19 BIJLAGE 3 Onafhankelijkheidsverklaringen 22 
    • SAMENVATTINGDe onderzoekseenheid ‘Kwaliteit van Leren is verbonden aan de Faculteit Educatie van deHogeschool van Arnhem en Nijmegen. De eenheid is in zijn huidige samenstelling in 2006 ontstaan.De hierin gebundelde lectoraten hebben als thema’s Ontwerpen van innovatieveleerarrangementen, Leren met ICT, Duurzaam beoordelen, Ontwikkelen van competenties op dewerkplek, Pedagogische kwaliteit van de leraar, Innovatie van leren in organisaties, Leren inveranderende organisaties en Governance en innovatiedynamiek in het onderwijs. Dekenniskringen zijn in 2008 gebundeld in één onderzoeksgroep.De evaluatie is uitgevoerd aan de hand van het door de hogeschool opgestelde kwaliteitskader vooronderzoek, door een door de hogeschool ingestelde commissie waarin wetenschap enberoepspraktijk waren vertegenwoordigd. De commissie heeft haar oordelen ook uitgedrukt in eenwaarderingsschaal. De operationele definitie van de waarderingen is expliciet in het licht van dehuidige ontwikkelingsfase van de onderzoekseenheid uitgevoerd. In de samenvatting ligt hetaccent op de adviezen en aanbevelingen die de commissie doet.Missie: voldoendeDe missie is zeer algemeen geformuleerd. De onderzoekseenheid laat in haar afzonderlijkethematieken zien, dat ze dit algemene thema vanuit vele invalshoeken benadert. De faculteitwaarmee de onderzoekseenheid verbonden is, alsmede de belanghebbenden in de omgeving, zijntot nu toe vooral bij de uitvoering van het werkprogramma betrokken en niet bij demissieformulering. De commissie heeft bij beide partijen kunnen constateren, dat zij bereid zijndeze rol te vervullen en doet de onderzoekseenheid de aanbeveling deze betrokkenheid verder teontwikkelen en er gerichte regie op te voeren. In samenhang hiermee kan een tweede aanbevelingvan de commissie gezien worden: de sturende kracht van de missie te versterken en nu meerprecies te definiëren wat de kernopdracht van de onderzoekseenheid is, zowel inhoudelijk als inrelatie tot een regionale onderzoeksagenda. Op basis van een dergelijke aanscherping kan danmeer focus ontstaan in de werkzaamheden.Werkprogramma en portfolio: goedHet onderzoeksprogramma is vooralsnog per lectoraat gepresenteerd en de inhoud van hetportfolio rechtvaardigt dit. Het zijn sterke onderzoeksprogramma’s, waarbij de opdrachten enonderzoeksvragen systematisch in samenwerking met het werkveld worden gegenereerd.De omgeving ziet de verbinding met het onderwijs als meerwaarde van de onderzoekseenheid. Decommissie adviseert deze meerwaarde sterker te benutten, door samen met de faculteit, gerichteinspanningen te leveren om de betrokkenheid van studenten bij het onderzoek te versterken.In de opleidingen zijn onderzoeksleerlijnen ontwikkeld en professionaliseringsprogramma’s voordocenten uitgevoerd om deze te ondersteunen. De kennisinhouden die de lectoraten genererenworden vooral via de minoren in de opleidingen ingebracht. De commissie doet de aanbeveling omde stap naar verdergaande praktijktheorieën die een plaats verdienen in de basis van hetcurriculum systematisch ter hand te nemen en hiervoor ruimte, tijd en aandacht te creëren.Onderzoeksprofiel: voldoendeDe gehanteerde normen voor onderzoek zijn de gangbare normen voor wetenschappelijkheid. Er isnog geen expliciet discours over praktijkgericht onderzoek en de specifieke methodologischevragen die dat oproept, bv die naar de generaliseerbaarheid. De commissie beveelt aan hier meeren vooral explicieter aandacht aan te besteden.Inbedding en positionering binnen de HAN: voldoendeDe structuur voor de inbedding van de onderzoekseenheid in de HAN-organisatie is duidelijk, depositie binnen de faculteit helder. Op één punt kan die formele inrichting beter: de financiëleverantwoording. De lectoren doen weliswaar gezamenlijk verslag, ook financieel, maar iedere lectoris verantwoordelijk voor het eigen target. Er is geen groepstarget anders dan de optelsom van deafzonderlijke financiële taakstellingen.. De commissie adviseert de financiële taakstelling en deverantwoording daaromtrent op het niveau van de onderzoekseenheid te brengen. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 1
    • De organisatorische condities voor het onderzoek zijn nog steeds sterk getekend door dekenmerken van de onderwijsorganisatie. De commissie beveelt hogeschool, faculteit enonderzoekseenheid aan de fricties in kaart te brengen en er gezamenlijk oplossingen voor tecreëren.Inzet van mensen en middelen: voldoendeOp dit moment heeft de onderzoekseenheid voldoende capaciteit om haar werkprogramma uit tevoeren en is ze er in geslaagd de grote financiële opdracht voor 2010 te realiseren. Dit is een groteprestatie. Toch is de druk die van de financiële targets uitgaat groot, té groot naar het oordeel vande commissie. Zij adviseert de hogeschool dit knelpunt aan te pakken, door zelf meer te investerenen door bij te dragen aan de acquisitie van onderzoeksgelden.Kwaliteit van de onderzoekers: goedDe lectoren hebben individueel een goede wetenschappelijke reputatie en de onderzoekseenheid inzijn geheel een bovengemiddelde kwaliteit. Het is een vitale en interessante omgeving om lector tezijn. De commissie adviseert de interne samenwerking en de gemeenschappelijke externeprofilering te versterken en daarmee de unieke inhoudelijke samenstelling beter te benutten.Een sterk punt is de grote pool van onderzoekers. Een aandachtspunt is nog de ontwikkeling opmethodologisch gebied, met name de verwevenheid van interventieonderzoek enorganisatieadvies.Samenwerkingsverbanden: voldoendeHet interne netwerk is goed. Een aandachtspunt is nog de ontwikkeling vansamenwerkingsverbanden met andere kenniscentra in de hogeschool,Het externe netwerk is ook van goede kwaliteit. Naar het oordeel van de commissie kan het sterkerbetrokken worden bij de ontwikkeling van de onderzoeksagenda en de onderzoekseenheid kan zicheen helderder beeld vormen van de regionale kenmerken en daaruit voortvloeiendeonderzoeksthema’s.Publicaties en producten: voldoendeHet is een productieve unit, met meer dan voldoende publicaties, van uiteenlopende aard. Decommissie adviseert om sterker dan tot nu toe het publiceren object van beleid te maken en – bijeen bepaald type onderzoeken – zelfs deel van het onderzoeksontwerp.Kwaliteitszorg: voldoendeHet door de hogeschool in samenspraak met de lectoren ontwikkelde kwaliteitskader vooronderzoek verkeert nog in de pilotfase. Met dit kwaliteitskader worden de onderzoekseenhedenuitgedaagd hun doelstellingen SMART te formuleren. Uit de gesprekken is gebleken, dat dezeonderzoekseenheid hiernaast een open innovatiemodel hanteert. De commissie sluit niet uit, datbeide benaderingen op elkaar aan kunnen sluiten, wil daarbij wel wijzen op het risico, dat de opmeetbare indicatoren gerichte benadering een meer open benadering verdringt.Output, impact en waardering: goedDe partners in het werkveld hebben waardering voor het onderzoek en advies dat deonderzoekseenheid inbrengt en merken dat binnen hun organisaties zelf ook een onderzoekscultuuraan het ontstaan is. De opleidingen zijn ook tevreden over de resultaten die nu al zichtbaar zijn.Binnen het onderzoeksdomein heeft de onderzoekseenheid een duidelijke positie.Op deze drie punten zijn dus belangrijke bijdragen aan de doelstellingen geleverd. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 2
    • OPDRACHT EN WERKWIJZEDe onderzoekseenheidDe onderzoekseenheid ‘kwaliteit van leren’ is in zijn huidige samenstelling in 2006 ontstaan. Metmedeneming van twee bestaande lectoraten is in een tijdsbestek van een jaar eenonderzoekseenheid bestaande uit acht lectoraten gevormd: Ontwerpen van innovatieve leer arrangementen (lector:dr. Bregje de Vries) Leren met ICT (lector: dr. Marijke Kral) Duurzaam beoordelen (lector: dr. Dominique Sluijsmans) Ontwikkelen van competenties op de werkplek (lector: dr. Ruud Klarus) Pedagogische kwaliteit van de leraar (lector: drs. Arjan Dieleman) Innovatie van leren in organisaties (lector: dr. Jürg Thölke) Leren in veranderende organisaties (lector: dr. Gertjan Schuiling) Governance en innovatiedynamiek in het onderwijs (lector: dr. Frans de Vijlder)De lectoraten zijn in eerste instantie gestart met een eigen kenniskring, in 2008 is een volgendestap gezet door deze te bundelen in één onderzoeksgroep. De lectoraten tezamen hebben 5,8 fte,de onderzoeksgroep omvat 12,9 fte. Het geheel is verbonden aan de Faculteit Educatie van deHogeschool van Arnhem en Nijmegen (HAN).Context van de visitatieDe invoering van het landelijk kwaliteitszorgstelsel voor onderzoek in het hbo is in indirecte zin hetkader waarbinnen deze evaluatie heeft plaatsgevonden. Een hogeschool wordt geacht hetfunctioneren van de lectoraten extern te laten evalueren en dit systematisch aan te pakken. Overde systematiek en de uitvoering zal ze dan aan de VKO (Validatiecommissie kwaliteitszorgonderzoek) verantwoording afleggen en deze evaluatie maakt hiervan deel uit.Het directe kader waarbinnen de evaluatie is uitgevoerd is dat van het zich ontwikkelende systeemvan kwaliteitszorg voor onderzoek. De hogeschool heeft een Kwaliteitskader voor onderzoekvastgesteld en daaruit een beoordelingskader afgeleid. Deze evaluatie is de tweede die aan dehand van dit beoordelingskader is uitgevoerd, tezamen vormen ze de pilot waarbinnen dewerkbaarheid van het kader getoetst wordt.De commissieHet College van Bestuur van de hogeschool heeft opgetreden als samensteller en opdrachtgevervan de evaluatiecommissie. Deze bestond uit representanten van onderwijs, wetenschap enberoepspraktijk. De volgende personen maakten deel uit van de commissie: Prof. dr. M.J.M Vermeulen (voorzitter), hoogleraar onderwijssociologie aan de universiteit van Tilburg en aan de Open Universiteit Nederland en directeur van het IVA, een aan de Universiteit van Tilburg gelieerd instituut voor beleidsonderzoek en advies. Prof. Dr. P. van Petegem, hoogleraar onderwijskunde aan het Instituut voor Onderwijs- en Informatiewetenschappen van de Universiteit Antwerpen. en voorzitter van het Expertisecentrum Hoger Onderwijs. Prof. Dr. E.B.P. Verbiest, gastprofessor Onderwijsinnovatie aan de Universiteit Antwerpen. Eerder was hij directeur van Fontys Opleidingscentrum Schoolmanagement en lector Ontwikkeling van schoolorganisaties en professionalisering van schoolmanagement. Drs. J.M. Kok, voorzitter van de voormalige Adviesraad van het PO Platform Kwaliteit en Innovatie , eerder voorzitter van het Procesmanagement Primair Onderwijs en lector Leren en Innoveren aan de pabos van de Fontys Hogescholen. Drs. C.E. Burggraaff, voorzitter van het College van Bestuur van het Regio College voor Beroepsonderwijs en Educatie Zaanstreek-Waterland. Dit College verzorgt middelbaar beroeps onderwijs enbedrijfsopleidingen op maat. Totaal kent het Regio College ongeveer 6000 deelnemers/studenten. Drs. J. Rath, lid van het College van Bestuur van het ‘Bestuur Openbaar Onderwijs Rotterdam’ , waaronder een groot aantal openbare scholen in het primair, voortgezet en (voortgezet) speciaal onderwijs in de havenstad ressorteren. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 3
    • Hobéon Management Consult voerde het secretariaat van de commissie, in de persoon vanF.M.Brouwer.De opdrachtDe opdracht van de evaluatiecommissie was: de onderzoekskwaliteit, lectoraten, onderzoeksorganisatie en training van de onderzoekseenheid te beoordelen op basis van de informatie die door het instituut en gesprekken zijn geleverd te adviseren over de mogelijkheden voor kwaliteitsverbetering dit alles in een rapportage vast te leggen.Het beoordelingskaderAfgeleid uit het HAN Kwaliteitskader onderzoek heeft de HAN een beoordelingskader met tienonderwerpen ontwikkeld. De items hierin zijn:1. Missie2. Werkprogramma en portfolio3. Onderzoeksprofiel4. Inbedding en positionering binnen de HAN5. Omvang van de onderzoekseenheid6. De kwaliteit van de onderzoekseenheid om haar missie te realiseren7. Samenwerkingsverbanden en interne relaties8. Publicaties, presentaties en andere producten van het onderzoek9. kwaliteitszorg van de onderzoekseenheid10. Output, impact en waarderingDeze opbouw volgt een andere indeling dan ‘de vijf vragen’ uit het zogenoemde Basisdocument1.De commissie meent echter met de behandeling van de bovengenoemde tien punten tochtegelijkertijd de vijf vragen beantwoord te hebben. In de volgende tabel is de relatie tussen hetBeoordelingsprotocol van de HAN en de vijf vragen zichtbaar gemaakt.Vraag uit het Basisdocument Item in het HAN BeoordelingsprotocolIs er voldoende productiviteit, impact, waardering en 2 werkprogramma en portfolioerkenning op het gebied van 8 publicaties, presentaties en andere producten van kennisontwikkeling binnen het onderzoeksdomein; het onderzoek valorisatie naar beroepspraktijk en maatschappij; 9 kwaliteitszorg 10 output, impact en waardering de betekenis voor onderwijs en scholing?Vindt een en ander plaats vanuit een relevante en 1 missieuitdagende missie en een helder onderzoeksprofiel? 3 onderzoeksprofielWorden de missie en het onderzoeksprofiel geborgd 4 inbedding en positionering binnen de HANdoor het portfolio en de wijze waarop de eenheid is 2 werkprogramma en portfoliogeorganiseerd? 7 samenwerkingsverbanden en interne relatiesIs de inzet van mensen en middelen daarbij 5 Omvang onderzoekseenheidtoereikend in kwalitatief en kwantitatief opzicht? 6 Kwaliteit onderzoekersZijn de interne en externe samenwerkingsverbanden, 4 Inbedding en positionering binnen de HANnetwerken en relaties daarbij voldoende relevant, 7 Samenwerkingsverbanden en interne relatiesintensief en duurzaam?Door het volgen van het HAN Beoordelingsprotocol zijn naar het oordeel van de evaluatiecommissiealle vragen uit het Basisdocument beantwoord.1 Kwaliteitszorgstelsel ten aanzien van het onderzoek aan hogescholen 2009 – 2015. Basisdocument. Nadere uitwerking van het brancheprotocol kwaliteitszorg onderzoek (BKO) in een kwaliteitszorgstelsel. HBO-Raad, december 2008. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 4
    • De opdrachtgever heeft de commissie verzocht haar oordelen ook in een waarderingsschaal uit tedrukken: onvoldoende, voldoende, goed of excellent. Naar de letter van het beoordelingskaderzouden er vele onvoldoendes kunnen vallen, omdat hierin een situatie geschetst wordt, waarin deonderzoekseenheid ‘ uitontwikkeld’ is. Dat is niet het geval en dat lot deelt zij met alleonderzoekseenheden in het hoger beroepsonderwijs. Wij hebben daarom gemeend deonderzoekgroep recht te doen met de volgende operationalisering van de waarderingen: Onvoldoende: de onderzoekseenheid voldoet niet aan de kwaliteitscriteria voor dit item en de commissie heeft ook niet het vertrouwen dat het in de loop van de verdere ontwikkeling goed komt. Voldoende: het is in orde, maar kan nog veel verbeterd worden, of het is nog niet in orde maar de commissie heeft het vertrouwen dat het in de loop van de al gaande ontwikkeling goed komt. Goed: het is in orde zoals het nu is Excellent: het overtreft alle verwachtingenDeze operationalisering vindt de commissie noodzakelijk, om recht te doen aan deontwikkelingsfase waarin de eenheid zich bevindt.De werkwijzeDe onderzoekseenheid heeft een uitgebreide en informatieve Zelfevaluatie met voldoendeonderliggende documentatie aangeleverd. De commissieleden hebben op basis hiervan eenvoorlopige score op de 10 items gegeven, aan de hand van het uitgewerkte beoordelingsprotocol,met daaraan verbonden hun aandachtspunten in de visitatie. Deze scores en aandachtspunten zijnbij elkaar gelegd en door de secretaris samengevat in een voorbereidingsdocument, dat degrondslag en leidraad voor de visitatie vormde.De visitatie heeft plaatsgevonden op 12 en 13 juli 2010. Het programma is opgenomen als bijlage2. Lector Dr. D. Sluijsmans kon door omstandigheden niet aan de gesprekken deelnemen.Het conceptrapport is in september aan de onderzoekseenheid van de Hogeschool aangebodenvoor hoor en wederhoor. De commissie heeft na correctie van feitelijke onjuistheden het definitieverapport vastgesteld en aan het CvB van de hogeschool aangeboden. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 5
    • DE ONDERZOEKSEENHEID KWALITEIT VAN LEREN 1. Missie Missie van de onderzoekseenheid en bijdrage van de onderzoekseenheid aan het realiseren van de HAN- missie m.b.t. onderzoek Criteria: 1. De onderzoekseenheid heeft een missie geformuleerd die leidend is voor haar werkprogramma en die in termen van specifieke, meetbare, acceptabele, realistische en tijdgebonden resultaten beschrijft hoe het onderzoek van de eenheid bijdraagt aan o Onderwijs en scholing o Valorisatie naar beroepspraktijk en maatschappij o Kennisontwikkeling binnen het onderzoeksdomein inzicht geeft in regionale, landelijke en internationale ambities; uitdagend is en wordt gedragen door de leden van de onderzoekseenheid en door relevante belanghebbenden; 2. De missie van de onderzoekseenheid en de samenstelling van lectoraten sluiten aan bij de HAN missie m.b.t. onderzoekOordeelVoldoendeBevindingenDe missie is zeer algemeen geformuleerd en zou voor veel onderzoekseenheden op dit terreinkunnen gelden. Wat de specifieke invulling van déze onderzoekseenheid is, is uit de missie niet afte lezen. De kernzin in de missie is ‘Door middel van praktijkgericht onderzoek ontwikkelen wekennis en toepassingen die bijdragen aan de kwaliteit van leren in de beroepspraktijk alsmede inhet bachelor- en masteronderwijs van de faculteit.’De thema’s voor een groot deel van de lectoraten zijn afgeleid uit het algemene parapluthema‘kwaliteit van leren’ en de wens om dit thema vanuit vele invalshoeken aan te vliegen. Deonderzoekseenheid ziet als uniek kenmerk, dat deze thema’s zowel het micro-, meso- alsmacroniveau (leerproces, organisatie en beleid) bestrijken en binnen alle contexten waarbinnenleren aan de orde is, van basisonderwijs tot (non)profitorganisatie.De lectoren zijn toentertijd - zonder in de samenhang van de onderzoekseenheid gebracht te zijn -aan de slag gegaan. De onderlinge verbinding is de laatste tijd aan het groeien, door de inrichtingvan de onderzoekseenheid en het intensievere contact dat daardoor ontstaan is.Doordat er een proces op gang gekomen is van meer samenwerken zal het mogelijk worden om ditbrede spectrum van invalshoeken in de onderzoekseenheid – wat ook door de verwantekennisinstellingen als uniek gezien wordt –een sterkere bijdrage te laten zijn aan de gezamenlijkeprofilering van de onderzoekseenheid in zijn geheel.Voortvloeiend uit de missie zijn doelstellingen geformuleerd op de drie gebieden ‘beroepspraktijken maatschappij’, ‘opleiding en scholing’ en ‘kennisontwikkeling binnen het onderzoeksdomein’.Ook deze doelstellingen en de daaruit afgeleide speerpunten zijn vaak nog heel algemeengeformuleerd. Als voorbeeld noemen we de hoofddoelstelling op het gebied ‘beroepspraktijk enmaatschappij’, waar de doelstelling is ‘de beroepspraktijk continu te ontwikkelen, door de kwaliteitvan leren te verbeteren en mensen en organisaties beter in staat te stellen op eigen kracht teveranderen. Ook investeren we hiertoe in het bevorderen van een onderzoekscultuur en eenonderzoekende houding.’ Van deze doelstellingen zijn concretere indicatoren afgeleid, waaraanafleesbaar is of de onderzoekseenheid de doelstellingen realiseert. Voor een aantal lastig teoperationaliseren doelstellingen wordt de ontwikkeling van ‘barometers’ in het vooruitzicht gesteld,waaronder een barometer onderzoekscultuur en een meting van innovatiecapaciteit. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 6
    • Betrokkenheid van belanghebbendenDe Hogeschool van Arnhem en Nijmegen vindt de verbinding tussen onderwijs en onderzoek eenbelangrijk item. De motieven hiervoor lopen geheel in lijn met wat in Nederland überhaupt vandeze verbinding in het hbo verwacht wordt: kwaliteitsverbetering van het onderwijs, via hetinbrengen van casuïstiek en nieuwe kennis, zodat de opleidingen actueel en bij de tijd zijn, en hetontwikkelen van een onderzoekende houding bij de aanstaande professionals plus de vaardighedenom onderzoeken gericht op verdere ontwikkeling van de eigen beroepspraktijk uit te voeren.De Faculteit Educatie is een van de resultaatgebieden voor het werk van de onderzoekseenheid, zijis opdrachtgever en partner bij de uitvoering van onderzoek, onderwijs en professionalisering vandocenten, maar in de huidige ontwikkelingsfase is zij nog niet werkelijk ‘eigenaar’ van deonderzoekseenheid, met een eigen bijdrage in missie en doelstellingen van de groep. Hiervoor is decirculatie en dynamiek in de driehoek onderzoek – onderwijs – beroepenveld eenvoudigweg nogniet ver genoeg ontwikkeld. De inrichting van de relatie tussen faculteit en onderzoekseenheidzoals die in de laatste periode tot stand is gebracht, biedt wel het platform waarop een werkelijkeigenaarschap zich kan ontwikkelen. Deze inrichting verankert de onderzoekseenheid in defaculteit, doordat bv alle onderzoeksvoorstellen ook bij het management op tafel komen, affiniteitmet onderzoek een eis aan het management geworden is en de faculteit voor het gebied ‘opleidingen scholing’ direct opdrachtgever is.Er zijn in de omgeving goed georganiseerde verbanden in de verschillende onderwijssectoren. Decommissie heeft vertegenwoordigers van hen gesproken en is getroffen door de mate waarin zijopenstaan voor perspectieven van gezamenlijke agendavorming met de onderzoekseenheid envormen van mede-eigenaarschap. De mogelijkheden hiertoe worden nog niet ten volle benut doorde onderzoekseenheid. De huidige verbindingen liggen nog sterk op het niveau van deonderzoeksuitvoering, terwijl de stap naar gezamenlijke doelbepaling enonderzoeksprogrammering wellicht al gezet kan worden. Zo was bijvoorbeeld de Zelfevaluatie opzich al een eye opener voor de werkveldpartners, omdat zij hierdoor pas een beeld van de totaleonderzoekseenheid kregen. De feitelijke, operationele contacten lopen vaak via één van de lectorenof andere onderzoekers en dat levert dan niet een beeld op van wat er ‘in het magazijn’ nog meerte koop is.Concluderend kunnen we vaststellen dat op het niveau van de onderzoekseenheid het centralethema leidend geweest is voor de samenstelling en de onderwerpen die erin gebundeld zijn. In deopbouwfase is dit een breed centraal thema geweest. Vervolgens zijn de lectoren in eerste instantievooral hun eigen weg gegaan. Inmiddels is de middelpuntzoekende beweging weer op ganggekomen. Op dit moment wordt de sturende kracht van de missie nog niet als sterk ervaren doorde betrokkenen, maar er is een duidelijke bereidheid dit – binnen grenzen – te versterken. Hetverdient aanbeveling om nu meer precies te definiëren wat de kernopdracht van deonderzoekseenheid is. Daarbij kunnen twee lijnen van aanscherping gehanteerd worden: langs deinhoud en via de verbinding met regionale onderzoeksagendas. Op basis van een dergelijkeaanscherping kan dan meer focus ontstaan in de werkzaamheden.De betrokkenheid van de omgeving, zowel de onderwijsorganisatie als het werkveld kan versterktworden. Zowel intern als extern is er de bereidheid en het vermogen om deze rol te spelen. Deonderzoekseenheid zou het proces van afstemming met de omgeving bewuster in moeten richtenen er gerichte regie op voeren. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 7
    • 2. Het werkprogramma en portfolio van de onderzoekseenheid De borging van de missie van de onderzoekseenheid. Kwaliteitscriteria 1. De onderzoekseenheid heeft een of meer onderzoeksprogramma’s uitgewerkt die aantoonbaar bijdragen aan de geformuleerde doelstellingen: Het onderzoek draagt bij aan verhoging van de kwaliteit van het onderwijs door middel van o Doorwerking in het curriculum; o Studiemateriaal en onderwijsvormen; o Bijdragen aan onderzoeksvaardigheden van studenten; o Bijdrage aan de professionalisering van docenten. Valorisatie naar beroepspraktijk en maatschappij o Het onderzoek draagt bij aan het oplossen van problemen en aan toepassing in de beroepspraktijk; o Het onderzoek is maatschappelijke relevant en robuust. De kennisontwikkeling binnen het onderzoeksdomein is o Duidelijk en herkenbaar; o Relevant voor de maatschappelijke omgeving 2. Het portfolio van de onderzoekseenheid en de onderzoeksthema’s zijn dekkend voor de geformuleerde missie.OordeelGoedBevindingenIn de Zelfevaluatie wordt het onderzoeksprogramma per lectoraat gepresenteerd. Het portfolio isduidelijk getekend door het feit, dat er acht eigenzinnige en individueel sterke onderzoekers in deeenheid gebundeld zijn. Ook de ontwikkelingshistorie van de lectoraten, die - zoals eerderaangegeven - uiteenlopend is, speelt een rol. Er is geen reden om dit te problematiseren, het is weleen uitdaging voor de onderzoekseenheid om deze diversiteit ook in de onderzoeksprogrammeringals kracht te benutten en tegelijkertijd een productieve mate van samenhang en samenwerking teontwikkelen. In de gesprekken is hiervoor de metafoor van de delta ontstaan: een delta, waarinverschillende stromen en stroompjes lopen, in een eigen bedding, vanuit een zelfde rivier of bron,en uitmondend in dezelfde zee. Een delta kan breed zijn, maar de breedte is begrensd en enigekanalisering kan vruchtbaar zijn.Beroepspraktijk en maatschappijDe onderzoekseenheid blijkt in staat te zijn veel opdrachten en onderzoeksvragen vanuit hetwerkveld te genereren. Concrete onderzoeksvragen worden steeds samen met de opdrachtgeverontwikkeld, het is een samenspel waarin ondersteuning bij de vraagarticulatie en vertaling vanproblemen in onderzoeksvragen een rol speelt. Door dit samenspel is de opdrachtgever ookbetrokken bij de uitvoering en de resultaten van het onderzoek. De onderzoekslijnen zijn sturendvoor de opdrachten die aangenomen worden. Impliciet worden criteria gehanteerd, deonderzoekseenheid is bezig ze te expliciteren.Voor de partners in het werkveld blijkt de verbinding met onderwijs die de lectoren hebben eenbelangrijke reden te zijn om liever bij déze onderzoekers aan te kloppen dan bij een algemeenonderwijsadviesbureau. Het is belangrijk voor de onderzoekseenheid om dit voordeel goed uit tenutten. Naar eigen oordeel van de lectoren lukt dit nog te weinig.In het onderzoeksportfolio neemt ‘opleiden in de school’ een belangrijke plaats in. Het is eenverbindingspunt bij uitstek tussen de onderzoekseenheid en werkveld.De opleidingsscholen zijn heel blij met de mogelijkheid om echt praktijkgerichte vragen voor tekunnen leggen, ook bij afstuderende studenten. Ze krijgen ook meer vertrouwen in het resultaatwaarmee studenten aankomen, de kwaliteit van het afstuderen wordt merkbaar beter.De toegevoegde waarde van de groep ten opzicht van de individuele lectoren waarmee het contactin eerste instantie gelegd is, is voor de omgeving nog niet altijd zichtbaar. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 8
    • Toch zijn ook hier al aanzetten tot verbinding merkbaar: onderzoeken die samen opgezet worden,een onderzoeksvraag die in eerste instantie bij de ene lector terecht komt, maar waarbij deopdrachtgesprekken een achterliggende vraag blootleggen die beter door een andere lectoropgepakt kunnen worden enz.Onderwijs en professionaliseringEen belangrijke bijdrage aan het onderwijs is het ontwerp en de invoering van deonderzoeksleerlijn in alle opleidingen van de faculteit geweest. Doelstelling is om aan elke studentbasiskennis inzake het doen van onderzoek bij te brengen en een onderzoekende houding bij hente ontwikkelen. Bij de opleidingen is hier inmiddels een breed draagvlak voor ontstaan. Gingen eenaantal jaren geleden de wenkbrauwen nog bedenkelijk omhoog bij het woord ‘onderzoek in hetHBO’, inmiddels is het gemeengoed, dat onderzoek iets is dat bij het hoger beroepsonderwijshoort, al kan de concreetheid van het beeld dat de docenten erbij hebben natuurlijk – afhankelijkvan hun feitelijke ervaring met onderzoek – nog behoorlijk verschillen.Deelname van studenten aan onderzoeken die binnen de onderzoeksgroep worden uitgevoerd vindtvooralsnog slechts op kleine schaal plaats. De onderzoekseenheid deelt met andereonderzoekseenheden in het hbo het probleem, dat het ritme van onderzoeksopdrachten uitvoerenvoor de omgeving vaak botst met het ritme van het onderwijs. Ook is het nog een bijzonderevaardigheid om uit grotere onderzoeken deelopdrachten uit te snijden die voor de student eenafgerond en leerzaam geheel vormen en toch een goede bijdrage aan het grotere onderzoekbetekenen.Via minoren worden de specifieke kennisinhouden van de onderzoeksgebieden van de verschillendelectoren aan de studenten aangeboden. De commissie constateert, dat het onderzoekswerk hetwaard is meer gebruikt te worden in het eigen onderwijsprogramma van de HAN. Behoudensenkele pregnante voorbeelden – de simulatieschool is vaak aan de orde geweest – is daarvan nunog te weinig sprake.De volgende stap is om op basis van de onderzoekslijnen meer samenhangende praktijktheorieënte ontwikkelen die een plaats in de kern van het curriculum verdienen. Deze stap is nog niet gezet.De lectoren kennen en erkennen het als probleem, maar zien dat de druk tot productie het moeilijkmaakt om de reflexieve afstand die hiervoor nodig is te realiseren. Met name op de snijpunten vande verschillende lectoraten zou dit juist heel interessant zijn, niet alleen met het oog op decurricula, maar ook met het oog op een bijdrage aan de ontwikkeling van het kennisdomein.Deze ontwikkeling van boven de afzonderlijke onderzoeksprojecten en – lijnen uitstijgendetheorieën gebeurt niet vanzelf. Er moeten voorwaarden gecreëerd worden om dit werk te doen.Een van de voorwaarden is geld, want geld betekent tijd. Men kan zich verschillende bronnen voordit geld voorstellen, daarover meer in paragraaf 5, maar we adviseren sterk om gericht bezig tegaan met die verder reikende theorieontwikkeling. Daarmee zou ook het specifieke profiel van dezeonderzoekseenheid, de bundeling van de vele verschillende invalshoeken rond één centraal thema,beter tot zijn recht kunnen komen.Voor de docenten is een groot professionaliseringsprogramma uitgevoerd. Er zijn scholingenuitgevoerd op het gebied van onderzoek en begeleiding van onderzoekende studenten. Met dezescholingen is al de meerderheid van de docenten bereikt. Voor de feitelijke kennis van onderzoekbij docenten zijn drie niveaus gedefinieerd. Het basisniveau hoort tot het pakket van elke docenten het derde niveau is voorwaarde om afstudeeronderzoeken te mogen begeleiden. Deze aldusgeschoolde afstudeerbegeleiders gaan meer eisen stellen aan de studenten en zo is er een mooiewaterval aan het ontstaan. Er zijn ook al een paar andere praktijken zichtbaar die eenonderzoekscultuur in de organisatie stimuleren: leeskringen voor docenten, docenten die artikelengaan schrijven etc. Vertegenwoordigers van het werkveld nemen het toegenomen niveau en demeer onderzoekende houding van de afgestudeerden ook waar en waarderen het zeer.KennisontwikkelingDe lectoren hebben een goed netwerk met vergelijkbare onderzoekseenheden. Er komen meerderevoorbeelden van gezamenlijke onderzoeksvoorstellen, RAAK-Pro-aanvragen etc. langs. Het profielvan deze onderzoekseenheid, door een collega-lector van een andere hogeschool getypeerd als ‘deverbinding van bedrijfswetenschappen met onderwijs en de verbinding van ICT met inhoud’, wordtals sterk punt gezien. Ook Kennisnet, een belangrijke opdrachtgever voor de onderzoekseenheid,ziet de meerwaarde van de verbindingen die de lectoren binnen de onderzoekseenheid hebben,zonder daar naar eigen oordeel overigens voldoende gebruik van te maken. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 9
    • Voor de Radboud Universiteit is de HAN een vanzelfsprekende kennispartner in de regio en komt deontwikkeling van de onderzoeksfunctie van hogescholen mooi gelijktijdig met de ambitie van deuniversiteit zich meer regionaal te profileren. Dit wil zij graag samen met de hogeschool doen. 3. Het onderzoeksprofiel De onderzoeksbenadering in termen van standaarden en methoden en technieken Kwaliteitscriteria 1. De onderzoekseenheid kan aantonen c.q. legitimeren dat zij een onderzoeksbenadering hanteert die voldoet aan wetenschappelijke standaarden. 2. De onderzoekseenheid kan de samenhang tussen de missie, onderzoeksthema’s en het onderzoeksprofiel, en de gebruikte wetenschappelijke standaarden en onderzoeksmethoden en –technieken onderbouwen.OordeelVoldoendeBevindingenDe gehanteerde normen voor het onderzoek zijn de gewone normen van wetenschappelijkheid.Over die normen bestaat in de wetenschap over alle methodologieën heen consensus. Dezeconsensus wordt door een van de lectoren als volgt geformuleerd: er moet een heldere probleemstelling zijn je moet het systematisch aanpakken en het proces moet transparant zijn.Bij de onderzoeken wordt de methode gekozen die het beste past bij de vraagstelling: vaakkwalitatief, maar ook en steeds vaker kwantitatief onderzoek. Er is voldoende onderzoekservaringbij de groep onderzoekers aanwezig. De in de onderzoeksgroep instromende docenten leren het ‘onthe job’, er wordt collegiaal wederzijds becommentarieerd of samen onderzocht. De commissievraagt de aandacht voor de ontwikkeling van de ‘ambachtelijke’ onderzoeksvaardigheden bij metname docent-onderzoekers. Zij hebben dit vaak lang geleden en slechts in het kader van hunopleiding gedaan. Deze vaardigheden moeten opgepoetst worden en daarvoor is een systematischeaanpak nodig.Er is geen uitgesproken methodologische specialisatie binnen de onderzoeksgroep. Binnen deonderzoekseenheid in zijn geheel is er binnen deze algemene consensus nog weinig aandachtbesteed aan de methodologische kwesties die het eigen werk oproept. Meer verdieping van hetmethodologisch discours verbonden aan praktijkgericht onderzoek en de specifieke vragen die datoproept is wenselijk en dit wordt ook als probleem herkend. Zo speelt bv de vraag naar despanning tussen kennis genereren m.b.t. concrete situatie (probleem) en kennis genereren die inde bredere beroepspraktijk bruikbaar is (praktijktheorie), en – hiermee verbonden - naar de matewaarin, de wijze waarop en de mogelijkheden om breder buikbare praktijktheorie te genereren. 4. Inbedding en positionering binnen de HAN De herkenbaarheid van de onderzoekseenheid binnen de HAN-organisatie. Kwaliteitscriteria 1. De onderzoekseenheid is wat betreft organisatie en personeelsbeleid effectief ingebed in de Hogeschool om haar missie en strategie te realiseren. 2. Tussen de onderzoekseenheid en de faculteit / hogeschool zijn expliciete afspraken gemaakt ten aanzien van activiteiten ten behoeve van het onderwijs en de scholing van docenten.OordeelVoldoendeBevindingenDe structuur voor de inbedding van onderzoekseenheid in de HAN-organisatie is duidelijk. Depositie binnen de Faculteit Educatie is helder, de betrokkenheid van het management is in degesprekken overtuigend voor het voetlicht gekomen.Binnen deze structuur ontwikkelt zich het opdrachtgeverschap van de faculteit voor wat betreft debijdrage van de onderzoekseenheid aan onderwijs en professionalisering van docenten steedsmeer. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 10
    • Door de regeling dat elk onderzoeksvoorstel langs de faculteitsdirecteur gaat ontstaat er ook eeninhoudelijke betrokkenheid van het management bij het onderzoek dat uitgevoerd wordt voor hetwerkveld. Het heeft een goed en gedetailleerd beeld van de dingen waar de onderzoekseenheidmee bezig is.Over de plaats van de onderzoekseenheid in de HRM-cyclus zijn ook duidelijke afspraken gemaakt:de gesprekscyclus vindt in dat organisatieonderdeel plaats waar de onderzoeker of docent-onderzoeker de grootste aanstelling heeft. Als een docent voor het grootste deel van zijnaanstelling bij een opleiding werkzaam is, wordt vanuit de onderzoekseenheid input voor degesprekscyclus aan de opleiding geleverd en vice versa.Er zijn ook nog onopgeloste problemen. Zo ligt de financiële verantwoording binnen de hogeschoolbij de afzonderlijke lectoraten en niet bij de onderzoekseenheid, een inrichting die niet past bij depraktijk en samenhang die diezelfde hogeschool wenst.De onderwijsorganisatie kent een grote taaiheid, dat is de ervaring van iedereen die probeert dedynamiek van onderzoek in directe verwevenheid met de omgeving gestalte te geven. Deinstituten moeten zich openstellen voor het werkveld en op dat gebied is nog een hele weg tegaan. De organisatorische condities zijn nog steeds die van een grote onderwijsorganisatie.Het is belangrijk om hier gericht aandacht aan te geven. Als lectoren te lang energie moetenspenderen aan iets wat hen inhoudelijk niet verder brengt, dan bestaat het risico dat zij het elanvan de pioniers kwijtraken nog voor de pioniersfase in institutionele termen is afgerond. Voor deonderzoekseenheid als geheel kan dit ertoe leiden, dat ze zich meer van het onderwijsprocesontkoppelt dan wenselijk is.De hogeschool heeft een belangrijke stap gezet door affiniteit met onderzoek als een van de eisenaan het management te benoemen. Dit duidt erop, dat de organisatie wel besef heeft van hetprobleem maar daarmee is het nog niet de wereld uit. Het is de vraag of mensen die niet uit eenonderzoeksomgeving komen voldoende besef hebben van waar het om gaat en welkemechanismes dan precies nodig zijn. Naar het oordeel van de onderzoekers moet onderzoek als‘tweede primaire proces’ beter gefaciliteerd worden. Het kan hierbij ook om ‘kleine’ dingen gaan:de functionaliteit van de website, de beoordeling van materiaal aanvragen etc.5. Omvang van de onderzoekseenheidInzet van mensen en middelen.Kwaliteitscriteria1. De onderzoekseenheid heeft voldoende capaciteit om haar werkprogramma en portfolio aan projecten uit te voeren.2. De onderzoekseenheid heeft voldoende structurele middelen voor de ontwikkeling en uitvoering van duurzame onderzoeksprogramma’s.OordeelVoldoendeBevindingenOp dit moment heeft de onderzoekseenheid voldoende capaciteit om haar werkprogramma uit tevoeren. Ze is er ook in geslaagd om de majeure verhoging van zelf te werven financiële middelendie voor het jaar 2010 op de rol stond al goeddeels te realiseren. Dit is een grote prestatie. Tochheeft de commissie een aantal zorgen op dit punt, die ze overigens met de externe omgeving meerdan met de interne betrokkenen lijkt te delen.Binnen de HAN is het financieel zo ingericht, dat de gelden die de instelling krijgt voor onderzoeknaar de faculteiten doorgesluisd worden. Deze kunnen hiermee de bijdragen vanuit deonderzoekseenheden aan het onderwijs, in de vorm van advies, onderwijsontwikkeling, uitvoeringvan onderwijsdelen en minoren, scholing van docenten etc. bekostigen. Het is een inrichting die deontwikkeling naar een helder opdrachtgeverschap vanuit de faculteit en de opleidingen daarinstimuleert.Voor de opdrachten uit het werkveld is er veel acquirerende kracht nodig en kennelijk beschikbaar.De tariefstelling is realistisch in die zin, dat alle kosten erin doorberekend worden, dus er is wat datbetreft geen concurrentievoordeel ten opzichte van commerciële onderzoeks- en adviesbureaus. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 11
    • De onderzoekseenheid moet het van de kwaliteit van de onderzoeken en de voor de partners in hetveld betekenisvolle verbinding met opleidingen hebben. ‘Opleiden in de school’ is natuurlijk ookfinancieel en niet alleen inhoudelijk een belangrijk ankerpunt.Toch is de druk die er uitgaat van de financiële targets groot en die wordt ook zo ervaren. Decommissie ziet als risico van deze inrichting, dat het onderzoek te weinig gestuurd wordt door eeneigen programma, omdat het teveel afhankelijk wordt van externe opdrachten en dat de – beslistnoodzakelijke – stap naar theorievorming niet gezet wordt. Deze zal immers niet alsvanzelfsprekend vanuit de afzonderlijke onderzoeken ‘opstijgen’ en moet expliciet geprogrammeerdworden. Hiervoor is tijd en reflexieve ruimte nodig. Het is ook in het belang van de hogeschool, datdeze ruimte geschapen wordt, om meerdere redenen. De status van onderzoek in het hbo is nietvanzelfsprekend, ook al lijkt bij de universiteiten de eerste aversie tegen deze ontwikkeling al watsleets te raken. Het ontwikkelen van een onderzoekstraditie die past bij het hbo is ingewikkeld envergt nog het nodige pionierswerk. Daar is tijd voor nodig. Het risico bestaat, dat er andersonvoldragen benaderingen in de markt gezet worden en dat zal zich uiteindelijk tegen deonderzoekseenheid keren. Ook voor de inhoudelijke verdieping van de opleidingen is hetbelangrijk. De lectoren kunnen en mogen hier niet alleen teren op wat ze vanuit hun achtergrondmeebrengen, hoe indrukwekkend dit ook mag zijn.We geven de hogeschool ter overweging om aan dit knelpunt iets te doen. We denken daarbij aantwee mogelijkheden. Ten eerste zou een deel van de gelden die de hogeschool aan onderzoekbesteedt hier expliciet voor bestemd kunnen worden, hetzij door de faculteit zelf, het zij door hetCvB. Ten tweede zou het CvB ook zelf kunnen bijdragen aan de acquisitie van onderzoeksgeld,door bij te dragen aan het genereren van een tweede geldstroom voor het onderzoek in het hbo endoor bij te dragen aan de vorming van strategische partnerschappen met het werkveld voor het opgang houden van de derde geldstroom.6. Kwaliteit van de onderzoekersDe kwaliteit van de onderzoekseenheid om haar missie te realiserenKwaliteitscriteria1. De onderzoekseenheid heeft de kwalificaties en de kwaliteit om het programma uit te voeren en de missie te realiseren.2. Het personeelsbeleid van de onderzoekseenheid is erop gericht de geformuleerde doelstellingen aangaande bijdragen aan de beroepspraktijk en onderwijs en scholing te realiseren.3. De onderzoekseenheid kenmerkt zich door vitaliteit en een goede samenwerking/synergie.OordeelGoedBevindingenDe lectoren hebben individueel een goede naam en een gedegen wetenschappelijke achtergrond.In zijn geheel leidt dit tot een onderzoekseenheid met een bovengemiddelde kwaliteit. Deonderzoekseenheid als groep heeft nog veel minder een helder profiel naar buiten toe. Gezien defase van ontwikkeling van het gemeenschappelijk optrekken is dat begrijpelijk. Er zijn o.i.voldoende aanzetten om te verwachten, dat deze gemeenschappelijke profilering zich zalversterken. Wel mag deze gemeenschappelijke profilering en samenwerking punt van aandachtblijven.Als bijzondere kracht – het is al een paar keer genoemd – is de unieke inhoudelijke samenstellingte noemen. Het benutten hiervan voor inhoudelijke ontwikkeling op de kruispunten van deafzonderlijke themata komt op gang. Het is een aandachtspunt om dit ook naar buiten toe helderte maken. De groepsnaam is naar buiten toe niet bekend en blijkt zelfs intern niet vaak benut teworden.Een sterk punt is de grote pool van onderzoekers. Ook deze pool bestaat uit voldoende hooggekwalificeerde medewerkers. Gemeenschappelijke scholingsdagen, koppeling van ervaren metbeginnende onderzoekers, begeleiding door lectoren en senioronderzoekers zijn praktijken die dekwaliteit van het geleverde werk zeker stellen. De onderzoeksgroep bestaat uit promovendi,onderzoekers en docent-onderzoekers. De verwachting is, dat het aandeel docent-onderzoekers zaltoenemen als de onderzoeksvaardigheden van zittende docenten versterkt zijn en als de verbindingonderzoek – opleidingen sterker zal worden. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 12
    • De toewijzing van onderzoeksopdrachten van externe opdrachtgevers gebeurt door de coördinatorvan de onderzoeksgroep. Hierbij wordt gekeken naar onderzoekservaring, bekendheid met depassende methodologie, betrokkenheid bij het onderwerp enz. Uit de gesprekken met deonderzoekers bleek duidelijk, dat deze praktijk goed functioneert. Er is nog weinig inhoudelijke enmethodologische specialisatie. Voor zover dit een thema is binnen de onderzoekseenheid, blijkt hetvolume dat nodig is om tot werkelijke specialisatie te komen als voornaamste bezwaar gezien teworden.Als kwalitatieve flessenhals wordt in de Zelfevaluatie gesproken over het gebrek aan medewerkersdie voldoende gekwalificeerd zijn voor projecten waar interventieonderzoek en organisatieadviesmet elkaar verweven zijn. Het is voor praktijkgericht onderzoek een belangrijk terrein. Het heeftook direct te maken met het onderzoeksprofiel: wat voor soort onderzoek voeren wij uit?De onderzoekseenheid lijkt een ‘biotoop’ waar acht goede onderzoekers kunnen gedijen. Het is eenvitale en interessante omgeving om lector te zijn.De metafoor van de biotoop zegt ook iets over de ‘borging’. We zijn ervan overtuigd, dat als eriemand weggaat deze groep groot en goed genoeg is om weer een interessante nieuwe lector aante trekken.7. Samenwerkingsverbanden en interne relatiesDe interne en externe samenwerkingsrelaties en verbanden van de onderzoekseenheidKwaliteitscriteria1. De onderzoekseenheid vormt en onderhoudt een doeltreffend, intensief en duurzaam relatienetwerk met; Het onderwijs binnen de hogeschool; Andere relevante lectoraten binnen de hogeschool; Andere instellingen voor onderwijs en onderzoek; De regionale en landelijke beroepspraktijk; De internationale omgeving.2. Het netwerk van de onderzoekseenheid draagt bij aan het realiseren van de missie en de ontwikkeling en realisatie van het werkprogramma.OordeelVoldoendeBevindingenHet interne netwerk is goed en dat is niet vanzelf gegaan. De organisatie weet de lectoreninmiddels te vinden, het is bv interessant, dat zij door het CvB gevraagd zijn om mee te denkenover de strategie van de hogeschool.De relatie met de faculteit is duidelijk ingericht. Het is niet altijd gemakkelijk, het ‘schuurt’bijwijlen, maar dat betekent juist, dat het beide partijen serieus is en dat er iets op deze interfacegebeurt.Er is noch in de documentatie noch in de gesprekken veel naar voren gekomen over verbindingenmet andere relevante lectoraten binnen de HAN. Het is in deze fase ook goed om zich even teconcentreren op wat dichtbij is en de samenwerking binnen de onderzoekseenheid verder gestaltete geven, maar op iets langere termijn is het wel een aandachtspunt. Veel vraagstukken vrageneen multidisciplinaire aanpak, er is veel kennis binnen de hogeschool beschikbaar, het is belangrijkom deze waar mogelijk te benutten.Het relatienetwerk in beroepenveld en maatschappij is in orde. Het is sterk regionaal gekleurd,zonder dat de specifieke kenmerken van de regio inhoudelijk gesproken op het netvlies staan eneen rol spelen in de invulling van de onderzoekslijnen. Bij de gesprekken hierover bleek ook enigevrees zich in de regio te laten opsluiten en de indruk te wekken tot alleen regionaal geldige kenniste komen. O.i. ligt dit eerder omgekeerd: juist een helder beeld van de regionale kenmerken kande basis bieden voor een fundering van die generaliseerbaarheid. Voor de onderzoekseenheid kanhierbij het adagium ‘think global, act local’ wellicht bruikbaar zijn.Een tweede aandachtspunt hier is de rol van de regio in de programmering. Deze is nog minimaal,de samenwerking speelt zich vooralsnog op operationeel vlak af, terwijl er in deze regio juist grotepartijen zijn die een verdergaande rol zouden willen en kunnen spelen.Er is een goed landelijk netwerk binnen het educatieve domein, zowel binnen het hogerberoepsonderwijs als met andere, met name universitaire kennisinstellingen. Binnen het hbo is er ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 13
    • afstemming met andere educatieve faculteiten over het onderzoeksprogramma. De HAN doet voorde Pabo en de lerarenopleidingen bijvoorbeeld niets op het gebied van de exacte vakken, dat ligtbij een andere faculteit, terwijl het concept van een ‘duurzame pabo’ juist bij de HAN gelegd is.De internationale samenwerking is niet duidelijk in kaart gebracht. Het lijkt vooral te gaan omdeelname aan internationale conferenties – eerbaar genoeg overigens – van wetenschappelijke,vaak op praktijkonderzoek gerichte verbanden.8. Publicaties, presentaties en andere producten van het onderzoekKwaliteitscriteria1. De onderzoekseenheid laat door publicaties, presentaties en andere producten van het onderzoek zien dat zij haar doelstellingen realiseert.2. Er is voldoende disseminatie van onderzoeksresultaten en producten door middel van publicaties en andere activiteiten via diverse kanalen en gericht op relevante doelgroepenOordeelVoldoendeBevindingenHet is een productieve unit. We hebben geen vaste normen hiervoor, maar als we naar depublicatielijsten kijken, dan is het meer dan voldoende. Er wordt veel gepubliceerd, in tijdschriftenvan uiteenlopende aard.Of hiermee de doelstelling gerealiseerd wordt, namelijk of de kwaliteit van leren in de organisatieswaarvoor en waarmee gewerkt wordt te verhogen, is een heel andere vraag. Publiceren is hiervoorwel een noodzakelijke, maar niet een voldoende voorwaarde. Dat geldt voor de publicatie over deafzonderlijke onderzoeken, maar nog sterker voor een impact die de afzonderlijke projecten teboven gaat. Daarvoor is ook de ontwikkeling van een boven die afzonderlijke projecten uitstijgendepraktijktheorie of –theorieën nodig. Bij eerdere onderwerpen is dit al aangestipt: het is een stapdie niet zomaar gezet kan worden en dat wordt in de Zelfevaluatie ook als zodanig benoemd.Wat we niet gezien hebben is een expliciet publicatiebeleid. De onderzoekseenheid zou aan moetengeven welk type publicaties ze nastreeft, in welke verhouding en waarom. Hieruit zouden ook denormen afgeleid kunnen worden waaraan het gerealiseerde bestand van publicaties afgemetenwordt. Een interessante gedachte vonden wij in dit verband, in de woorden van een van deonderzoekers, dat bij het ontwerp van een onderzoek zelf feitelijk al een idee hoort te bestaan overde vorm waarin en het forum waarvoor je de resultaten wilt publiceren. We hebben daarbij allerleiheel flexibele en op maat gesneden publicatiemiddelen genoemd gehoord. Zo gezien is depublicatiewijze een direct uitvloeisel van de praktijkgerichtheid van het onderzoek en biedt hettevens de mogelijkheid de opdrachtgever hierin mee te nemen. Op deze wijze ingericht is hetpublicatiebeleid, te begrijpen als een slimme manier van publiceren, juist een belangrijk middel omspecifieke doelstellingen te realiseren. Pas binnen een dergelijke context krijgt het tellen vanpublicaties betekenis. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 14
    • 9. Kwaliteitszorg van de onderzoekseenheidKwaliteitscriteria1. De onderzoekseenheid verzamelt evaluatiegegevens bij haar belanghebbenden over de output, impact en waardering van het onderzoek aangaande: Onderwijs en scholing; Beroepspraktijk en maatschappij; Kennisontwikkeling binnen het onderzoeksdomein.2. De onderzoekseenheid heeft kwantitatieve en kwalitatieve streefnormen geformuleerd voor haar output, impact en waardering.3. Bij de evaluaties worden interne en externe belanghebbenden betrokken.4. De evaluatieresultaten worden door de onderzoekseenheid gebruikt om het onderzoeksprogramma te verbeteren.OordeelVoldoendeBevindingenHet door de hogeschool gehanteerde beoordelingskader voor onderzoek verkeert nog in depilotfase. Met dit beoordelingskader wordt de onderzoekseenheid uitgedaagd SMARTedoelstellingen te formuleren. Onlangs is, als uitvloeisel van het kwaliteitszorgsysteem van de HANen als vast onderdeel van het totstandkomingsproces van een Zelfevaluatie, eenstakeholdersonderzoek uitgevoerd. De onderzoekseenheid noemt nog andere vormen vankwaliteitszorg, zoals systematische projectevaluaties, zelf georganiseerde peer reviews etc. enheeft zich voorgenomen deze te ontwikkelen. Ook bestaan er voornemens een aantal andersoortigeinstrumenten te ontwikkelen, o.a. barometers voor de onderzoekscultuur in onderwijs enberoepenveld, ofwel metingen gericht op de meer kwalitatieve doelstellingen.Het stakeholdersonderzoek heeft zichtbaar geleid tot een reeks ‘ontwikkelpunten’. Deze zijngoeddeels nog erg algemeen. Bv onder ‘positionering’ worden genoemd: versterking draagvlak enzichtbaarheid voor docenten en studenten, verdere verankering in de regio en versterking van derelatie met de wetenschap. Kortom: verbetering op de drie prestatiegebieden. Dergelijkeverbetervoornemens zijn weinigzeggend voor de ontwikkelrichting van de onderzoekseenheid.Uit de gesprekken is gebleken, dat de onderzoekseenheid naast deze formele evaluatiemomentenen –middelen feitelijk een open innovatiemodel hanteert, dat wil zeggen in een dynamisch netwerkstaat met partners in de omgeving en daarin meebewegend innoverende impulsen opneemt envertaalt naar het eigen werk. De vraag is hoe dit zich verhoudt tot het systeem van kwaliteitszorgen het beoordelingskader, dat sterk gericht lijkt op meetbaarheid, de ontwikkeling van indicatoren.De lectoren zien ook de zin van deze benadering en ze zijn mede-ontwerpers van het kadergeweest. De hogeschool is ervan overtuigd dat beide benaderingen goed te verbinden zijn, zekerwaar ze de ontwikkelingsgerichte toepassing van het beoordelingskader benadrukt. Wij sluiten ditook niet uit, willen daarbij echter wel wijzen op het risico, dat doelstellingen verscholen rakenachter targets en normen en de kwaliteitscultuur achter het kwaliteitssysteem. Bij elke vorm vankwaliteitszorg is het belangrijk het systeem dynamisch te houden. Zodra het een ritueel wordt, isde verbeterende kracht eruit.Naast - en in deze fase wellicht boven - kwantitatieve indicatoren is het belangrijk verhalendevormen van verantwoording te gebruiken. Dat is feitelijk in de zelfevaluatie en in de gesprekkenook gebeurd. De gedeelde passie voor onderwijs, en de gedeelde gerichtheid op de doelstelling hetleren van leerlingen en studenten te verbeteren die we hebben waargenomen krijgt in eendergelijke vorm van verantwoording een passende vertaling.10. Output, impact en waarderingKwaliteitscriteria1. De gegevens over de output, impact en waardering van de onderzoekseenheid zijn in overeenstemming met de geformuleerde ambities, in termen van onderwerpen, indicatoren en streefnormen aangaande: Onderwijs en scholing. Beroepspraktijk en maatschappij; Kennisontwikkeling binnen het onderzoeksdomein. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 15
    • OordeelGoed BevindingenIn de Slotanalyse van de Zelfevaluatie maakt de onderzoekseenheid zelf de balans op als het gaatom de praktijken en resultaten in het licht van de doelstellingen. Feitelijk komen daarin veel van depunten die hier als bevindingen uit de visitatie beschreven zijn terug, zowel in de positieve als in denog te versterken punten. In die zin was de visitatie een bevestiging van het beeld dat deonderzoekseenheid zelf geschetst had.We hebben bevestigd gezien, dat er bij de partners in het werkveld waardering is voor hetonderzoek en advies dat de onderzoekseenheid inbrengt, en dat er binnen die organisaties zelf ookeen onderzoekscultuur op gang komt. “De discussies worden van hoger niveau en het gaat meerover het primair proces.” En: “Onderzoek was weg uit de school. De basale onderzoekende houdingdie bij onderwijsveranderingen hoort was verdwenen. Je ziet het weer terugkomen.”Ook merken de scholen, dat zij zwaardere onderzoeksopdrachten kunnen geven aan lios. Dat komtecht op gang en dat schrijven de organisaties toe, o.i. terecht, aan het werk van de lectoren binnende opleidingen.De opleidingen zelf zijn ook tevreden met de resultaten zoals die nu al zichtbaar zijn. Wij delen dit,met de kanttekening dat dit proces relatief, in verhouding tot de andere gebieden, pas laat op ganggekomen is en van de lectoren veel inspanning en listigheid gevraagd heeft. Wij hebben bij devertegenwoordigers van het onderwijs die wij gesproken hebben wel de sterke wens gevoeld deverbinding tussen onderwijs en onderzoek te versterken. Die verbinding is in structuur ook welgelegd, toch denken wij, dat het onderwijs meer gevoel moet krijgen voor de eisen die het doenvan onderzoek voor het werkveld aan de organisatie van het onderwijs stelt en hierover nauwermet de lectoren in contact moet zijn. Deze lopen te vaak tegen onderwijsorganisatorische hobbelsaan en dat vraagt onevenredig veel energie en uithoudingsvermogen. Die ware beter aan anderedingen gespendeerd.De onderzoekseenheid is goed ingebed in de kennisinfrastructuur en neemt daar een geheel eigenplaats in. Inhoudelijk kan dit nog verder ontwikkeld worden, met name op de snijvlakken van deverschillende lectoraten. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 16
    • BIJLAGE 1 SAMENSTELLING COMMISSIE EN CV’SNaam FunctieProf. dr. M.J.M Vermeulen Marc Vermeulen is hoogleraar onderwijssociologie aan de(voorzitter) universiteit van Tilburg en aan de Open Universiteit Nederland (specialisme relatie onderwijs, arbeidsmarkt en economie). Tevens is hij directeur van het IVA, een aan de Universiteit van Tilburg gelieerd instituut voor beleidsonderzoek en advies. Daarnaast is hij Academic Director van postacademische opleidingen voor onderwijsmanagement van de TiasNimbas Business School. Voorheen was hij directeur van het Ruud de Moor Centrum voor de professionele ontwikkeling van docenten van de Open Universiteit Nederland, hoofd van de afdeling van het pedagogisch onderzoek IVA Tilburg, (senior) projectleider bij TNO Policy Studies en Professor of Social Studies in het beroepsonderwijs. Daarnaast werkt hij regelmatig als consultant voor grote onderwijsinstellingen in binnen- en buitenland en voor het ministerie van Onderwijs.Prof. Dr. P. van Petegem Peter Van Petegem is als hoogleraar onderwijskunde verbonden aan het Instituut voor Onderwijs- en Informatiewetenschappen van de Universiteit Antwerpen. Hij is voorzitter van het Expertisecentrum Hoger Onderwijs en leidt de onderzoeksgroep EDUBRON. Zijn onderzoeksinteresses situeren zich onder meer op het terrein van kwaliteitszorg in onderwijs, hoger onderwijs en evaluatie van onderwijsbeleid.Prof. Dr. E.B.P. Verbiest Eric Verbiest is gastprofessor Onderwijsinnovatie aan de Universiteit Antwerpen en verbonden aan Magistrum dat opleidingen voor school managers organiseert. Verbiest studeerde aan de Sociale Academie (Gent-B) en andragologie en filosofie aan de Rijksuniversiteit Utrecht. Hij promoveerde in 1984 op een wijsgerig-andragologisch proefschrift over hulpverlening. Voorheen was hij directeur van Fontys Opleidingscentrum Schoolmanagement en lector Ontwikkeling van schoolorganisaties en professionalisering van schoolmanagement. Hij publiceerde artikelen en enkele boeken, onder meer op het terrein van schoolleiderschap, collectief leren en professionele leergemeenschappen.Drs. J.M. Kok Jozef Kok studeerde schei- en natuurkunde en onderwijskunde aan de Radboud universiteit van Nijmegen en organisatiekunde en verandermanagement aan het SIOO. Hij was een groot aantal jaren adviseur en later directeur van KPC Groep, een landelijk onderwijsadviesbureau. Daarna was hij voorzitter van het Procesmanagement Primair Onderwijs dat in opdracht van het Ministerie van Onderwijs de regie voerde over alle landelijke innovaties in het basis- en speciaal onderwijs. In 2002 werd hij lector aan de pabos van de Fontys Hogescholen met de leeropdracht Nieuwe vormen van leren en nieuwe leerarrangementen. Tot 2005 was hij projectleider van Q-Primair, een landelijk project voor kwaliteitszorg in het primair onderwijs.Drs. C.E. Burggraaff Erica Burggraaff is voorzitter van het College van Bestuur van het Regio College voor Beroepsonderwijs en Educatie Zaanstreek- Waterland. Het Regio College is gevestigd achter het station in Zaandam. Het is een instelling voor beroepsonderwijs en volwasseneneducatie. Het regiocollege verzorgt middelbaar beroeps onderwijs maar ook bedrijfsopleidingen op maat. Totaal kent het Regio College volgens de cijfers van 2003 ongeveer 5600 deelnemers(studenten). Daarvan volgden 2300 personen een leer- arbeidsovereenkomst. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 17
    • Drs. J. Rath Jan Rath is als lid van het College van Bestuur van Stichting Boor – wat staat voor ‘Bestuur Openbaar Onderwijs Rotterdam’ – medeverantwoordelijk voor de dagelijkse bedrijfsvoering en operationele gang van zaken op 86 openbare scholen in het primair, voortgezet en (voortgezet) speciaal onderwijs in de havenstad. Hiervoor was hij directeur van scholengroep Rijk van Nijmegen. ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 18
    • BIJLAGE 2 PROGRAMMA VISITATIEProgramma 12 juliEvaluatiecommissie intern 14:30 – 16:30 uurOntvangstInterne voorbesprekingCollege van Bestuur en Faculteit 16:30 – 17: 15 uurEducatieMevr. Drs. K.F.B. van Baele Lid CvB, portefeuillehouder onderzoek en lectoratenMevr. Drs. A.T. Bredée Directeur Faculteit EducatieLectoren 17:30 – 19:00 uurMevr. dr. M. (Marijke) Kral Lector Leren met ictDhr. dr. R. (Ruud) Klarus Lector Ontwikkelen van competenties op de werkplekMevr. B. (Bregje) de Vries Lector Ontwerpen van innovatieve LeerarrangementenDhr. drs. A.J. (Arjan) Dieleman Lector Pedagogische kwaliteit van de leraarDhr. dr. G.J. (Gertjan) Schuiling Lector Leren in veranderende organisatiesDhr. dr. J.M. (Jürg) Thölke Lector Innovatie van leren in organisatiesDhr. dr. F. J. (Frans) de Vijlder Lector Governance en innovatiedynamiek in het onderwijsProgramma 13 juliEvaluatiecommissie intern 8:30 – 9:30 uur eNa- en voorbespreking 1 dagBeroepspraktijk & maatschappij 9:30-10:15Dhr G. (Gerwin) Boevink MBA-ME manager ICT-centrum DeltaDhr drs. D. (Dirk) van Bennekom voorzitter CvB AlliantieMevr K. M. (Karin) van Weegen directeur De BasisDhr J. (Joop) Haverkort directeur onderwijs ConexusMevr drs. A. (Anette) Kil-Albersen voorzitter SBLDhr L. J.M. (Leo) van Beek vice voorzitter CvB QuadraamDhr. drs. H.C.M. (Harrie) Koolen rector Maaswaal CollegeKennisdomein 10:15-11:00Mevr. Dr. F.P. (Femke) Geijsel Lector Pedagogische Kwaliteit van het Onderwijs, WindesheimDhr. Dr. J. (Jeroen) Onstenk Lector Geintegreerd Pedagogisch Handelen, INHollandDhr. dr. A.C.A. (Alfons) ten Brummelhuis Hoofd onderzoek Kennisnet,Mevr. Dr. E. (Eliane) Segers Universitair docent Radboud Universiteit, Pedagogische Wetenschappen en Onderwijskunde/ Behavioural Science InstituteDhr. drs. N (Nico) van Kessel Sectorhoof Onderwijs: Organisatie en Beleidsevaluatie ITS/Radboud Universiteit ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 19
    • Opleiding & scholingDocenten en management 11:15-12:00Mevr. drs. B. T.M. van Waesberghe Directeur PaboMevr. drs. Y. (Yvonne) Visser Directeur ILS (tot 1 juni Directeur Pabo Groenewoud)Mevr. drs. H. (Hennie) Komduur Adjunctdirecteur ILSDhr. G.J.M. (Gertjan) Jansen Locatiedirecteur Pabo Groenewoud (tot 1 juni Directeur Opleidingskunde)Mevr. S. (Sabine) van Eldik Instructeur Praktijkonderwijs PaboMevr. M.J.M. (Mieke) Knops-Lambregts Hoofddocent PaboMevr. drs. R.A.M. (Regie) Driessen Hoofdocent ILSMevr. drs. M. (Marieke) de Visser (voormalig) Trainer-adviseur Interstudie-NDOMevr. drs. S.M.A. (Saskia) Weijzen Trainer-adviseur Interstudie-NDOStudenten 12:00-12:45Dhr. T. (Tim) Rouschop ILSMevr. M. (Monique) van Bilderbeek Master BegeleidingskundeMevr. I. (Irma) Mosselman Master BegeleidingskundeDhr. J. (Jaap) Hoenderdos Minor Creatieve IntelligentieDhr. M. (Michael) Leenders OpleidingskundeMevr. L. (Lisa)Voets PaboMevr. E. (Els)Plamont PaboMevr. D. (Dimara) Hermsen PaboLectoren 13:45 -15:15Mevr. dr. M. (Marijke) Kral Lector Leren met ictDhr. dr. R. (Ruud) Klarus Lector Ontwikkelen van competenties op de werkplekMevr. B. (Bregje) de Vries Lector Ontwerpen van innovatieve LeerarrangementenDhr. drs. A.J. (Arjan) Dieleman Lector Pedagogische kwaliteit van de leraarDhr. dr. G.J. (Gertjan) Schuiling Lector Leren in veranderende organisatiesDhr. dr. J.M. (Jürg) Thölke Lector Innovatie van leren in organisatiesDhr. dr. F. J. (Frans) de Vijlder Lector Governance en innovatiedynamiek in het onderwijsMevr. dr. A.H. (Ineke) Lokman Coördinator Onderzoekseenheid ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 20
    • Onderzoeksgroep 15:30 - 17:00 uurMevr. dr. A.H. (Ineke) Lokman Coördinator OnderzoekseenheidMevr. dr. D. (Dana) Uerz Senior onderzoekerDhr. dr. F. H. (Fedor) de Beer OnderzoekerMevr. drs. J. (Janneke) van der Steen OnderzoekerMevr. drs. M.C.L. (Miranda) Timmermans PromovendaDhr. drs. H.J.M. (Harry) Stokhof Docentonderzoeker PaboDhr. drs. L. (Leon) Noij Docentonderzoeker OpleidingskundeDhr. dr. H.E. (Henk) Delger Docentonderzoeker ILSEvaluatiecommissie 17:15 – 18:15 uurInterne bespreking resultaten evaluatieAfrondend gesprek met vertegenwoordiger 18:15 – 19:00 uurCvB en Faculteit Educatie ©Hobéon® Management Consult⏐ Evaluatierapport Kwaliteit van Leren HAN ⏐ september 2010 ⏐ 21
    • BIJLA AGE 3 ON NAFHANK KELIJKH EIDSVER RKLARIN NGEN ©Hobéon® Management Consult⏐ Evalua ® C atierapport Kwaliteit van Leren HAN ⏐ septemb 2010 ⏐ 22 ber
    • ©Hobéon® Management Consult⏐ Evalua tierapport Kwaliteit van Leren HAN ⏐ septemb 2010 ⏐ 23 ® a ber
    • ©Hobéon® Management Consult⏐ Evalua tierapport Kwaliteit van Leren HAN ⏐ septemb 2010 ⏐ 24 ® a ber
    • ©Hobéon® Management Consult⏐ Evalua tierapport Kwaliteit van Leren HAN ⏐ septemb 2010 ⏐ 25 ® a ber
    • ©Hobéon® Management Consult⏐ Evalua tierapport Kwaliteit van Leren HAN ⏐ septemb 2010 ⏐ 26 ® a ber
    • ©Hobéon® Management Consult⏐ Evalua tierapport Kwaliteit van Leren HAN ⏐ septemb 2010 ⏐ 27 ® a ber