Effectmeting en het managen van ICT-innovatieprojecten in het hoger onderwijs - Ronald Koorn en Aad Boonstra

Effectmeting en het management van IC innovatieprojecten in het onderwijs Ronald Koorn & Aad Boonstra SURF Onderwijsdagen, Sint Maarten 2008 ADVISORY

Agenda Sturen op resultaten of realisatie van baten? Het managen van baten in ICT-projecten Het meten van effecten Wrap-up © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 1

Discussie: Sturing op resultaten of realisatie van baten Wie stuurt zijn projecten op: a) Planning, budget en functionaliteit ? b) Realisatie van resultaten ? c) Realisatie van projectdoelstellingen ? d) All of the above ? Welk percentage van de projecten in uw organisatie is succesvol? (minder dan 25% overschrijding in tijd, geld of kwaliteit) © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 2

Wat zeggen de analisten over projectsucces? “28% of all IT projects are cancelled or never implemented, according to a study of more than 7,500 IT projects conducted. Another 46% end up behind schedule or go over budget.” Source: Standish Group International “Organisations that lack stringent risk assessment procedures will continue to cancel more than 20% of projects in the execution phase” Source: Gartner Group “50% of all IT projects are deemed failures” Source: Meta Group Inc. “75% of all 1,450 firms surveyed exceeded their IT deadlines and more than 50% of them substantially exceeded their budgets. Key reasons were poor planning, inadequate studies on how IT projects relate to the firm’s needs and lack of management support.” Source: KPMG survey © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 3

KPMG IT Project Management Survey Directie/management doen steeds meer en grotere toezeggingen. Er ligt een focus op het doen van toezeggingen qua baten, niet op het nakomen ervan. Projectsucces wordt vaak geïnterpreteerd als het terug- brengen naar een acceptabel niveau van projectfalen of het minimaliseren van ‘baten lekkage’. De meeste organisaties zijn niet goed in staat baten vooraf te formuleren of het verlies aan baten achteraf te kwantificeren. Programmamanagement is veelal multi-projectmanagement. Portfoliomanagement staat nog in kinderschoenen. KPMG IT Project Management Survey Het Program Management Office komt nauwelijks voorbij administratieve rol. Een gezamenlijke, systematische benadering geïntegreerde besturing zijn nodig om het projectsucces te vergroten. © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 4

Collectieve good practices benodigd Bijvoorbeeld, de respondenten van ….maar een systematische verzameling onze survey ervaren groter van good practices resulteren in projectsucces: daadwerkelijke verbetering, bijvoorbeeld waar PMO alle projecten managed door: (22%); waar PMO altijd aan de directie Actief PMO PMO rapporteert aan CEO rapporteert (30%); met een formeel proces voor Belangrijkste projecten Presentatie gekoppeld Rapporteert aan directie aan individuele KPIs batenrealisatie (18%); waar de meerderheid van de Formeel proces voor Meten baten tot projectmanagers formeel batenrealisatie realisatie gecertificeerd zijn (24%); die gedegen risicoanalyse reeds in Gedegen risicoanalyse Gebruik van tijdens planningsfase externe reviewer planningsfase uitvoeren (29%). © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 5

Volwassenheidsmodel programmamanagement Op zeven belang- rijke aandacht- gebieden binnen programma- en projectmanagement heeft KPMG een model voor het meten van het volwassen- heidsniveau ontwikkeld. © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 6

Vijf gouden regels voor programmabeheersing Stuur op realisatie Prioriteer om te realiseren Breng projecten en programma’s in de lijn Beleg verantwoordelijkheid Investeer in mensen en processen © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 7

Waarom sturen op realisatie baten bij ICT-innovaties in onderwijs? Bewustwording Betere besluitvorming Onderbouwing keuze (“alleen evidence-based beleid”) Basis voor prioriteitenstelling Maakt bijsturing op doelbereiking mogelijk Evaluatie doeltreffendheid innovatie Verantwoording bestede middelen © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 8

Het managen van baten van ICT-projecten Het realiseren van – vooraf gedefinieerde – baten dient continu gemanaged te worden. © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 10

Het managen van baten van ICT-projecten: onderdelen business case © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 11

Het managen van baten van ICT-projecten: model batenrealisatie © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 12

Discussie: managen van ICT-projecten Op welke wijze om te gaan met het managen van innovatieve ICT-projecten ? In welk stadium en op welke manier overgaan van ‘loosely managed’ naar ‘tightly managed’ ? © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 13

Het managen van baten van ICT-projecten: succesfactoren Opstellen busines case met definiëring baten en zonodig periodiek bijstellen Beleggen eigenaarschap business case in lijn Zoveel mogelijk kwantificeren van baten, maar niet over-kwantificeren en niet veronachtzamen nadelen Toewijzen verantwoordelijkheid voor realiseren en voor meten baten Beleggen van Quality Assurance-rol, onafhankelijk van programma- organisatie © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 14

Categorieën effecten Externe factoren Outcome/ Output / Directe Input Indirecte Resultaten effecten effecten Meetbare financiële effecten (kostenbesparing) Doelrealisatie Meetbare, niet-financiële effecten (instroom studenten) Kwalitatieve, niet-financiële effecten (tevredenheid) © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 16

Wat kan wel en wat kan niet Meting resultaten eenvoudig, maar geeft weinig inzicht in doelbereik Meting doelbereik/outcome (instroom/studiesucces doelgroep) relatief eenvoudig (Causale) relatie met project/programma veel moeilijker aannemelijk te maken Kwantitatieve relatie lastig In welke mate draag innovatieprogramma bij aan veranderde instroom/studie- rendement in verhouding tot mate waarin dit door externe factoren wordt veroorzaakt Algemene aandachtspunten 0-meting en 1-meting Controlegroep Beïnvloeding van gedrag omdat mensen überhaupt onderdeel van onderzoek zijn © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 17

Praktijkvoorbeeld uit Nationaal Actieplan E-learning (2006) Nationale Kennisbank basisvaardigheden wiskunde Schoolvak wiskunde meest problematisch voor doorstroom VO – HO Veel hoger onderwijsinstellingen hebben ingangstoetsen en remediatie-trajecten (vaststellen ingangsniveau & verhelpen hiaten) Project bundelt deze toetsen en lesmateriaal in portal (www.wizmo.nl) Nationaal actieplan E-learning draagt bij aan dit project Doelstellingen NAP Verhoging in-, door- en uitstroom hoger onderwijs Verlagen uitval van studenten Projectresultaat: www.wizmo.nl Discussie: hoe meet je de effecten van dit project ? © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 18

Praktische trade-off Selectie te meten indicatoren dus trade-off van Plausibel inzicht doelbereik van project − Voldoende inzicht biedend in effect (waar doen we het voor) − Voldoende inzicht in prestatie-indicatoren om project bij te sturen Tegen acceptabele inspanning en kosten © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 19

Discussie: Financieel maken van effecten In 2008 heeft JISC (Joint Information Systems Committee) in UK een ‘Value for money report’ gemaakt Daarin zijn de effecten van de dienstverlening van JISC financieel gemaakt Discussie: In hoeverre draagt het financieel maken van de effecten van een programma als NAP bij aan het sturen van projecten? © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 20

Top 5 tips voor toepassing effectmeting Gewoon beginnen; Capaciteit beschikbaar maken; Actieve participatie programmamanagement en senior lijnmanagement; Definiëren en meetbaar maken van effecten (kosten, baten, nadelen en risico’s); Actief bewaken van status van effecten. © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 22

Contactpersonen Naam Naam − Drs. ing. Ronald Koorn RE − Drs. Aad Boonstra RC Rol Rol binnen KPMG − Segmentleider Onderwijs − Geeft leiding aan unit − Partner IT Advisory koorn.ronald@kpmg.nl Strategisch beleidsadvies Mobiel: 06 – 2292 8127 boonstra.aad@kpmg.nl Professionele ervaring − Senior manager Public Sector Mobiel: 06 – 21803665 − Actief bij diverse instellingen in WO, HBO en Business Performance Services BVE-veld, evenals bij IB-Groep, SURF, OC&W, Professionele ervaring CITO, e.d. − Brede adviesportefeuille gericht op − Inrichting of professionaliseren van ICT Shared beleidsanalyse en –evaluatie en financiële Service Centra bij aantal instellingen analyses − Onderzoeken van en adviseren over kwaliteit en − Adviseren over impactstudies, kosten- kosten van ICT-toepassing batenanalyses en businesscases − Ondersteunen bij ICT-integratie, selectie- − Adviseren over beleidsevaluatie en trajecten, ICT-uitbesteding, e.d. beleidsdoorlichting − Verbeteren IT Control/ Governance, en − Actief in onderwijs bij OCW en instellingen informatiebeveiliging als SURF en ministeries als VWS, V&W, − Adviseren over informatiebeleid en project/ VROM en BZK programmamanagement © 2008 KPMG Advisory N.V., a Dutch member firm of KPMG International, a Swiss cooperative. All rights reserved. KPMG and the KPMG logo are registered trademarks of KPMG International, a Swiss cooperative. 23

Effectmeting en het managen van ICT-innovatieprojecten in het hoger onderwijs - Ronald Koorn en Aad Boonstra

0 comments

Notes on slide 1

1 Favorite