TCD 2014: Mintra Trainingportal - Evaluering (Ranja Tendal, Project Director)

1. 1
Spørreundersøkelser og evaluering av
opplæringstiltak
Kontakt: Ranja Tendal
Leder avdeling for kursutvikling
Mobil: +47 48 25 40 78
E-post: ranja.tendal@mintra.no

2. 2
Hva ønsker jeg å oppnå?
• At det blir gjennomført gode evalueringer.
Hva vil jeg dere skal ta med dere?
• Vite noe om hva som skal til for å gjennomføre en treffsikker evaluering.
• Vite hvordan Spørreundersøkelsesmodulen i Trainingportal kan brukes til
ulike typer evalueringer.
Hvem er dette mest relevant for?
• Alle som er involvert i å utvikle og planlegge opplæringstiltak eller
evaluere dem.

3. 3
• Hva er evaluering?
• Hvorfor gjennomfører vi evalueringer?
• Hvordan hente ut den informasjonen du ønsker av en evaluering?
• Når må du starte planleggingen av evalueringstiltak?
• Hvordan bruker du spørreundersøkelsesmodulen i Trainingportal?

4. 4
I vår sammenheng: en systematisk måling av et opplæringstiltak
Evaluering – sette verdi på en prestasjon, et resultat eller en effekt
(resultatevaluering)
Hva er evaluering?

5. 5
Hva er evaluering?
I vår sammenheng: en systematisk måling av et opplæringstiltak

6. 6
Hva er evaluering?
I vår sammenheng: en systematisk måling av et opplæringstiltak
• Systematisk:
₋ Planlagt (utvalg av personer som deltar, metode som brukes, hvordan vi følger opp
resultater)
₋ Etterprøvbart/mulig å gjenta

7. 7
Hva er evaluering?
I vår sammenheng: en systematisk måling av et opplæringstiltak
• Måling:
₋ Tester/eksamen
₋ Spørreundersøkelse
₋ Intervjuer
₋ Før, under og etter gjennomføring

8. 8
Hva er evaluering?
I vår sammenheng: en systematisk måling av et opplæringstiltak
• Opplæringstiltak…
₋ Hva er det egentlig vi ønsker å evaluere?

9. 9
Hvorfor gjennomfører vi evalueringer?
• Vi ønsker å vite at vi har oppnådd det vi ville.
• Har vi gjennomført et tiltak som vi vil fortsette å
bruke?
• Kan vi gjøre noen justeringer for å få et enda bedre
resultat?
?

10. 10
Coursez No of
participants
Score
(1-6)
COM: Weight control in projects 333 4,5
COM: Project progress monitoring and reporting 1230 4,7
COM: Project planning for Engineering 937 4,7
COM: Project planning and schedule development 1067 4,6
QRM: Audit and verification (A&V) database 307 4,8
QRM: The Way We Work (W3) – an introduction (A2) 6841 4,2
ENG: Aibel project execution method, proVision (A1) (eng + norw.) 4076 4,6
ENG: Handle design quality control 398 5,1
ENG: Introduction to EIS (E1) 2256 4,4
ENG: Project execution MMO; Method (A4) 722 4,5
ENG: Project execution MMO; Plan process (A4) 382 4,6
PRO: Introduction to procurement in Aibel 1541 4,6
PRO: Procurement preparations in projects 421 4,5
HSE: HSE – My responsibility! – Mod 1; All employees 3519 5,0
HSE: HSE – My responsibility! – Mod 2; Project personnel 1869 4,9
CON: Prepare work packages (prefab and assembly) 534 4,4
CON: AST Rotation for leaders (read access) 228 4,0
Satisfaction scores per 10.04.2014

11. 11
Hensikt/Læringsmål
Innhold
Metode
Ramme-
faktorer
Deltaker-
forutsetninger
Evaluering
Formål/intensjon
Didaktisk relasjonsmodell
Bjørndal og Lieberg, 1979

12. 12
Resultatevaluering
Likte de det?
Reaksjon
Nivå 1
Læring
Lærte de det?
Nivå 2
Anvendelse
Brukte de det senere?
Nivå 3
Nytte
Ga det ønsket effekt?
Nivå 4
Kilde: Kirkpatrick

13. 13
Reaksjon – likte de det?
• Måling på enkleste nivå
• Gir svar på om brukeren likte læremetoden, kursopplegget eller
instruktøren
• Måles ofte gjennom evalueringsskjemaer .............

14. 14
Læring – lærte de det?
• Måler om brukerne:
₋ endret holdninger
₋ forbedret kunnskaper
₋ økt sine ferdigheter
• Måles ofte gjennom post-tester (satt opp mot pre-tester)
• Testene må knyttes direkte opp mot læringsmålene. (Har du forsøkt å lage
testen før du lager kursopplegget? Spennende fremgangsmåte!)

15. 15
Anvendelse – brukte de det senere?
• Måler om brukerne tar med seg sin nye kompetanse inn i hverdagen
• Gir svar på om brukeren endrer atferd som et resultat av den nye
kunnskapen
• Måles gjennom observasjon og medarbeidersamtaler eller gjennom
gode spørreundersøkelser en stund etter gjennomført opplæring.

16. 16
Nytte – ga det ønsket effekt?
• Læring på organisasjonsnivå
• Nytten av tiltaket er det avgjørende for virksomheten som finansierer
opplæringen
• Ved evaluering av nytte
₋ Vent med å måle resultater til det er gått rimelig tid etter opplæringen
₋ Utfør målinger både før og etter opplæringen
₋ Vær fornøyd med indikasjoner dersom det er umulig å få sikre resultater
₋ Bruk en kontrollgruppe hvis mulig

17. 17
Eksempel

18. 18
Eksempel
«Vestteknikk skal ha de mest lærerike, holdningsskapende og engasjerende
kursene i markedet.»
Overordnet hensikt:
Unngå ulykker og skader ved arbeid i gassutsatte områder.
Målsetning med kurset:
• Brukeren skal få kunnskap om hvordan man kan best beskytte seg selv og
andre ved bruk av riktig utstyr.
• Brukeren skal få forståelse og kunnskap rundt faremomenter ved arbeid i
gassutsatte områder.
• Brukerne skal kjenne til muligheter og begrensninger ved
gassmålingsutstyr i relevante situasjoner.

19. 19
Eksempel – Nivå 1 evaluering
Likte de det?
«Vestteknikk skal ha de mest lærerike, holdningsskapende og
engasjerende kursene i markedet.»

20. 20
Eksempel – Nivå 2 evaluering
Lærte de det?

21. 21
Eksempel – Nivå 3 evaluering
Etter 3 måneder: Sender ut en spørreundersøkelse for å kartlegge
hvor mange av kursdeltakerne som har endret sin holdning til å bruke
gassmåleutstyr og verneutstyr etter at kurset er gjennomført.
Observasjon på arbeidsstedet bør også være en del av denne
vurderingen.
Brukte de det senere?

22. 22
Eksempel – Nivå 4 evaluering
Ga det ønsket effekt?
Har vi oppnådd hensikten:
Unngå ulykker og skader ved arbeid i gassutsatte områder.
Hvordan kan vi måle det?
• ulykkesstatistikker
• Sykefraværsrapporter
• +++
Må altså gjøres en før måling for sammenligning.

23. 23
Oppsummering
Nivå Fokus på Hva som måles Tidspunkt etter
opplæringen
Nivå 1 (reaksjon) Reaksjoner Grad av tilfredshet hos deltagerne Umiddelbart
Nivå 2 (læring) Læring I hvilken grad individuelle læringsmål er
oppnådd hos deltagerne
Umiddelbart
Nivå 3 (anvendelse) Anvendelse
(eller atferd)
I hvilken grad deltagerne har endret
atferd og anvender sine kunnskaper,
ferdigheter osv.
Etter ca. 2 – 3 måneder
Nivå 4 (nytte) Resultater
(eller nytte)
I hvilken grad det er oppnådd resultater
og nytte av opplæringen for
virksomheten
Innen rimelig tid (veldig
avhengig av ønsket
effekt)

24. 24
Spørreundersøkelser i Trainingportal

25. 25
Spørreundersøkelser i Trainingportal
• Tilgjengelig for de aller fleste som har egen portal, henvend deg til
dinkontakt i Mintra Trainingportal hvis funksjonaliteten ikke er aktivert.
• Lag spørreundersøkelser og send til brukere i din portal, eller knytt til kurs
• Sett krav til svar (må besvares/når besvares)
• Se svar og resultat pr. kurs eller for alle kurs undersøkelsen er knyttet til
• Besvarelsene kan være anonyme

26. 26
Spørreundersøkelser i Trainingportal

27. 27
Spørreundersøkelser i Trainingportal

28. 28
Spørreundersøkelser i Trainingportal

29. 29
Spørreundersøkelser i Trainingportal

30. 30
Spørreundersøkelser i Trainingportal

31. 31