1. Měření efektivity
kurzů práce
s informacemi
v rámci projektu
CEINVE
Mgr. Gabriela Šimková
Mgr. Jan Zikuška
21.3.2013, VUT v Brně

2. PROČ
• V našem případě součást projektových
aktivit, ale …
• Cílenější vzdělávání („na míru“) / kvalita
• Nedělat zbytečnou práci, zaměřit se na
podstatné
• Argument potřebnosti
• Dotazníky nestačí / profesionalita
21.3.2013, VUT v Brně

3. CO A JAK
• Znalosti – Dovednosti – Postoje
• Pretest a Posttest – stejné nebo odlišné
otázky?
• Efektivnější hledání, kvalitnější texty?
• Změna chování, třeba plagiátorství?
kombinace metod a postupů
21.3.2013, VUT v Brně

4. Měření jako kontinuum
21.3.2013, VUT v Brně

5. Kirkpatrickův model měření efektivity
vzdělávání
Prokáza
tú
hodnotu činek,
a
přínos
vzdělává
ní
21.3.2013, VUT v Brně

6. I. a II. úroveň měření
Do jak
é míry
získali
účastn
očekáv íci
ané
znalos
ti
dovedn a
osti?
Úroveň Charakteristika Příklady nástrojů a metod Doporučení
hodnocení
• Dotazník, který obdrží
účastníci na závěr školení. Mělo by být
Mapování osobní reakce • Slovní vyjádření účastníků na provedeno ihned
I. Reakce
(pocitů) na školení konci kurzu. po skončení
• Využití diskuzních fór pro aktivity
vyjádření okamžitých názorů
Úroveň Charakteristika Příklady nástrojů a metod Doporučení
hodnocení
Metody jsou
• Testy a hodnocení před a po jednoduché, ale
Měření znalostí před a po
II. Učení vzdělávací aktivitě náročné na
aktivitě
• Rozhovor, pozorování investice a
přípravu.
21.3.2013, VUT v Brně

7. III. a IV. úroveň měření
Jaké na
sta
studentů ly u
z
chování měny
po
vzděláv
acím
program
u?
Úroveň Charakteristika Příklady nástrojů a metod Doporučení
hodnocení
Zjišťování toho, do jaké míry Chování se
• Pozorování a rozhovory v
účastník kurzu aplikoval velmi špatně
III. Chování delším časovém období.
znalosti a jak změnil své kvantifikuje a
• 3600 zpětná vazba
chování. interpretuje.
Úroveň Charakteristika Příklady nástrojů a metod Doporučení
hodnocení
Zjišťování vlivu změn • Pravidelná hodnocení
IV. Výsledky
chování výkonu zaměstnance
21.3.2013, VUT v Brně

8. Měření znalostí
PRETEST POSTTEST
o32 položek o30 položek
o1637 responzí o1184 responzí
o90,84% návratnost o65,70% návratnost
o72,21 % žen, o73,03 % žen,
27,79 % mužů 26,97 % mužů
o5 – 10 min. o5 – 10 min.
21.3.2013, VUT v Brně

9. Typy otázek
PRETEST POSTTEST
o22 znalostních otázek o22 znalostních otázek
(uzavřené) (uzavřené)
o6 postojových otázek o4 sebehodnotící otázky
(polootevřené) (uzavřené)
o4 sociodemografické o4 sociodemografické
otázky otázky
21.3.2013, VUT v Brně

10. Procentuální úspěšnost KPI1
(pretest, posttest)
21.3.2013, VUT v Brně

11. PRETEST
21.3.2013, VUT v Brně

12. PRETEST
21.3.2013, VUT v Brně

13. POSTTEST
21.3.2013, VUT v Brně

14. POSTTEST
1 Definování problému
2 Vyhledávání informací
3 Organizace poznatků
4 Hodnocení zdrojů
5 Interpretace textů
6 Tvorba dokumentů
Verbální a neverbální
7
projev
8 Publikování
21.3.2013, VUT v Brně

15. Změna chování –
aplikace FOCUS GROUP
• skupinové rozhovory (5 - 12 lidí)
• Skupinová dynamika
• širší téma úzké zaměření
√ Testování novinek
√ Identifikace problémů
√ Studium komplexních témat
√ Analýza motivací studentů
• Projektivní metody –
senzorický test, shelf test
21.3.2013, VUT v Brně

16. Jak na to?
Výběr moderátora:
1.Profesionál z výzkumné agentury
2.Moderujeme sami, odborník při
vyhodnocení
3.Vše ve vlastní režii
21.3.2013, VUT v Brně

17. Měření jako kontinuum
21.3.2013, VUT v Brně

18. Děkujeme za pozornost
Gabriela Šimková
gsimkova@phil.muni.cz
Honza Zikuška
zikuska@phil.muni.cz
21.3.2013, VUT v Brně