Dinsdag 11 november 2014 Sessieronde 1 Titel: Onderzoek een Mooc: ervaringen en uitkomsten van 5 DelftX MOOC's Spreker: Thieme Hennis (TU Delft) Zaal: Diamond ll

1. Een MOOC als onderzoeksinstrument
ervaringen na 1 jaar
Thieme Hennis
http://hennis.nl
thieme@hennis.nl

2. Eerst een (klein) beetje context..

3. Wie staat er voor u?
• Thieme Hennis. PhD student @ TUD, sectie Systeemkunde /
Participatory Systems
• Verantwoordelijk voor de evaluatie DelftX
• Member research group Open & Online Education (O2E)
• Colleagues:
• Pieter de Vries
• Sasha Skrypnyk (Univ. of Southern Australia)

4. DelftX = TUD + edX

5. Next Generation
Infrastructures 2
Drinking Water
Treatment
Functional
Programming
Delft Design
Approach
Technology for
Bioproducts
Solving Complex
Problems
Responsible
Innovation
Treatment of
Urban Sewage
Introduction to
Water & Climate
Introduction to
Solar Energy
Aeronautical
Engineering
Credit Risk
Management

6. Nieuwe MOOCs (2015)
Take your Data Analysis to the MAX with Excel
Framing.
Communicating your message in the world of politics
Topology for Condensed Matter:
Untying Quantum Knots
Transport Phenomena: mass, heat and momentum
Economics of Information Security

7. “Geregistreerde” studenten voor de
MOOCs
Total > 250.000
Nov’14

8. Ook nog…
• ProfEd → professional education
• Economics of Cybersecurity
• edX Highschool initiative
• Pre-University Calculus
• Blended and online education
• Aeronautical Engineering, Architecture, Technology Policy and
Management, Industrial Design, EWI, Library, …
Pre-University Calculus Economics of Cybersecurity

9. Waarom Open & Online
onderwijs?
• MIT doet het ook..
• Betere wereld
• Nieuwe ‘productie’- en
verdienmodellen
• Internationaal publiek
• Grotere vraag / opschalen
• Onderwijsverbetering
online <> campus
capacity building
research

10. Online <> campus

11. MOOCs on-campus?
• Solar Energy
Flipped: MOOC materiaal als voorbereiding van ‘teaching
sessions’ (geen lectures!) en lab experiments
• Water Treatment
Blended: MOOC materiaal vervangt deel lectures
• Solving Complex Problems
Reverse ontwikkeling: 1. On-campus, 2. Blended, 3. MOOC
• Fundamentals of water treatment
MOOC als ‘gateway’ to online course (alleen voor beste
studenten op edX)

12. on-campus MOOCs?
• Water & Climate
Blended (via Bb): on-campus + MOOC materiaal (via Bb)
• Functional Programming
Blended (via edX)
• Aeronautical Engineering
MOOC materiaal is optioneel / extra voor campus cursus
• Credit Risk Management
Blended

13. Evaluatie + Research
1. Evaluatie
• Betere beslissingen alle
DelftX stakeholders
2. Research
• Theorie-ontwikkeling
• Onderzoeksnetwerken +
capaciteit om vragen te
beantwoorden
• Wetenschappelijke bijdrage
aan edX en lokaal
• Onderwijsinnovatie

14. Level Topics of interest and stakeholders
Strategic University role into the future, open en online education,
business models, ROI
Deans, DelftX, MT
Organizational Efficient workflows and procedures, support structure,
documentation
Course teams, course teachers/owners, NMC, DelftX,
marketing
Course Course design, pedagogical approach, use of media, methods
and tools, student support, interventions and experiments,
interaction
Course teachers/owners
Technology/edX Design of tools for learning, teaching, and data
analysis/visualization
edX consortium, NMC
Students Learner demographics, background, performance,
engagement, etc.
Students

15. Management:
wat is de ROI?
• Wat is de juiste MIX
• Wat krijg je er voor terug?
• Nieuwe studenten
• Branding
• Onderwijskwaliteit
• Onderwijsaanbod
• HR

16. Support / design teams: hoe
ondersteun je docenten?
• Lessons learned
• Guidelines
• Schaalbaar maar zelfde
kwaliteit
• Nieuwe tools
• Betere workflow
• Docent-tevredenheid

17. Teacher/department: MOOC als
marketing-instrument?
• Nieuwe studenten
• Cherry picking
• Selectie aan de “MOOC” poort
• Promotie online cursus
• Boek promotie

18. Teacher: interesse in MOOC-gerelateerde
onderwerpen
• Solar Energy:
• Wat voor soorten solar plants
wereldwijd (>100 videos)
• NGI:
• Belangrijkste redenen voor
infrastructuur failures per land
(>150 essays + survey)
• Pre-university calculus:
• Wereldwijde niveau-verschillen
middelbaar onderwijs?

19. Teacher: Inzicht in studentenpopulatie
en ervaringen
• Wie zijn de studenten?
• Wat is hun niveau?
• Verwachtingen
• Ervaringen
• Wel of geen auto-cue?
• Moeilijkheidsgraad cursus
• Snelheid
• Kwaliteit
• Structuur
• Interactie
• Etc.

20. Studenten: hoe leer ik het best? Hoe
verbeter ik mezelf?
• Wel analyse, nog beperkte
feedback & begeleiding
• Moet schaalbaar zijn (edX)
• Learning analytics
• Personalisatie,
recommendations
• Badges
• Etc.

21. 2a. Van exploratief naar specifiek

22. Gender gap
• Lijkt groter te worden gedurende
cursus
• Vrouwelijke studenten vallen uit
• Relevante theory: stereotype
threat?
→ ism Universiteit van München
(Gender & Diversity in
Engineering Education group)

23. Dropout rate
• Grootste gedeelte vóórdat de cursus begint (non-starters ~ 80%!)
• Daarna: cijfer HWA.01!!
• Cijfer groep dat niet doorgaat naar HWA.02: 3.58
• Cijfer groep dat wel doorgaat: 8.89
• Meer dan 80% van studenten die tenminste 20% van de graded assignments
goed doen, slaagt.
• Hiervan gedeelte ‘explorers’
• “Geen tijd” belangrijkste factor
→ O2E-onderzoek:
Learning analytics, prediction, performance metrics

24. Achtergrond studenten
• Veel professionals → behoefte
vanuit de markt
• Belangrijke voorspeller
• Relevante achtergrond ~ cijfer
• Opleidingsniveau ~ cijfer
• Interessant voor docenten:
• Is mijn cursus op aanbevolen
niveau?
• Wie doen er mee met mijn cursus?
• etc

25. Forum (1): performance en structuur
• Correlatie forum activiteit en cijfer
• Forum activiteit → cijfer?
• Goede/actieve student → meer
forum activiteit + beter cijfer?
• Facebook groups vs forum
• Socialer
• Meer ondersteuning
• Niet anoniem: meer community
→ betere prestaties!
• edX forum
• paar ‘superposters’ – weinig
‘communities’
Skrypnyk, O., Hennis, T. A., & Vries, P. de. (2014). Understanding social learning behaviours of
xMOOC completers Conference Topic : Technology in Learning. In SEFI 42th Annual Conference.
Birmingham, UK.

26. Forum (2): linguistiek & social
capital + Community of Inquiry
• Community of Inquiry onderzoek
• Effecten van sociale en teacher
presence op activiteit op forum
en sociale netwerken
• Linguistic analysis
• Geautomatiseerde textanalyse
om conversatievormen te
onderscheiden + invloed op
ontwikkeling sociaal kapitaal
→ ism Memphis Univ &
Univ of Southern Australia

27. Forum (3): cultural group
• Voorkeur cultureel bepaald?
• EUR / Anglo > alleen
• Asia / African /Latin > samen
→ voorkeur niet zichtbaar op
edX forum!
(vooral EUR/Anglo)

28. 6-jes cultuur?
• Verdeling cijfers
• Oudere studenten > gelijkmatig
• Jongere studenten > piek rond
de 6 en hoger
• Relevante theorie (Dweck)?
• performance orientation (i.e.
certificaat halen) vs learning
orientation (i.e. zoveel mogelijk
leren)

29. Andere onderwerpen: privacy
• Toepassing ‘spheres of justice’
op data-sharing en gebruik
• Trend-analyse
• Prof Jeroen vd Hoven:
“impressive”
• Vervolgonderzoek met MOOC
studenten geïnteresseerd in
vervolgonderzoek
→ MSc student Leon Hassing

30. 2b. Experimenteel onderzoek

31. SA experiment (1): intro
Self-Affirmation Theory (Steele, 1988):
• Mensen proberen ‘integer’ te zijn: een positief zelfbeeld te hebben
en dat te behouden
• Onderwijs kan bedreigend zijn voor je zelfbeeld:
• Een moeilijke cursus of een slecht cijfer
• In zulke omstandigheden, zijn mensen die hun zelfbeeld willen
behouden, zijn dan geneigd afstand te nemen
• Bv. “Ik heb toch geen wiskunde-knobbel” of “Ik vind deze cursus toch
niks”

32. SA experiment (2): partners
Omid Fotuhi
Post-doctoral Fellow
Department of Psychology and Graduate School of Education
Stanford University
Phillip Ehret
Graduate Student
Psychological & Brain Sciences
University of California, Santa Barbara

33. SA experiment (3): research setup
student begint
cursus
NA
SA
CA
Interventie:
3 verschillende
condities
(reflectievragen)
Pre-survey
Pre-survey
invullen
Course
Post-survey
Performance:
grades,
engagement,
forum participatie,
etc.
ervaringen.
(6 MOOCs)

34. SA experiment (4): interventie
• Studenten doen een korte reflectie opdracht over ‘een
waarde’ die belangrijk is in hun leven (politiek, sport,
vriendschap, etc.)
Theorie:
● Maakt studenten meer weerbaar in ‘bedreigende’ situaties
● Minder stress (Creswell et al., 2005; Sherman et al., 2009)
● Betere performance op school (e.g., Cohen et al., 2006,
2009; Miyake et al., 2011; Harackiewicz et al. in press;
Sherman et al., 2013)

35. student begint
cursus
NA
SA
CA
Interventie:
3 verschillende
condities
(reflectievragen)
Pre-survey
Pre-survey
invullen
Course
Post-survey
Performance:
grades,
engagement,
forum participatie,
etc.
ervaringen.
effect op zelf-vertrouwen
geen effect: waarom?
N = 3,060;
F(1635) = 6.721; p < .001

36. Publicaties
• Course reports eerste 5 MOOCs
• Course: pedagogische benadering, structuur, onderwerpen
• Student: demografie, attitudes, achtergrond
• Performance: grades, forum deelname, uitval
• Student feedback
• Comparative Analysis working paper (in progress)
• Wetenschappelijke papers
• Understanding Social Learning Behaviors (Skrypnyk, De Vries, Hennis,
2014)
• .. and more to come

37. Hoe dan?

38. 1. Huidige evaluatie procedure
Self-assessment
teachers &
developers
Voorbereiden
surveys
(pre/post)
Data
verzamelen
(edX,
surveys)
Self-assessment
II
teachers &
developers
Analyseren
data &
rapportage

39. Evaluation procedure (future?) →
realtime data, learning
analytics dashboard
Interview I teachers &
developers
Preparing surveys
(pre/post)
Collecting/requesting
data (edX, surveys)
Interview II teachers
& developers
Analyzing data &
Report outcomes

40. 2. Open research

41. Nodig:
1. Samenwerkingstructuur
2. Onderzoeksinstrumenten (inhoudelijk +
technisch)
3. Analyse capaciteiten en code om edX data
op te schonen
4. Backing/input van docenten
5. Backing/input van organisatie

42. Open research toolbox (voor
interne en externe partners)
1. Documentatie voor partners
• Overzicht: alle data, instrumenten, MOOCs
• Additionele services (bv. Data science, teacher interviews, etc.)
• Overeenkomst mbt datagebruik en publicatie
• Ethical clearance documents
2. Instrumentatie & infrastructuur
• Samenwerkingstools
• Research tools
• Code
3. Invullen door partner:
• Samenvatting onderzoek, uitkomsten, praktische en wetenschappelijke
relevantie
• Gedetailleerde beschrijving methodologie + planning

43. Nog veel te doen
• Institutionele inbedding
• Gebruik door docenten
• Staff development
• Capaciteit vergroten
• Data analyse
• Tool development / dashboards
• Verbeteren toolbox
• Meer code
• Betere instrumenten
• Stroomlijnen samenwerking
• Stroomlijnen onderzoek
• Standaardiseren rapportage

44. Questions

46. Why monitoring/evaluation and/or
research?

47. Why monitoring & evaluation?
• Purpose: aimed at helping stakeholders make better
(design) decisions
• DelftX: strategy, organizational workflow, ROI + financial
decisions
• Teachers: student satisfaction, demographics, facilitation
strategies etc.
• NMC: content production and media
• Evaluation team: evaluation instruments

48. Why research?
Potential to do research
• Lots of data + instruments (including controlled experiments)
• Lots of participants (MOOC as a research instrument to study
any topic)
Need to do research to answer practical questions and
improve practice and our understanding of online learning
• Why do students (dis)engage?
• What is the effect of pedagogical format X on learning?
• What is/should be the role of collaboration in online courses?
• Etc.
Make a research impact

49. Open research projects
Last year
• Self Affirmation Experiment (Stanford)
• Pedagogical format (Univ. South Australia)
• Concerns over privacy (TUD)
Upcoming
• Gender and diversity in online courses (Munich)
• Student personality profiles (Tokyo)
O2E Research
• Learning analytics, Scaled assessment, Gamification

50. • Instrument ontwerp
• Surveys: pre & post
• Interviews
• Experimental design
• Collaboration platform
• Google Drive
• Surfdrive
• Email
• Data: clean & combine
• Combine data
• edX data (profile, log data,
performance, forum, etc.)
• R / SPSS
• Analyse
• R / SPSS
• Publiceren
• Rapportage, wetenschappelijke
publicaties
• Presentaties
• Datasets
• Research toolbox en raamwerk
• Inbedding
• Guidelines
• How to make a MOOC
• Stafondersteuning en ontwikkeling

51. CourseX Ontwerp & Productie Cursus Evaluatie
Management en
support
Describe the strategy and
organizational framework
for O2E:
- MOOC tender criteria /
choice for courses
- Success metrics
- Longterm goals
Describe the MOOC
production process, all
interactions between different
divisions (media,
communication, marketing,
research) and course teams
Evaluate the organizational
design: effective? Efficient?
Benchmarking
(internal/external)
Staff development
Course teams Describe the course:
- Course
design/pedagogy
- Course objectives /
success metrics
Facilitation
Interaction with content
Interventions
Are goals met?
Was everything executed as
intended?
Studenten Describe the student:
- Student demographics,
attitudes, goals, etc.
Collecting data on
student/learning behavior,
engagement, interaction,
communication, etc.
Preparing datasets
Doing analyses:
Performance metrics, grade,
behavior
Quality
Learning and retention
Dropout
(Social) interaction patterns

52. List of data and instruments
Data sources Research & evaluation
edX subscription data Number of participants, dropouts,
location, age, gender, schooling
edX student data, learning analytics Progress, tests results, quizzes, exams,
etc.
Forum participation
Video clicks, navigation
External data, other media (i.e.
Facebook groups, discussions)
Social networks, content and discourse
analysis
Surveys (pre, mid, post) Information about demographics,
intention, expectations, satisfaction,
media use, etc.
Interventions embedded in surveys
Interviews / self-assessment: teachers,
NMC, DelftX
Experiences with workflow and
organization
Questions and expectations for evaluation