Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Lito2018 workshop arviointi suurilla verkkokursseilla

39 views

Published on

Valtakunnallinen liikketoimintaosaamisen verkko-opintokokonaisuus 25-40op - Workshop 25.5.2018
Aalto yliopisto, Helsinki, 25.5.2017

Published in: Education
  • Be the first to comment

  • Be the first to like this

Lito2018 workshop arviointi suurilla verkkokursseilla

  1. 1. “Evaluation and different kinds of assignments on online courses” (arviointi suurilla verkkokursseilla) Valtakunnallinen liikketoimintaosaamisen verkko-opintokokonaisuus 25-40op - Workshop 25.5.2018 jari.laru@oulu.fi, @Larux myös RG/LinkedIN/FaceBook
  2. 2. BIT.LY/ LITO2018
  3. 3. http://tecfa.unige.ch/tecfa/talks/schneide/diplo06/geneva-diplo-06.pdf VANHA dia siitä mikä on oppimisympäristö. On napattu kohteesta: Daniel Schneider (2006). Instructional Design Models and Methods. Online learning in diplomacy workshop. Geneva.
  4. 4. Tentistä ja tehtävistä kohti monimutkaisempaa arviointia Kurssitehtävät (osana lopul Tentti Suunnitteluv aihe n+1 Kurssitehtävä n+1 (vertais)Palaute n+1 Tentti Suunnitteluvaihe koko kurssi ItsearvioItsearvio n+1 Vertaisarvio Konearvio n+1
  5. 5. !FA! !SRL!FA= Formatiivinen arviointi SRL = Itsesäätöinen oppiminen (self-regulated learning)
  6. 6. Järvelä, S. & Hadwin, A. (2013). New Frontiers: Regulating learning in CSCL. Educational Psychologist, 48(1), 25-39.
  7. 7. Formatiivinen vs. Summatiivinen Formatiivinen arviointi (keinumisen aikana) ● Arvioi oppimista ● Voi olla ajoittaista tai usein tapahtuvaa ● Todellisissa konteksteissa tapahtuvaa ● Palaute sisältää viestin kuinka kehittää toimintaa (Shute & Kim, 2014) Summatiivinen arviointi (keinumisen päätyttyä) ● Auttaa arvioimaan oppimista ● Varmistaa, että tavoitteet on saavutettu ● Yksittäinen arviointitapahtuma ● Palaute liittyy usein vain summatiiviseen arviointiin, jos siihenkään (Sadler, 1989)
  8. 8. Formatiivinen arviointi parhaimmillaan “Practise in a classroom is formative to the extent that evidence about student achievement is elicited, interpreted, and used by teachers, learners, or their peers to make decisions about the next steps in instruction that are likely to be better, or better founded, than the decisions they would have taken in the absence the evidence that was elicited” (Black & William, 2009, p.9 in Panadero, Andrade & Brookhart, 2018) Kun formatiivinen arviointi tehdään kunnolla, se auttaa oppilaita ymmärtämään: ● Mitä he yrittävät oppia? ● Kuinka he oppivat? ● Kuinka he pääsevät tavoitteeseensa? Nämä prosessit aktivoivat kognitiivisia ja motivationaalisia kykyjä, fokusoi oppilaat kohti oppimistavoitteita, antaa palautetta ja strategioita joita oppilaat voivat käyttää tavoitteidensa saavuttamisessa Panadero, E., Andrade, H., & Brookhart, S. (2018). Fusing self-regulated learning and formative assessment: a roadmap of where we are, how we got here, and where we are going. The Australian Educational Researcher, 45(1), 13-31.
  9. 9. What’s formative assesment? “Formative assessment is a process used by teachers and students during instruction that provides feedback to adjust ongoing teaching and learning to improve students’ achievements of intended instructional outcomes. The attributes below have been identified as critical features of effective formative assessment: ● Learning progressions Learning progressions should clearly articulate the subgoals of the ultimate learning goal ● Learning goals and criteria for success Learning goals and criteria for success should be clearly identified and communicated to students ● Evidence of learning Evidence of learning is elicited during instruction ● Descriptive feedback Students should be provided with evidence-based feedback that is linked to the intended instructional outcomes and criteria for success ● Self- and peer assessments Both self- and peer assessments are important for providing students an opportunity to think metacognitively about their learning ● Collaboration A classroom culture in which teachers and students are partners in learning should be established.” (p.15) Panadero, E., Andrade, H., & Brookhart, S. (2018). Fusing self-regulated learning and formative assessment: a roadmap of where we are, how we got here, and where we are going. The Australian Educational Researcher, 45(1), 13-31.
  10. 10. Välineitä arvioinnin tueksi
  11. 11. Arvosteluperusteet ● Arvosteluperusteet auttavat arvioimaan suorituksen laatua ja tavoitteden saavuttamista ● Perusteita voi käyttää formatiivisessa vertaisarvioinnissa itsearviointiin ennen työnsä lähettämistä vertaisarviointiin
  12. 12. Esimerkkivastaukset ● Esimerkkivastaukset kuvaavat nimensä mukaisesti sitä, millainen mallivastaus voisi olla. ● Esimerkkivastausten toteutustapa on vapaa ja ne voivat perustua aiempien opiskelijoiden töihin tai opettajan omaan osaamiseen ● Esimerkkivastaukset kannattaa kytkeä keskustelun yhteyteen / mahdollistaa niiden kommentointi ● Voi/pitää käyttää myös vertaisarvioinnin apuvälineenä
  13. 13. Äänipalaute Varsin usein palautteen antamiseen ei ole aikaa, eli se jää kehnoksi tai kurssin loppuvaiheeseen. On kuitenkin muistettava, että numeron tai kurssiarvosanan sisältämä palaute on varsin vaatimatonta. Formatiivisessa arvioinnissa palautteen tulee sisältää selkeät tavoitteet, laadullista informaatiota sen hetkisestä oppimisesta ja kuinka mennä tästä eteenpäin. SUURILLA kursseilla äänipalautetta suositellaan tekstipalautteen sijasta, koska se vie vähemmän aikaa.
  14. 14. 10.000<*Massive Open Online Course *Suomessa 2000-3000 on jo hurjan iso MOOC xMOOC (luennoitsijakeskeinen, konetarkastus); cMOOC (yhteisöllinen, vertaisarviointi); #etMOOC (ongelmakeskeinen); ccMOOC (projektikeskeinen); mOOC (pieni mooc); SPOC (suljettu pieni kurssi) ja DOCC (Distributed Open Collaborative Course) [useamman yliopiston yhdessä tuottama kurssi] https://fi.wikipedia.org/wiki/Massiivinen_avoin_verkkokurssi
  15. 15. MOOCit erottaa muista suurten käyttäjämäärien materiaaleista* sisäänrakennettu arviointijärjestelmä To successfully employ an assesment in the online setting we should be able to: ● Make the assesment scalable ● Verify identity of users ● Make it simple to use ● Manage learner time and workload ● Provide feedback *ItunesU, Youtube, MIT Open Courseware jne. Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T. (2017). Insights about large-scale online peer assessment from an analysis of an astronomy MOOC. Computers & Education, 113, 243-262.
  16. 16. Koneen automaattisesti tekemä arviointi TAPA 1. Yleinen xMOOC-tyyppisissä toteutuksissa Soveltuu: ● Kyselyjen, monivalintojen ym. tarkistamiseen ● Koodin arviointiin ● Laskutoimitusten tarkistamiseen Voidaan käyttää sellaisten tehtävien tarkistamiseen, jotka ovat hyvin rajattuja, määrällisiä ja ennakoitavia. Sopii myös formatiiviseen arviointiin perustuvaan palautteen antoon Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T. (2017). Insights about large-scale online peer assessment from an analysis of an astronomy MOOC. Computers & Education, 113, 243-262.
  17. 17. Vertaisarviointi MOOC kurssilla TAPA 2. Yleinen menettely cMOOC tyyppisissä toteutuksissa Tekstituotosten konearviointia on yritetty, mutta vielä toistaiseksi vertaisarviointi on todettu toimivammaksi tavaksi ● Kurssiosallistujat arvioivat toinen toistensa töitä Ei ole ongelmaton arviointitapa ● Reliabiliteetti: Miten käy kun useampi arvioija arvioi saman tuotoksen ● Validiteetti: Kuinka paljon vertaisarvioijan arvio eroaa asiantuntija-arvioitsijan arviostaFormanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T. (2017). Insights about large-scale online peer assessment from an analysis of an astronomy MOOC. Computers & Education, 113, 243-262.
  18. 18. 89% 11%89% prosenttia opiskelijoista, jotka tekivät vertaisarvioinnin (viikon sisään 500 väh sanan palaute neljälle muulle opiskelijalle) valmistui MOOC-kurssilta. 11% opiskelijoista, jotka tulivat oppimisalustalle, läpäisi kurssin. Eli ero on merkittävä Formanek, M., Wenger, M. C., Buxner, S. R., Impey, C. D., & Sonam, T. (2017). Insights about large-scale online peer assessment from an analysis of an astronomy MOOC. Computers & Education, 113, 243-262.
  19. 19. DOCC + FA Formatiivinen arviointi hajautetulla useamman toimijan verkkokurssilla. Esim. LITO - Basic business studies -kurssit. DOCC = Distributed Open Collaborative Course (esim. LITO-kurssit). Osallistujia >500
  20. 20. Suuret (DOCC) kurssikoot ovat haastavia ● Suunnittelu ● Hallinnointi ● Arvioinnin standardointi Muutamia haasteita: ● Hankaluudet löytää yhteistä face-to-face aikaa etäopetuksessa ● Usein käytetään paljon tuntiopettajia ja avustajia ryhmäkokojen/arviointien pitämiseksi kurissa ● Paikkakuntien väliset erot henkilöstössä ja arvioinnissa ● Haasteet henkilökohtaisen ja laadukkaan palautteen antamisessa ● Formatiivisen palautteen antaminen, samalla kun pitää huolehtia summatiivisesta arvioinnistaBroadbent, J., Panadero, E., & Boud, D. (2018). Implementing summative assessment with a formative flavour: a case study in a large class. Assessment & Evaluation in Higher Education, 43(2), 307-322.
  21. 21. OSALLISTUJAT ● 2100+ psykologian opiskelijaa Australiassa ● 4 kampusta mukana satojen kilometrien päässä toisistaan ● Lisäksi yksi täysin Online osallistuja (n. 300 opiskelijaa koko joukosta) TEHTÄVÄT: ● 10 kysymystä (10%) verkkoympäristössä ● 100 kysymyksen monivalintatentti lopussa (45%) ● Oppimispäiväkirjatehtävä (kuva) (45%) jonka yhteydessä myös koe DOCC esimerkki: Terveysmuutokseen tähtäävä oppimispäiväkirja isolla kurssilla Broadbent, J., Panadero, E., & Boud, D. (2018). Implementing summative assessment with a formative flavour: a case study in a large class. Assessment & Evaluation in Higher Education, 43(2), 307-322.
  22. 22. Esimerkki: palautteen laadun varmistus Palautteella on arvoa vain kun se on korkealaatuista ja yhtenäistä arvioijasta riippumatta. Oikealla näkyy kuinka kurssiavustajien / paikkakuntien välistä osaamista varmistettiin Broadbent, J., Panadero, E., & Boud, D. (2018). Implementing summative assessment with a formative flavour: a case study in a large class. Assessment & Evaluation in Higher Education, 43(2), 307-322.
  23. 23. 94%-99%..Most importantly, 75 and 66% of students in the case study across semesters 1 and 2 in 2016 strongly agreed that the feedback was helpful, compared to only 39% of students in the university average. Palautteeseen oltiin tyytyväisiä Broadbent, J., Panadero, E., & Boud, D. (2018). Implementing summative assessment with a formative flavour: a case study in a large class. Assessment & Evaluation in Higher Education, 43(2), 307-322.
  24. 24. Omia kurssitoteutuksia
  25. 25. Kotipesä?Oulun yliopistossa toteutettuja (arviointi)käytänteitä. Osallistujamäärät <300
  26. 26. Reflektointi ja vertaispalaute koulutusteknologian kurssilla
  27. 27. Laru, J., Malmberg, J., Jä rvenoja, H., Sarenius, V. M., & Jä rvelä , S. (2015). Designing simple tools for socially shared regulation: Experiences of using google docs and mobile srl tools in mathematics education. International Society of the Learning Sciences, Inc.[ISLS].. Suunnittelulomake Ja tietoisuustyökalu Matematiikan kurssilla
  28. 28. Problem solving task begins (A) A B C D 1. Choose: Cognitive/motivational/emotional state 2. Result: Synthesis of responses 3. Discuss: Reason for result? 4. Select: Main reason for result 5. Prompt: regulation hint Awareness phase (B-C) • 1. Each student chooses three values: cognitive/motivational/emotional • 2. Synthesis of responses is calculated and displayed Reflection phase (C-D) • 3. Group discussion – What is the reason for the result? • 4. Group chooses one explanation from pre-stocked options for the targeted regulation Regulation phase (D) • 5. Targeted regulation promts are displayed Previous activity Following activity Tietoisuustyökalu kurssikontekstissa
  29. 29. Järvelä, S., Kirschner, P. A., Hadwin, A., Järvenoja, H., Malmberg, J., Miller, M., & Laru, J. (2016). Socially shared regulation of learning in CSCL: Understanding and prompting individual-and group-level shared regulatory activities. International Journal of Computer-Supported Collaborative Learning, 11(3), 263-280.
  30. 30. AVAA TÄÄLTÄ: https://www.slidesha re.net/larux/paljonko- sulla-on-pisteit-koke muksia-pelillistetyst- opetuksesta
  31. 31. Totuus?Massakursseilla formatiivisen arvioinnin lisääminen edellyttää teknologian kehittymistä
  32. 32. Ei aikaa. Ei voimia.Formatiivinen arviointi on raskas taakka tehtäväksi. Summatiivinen arviointi on “välttämätön paha”
  33. 33. https://medium.com/hubert-ai/ai-in-education-automatic-essay-scoring-6eb38bb2e70
  34. 34. H5P mahdollistaa interaktiiviset sisällöt ja tehtävät + arvioinnin Qridi on mobiili itse/vertais/ope ym. arviointisovellus (K12?)
  35. 35. OneNote Class Notebook (+ Teams) arviointivärkkinä Google Classroom formatiivisen arvioinnin työkaluna
  36. 36. Nykyään sisältöjä integroidaan vielä “kankeasti” INTEGROINTI (“blockchain”) ● iFrame yms. upotukset mahdollistavat “sisäkkäiset palvelut” kohtalaisen helposti ● LTI-teknologia mahdollistaa oppimissovellusten keskinäisen integroinnin ja tätä tuetaan laajalti. Arviointidata siirtyy (jossain määrin) ● H5P ja SCORM (ja vastaavat) mahdollistavat interaktiivisten oppimateriaalien luomisen ja upottamisen. Arviointidata myös siirtyy (jossain määrin) ● Office Mix (ja vastaavat) mahdollistavat semi-interaktiiviset luentomateriaalit TEKOÄLY & ANALYTIIKKA ● Keveitä toteutuksia ja käyttäjien toiminnan (ei oppimisen) analyysiä
  37. 37. Tulevaisuudessa sisällöt, opiskelijat, suoritukset ym. integroituvat saumattomasti TEKOÄLY ● Tekoäly kuratoi videovirrat ja tekstiaineistot opiskelijoiden käyttöön ● Tekoäly rakentaa kurssiympäristöt jotka “toimivat parhaiten oppimisessa” ● Tekoäly arvioi yksinkertaisimmat arvioitavat kokonaisuudet LOHKOKETJU ● Lohkoketju kytkee palaset yhteen nykyistä tilannetta paremmin: eri toimijoiden oppimisympäristöt, suoritukset, arvioinnit, osaamisen osoitukset ● APIen jälkeinen aika? ● Universaali oppimisympäristö?
  38. 38. https://www.theverge.com/2 017/11/2/16597276/google-a i-image-attacks-adversarial-tu rtle-rifle-3d-printed
  39. 39. Frey, C. B., & Osborne, M. A. (2013). The future of employment: How susceptible are jobs to computerisation? Oxford, UK: Oxford Martin School. Available at http://acikistihbarat.com/Dosyalar/effect-of-computerisation-on-e mployment-report-acikistihbarat.pdf
  40. 40. Neelen & Kirchner (2017). A THREE STAGE PLAN TO PREPARE OUR YOUTH FOR JOBS THAT DON’T However, what is truly ‘21st  century’ is the enormous increase in information (and information resources) and the challenge around the question whether or not the information is reliable. Therefore, Kirschner argues, the only skills that are truly ‘21st  century’ are: •Information literacy: also known as information problem-solving skills including searching for, identifying, evaluating (the quality and reliability of information sources), and effectively using the information that has been obtained; and •Information management: the ability to capture, curate, and share information. Mitä taitoja pitäisi opettaa? Miten tulisi suhtautua tietoon kun “tekoäly” hakee sen “HETI”
  41. 41. Oppimisen analytiikka = menetelmällinen haaste
  42. 42. SLAM projekti - esimerkki oppimisanalytiikan tutkimuksesta, jota @LET_Oulu tekee http://www.slamproject.org/blog Esimerkkilähteitä: Sedrakyan, G., Järvelä, S., & Kirschner, P. (2016). Conceptual framework for feedback automation and personalization for designing learning analytics dashboards. Bannert, M., Molenar, I., Azevedo, R., Järvelä, S., & Gašević, D. (2017, March). Relevance of learning analytics to measure and support students' learning in adaptive educational technologies. In Proceedings of the Seventh International Learning Analytics & Knowledge Conference (pp. 568-569). ACM.

×