• Save
5. tekninen ja pedagoginen arviointi  jakso handout 2013
Upcoming SlideShare
Loading in...5
×
 

5. tekninen ja pedagoginen arviointi jakso handout 2013

on

  • 497 views

 

Statistics

Views

Total Views
497
Views on SlideShare
478
Embed Views
19

Actions

Likes
0
Downloads
0
Comments
0

1 Embed 19

http://learni.st 19

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

5. tekninen ja pedagoginen arviointi  jakso handout 2013 5. tekninen ja pedagoginen arviointi jakso handout 2013 Presentation Transcript

  • Learning in Networks 35. Tekninen ja pedagoginen arviointiVideoluento: Osa 1Anu YlitaloTritonia EduLab 2013© Copyright 2013 Anu Ylitalo TritonianEduLab
  • Tämän päivän aiheena• Kurssin tekninen ja pedagoginen arviointi jajatkokehittely• Välineitä kurssin arvioimiseen© Copyright 2013 Anu Ylitalo TritonianEduLab
  • Tekninen ja pedagoginen arviointi• Tarkoittaa opiskelijoiden osaamisen ja kurssinteknistä ja pedagogista arviointia• Arviointia voi käsitellä kahdesta näkökulmasta:1. Opiskelijoiden osaamisen arviointi1. Yleistä arvioinnista ja opetuksen laatu2. Arviointimenetelmät ja arvioinnin toteuttaminen3. Arviointimatriisi2. Kurssin arviointi ja kehittäminen1. Teknisen käytettävyyden arviointi2. Pedagogisen käytettävyyden arviointi3. Kurssin jatkokehittäminen© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 1. Videoluennon osassa …Opiskelijoiden osaamisen arviointi1. Yleistä arvioinnista2. Arvioinnin tarkoitus3. Arviointi linjakkaan opetuksen mukaan4. Laadukas opetus ja oppiminen5. Verkko-opetukseen liittyvä arviointi6. Arviointitapoja7. Erilaisia arviointimenetelmiä8. Arviointimatriisi9. Pohdittavaksi arvioinnista© Copyright 2013 Anu Ylitalo Tritonian EduLab
  • 1. Yleistä arvioinnista• Arviointi on opiskelijoiden suorituksen arviointia ja palautetta heidänoppimisprosessistaan, vahvuuksistaan ja kehittymistarpeistaan• Yleensä opintojakson aikana tai sen jälkeen opettaja arvioi, mitenopiskelijat ovat saavuttaneet opintojaksolle asetetut osaamistavoitteet• Arvosanan antaminen opiskelijoille opintojakson arviointikriteerienpohjalta(Lindblom-Ylänne & Nevgi, 2009).• Prosessi, jossa tehdään koulutuksellisia päätöksiä opiskelijoista, annetaanheille palautetta oppimisprosessistaan, vahvuuksistaan jakehittämisalueistaan (Kellaghan & Greaney, 2001).• Asiantuntijaksi kasvaminen• Voi perustua perinteiselle tentille tai sen eri muunnelmille(esim. jatkuva arviointi, oppimistehtävät jne.) (Alaoutinen, S. & al., 2009).© Copyright 2013 Anu Ylitalo TritonianEduLab
  • Opiskelijoiden osaamisen arviointi 1(Lindblom-Ylänne & Nevgi, 2009)• Opintojakson päätteeksi ja/tai sen aikana arvioidaan,missä määrin opiskelijat ovat saavuttaneet opintojaksolle asetetutosaamistavoitteet• Arviointimuodot vaikuttavat siihen, miten opiskelija toimii kurssillaja kehittää omaa osaamistaan.• Osaamisen arviointi suhteutetaan kurssin osaamistavoitteisiin jaopetuksen toteutukseen– Arviointia voi lähteä suunnittelemaan kurssin osaamistavoitteista– Olennaista on, että osaamisen arviointitapa on linjassaosaamistavoitteiden ja käytettyjen opetusmenetelmien kanssa.– Osaamistavoitteiden ja niiden arvioinnin mahd. selkeä ilmaisuopiskelijoille kurssin alussa, esim. kirjallisena Moodlessa• Kurssilla oppimista on mahdollista tukea ja arvioida koko kurssinajan jatkuvalla palautteenannolla• Palautteenantamisen ja arvioinnin tavoitteena on arvioidaopiskelijoiden osaamista ja myös tukea opiskelijoiden kehittymistäoman alansa asiantuntijoiksi• Opiskelijoita kannustetaan jatkuvaan oman oppimisen arviointiin© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 1.2 Arvioinnin tarkoitus(Trotter, 2006)• Arvioinnilla on useita tarkoituksia:1. Tarjota palautetta opiskelijoille2. Motivoida3. Tukea oppimisprosessia( johtaa parempaan osaamiseen)• Arvioinnin tarkoitus– Palautteenantamisen ja arvioinnin tavoitteena on arvioidaopiskelijoiden osaamista ja myös tukea opiskelijoidenkehittymistä oman alansa asiantuntijoiksi• Arviointi on– Tärkein opiskelijoiden oppimiseen vaikuttava tekijä• Arviointi vaikuttaa siihen, miten opiskelija toimii kurssilla ja kehittää omaa osaamistaan– Laadun arvioinnin väline© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 1.3 Arviointi linjakkaan opetuksen mukaan(Lindblom & al. 2010)• Linjakkaan opetuksen mukaan arvioinnin ja palautteentulee olla linjassa kurssin tavoitteiden ja opetuksen kanssa• Arvioinnin tulee tukea toimintoja, joiden ajatellaanedesauttavan osaamistavoitteiden saavuttamista.• Arviointia kannattaa ajatella opiskelijoiden suorituksenarvottamisen lisäksi tilaisuutena auttaa opiskelijoitatunnistamaan omat vahvuutensa ja kehittämistarpeensasekä kehittymään edelleen• Osaamisen arviointi suhteutetaan kurssinosaamistavoitteisiin ja opetuksen toteutukseen– Arviointia voi lähteä suunnittelemaan kurssinosaamistavoitteista– Osaamistavoitteiden ja niiden arvioinnin mahd. selkeä ilmaisuopiskelijoille kurssin alussa ja/tai esim. kirjallisena Moodlessa© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 1.4 Laadukas opetus ja oppiminen(Lindblom & al. 2010)• Laadukkaassa opetuksessa suunnittelu, toteutus ja arviointiseuraavat linjakkaan opetuksen periaatteita• Laadukas opetus edistää opiskelijan kasvua oman alansaasiantuntijaksi ja asiantuntijaksi kasvamisen prosessia.• Laadukas oppiminen on prosessi, jossa opiskelija kasvaa omanalansa asiantuntijaksi.• Laadukas yliopisto-oppiminen tarkoittaa opiskeltavan alan sisältöjensyvällistä ymmärtämistä sekä akateemisen lukutaidon ja tieteellisenajattelun taitojen kehittämistä.• Asiantuntijaksi kehittyminen tarkoittaa myös opittujen tietojen jataitojen soveltamista uusien ongelmien tunnistamiseen jaratkaisuun.(Helsingin yliopiston Yliopistopedagogiikan tutkimus- ja kehittämisyksikön määritelmätlaadukkaasta opetuksesta ja oppimisesta.)© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 1.5 Verkko-opetukseen liittyvä arviointi(Myringer & Wigforss 2003)• Verkko-opetukseen liittyvän arvioinnin parissa kannattaaottaa huomioon seuraavia seikkoja:– Selkeät tavoitteet: Kurssille ja kurssin osille selkeästi muotoiltu ja esitettytavoite– Arvioidaan opiskeltujen asioiden osaamista: Arviointi rakennetaanniiden tietojen ja valmiuksien varaan, joita opiskelijat kurssilta saavat– Monenlaiset arviointimenetelmät: Monenlaiset arviointimenetelmätmahdollistavat erilaisten oppijoiden mahdollisimman mielekkään oppimisen jaluovat kurssin työskentelyyn vaihtelua– Arvioinnista tiedottaminen: Arvioinnista on hyvä tiedottaa ja opastaatietyn menetelmän käyttöön, jotta oppiminen on mahdollista– Osaamisen ja soveltamisen tukeminen arvioinnilla: Opiskelijoille onhyvä antaa palautetta, joka johdattaa opiskelijoita soveltamaan oppimiaantietoja ja taitoja käytännön tilanteissa.– Tulosten arvioinnissa on hyvä arvioida faktatiedon lisäksi myösopiskelijan kykyä soveltaa ja problematisoida oppimaansa.© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 1.6 Arviointitapoja(Alaoutinen & al., 2009; Hyppönen & al., 2009)• Arviointi voi perustua:– Opettaja arvioi, itsearviointi ja vertaisarviointi– Määrällinen ja laadullinen arviointi– Lopputentti tai jatkuva arviointi• Erilaiset arviointimenetelmät– (esim. perinteinen tentti, jatkuva arviointi, oppimistehtävät, harjoitustyöt jne.)• Kurssilla oppimista on mahdollista tukea ja arvioida koko kurssin ajanjatkuvalla palautteenannolla– Esim. opettajan palaute tai vertaispalaute– Opiskelijoiden kehittymistä alansa asiantuntijaksi edistää arvosanan lisäksisanallinen palaute suorituksista• Opiskelijoita kannustetaan jatkuvaan oman oppimisen arviointiin– Tavoitteena on totutella opiskelijoita arvioimaan omaa oppimistaan ja siihenliittyvää toimintaa  asiantuntijaksi kehittyminen© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 1.7 Erilaisia arviointimenetelmiä...(Alaoutinen & al., 2009)• kirjallinen tentti• suullinen tentti• ryhmätentti• aineistotentti• alkutentti• jatkuva arviointi• harjoitustyöt• seminaarityöt• laboratoriotöiden jasuunnittelutehtävienkirjalliset raportit• esseet / kirjallisettuotokset• kotitehtävät• esitelmä tai seminaariesitys• oppimispäiväkirja• projektityö yksin tairyhmässä• portfolio• Käytännössä opiskelijoidenosaamista voi arvioida esim.arviointimatriisin avulla© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 1.8 Arviointimatriisi(Esim. Biggs, 2009)ArvosanaOsaamistavoite1-2(Välttävä)2-3(Tyydyttävä)3-4(Hyvä)4-5(Erinomainen)1. Osaamis-tavoite- Kriteeri- Kriteeri- Jne..2. Osaamis-tavoite3. Osaamis-tavoite© Copyright 2013 Anu Ylitalo TritonianEduLab
  • Arviointimatriisi osaamisen arvioinnin tukena(Alaoutinen, 2009)Esimerkki arviointimatriisista, jota voi muokata kunkin opintojakson mukaan.Arviointimatriisin tarkoituksena on esim. arvioinnin tasapuolistaminen.Riittämätön taso Riittävä taso Hyvä tasoTyön ulkoasu/ yleistäTyö on liian lyhyt,ei noudata ohjetta rakenteentai muodon osalta, paljonkirjoitus-/ kielioppivirheitäTyö on ohjeen mukainen, eipuutteellisia tai kadonneitaosia, työ on jaettu useampaanosaanTyö on jäsennetty loogisesti,työssä on Johtopäätökset-kappale, teksti on täsmällistä,kuva-, liite- jataulukkoviittauksetAsiasisältö Työ ei vastaa otsikkoa,käytetty vain kurssikirjaa,suoraa kopiointiaAsiasisältö on järkevästi rajattu.työssä on yhdistelty kahtalähdettä, viittaukset kunnossa,lainaukset ovat kohtuullisenpituisiaTietoa on yhdistelty eri lähteistä,lainaukset ovat lyhyitäLähteet Ei lähteitä, ei viittauksia,plagiointiaMuutama lähde, joissaviittaukset.Työssä on käytetty paljonlähteitä: kirjoja ja artikkeleitaEsitys Luetaan suoraan paperista,kalvot ovat sekavatPaperi toimii vain tukenaesityksessä, esitys onymmärrettävä, kalvot ovatselkeät ja harkitutEsitys on jäsennelty,havainnollinen ja looginenOpponointi Ympäripyöreää,pikkuvirheiden hakuaValmisteltu etukäteen, kaikkiopponoinnin osa-alueetkäsiteltyKehitysehdotuksia, omianäkökulmia© Copyright 2013 Anu Ylitalo TritonianEduLab
  • PohdintatehtäväPohdi alustavasti ja voit kirjoittaa myös muistiin:Kurssihankkeesi:1. Miten opiskelijoiden osaamista arvioidaanopintojaksolla?2. Miten arviointi on linjassa osaamistavoitteiden kanssa?3. Millaisiin oppimisprosesseihin arviointi ohjaa?4. Hyödynnetäänkö opintojaksolla välipalautetta,vertaispalautetta tai oman oppimisen arviointia?© Copyright 2013 Anu Ylitalo Tritonian EduLab
  • Learning in Networks 35. Tekninen ja pedagoginen arviointiVideoluento: Osa 2Anu YlitaloTritonia EduLab 2013© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 2. Videoluennon osassa …Oman verkkokurssin arviointi ja kehittäminen1. Kurssin arviointi -yleistä2. Teknisen käytettävyyden arviointi3. Pedagogisen käytettävyyden arviointi4. Kurssipalautteen keräämismahdollisuuksia5. Kurssin arviointikysymyksiä© Copyright 2013 Anu Ylitalo Tritonian EduLab
  • 2.0 Kurssin arviointi -yleistä(LIN3-materiaali, 2010)TVT-opetussovellusten (esim. oppimisympäristöt)arvioinnissa on kaksi arviointinäkökulmaa:1. Kurssin tekninen käytettävyys2. Kurssin pedagoginen käytettävyysArvioinnilla pyritään hankkimaan sovelluksista tietoja, joitahyödynnetään verkko-opetuksen kehittämisessä• Arvioinnin ja jatkokehittelyn tarkoituksena on kehittää entistätoimivampia verkkokursseja• Verkkokurssisi arviointi muodostaa kivijalan seuraavan, edellistäparemman kurssin suunnittelulle!© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 2.1 Teknisen käytettävyyden arviointi 1(LIN3-materiaali, 2010)• Käytettävyys tarkoittaa sovelluksen käytön sujuvuutta sentavanomaisessa käyttötilanteessa• Käytettävyyttä tutkitaan esimerkiksi tuotteenominaisuutena, suunnittelun apuvälineenä sekä tuotteenkäyttöön liittyvänä ominaisuutena.• Käytettävyys on sovellukseen tai sen käyttöön liittyväominaisuus• Opetuskäyttöön tarkoitettu sovellus on siis käytettäväsilloin, kun se tukee oppimista tai oppimisentukiprosesseja.© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 2.2 Teknisen käytettävyyden arviointi 2(LIN3-materiaali, 2010)Teknistä käytettävyyttä arvioitaessa huomioidaanseuraavia asioita:• Visuaalisuus: Ulkoasun yleinen selkeys ja yhtenäisyys• Tekninen toteutus: Sovelluksen toimivuus jatarkoituksenmukaisuus, sivuston kokonaisuus• Tekstin luettavuus: tekstin ulkoasu ja asettelu, tekstirivienpituus, kirjainkoko• Mediaelementtien käyttö: Käytettävyys ja laatu• Navigointi: Sivuston kokonaisuus ja liikkuminen© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 2.3 Pedagogisen käytettävyyden arviointi 1(LIN3-materiaali, 2010)• Arvioidaan verkkototeutuksen käyttökelpoisuutta oppimisen tukena– Arvioidaan, miten TVT-sovellus tekniikoineen, sisältöineen ja tehtävineen tukeeoppimista• Arvioidaan oppimisen näkökulmasta verkkokurssin• Suunnitellun oppimisprosessin tukeminen• Verkkoympäristön toimivuus• Tekniikka ja työkalut• Rakenne• Sisällöt• Opetusmateriaali• Tehtävät• Ohjeet• Vuorovaikutteisuus• Opetuksen linjakkuus• Pedagogisen käytettävyyden merkitys on sitä suurempi, mitäsuurempi osa opetuksesta on ”verkossa”© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 2.4 Pedagogisen käytettävyyden arviointi 2(LIN3-materiaali, 2010)Pedagogisen käytettävyyden arviointi mielekkään oppimisenosa-alueiden perusteella:– Aktiivisuus. Aktivoiko opetussovellus opiskelijoita toimimaan?– Konstruktiivisuus. Mahdollistaako sovellus konstruktiivisen tiedonrakentelun? Pohjautuuko uusi tieto jo olemassa olevaan, vanhaan tietoon?– Yhteistoiminnallisuus. Mahdollistaako sovellus yhdessä työskentelyn,jaetun asiantuntijuuden ja yhdessä toisiltaan oppimisen?– Intentionaalisuus. Antaako sovellus opiskelijoille mahdollisuudenmuodostaa oppimiselle tavoitteita?– Kontekstuaalisuus. Ovatko oppimistehtävät mielekkäitä reaalimaailmantilanteita, ongelmia tai caseja?– Reflektiivisyys. Prosessoivatko tai pohtivatko oppijat omaa oppimistaan jatarkastelevatko he omaa oppimisprosessiaan ja sen aikaisiaajatteluprosesseja ja päätöksiä?– Siirtovaikutus eli transfer. Osaavatko oppijat siirtää osaamansaopiskelutilanteesta uusiin tilanteisiin? Voivatko oppijat hyödyntää aiemminoppimaansa uuden oppimisessa?Arvioinnissa voi hyödyntää kurssipalautetta ja itsearviointia© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 2.5 Kurssipalautteenkeräämismahdollisuuksia (Asko Karjalainen, 2005)• Palautelomakkeet• Keskustelut• Havainnointi• Palaute-, teema- ja kehittämispäivät• Portfolio• Spontaani ohjaus ja kommunikointi• Verkossa annettu palaute• Itsearviointi• Pohdi: mitä, missä, milloin, miten?© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 2.6 Kurssin arviointikysymyksiä(Löfström & al. 2010)Arviointikysymyksiä saa esim. useasta paikasta• Löfström & al. (2010). Laadukkaasti verkossa -kirja LIITE 3a: Kurssin arvioiminen - arviointipatteristo opettajalle (s. 98) LIITE 3b: Kurssin arvioiminen - arviointipatteristo opiskelijalle (s. 106)Kysymysten aiheita ovat esim.:• Tavoitteet, sisällöt, oppimisprosessi ja opetusmenetelmät• Oppimisympäristö, materiaali, opiskelijoiden ohjaus, arviointi© Copyright 2013 Anu Ylitalo TritonianEduLab
  • PohdintatehtäväPohdi ja voit kirjoittaa myös muistiin:© Copyright 2013 Anu Ylitalo Tritonian EduLabPohdi kurssihankkeesi:1. Teknistä käytettävyyttä – millaisia huomioitaolet tehnyt?2. Pedagogista käytettävyyttä – millaisia huomioitaolet tehnyt?3. Kurssipalautteen keräämismahdollisuuksia4. Mitä arviointikysymyksiä haluaisitottaa mukaan kurssipalautteeseen?
  • Learning in Networks 35. Tekninen ja pedagoginen arviointiVideoluento: Osa 3Anu YlitaloTritonia EduLab 2013© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 3. Videoluennon osassa …1. Kurssin jatkokehittäminen1. Yleistä kurssin jatkokehittämisestä2. Kurssin jatkokehittäminen käytännössä3. Lopuksi2. To do -lista© Copyright 2013 Anu Ylitalo Tritonian EduLab
  • 3.1 Yleistä kurssin jatkokehittämisestä(Löfström & al. 2010)• Verkko-opetus on jatkuvaa kehittämistyötä• Tulevilla kursseilla kannattaa hyödyntää tälle kurssilleluotuja, onnistuneita toimintatapoja ja kehittää opetusta• Kehittämisessä kurssipalautteen ja itsearvioinninhyödyntäminen• Kehittämiskohteiden ja ideoiden dokumentointi• Päätavoitteena opiskelijan oppimisen tukeminen– Opiskelijan oppiminen on edelleen tärkein tavoite, muttaoppimiseen välillisesti vaikuttavat tekijät ovat hieman erilaisetlähi- ja verkko-opetuksessa© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 3. Kurssin jatkokehittäminen 1(Verkkoluotsi, 2005)Pedagoginen kehittäminen– Uusi opetus-, opiskelu- tai työskentelytapa tms.?Sisällöllinen kehittäminen– Ovatko kurssin tavoitteet, sisällöt, oppimistehtävät jne. toimivia?Tekninen kehittäminen– Jokin uusi väline tai tekniikka (esim. kuva, ääni, video, animaatio)?• mitkä asiat toimivat hyvin kurssilla?• mihin asioihin haluaisit kiinnittää jatkossa enemmän huomiota?Arvioinnin ja jatkokehittelyn tarkoituksena on kehittää entistätoimivampia verkkokursseja© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 3. Kurssin jatkokehittäminen 3(Verkkoluotsi, 2005)Muita mahdollisia pohdittavia seikkoja:• Oppimisympäristön toimivuus• Suunnitellun oppimisprosessin toimivuus• Kurssimateriaalin toimivuus• Kurssin aikataulu• Työmäärä ja työn mielekkyys• Kuinka moni kurssilaisista on suorittanut opintojakson?• Kuinka aktiivisesti opiskelijat ovat osallistuneetverkkotyöskentelyyn?• Minkälainen opintosuorituksien taso on ollut jne.?Verkkokurssisi arviointi muodostaa kivijalan seuraavan,edellistä paremman kurssin suunnittelulle!© Copyright 2013 Anu Ylitalo TritonianEduLab
  • 3.3 Lopuksi(Löfström & al. 2010)• Opetuksen suunnittelu ja toteutus on jatkumo– Luo pohjaa seuraaville kursseille• Yksittäisten opettajien kehittyminen johtaausein koko yhteisön kehittymiseen• Verkko-opetus on yksi laadukkaan opetuksenja syvällisen oppimisen mahdollistajana© Copyright 2013 Anu Ylitalo TritonianEduLab
  • To do -lista• Viimeistele kurssin rakentaminen verkkoympäristöön• Testaa ja avaa kurssisi opiskelijoille• Toteuta kurssi (jos olet sellaisessa vaiheessa)• Arvioi ja jatkokehitä kurssia• Tee 5. tehtävä: Tekninen ja pedagoginen arviointi-suunnitelma• Henkilökohtainen mentoritapaaminen vko 18-19• LIN3-kurssin loppuseminaari xx.x.2013 klo x-x– Ilmoitetaan Doodle-äänestyksen mukaisesti© Copyright 2013 Anu Ylitalo TritonianEduLab
  • Lähteet ja lisää luettavaa• Alaoutinen, S. & al. (2009). LUT:n opettajan laatuopas. Saatavilla verkossa:http://www.lut.fi/fi/lut/introduction/quality/qualitybook/Documents/Opettajan_Laatuopas_B5_final.pdf• Biggs, J. & Tang, C. (2011). Teaching for Quality Learning at University.• Hyppönen, P. & Lindén, S. (2009). Handbook for Teachers.• Lindblom-Ylänne, S. & Nevgi, A. (2009). Yliopisto-opettajan käsikirja.• Löfström, E. & al. (2010). Laadukkaasti verkossa: Verkko-opetuksenkäsikirja yliopisto-opettajalle. Saatavilla verkossa:http://www.helsinki.fi/julkaisut/aineisto/hallinnon_julkaisuja_33_2006.pdf• Ramsden, P. (2003). Learning to teach in Higher Education. 2th Edition.London: Routledge.• Verkkoluotsi: Arviointi. (2005). Saatavilla verkossa:http://verkkoluotsi.chydenius.fi/salatutsivut/arviointi/arviointi.html© Copyright 2013 Anu Ylitalo TritonianEduLab