Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Leblay: Suullisen kielitaidon itsearviointi uudenlaisen puhenäytteisiin pohjautuvan arviointimenetelmän avulla
1. Suullisen kielitaidon itsearviointi uudenlaisen
puhenäytteisiin pohjautuvan
arviointimenetelmän avulla
LukSuS-seminaari
Helsingin yliopisto
30.11.2013
Tarja Leblay
Turun yliopisto/
Opetushallitus
2. Esityksen rakenne
2
Yleistä tutkimuksesta
Perinteinen itsearviointi kirjallisten
itsearviointiväittämien avulla
Väittämien laatu tilastollisten tunnuslukujen valossa
Esimerkkejä eri tavoin toimineista väittämistä
Itsearviointi kuunneltavien puhenäytteiden avulla
Toteutus
Kielen piirteisiin liittyvät kommenttikategoriat
Esimerkkejä helposti ja vaikeasti vastattavista näytteistä
Uuden menetelmän luotettavuus, käytettävyys ja hyödyt
5.12.2013
6. Tutkimuskysymykset
6
1.
Kuinka toimivia ovat oppijoiden käyttämät erilaiset
itsearviointimenetelmät ?
2.
Mitä käsityksiä oppijat esittävät paperilla esitettyjen
itsearviointiväittämien toimivuudesta?
3.
Mihin kielen piirteisiin oppijat kiinnittävät huomiota arvioidessaan
kielitaitoaan uuden itsearviointimenetelmän avulla ?
4.
Mikä on tyypillistä niille puhenäytteille, joissa oppijoilla oli eniten
vaikeuksia verrata omaa puhetuotostaan kuunneltuihin
näytteisiin?
Entä mikä oli tyypillistä niille puhenäytteille, joissa esiintyy vähiten
vaikeuksia?
5.
Missä määrin erilaiset itsearvioinnit vastaavat toisiaan?
6.
Missä määrin oppijoiden tekemät itsearvioinnit vastaavat ulkoista
arviointia?
5.12.2013
7. Puhumistehtävä 1
7
Kuvasta kertominen
Kuvaile alla olevaa henkilöä mahdollisimman yksityiskohtaisesti.
Voit kertoa henkilöön liittyen esimerkiksi seuraavia asioita:
mitä hänellä on päällään (vaatteiden värit, materiaalit)
mikä aika päivästä on
mihin hän on menossa
mistä hän on tulossa
missä hän työskentelee
minkä tyyppisestä ihmisestä on kysymys
mistä hän pitää tai ei pidä
mitä harrastaa (jne. käytä vapaasti mielikuvitustasi!)
5.12.2013
8. Puhumistehtävä 2
8
Tilanteessa reagointi
Lue ensin alla oleva kuvaus tilanteesta.
Tilannekuvaus (eli mitä on jo tapahtunut):
Olet hakenut asemalta ranskalaisen tärkeän vieraan, Julien Fabre-Perrault’n.
Olette jo esittäytyneet toisillenne. Nyt olette palanneet työpaikallesi.
Suorita nyt viivan alla oleva tehtävä.
______________________________________________________________
Suoritettava tehtävä:
Esittele toisilleen työtoverisi Kristiina Saukkonen-Riipinen ja juuri saapunut
vieras.
Kerro, että työtoverisi puhuu hyvin ranskaa.
5.12.2013
9. Mitä kielistudiossa tehtiin?
9
Toimintaohjeet osallistujille
Taustatiedot -lomake
Itsearviointi kirjallisten taitotasokuvausten ja
itsearviointiväittämien avulla
Puhumistehtävän
suorittaminen &
tallennus
Tehtävä 1
Kuvasta
kertominen
Oman
suorituksen
kuuntelu
Oman
suorituksen
vertaaminen
puhenäytteisiin
Tehtävä 2
Tilanteessa
reagointi
5.12.2013
11. .
Esimerkki yleisitsearvioinnista
11
1
Osaan käyttää yksinkertaisia ilmauksia ja lauseita kuvaamaan asuinpaikkaani ja tuntemiani ihmisiä. Osaan
jonkin verran keskustella, jos keskustelukumppani auttaa minua toistamalla sanottavansa tai sanomalla asiat
uudestaan hitaammin. Osaan kysyä yksinkertaisia kysymyksiä ja vastata niihin, jos ne käsittelevät tuttuja
jokapäiväisiä asioita.
2
Osaan käyttää yksinkertaisia ilmauksia ja lauseita kuvaamaan perhettäni ja ystäviäni ja muita ihmisiä,
asuinpaikkaani (missä ja miten asun), koulutustani ja nykyistä tai aikaisempaa työtäni. Osaan keskustella
jokapäiväisissä tilanteissa, joissa puhutaan lyhyesti tutuista asioista, mutta en osaa ranskaa tarpeeksi
pitääkseni keskustelua yllä.
3
Osaan kuvata yksinkertaisesti tapahtumia, kokemuksiani, unelmiani, toiveitani ja tavoitteitani. Osaan lyhyesti
selittää mielipiteitä ja suunnitelmia. Osaan kertoa tarinan tai kuvata kirjan tai elokuvan juonta ja omia
reaktioitani. Osaan valmistautumatta puhua minua kiinnostavista ja jokapäiväisistä asioista kuten perheestäni
ja ystävistäni, harrastuksista, työstä, matkustamisesta ja ajankohtaisista tapahtumista.
4
Osaan esittää selkeän ja yksityiskohtaisen kuvauksen useista minua kiinnostavista aiheista. Osaan esittää
mielipiteeni ja eri vaihtoehtojen hyviä ja huonoja puolia. Osaan aktiivisesti osallistua tutuissa tilanteissa
käytäviin keskusteluihin ja ilmaista näkökantojani.
5
Osaan käsitellä vaikeita aihealueita selkeästi, yksityiskohtaisesti ja eri näkökohdat huomioon ottaen. Osaan
kehitellä aiheita ja saattaa asioita päätökseen. Osaan puhua sujuvasti ja spontaanisti. Minun tarvitsee hakea
sanoja vain harvoin. Osaan käyttää ranskan kieltä tehokkaasti sekä yksityiselämässä että työssä. Osaan
ilmaista itseäni tarkasti ja pystyn sopeuttamaan sanottavani muiden sanomisiin.
6
Osaan kuvata ja selittää asioita selkeästi, joustavasti ja tilanteisiin sopivasti. Osaan rakentaa sanottavani niin,
että kuulija voi helposti ymmärtää tärkeät kohdat. Minulle on erittäin helppoa ottaa osaa keskusteluun, ja
tunnen eri tilanteisiin sopivat ranskan kielen ilmaukset, myös puhekielen eri muodot. Osaan puhua sujuvasti
ja ilmaista itseäni erittäin tarkasti. Osaan kiertää ongelmakohdat kuulijan edes huomaamatta.
5.12.2013
13. Esimerkki tilannekohtaisista
itsearviointiväittämistä
13
Kyllä
Ei
VÄITTÄMÄ
1
Osaan keskustella jokapäiväisistä käytännön asioista yksinkertaisesti, jos
keskustelukumppani puhuu selkeästi ja hitaasti.
2
Osaan puhua ranskaa luontevasti, sujuvasti ja tehokkaasti tutuissa
tilanteissa.
3
Osaan käyttää erilaisissa tilanteissa ranskaa joustavasti ja tehokkaasti
mukaan lukien tunteiden ilmaisun, humoristisen kielenkäytön ja
viittaukset tunnettuihin kaunokirjallisiin ja muihin lähteisiin.
4
Selviän vieraistakin tilanteista julkisissa kulkuvälineissä, esimerkiksi jos
joudun kysymään kanssamatkustajalta, missä minun pitäisi jäädä pois.
5
Osaan muotoilla kutsuja ja anteeksipyyntöjä ja vastata niihin.
6
Osaan palata takaisin vaikeisiin kohtiin ja muotoilla uudestaan
sanottavani niin, että toiset tuskin huomaavat sitä.
7
Osaan selittää ja perustella suunnitelmiani, aikomuksiani ja tekemisiäni.
5.12.2013
14. Tilastollisista analyyseistä
14
Osio−testi-korrelaatio
- arvo yli .30 → osion voidaan todeta arvon suuruudesta
riippuen toimivan joko kohtalaisesti tai hyvin (vrt. Bachman
2004, 138)
Infit mean square
- arvon tulee sijaita .7 ja 1.3 välillä (high stakes -tutkinnot)
- epäilyttävän osion raja on noin 1.3 tärkeissä tutkinnoissa ja
selvästi ongelmallisen osion raja-arvo on noin 2.0
- ihannearvo 1.0
(Infit mean Zstd)
- osion Infit Zstd-arvon tulee sijaita rajojen +2 ja -2 sisällä
(Linacre 2011)
5.12.2013
15. Esimerkit hyvin toimineista
tilannekohtaisista itsearviointiväittämistä
15
B1 (väittämä 40)
B2 (väittämä 42)
Osaan kertoa melko
yksityiskohtaisesti
kokemuksistani ja kuvata
tunteita ja reaktioita.
Osaan kuvailla ja määritellä
konkreettisia asioita, joille en
juuri sillä hetkellä satu
muistamaan sopivaa sanaa
(esimerkiksi pysäköintisakko,
luottokortti tai vakuutuskirja).
Korr.kerroin
.70
Korr.kerroin
.68
Infit mean square
.82
Infit mean square
.91
Vastausjakauma
77−131
Vastausjakauma
106−103
5.12.2013
16. Esimerkki vaikeatulkintaisesta
itsearviointiväittämästä
16
C2 (väittämä 6)
Osaan palata takaisin vaikeisiin kohtiin ja
muotoilla uudestaan sanottavani niin, että toiset
tuskin huomaavat sitä.
Vaikeisiin asioihin kielellisesti, vai muuten? Miksi
palaisin asiaan? Miten niin toisten huomaamatta?
(B1).
Korr.kerroin
.51
Infit mean square
.87
Vastausjakauma
25−184
5.12.2013
17. Esimerkki huonosti toimineesta
itsearviointiväittämästä
17
B2 (väittämä 36)
Osaan puhua syntyperäiselle kielenpuhujalle siten, etten ole
tahtomattani huvittava, ärsyttävä tai vaadi heitä
käyttäytymään toisin kuin toisen syntyperäisen kanssa.
Eivätkö
kaikki
”ei-ranskankieliset”
ole
ranskaa
äidinkielenään puhuville ”tahtomattaan huvittavia”? (B2).
Mistä voin itse tietää, puhuuko joku minulle samoin vai eri
tavalla kuin syntyperäiselle kielenpuhujalle? (B2).
Korr.kerroin
.52
Infit mean square
1.33
Vastausjakauma
61−148
5.12.2013
18. Tilannekohtaisten
itsearviointiväittämien kommentoinnista
18
Oppijoilla oli vaikeuksia ymmärtää joidenkin itsearviointiväittämien sisältöä
Oppijat kommentoivat niitä väittämiä, joihin heillä oli vaikeuksia vastata
”Kyllä ja ”ei” -vastausvaihtoja pidettiin liian rajoittavina
Oppijoilla ilmeni taipumusta tulkita kontekstistaan erotettuja
itsearviointiväittämiä jossain määrin persoonakohtaisesti
Oppijoilla oli vaikeuksia vastata väittämiin, joissa kuvattiin sellaisia
kielenkäyttötilanteita, joista heillä ei ollut käytännön kokemusta
Osa oppijoista epäili, onko heillä kompetenssia arvioida omaa kielitaitoaan
Taitotasoarvioinnin toimintaperiaatteet eivät ole itsestään selvät
Väittämän toimivuus on suhteellinen käsite
→ monta mahdollista näkökulmaa
5.12.2013
19. Miksi oli tärkeää tarkastella
kirjallisia itsearviointiväittämiä?
19
Jotta
saatiin konkreettista
voitiin saada kokonaiskuva
perinteisiä ia-väittämiä
sisältävän lomakkeen
toimivuudesta ja laadusta
voitiin arvioida perinteisen
ja uuden ia-menetelmän
keskinäistä suhdetta
käyttäjäpalautetta siitä,
mikä toimii ja mikä ei
(tilastolliset menetelmät +
oppijoiden kommentit)
saatiin lisävalaistusta
tekijöistä, jotka voivat
vaikuttaa oppijan
itsearvioinnin
onnistumiseen
5.12.2013
20. Itsearviointi
kuunneltavien puhenäytteiden avulla
20
A. Pakollinen osa:
Kuunneltiin puhenäytteet (26/23) juuri itse tehdystä puhumisen tehtävästä
(tehtävät 1 & 2)
Verrattiin omaa suoritusta jokaiseen kuunneltuun näytteeseen ja
vastattiin joko ”kyllä” tai ”ei” kysymykseen
Suoriuduitko paremmin tehtävästä kuin nauhalta kuulemasi henkilö?
B. Vapaaehtoinen osa:
Kommentoitiin lyhyesti, miksi vastasi ”kyllä” tai ”ei”
Merkittiin tarvittaessa vaikea päättää -rasti
5.12.2013
21. Suoriuduitko paremmin tehtävästä kuin nauhalta kuulemasi henkilö?
Näytteen numero
Miksi?
Vaikea päättää?
1
kyllä ei
(1)___________________________
______
2
kyllä ei
(2)___________________________
______
3
kyllä ei
(3)___________________________
______
4
kyllä ei
(4)___________________________
______
5
kyllä ei
(5)___________________________
______
6
kyllä ei
(6)___________________________
______
7
kyllä ei
(7)___________________________
______
8
kyllä ei
(8)___________________________
______
9
kyllä ei
(9)___________________________
______
10
kyllä ei
(10)__________________________
______
21
5.12.2013
22. Puhenäytteiden vapaaehtoisesta kommentoinnista
22
Vapaus kommentoida, mitä tahansa
Osalla oppijoista paljon kommentteja, osalla ei mitään
”Kyllä” ja ”ei” -vaihtoehdot koettiin joskus liian
rajoittaviksi vastausvaihtoehdoiksi
Oppijoilla oli eniten vaikeuksia verrata omaa
kielitaitoaan niihin näytteisiin, jotka edustavat likimain
samantasoista kielitaitoa kuin heidän oma suullinen
kielitaitonsa on
5.12.2013
24. Puhenäytteiden litterointimerkintöjä
24
Merkki
[ ]
:
Seloste
Selvästi ranskan kielen ääntämissäännöistä poikkeava
ääntäminen on merkitty hakasulkeisiin.
Näytteen puhujan tuotoksessa esiintyvä sanojen loppujen
venyttäminen on merkitty kaksoispisteellä.
≤≥
Tuotokseen tai puhujaan liittyvät kommentit on merkitty
suurempi/pienempi kuin tai yhtä suuri -merkkien sisään.
_
Näytteen puhujan tuotoksessa esiintyvät tauot on merkitty
_-viivoin. Viivojen lukumäärä kertoo karkeasti taukojen
keston.
( )
Mahdolliset epäselvät kohdat tuotoksessa on merkitty
sulkeisiin ( ) ja yleensä varustettu kommentilla.
<>
Tuotoksen pituus on merkitty
merkkien sisään tuotoksen perään.
suurempi/pienempi
-
5.12.2013
25. Tehtävä 1, näyte 15
25
Mais_ _ je crois que François_ euh il a l’air un peu
triste parce que_ il voudrait jouer du _basket ball et _
il a demandé ses camarades et __ou euh_ ses ses
amis_ euh pour jouer le_ basket _et_euh_
maintenant_ il doit seulement s’asseoir et _ attendre si
quelqu’un voudrait venir parce que _ tout le monde
[mon] euh _ _ _ tout le monde [mon] sont dit que _
_ qu’on doit mang – manger _ et après ça_ peut-être_
on peut jouer le basket ball _ et _ il peut_ seulement
attendre (49 s.)
5.12.2013
26. Tehtävä 1, näyte 9
26
Bon je vois François _ _ François est un garçon _ il a environ
vingt-cinq ans _ ou en tout cas il a moins de trente ans _ il a des
cheveux blonds et des yeux_ gris ou bleus et_ il a l’air très
sportif _il_ il porte des pantalons _ des jeans _ et_ un t-shirt_
_à côté de lui il y a un basket ball _ il a _ _ j’ai l’impression
que_ il va aller ou il vient de venir _ _ euh jouer _ au basket
avec ses copains _ euh _ __ il euh _ _ il travaille dans un
restaurant_ il_ _euh _ et euh _ maintenant j’ai l’impression
que c’est samedi parce qu’il travaille pas et et le samedi et le
week-end_il _ normalement il passe son temps avec ses copains
les copains ils sont très importants pour lui _ il_ il fait du sport
avec ses copains _ il va à la plage et au montagne en hiver _ il
fait du slalom _ et tout ce qu’il fait il aime bien faire avec ses
copains et tout ce qu’il fait c’est très sportif <1 min, 23 s.>
5.12.2013
27. Tehtävä 2, näyte 7
27
Et _ voilà _ euh _ monsieur Julien Fabre-Perrault _ et
voilà _ euh ma collègue Kristiina Saukkonen _ _ et _
ma collègue Kristiina Saukkonen _ elle parle très bien
français <16 s>
5.12.2013
28. Tehtävä 2, näyte 10
28
Euh _ _ je _ vous invite _euh _ mon collègue _ ma
collègue Kristiina Saukkonen _ euh et _ euh _ ici _
monsieur Julien Fabre-Perrault _ _ euh _ _ Kristiina
Saukkonen _ parle français _ bien <23 s>
5.12.2013
29. Top 3: eniten kommentoidut kielen piirteet
29
Sujuvuus
Ääntäminen
Kielioppi
+ sosiolingvistinen ”taitavuus” (tehtävä 2)
5.12.2013
30. Uuden itsearviointimenetelmän
luotettavuudesta ja käytettävyydestä
30
Uusi
puhenäytteiden kuuntelemiseen ja oman
vertaamiseen perustuva itsearviointimenetelmä
suorituksen
- korreloi varsin hyvin ulkoisen arvioinnin sekä
kirjallisten
itsearviointiväittämien
avulla
tehtävän
itsearvioinnin kanssa
osoittautui validiksi ja reliaabeliksi
→ voidaan siten ajatella käytettävän suullisen kielitaidon
itsearviointi- ja opetustilanteissa
näyttää soveltuvan hyvin suullisen kielitaidon
itsearviointiin konkreettisuutensa ansiosta
5.12.2013
31. Uuden
itsearviointimenetelmän hyödyt
31
Konkreettinen?
Mielekäs?
Autenttinen?
Helppo?
”Tässä ja nyt” -luonne?
Ei sisällä käsitteiden määrittelyyn liittyviä ymmärtämis- tai tulkintaongelmia
Antaa lisävalaistusta oppijan osaamisesta ja itsearviointitaidosta
Tekee arviointikäytänteistä monipuolisempia ja oikeudenmukaisempia
Kehittää auditiivista erottelukykyä
Kehittää tietoisuutta suullisen kielitaidon piirteistä ja ominaisuuksista
Totuttaa suhteuttamaan omaa kielitaidon tasoa suhteessa muiden tasoon
Opettaa, minkä tyylisiä keskimäärin tietyntasoiset puhesuoritukset ovat
Kehittää reflektiivisiä taitoja
→
tietoisen reflektoinnin yhteys motivaatioon ja omaan kuvaan oppijana
→
oppijana kasvaminen oman toiminnan kautta
Puhenäytteiden
kuunteluun perustuva
itsearviointimenetelmä
5.12.2013
32. Uuden menetelmän käyttäminen kieltenopetuksessa?
32
Näytteiden
ominaisuuksiin
tutustuminen
Näytteiden analysointi
ja litterointi pari- tai
ryhmätyönä
→ esitteleminen
luokalle
Parin puhetuotoksen
analysointi ja
palautteen antaminen
Puhenäytteet
Näytteiden
ominaisuuksien
luokittelu
Näytteiden
taitotasolle
asettaminen
Oman puhetuotoksen
ominaisuuksien analysointi
ja palautteen saaminen
5.12.2013
33. Viitatut lähteet
33
Bachman, L. F. 2004. Statistical Analyses for
Language Assessment. Cambridge: Cambridge
University Press.
Linacre, J. M. 2011. A User’s Guide to FACETS.
Rasch Model Computer Program.
Leblay, T. 2013. ”Voi ei, nää on tosi hyviä
verrattuna muhun!” – Uudenlaisen
arviointimenetelmän toimivuus ranskan suullisen
kielitaidon itsearvioinnissa. Jyväskylän yliopisto.
5.12.2013
