Matti Sarvimäen esitys Kokeiluaamukahveilla 2.11.2016 Valtimossa, aiheena kokeilujen muotoilu, tekeminen ja tilaaminen.

1. Satunnaistettut vertailukokeet
(RCT): miksi ja miten?
Matti Sarvimäki
Aalto-yliopisto ja VATT

2. Ensiksi
• Mihin kysymykseen kokeilu vastaa?
• Millä mittareilla vaikutuksia mitataan?
• Mihin päätöksiin tulokset voivat vaikuttaa?
• Kuinka suuri vaikutus on riittävän suuri?
• Näihin kysymyksiin on tärkeää vastata
kaikenlaisten kokeiluiden suunnittelun alussa

3. Mihin satunnaistamista tarvitaan?
Kokeiltavan asian vaikutus =
mitä kokeiluun osallistujille tapahtui -
(data)
mitä heille olisi tapahtunut ilman kokeilua
(arvioidaan vertailuryhmä avulla)
• Vertailuryhmän on keskimäärin oltava kaikin puolin
samankaltainen kuin kohderyhmä
– tällöin ryhmien väliset myöhemmät erot keskimääräisessä
pärjäämisessä uskottavasti johtuvat kokeiluista
• Satunnaistaminen varmistaa vertailukelpoisuuden
– vertailukelpoisen verrokkiryhmän muodostaminen voi olla
mahdollista myös silloin kun satunnaistaminen on mahdotonta

4. Milloin on satunnaistetun vertailukokeen paikka?
• Tulokset ovat hyödyllisiä
– uutta ja hyödynnettävissä olevaa tietoa
• Kokeilulla on mahdollisuus onnistua
– mahdollista muodostaa vertailukelpoiset ja riittävän
suuret koe- ja vertailuryhmät (havaintoyksiköiden lkm)
• Kokeilu voidaan tehdä eettisesti kestävällä tavalla

5. Tyypillisiä virheitä
• Satunnaistaminen epäonnistuu
– esim. kokeiluun osallistuminen vapaaehtoista ja
ainoastaan eniten hyötyvät päättävät osallistuvat
• Kokeilussa on liian vähän osallistujia
– heikon tilastollisen voiman takia ei mahdollista sulkea
pois suuria vaikutuksia … tai nollavaikutuksia
• Kokeilu vaikuttaa verrokkiryhmään
• Kokeilun kohdejoukko ei vastaa sitä joukkoa,
johon toimenpiteet kokeilun jälkeen ulotetaan
• Osajoukkotulosten louhinta (seuraavaksi)

9. Satunnaistamisen eettisyys
• Kokeilun avulla opitaan mikä toimii (ja kenelle)
– hyödyttää myöhempiä osallistujia ja koko yhteiskuntaa
– perustuslakivaliokunta: tiedon tuottaminen päätöksenteon
tueksi hyväksyttävä syy yhdenvertaisuudesta poikkeamiseen
• Usein kaikki kokeiluun sopivat eivät mahdu mukaan
– satunnaistaminen reiluin tapa päättää miten paikat täytetään
– etukäteen ei selvää onko kokeiltava asia parempi vaihtoehto
kuin nykykäytäntö
• Eettisesti kestävän kokeilun vaatimukset:
– vahingon välttäminen, yksityisyyden suoja, vaikuttavuuden
luotettava mittaaminen, riskien ja hyötyjen etukäteisarviointi