Open data in Helsinki - reSITE conference in Prague on 18th June 2015
Data hyötykäyttön - avoin data kaupungin työntekijän arjessa 5.2.2018
1. Data hyötykäyttöön – avoin data
kaupungin työntekijän arjessa
5.2.2018
Tanja Lahti ja Hami Kekkonen
Helsingin kaupunginkanslia / Kaupunkitutkimus ja -tilastot
2. klo 9.00 Esittelykierros ja tavoitteet
klo 9.15 Mitä on avoin data? Mikä on HRI? (Tanja)
Paritehtävä + purku
Tauko
Avaamisen perusteet, käytännössä, mikä xls ja csv? (Hami)
klo 11.00 Mitä hyötyä avoimesta datasta työhön? Mikko Nikkanen, HSY
klo 11.30 Lounas (omakustanteinen)
klo 12.30 Mikä on rajapinta? Riku Oja
klo 13.15 Case rajapinta – Tapahtumarajapinta, Aleksi Salonen
klo 13.30 Harjoitus: tutkitaan rajapintoja ja datan hakua Riku Ojan avustuksella
klo 14.15 Tauko
klo 14.30 Hyödyntämisesimerkki, Antti Ahola, Geosprint Oy
klo 15.00 Avoin data omassa työssäsi?
Paritehtävä + purku, keskustelu
klo 16.00 Koulutus päättyy
Koulutuksen ohjelma
4. Helsingin kaupungin aineistopankki
Kunta edistää asukkaidensa hyvinvointia ja alueensa
elinvoimaa sekä järjestää asukkailleen palvelut
taloudellisesti, sosiaalisesti ja ympäristöllisesti
kestävällä tavalla. (Kuntalaki)
5. Helsingin kaupungin aineistopankki/SkyFoto
SOSIAALI- JA
TERVEYDENHUOLTO
PYSÄKÖINTI
VÄESTÖ
PÄÄTÖKSET
PÄIVÄHOITO JA
KOULUTUS
ASUMINEN
JULKINEN
LIIKENNE
ENERGIA
MAANKÄYTTÖ
TAPAHTUMAT
RAKENTAMINEN
KULTTUURI
Valtavasti dataa
8. Julkinen tieto vrt. avoin tieto
Julkinen tieto:
pääsy tietoon, ihmiset pääsevät lukemaan tietoja
Avoin julkinen tieto (data):
kansalaiset ja yritykset voivat käyttää tietoja omiin
tarkoituksiinsa tasavertaisesti julkisen hallinnon kanssa
Lähde: Anne Kauhanen-Simanainen, VM, JulkICT-toiminto 20.4.2012
http://www.slideshare.net/THLfi/avoin-julkinen-tieto-yhteiskunnan-elvyttjn
10. http://opendefinition.org/okd/suomi/
Julkista tietoa
Lupa käyttää
Koneluettavassa muodossa
Maksutta saatavilla “A piece of content or data is open
if anyone is free to use, reuse, and
redistribute it — subject only, at
most, to the requirement to
attribute and/or share-alike.”
Avoin data
13. • Julkishallinto
hallinnon sisäinen tehokkuus
• Kuntalainen
läpinäkyvyys ja demokratia
• Yritykset
liiketoiminta ja innovaatiot
Avoimen datan hyötyjä
15. Mikä on Helsinki Region Infoshare
(HRI)?
HRI on pääkaupunkiseudun
kaupunkien (Helsinki, Espoo, Vantaa ja
Kauniainen) yhteinen avoimen datan
palvelu, jonka kautta kaupunkien
julkista tietoa (dataa) tarjotaan
avoimena datana kaikkien (mm.
kehittäjät, korkeakoulut, yritykset,
media) vapaasti hyödynnettäväksi.
Verkkosivut: www.hri.fi
16. Eteneminen
• Pilottivaihe 2010-2012
• Vakiinnuttamisvaihe 2013
• Osa kaupunkien normaalia toimintaa 2014->
Toimijat
• Johtoryhmä: PKS-kaupunginjohtajat
• Ohjausryhmä: PKS-kaupunkien vastuuhenkilöt
• Operatiivinen toiminta: Kanslian Kaupunkitieto
ja -tutkimus/HRI-tiimi, kaupunkien HRI-ryhmät
• Tärkeimmät yhteistyötahot: Forum Virium
Helsinki, VM, avoimen datan yhteisö
HRI:n taustaa
17. Avoimen datan linjauksia Helsingissä
• Kaupunginhallituksen päätös 1.10.2012
• Strategiaohjelma
2013-16
• Tietotekniikka-
ohjelma 2015-17
• Talousarvion
laatimisohjeet
18. Strategisia tavoitteita
• ”Helsingin toimintamalli perustuu
mahdollisimman suureen
avoimuuteen ja läpinäkyvyyteen.”
• ”Helsingin tavoitteena on olla
maailman parhaiten digitalisaatiota
hyödyntävä kaupunki
maailmassa.”
• ”Helsinki on maailman johtava
kaupunki julkisen tiedon
avaamisessa ja sen
hyödyntämisessä.”
https://www.hel.fi/helsinki/fi/kaupunki-ja-hallinto/strategia-ja-talous/kaupunkistrategia/
19. Helsinki Region Infoshare – www.hri.fi
Avoin käyttölupa
Koneluettavaa
Maksutonta
Julkista tietoa
Espoo
Vantaa
Kauniainen
Helsinki
21. Avattavaa dataa riittää – esimerkiksi
Helsingissä on yli 800 tietojärjestelmää!
Tietojärjestelmäluettelo priorisoinnin apuna
http://www.hri.fi/fi/dataset/helsingin-kaupungin-tietojarjestelmaluettelo
22. CLEARIN
G HOUSE
➜ Tuottavat alkuperäistä
tietoa
➜ Ylläpitävät omaa
tietoaan
➜ Osallistuvat tiedon
avaamiseen
➜ Toimittavat
tietoaineistojen
metatiedot Clearing
houselle
Dataa
Palautetta ja
toiveita
datasta
Tiedon
tuottaminen
Tiedon
avaaminen
Tiedon
jakaminen
Tiedon
hyödyntäminen
LoppukäyttäjätKriteerit ja ohjeet
Avaamisen apuvälineet
Palautetta datasta
Dataa ja
metadataa
Julkisen tiedon
tuottajat ja
lähteet
➜ Priorisoi mitä tietoja
avataan
➜ Kriteerit ja ohjeet
➜ Avustaa tiedon tuottajia
avaamisessa
➜ Ottaa vastaan tietoja,
arvioi ne ja hyväksyy
jakeluun
➜ Vastaa verkkopalvelun
ylläpidosta
➜ Ylläpitää
metatietorekisteriä
➜ Kerää käyttäjäpalautetta
datasta
➜ Kerää käyttäjien toiveita
uusista tietoaineistoista
➜ Kerää muuta
käyttäjäpalautetta
➜ Kuntien työntekijät,
yritykset, tutkimuslaitokset,
kansalaiset, oppilaitokset,
jne.
➜ Hyväksyvät käyttöehdot
➜ Lataavat ja hyödyntävät
dataa
➜ Palautetta ja toiveita
datasta
Clearing
house
Tiedon
jakelija
”Datan
metatieto-
rekisteri”
”Helsingin
seudun
datakatalogi”
HRI-toimintamalli
23. Datan avaaminen on osa kaupungin
normaalitoimintaa, jossa tukena
• HRI-tiimi + 6Aika Avoin data -väki
o Yhteistyö datan avaajan kanssa: tiedustelut, esittelyt, käytännön tuki
o Yhteistyö hyödyntäjien kanssa: viestintää, vuoropuhelua, tilaisuuksia
• Kaupungin avoin ohjelmistokehitys
o ”Kaupungin toimeksiannosta kehitettävä uusi ohjelmistokoodi julkaistaan avoimen lähdekoodin
lisenssillä, ellei ole perusteltua syytä muuhun.”
o Avoimen ohjelmistokehityksen puitesopimus
• Kaupungin kokonaisarkkitehtuuri
o Kokonaiskuva kaupungin tietojärjestelmistä ja niiden kehittämisestä, mm. tietojärjestelmäluettelo
Jatkossa painopistettä myös avoimien datojen hyödyntämiseen
24. Datan avaaminen jatkuu
• Datan avaaminen jatkuu osana pääkaupunkiseudun kaupunkien
normaalitoimintaa
• Avaamisen haasteita tunnistettu, mutta ratkaistavissa
– kyse toimintakulttuurin muutoksesta
• Avattavaa dataa riittää – tuodaan ne näkyville
• Avoimia ja standardoituja rajapintoja tavoitellaan yhä enemmän
• Yhteistyötä yli rajojen: kuntien sisällä, kuntien kesken,
valtion kanssa, kansainvälisillä kentillä, asukkaiden,
kehittäjien, korkeakoulujen, yrittäjien jne. kanssa
• Tarjolla tukea esim. www.6aika.fi- ja
Horizon 2020 -ohjelmista
25. Mitä dataa jatkossa avata ja miten?
http://www.hri.fi/fi/hri-projekti/tyon-alla/
• Voit tutustua työn alla oleviin data-
avauksiin
• Tietotarpeita? Toivo dataa!
• Avaus tiedostona ja/tai avoimen
rajapinnan kautta?
• Parannetaan datojen löydettävyyttä
• Edistetään hyödyntämistä
• Juridiset seikat (mm. omistajuus,
yksityisyydensuoja, EU:n tietosuoja-
asetus, tekijänoikeus)
26. Yhteistyötä kaupunkien välillä
Esim. Kuuden suurimman kaupungin
6Aika Avoin data -hankkeessa:
• Edesautettiin yhteneväisiä data-avauksia
• Luotiin avoimia ja standardoituja
ohjelmointirajapintoja
• Edesautettiin datojen löydettävyyttä
• Tehtiin yhteistyötä yrityskentän kanssa
• Vahvistettiin kaupunkien it-
hankintaosaamista
http://6aika.fi
http://databusiness.fi
31. Datojen hyödyntäminen yhteistyössä
ulkopuolisten kanssa – co-creation?
• Avoimen datan hyödyntäjänä voi
olla kuka tahansa
• Miten kehittäjiä saataisiin mukaan
ratkomaan kaupungin haasteita?
• Miten kehittäjien sovelluksiin
suhtaudutaan?
• Miten voisi / pitäisi kytkeytyä
hankintaprosesseihin?
• Edellyttää kaupungilta uudenlaisia
toimintatapoja ja yhteistyöalustoja
32. Avoin lähdekoodi
dev.hel.fi - Github
Helsingin kaupungin
tietotekniikkaohjelman 2015-2017
mukaan:
”Kaupungin toimeksiannosta
kehitettävä uusi ohjelmistokoodi
julkaistaan avoimen lähdekoodin
lisenssillä, ellei ole perusteltua
syytä muuhun.”
Helsingin kaupungin tietotekniikkaohjelma 2015–2017
http://www.hel.fi/static/helsinki/julkaisut/tietotekniikkaohjelma.pdf
33. Digitaalinen Helsinki – digi.hel.fi
Näkymä kaupungin
palvelujen digitalisointiin
ja väylä palvelujen
yhteiskehittämiseen.
Ensimmäisiä pilotteja:
- Tilat avoimiksi
- Helsinki App
35. Oppimisprosessi meille kaikille
Kaupungin työntekijöillä mahdollisuus vahvistaa osaamistaan
esim. miten avata ja hyödyntää dataa, paikkatietokoulutusta,
IT-hankintaosaamiskoulutusta jne.
36. Koulutusmateriaalia
• Avoimen datan perusteos:
”Julkinen data – johdatus tietovarantojen
avaamiseen”
www.julkinendata.fi
• Q&A: www.avoindata.net
• Kokemuksia HRI:n alkutaipaleelta
www.hri.fi/2vuotta
• HRIn koulutusmateriaalit
http://www.hri.fi/fi/avaa-
dataa/koulutusmateriaalia/
• Avoimen rajapinnan määrittelyä
http://avoinrajapinta.fi/
• Datan avaajan mestarikurssi verkossa
http://datakoulu.fi/kurssit/datan-avaajan-
mooc/
Lähde: http://www.squidoo.com/frog-hibernation Photo Credit: Muddy
fun on Flickr, Creative Commons
39. Media - Oikotie Kotikulmat
• näyttää lapsiperheille Helsingin
sopivimmat asuinalueet
• yhdistää avointa dataa
Pavelukartasta, matka-
aikamatriisista ja seudullisesta
tilastorajapinnasta sekä Oikotien
dataa myynnissä olevista
asunnoista
http://www.hri.fi/fi/sovellukset/oikotie-kotikulmat/
42. Paikkatietovisualisointeja
Twitterissä
• Topi Tjukanovin tekemiä pieniä
paikkatietovisualisointeja
• mm. pääkaupunkiseudun
rakennusten ikä, Helsingin kasvu
vuosien saatossa, matka-aikoja, …
http://www.hri.fi/fi/sovellukset/paakaupunkiseudun-rakennusten-ika/
http://www.hri.fi/fi/sovellukset/expansion-of-helsinki/
https://twitter.com/tjukanov
43. Helsingin ilmakuvat 1930-,
1940-, 1950-, 1960-, 1970-,
1980- ja 2010-luvuilta
-> Helsinki ilmakuvina
1932–2012
http://www.hri.fi/fi/sovellukset/helsinki-
ilmakuvina-1943-2012/
Kurkistus menneisyyteen ja muutokseen
54. Mitä dataa
organisaatiostasi löytyy?
• Mitä dataa tuotat työssäsi?
• Mitä dataa käytät työssäsi?
• Mitä dataa tarvitsisit työssäsi?
• Mikä on kiinnostavin datasetti parisi
organisaatiossa?
57. Julkisuus
• Tiedon oltava julkista
o Julkisuuslaki
o Muu lainsäädäntö mm. EU:n tietosuoja-asetus
• Tieto ei saa sisältää henkilötietoja
o Julkaistaan vain tietoa, jossa ei ole henkilötietoja
o Tarvittaessa tiedon anonymisointi
• Julkaisijalla on oikeus julkaista tieto
o Tekijän- ym. immateriaalioikeudet
o Sopimukset ym.
• Maksuttomuus
o Kuntalaki 50§: valtuusto päättää kunnan maksujen perusteista
58. Koneluettavuus
Ihminen hahmottaa datasta nopeasti esim. otsikot, väli- tai loppusummat, lisätiedot, jne.
Koneelliseen tulkintaan tarvitaan rakenteinen, systemaattinen muoto
59. Missä muodossa avata dataa?
Erilaisia tapoja avata dataa
• Tiedostona
o Tiedosto, jossa data ylläpidetään (xls / csv / tab / shp / …)
o Otetaan tieto manuaalisesti ulos järjestelmästä
o Otetaan tieto automatisoidusti ulos järjestelmästä
• Rajapinnan kautta
o Tehdään rajapinta järjestelmästä automatisoidusti ulos otettavaan tietoon
o Tehdään järjestelmään / sen kopioon rajapinta
60. Missä muodossa avata dataa?
Kysymyksiä, joita hyvä pohtia:
• Kuinka usein data päivittyy / päivitetään?
• Kuinka suuri datamäärä on?
• Onko data reaaliaikaista, vai esim. vuosittaista tietoa?
• Kuinka paljon käsityötä datan muokkaaminen vaatii?
• Mihin dataa voisi käyttää?
• Onko jokin muu taho jo avannut vastaavan datan? Miten
se on tehty?
61. Lisenssi
• Datan omistaja antaa käyttöoikeuden eli lisenssin datansa
o Kopiointiin, levitykseen, muokkaukseen, yhdistelyyn ym. sekä
ei-kaupallisessa että kaupallisessa käytössä
• Datan soveltaja kantaa vastuu sovelluksestaan
• Lisenssisuositus (JHS 189): Creative Commons BY 4.0
• Suositeltava lähdeviittaus sovelluksessa:
Lähde: Helsingin 3D-rakennukset. Aineiston ylläpitäjä on Helsingin
kaupungin kiinteistövirasto ja alkuperäinen tekijä Helsingin kaupunki,
kiinteistöviraston kaupunkimittausosasto. Aineisto on ladattu
Helsinki Region Infoshare -palvelusta 14.11.2017 lisenssillä
Creative Commons Nimeä 4.0 Kansainvälinen (CC BY 4.0).
62. Datan julkaiseminen
• Metatiedot kuntoon
• Sanallinen kuvaus: mitä data pitää sisällään, miten se on tehty, mitä
käyttäjän tulee huomioida ja tietää siitä + avainsanoitus ym. hakutoimintoja
varten
• Aineiston jakelualusta
• Viraston oma palvelin / HRI:n datastore / kaupungin
verkkojulkaisujärjestelmä
• Julkaisu
63. Jatko
• Avauksesta tiedottaminen
• Kenelle ja missä avaamisesta on hyvä tiedottaa?
• Datan ylläpito
• Muutoksista tiedottaminen
• Datan / metadatan muutokset
• Palautteen kerääminen ja keskustelu
• Seuraa, millaisen vastaanoton data saa, kerää palautetta, keskustele!
• Datan päivittäminen
• Päivitä dataan uusimmat tiedot ilmoitetun päivitystiheyden mukaisesti
esim. kerran vuodessa. Päivitysrutiinit hyvä sopia jo dataa avattaessa.
65. Datan avaamisen haasteita
• MOTIIVI - Ei koeta hyödylliseksi, tai koetaan haitalliseksi.
• RESURSSIT – Koetaan ettei ole aikaa, rahaa tai osaamista
• JURIDIIKKA – Uhka yksityisyydensuojalle tai yleiselle turvallisuudelle
• TEKNIIKKA – Ei ole sopivassa muodossa, ei ole paikkaa laittaa
tiedostoja julkiseen jakeluun
• VÄÄRINKÄYTÖN PELKO – Pelätään että julkaistua dataa tulkitaan
väärin tai käytetään väärin.
• PALAUTTEEN PELKO – Ei haluta julkaista dataa koska pelätään
palautteen ja mahdollisen kritiikin aiheuttamaa kuormitusta.
• TOIMINTAKULTTUURIN MUUTOS
69. Esittelyvideo HRI:sta ja
avoimesta datasta suomeksi,
ruotsiksi ja englanniksi
https://www.youtube.com/user/HRInfoshare
http://www.hri.fi/fi/ajankohtaista/hri-piirrosvideona/
HRI ja avoin data 3 minuutissa
72. Mitä dataa voisin avata?
• Mitä omassa työssäsi tuottamiasi / käyttämiäsi tietoaineistoja voisi
avata?
o Mitä tulee huomioida?
o Missä formaatissa? Eräajotiedostona vai rajapinnan kautta?
• Mitä voisit saada / toivoisit saavasi avaamisesta takaisin päin?
• Miten voisit hyödyntää avointa dataa omassa työssäsi?
• Voisivatko muualla pääkaupunkiseudulla / Suomessa / maailmalla
avatut aineistot olla sinulle hyödyllisiä?
• Mitä konkreettista aiot tehdä tämän koulutuksen jälkeen?
73. • strategista tai toiminnallista
• aika ajoin päivittyvää tai reaaliaikaista
• koko tietoaineisto tai sen osa
• harmonisoimatonta tai harmonisoitua
• helppo avaus vs. työläämpi avaus
(rajapinnat)
• jolle on kysyntää,
hyödyntämispotentiaalia, edistää muiden
datojen hyödyntämistä
Rohkeasti avaamaan ja hyödyntämään
dataa…
Helsingin kaupungin aineistopankki/Matti Tirri
74. KIITOS!
74
Photo: The City of Helsinki Media Bank/Matti Tirri
Helsinki Region Infoshare (HRI)
Verkkopalvelu: www.hri.fi
Sähköposti: hri@hel.fi
Facebook: www.facebook.com/helsinkiregioninfoshare
Twitter: @HRInfoshare
LinkedIn: https://www.linkedin.com/groups/12021417
Projektipäällikkö
Tanja Lahti
tanja.lahti@hel.fi
040-553 2425
Suunnittelija
Hami Kekkonen
hami.kekkonen@hel.fi
040-334 4780