Foredrag om opne data i Bergen, 2016-03-31. Arrangert av Bergen Linux User Group (BLUG): http://www.blug.linux.no/blug-31-mars-2016-opne-data/ Video: https://www.youtube.com/watch?v=HcSlLrXnIVo "Opne data er strukturert informasjon som er gjort tilgjengeleg i maskinlesbare format, under ein open lisens. Du får høyre kva som ligg i dette, verdien av opne data, kva datasett som er gjort tilgjengeleg frå offentleg sektor og kva som er på veg. Korleis kan du nytte deg av opne data? Du får nokre døme på bruk og tips på teknisk framgangsmåte. Dersom eit datasett ikkje er gjort tilgjengeleg endå, korleis kan du få tak i det?"

1. Opne data
Livar Bergheim, Difi
Bergen, BLUG-møte 2016-03-31

2. Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer

3. Direktoratet for forvaltning og IKT
Difi – Direktoratet for forvaltning og IKT
• Oppretta 2008
• Underlagt Kommunal- og
moderniseringsdepartementet (KMD)
• Om lag 285 tilsette i Leikanger og Oslo
• Mandat:
utvikle, forenkle og fornye offentlig sektor
• Har statsforvaltninga som
primærmålgruppe

4. Skjermbilete: http://www.yr.no/artikkel/_-dei-syntes-vi-var-nokre-tullebukkar-1.12542740

5. Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer

6. «Åpne data er fritt tilgjengelige for
bruk og viderebruk av alle, både
mennesker og maskiner.
Dataforvaltere kan ikke kreve mer
enn å bli oppgitt som kilde.»

7. Skjermbilete av CSV-datasett, vist i Excel:
http://data.norge.no/data/stavanger-kommune/
skoleruter-barne-og-ungdomsskolene-i-stavanger-kommune

8. Skjermbilete av CSV-datasett, vist i Excel:
http://data.norge.no/data/aure-kommune/skolerute-20152016-0

9. «Åpne data er fritt tilgjengelige for
bruk og viderebruk av alle, både
mennesker og maskiner.
Dataforvaltere kan ikke kreve mer
enn å bli oppgitt som kilde.»

10. Offentlege data
• Finansiert av samfunnet.
• Data er forvalta på vegne av samfunnet.
• Nyttig for andre, både i offentleg sektor og elles.
• Offentleg sektor verken kan eller skal gjere alt sjølve. Både kapasitet til å
lage/gjere alt, og muleghet til å kome på dei gode idèane.
• Opne data er ein måte å gjere offentleg informasjon tilgjengeleg for
vidarebruk.
• Vanlegvis gratis, eller til kostpris — med nokre unntak.

11. Trafikklyssystemet
• Klassifisering av grad av openheit på data
• Raud: Lukka. Datasett som på grunn av
heilt spesifikke årsaker, f.eks. tryggleik, sensitive
persondata eller immaterielle rettar, må haldast internt,
eller potensielt berre delast med dei/det individet det gjeld.
• Gul: Avgrensa. Kan potensielt delast med andre
offentlege verksemder, avhengig av lovheimel og formål.
• Grøn: Ope. Kan delast med alle.

12. Open lisens
Strukturerte data
Ope format
http-URIar
Lenka data
www.5stardata.info

13. Ulike typar distribusjonar
Typar distribusjon :
- Filnedlasting
- API
- Verktøy for å generere uttrekk (t.d. msis.no)
Skjermbilete: http://www.msis.no/

14. Kvifor opne offentlege data?
• Eit ope og opplyst demokrati
• Næringsutvikling og verdiskaping
• Effektivisering og innovasjon i offentleg sektor

15. Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer

16. Eit ope og opplyst demokrati
Demokratisering og gjennomsiktighet

17. Datajournalistikk
• Datastøtta journalistikk
analysere store datamengder
for å finne nyhetssaker
• Infografikk / datavisualisering
• Interaktive visualiseringar
Kjelde: Wikipedia - https://en.wikipedia.org/wiki/Data_journalism
Illustrasjon: collegehumor.com - http://bit.ly/1POHPJi

18. Skjermbilete frå sak på BT.no, tatt 2016-03-31:
http://www.bt.no/nyheter/lokalt/Vurderer-fortlopende-tiltak-mot-luftforurensing-3524126.html (2016-01-17)

19. Illustrasjon: Bergens Tidende, frå metoderapport (2013) - http://bit.ly/1NsL0Gz

20. Skjermbilete: Bergens Tidende, metoderapport (2013) - http://bit.ly/1NsL0Gz

21. Bilde av Sankey-diagram frå
http://openbudgetoakland.org/2015-17-proposed-budget-flow.html

22. Døme på Treemap. Skjermbilete henta frå:
«Obama’s 2012 Budget Proposal: How $3.7 Trillion is Spent»
http://www.nytimes.com/packages/html/newsgraphics/2011/0119-budget/

23. Budsjett frå Bergen kommune
Skjermbilete frå datasett frå Bergen kommune
http://bit.ly/1jjEm7o

24. holderdeord.no
Logo: Silje Nyløkken, designbasen.no - http://bit.ly/1lJY1Px

25. Skjermbilete: https://www.holderdeord.no/issues/47-utvide-til-11-maneders-studiestotte

26. Skjermbilete: holderdeord.no - 2015-11-25

27. Skjermbilete: holderdeord.no - 2015-11-25

28. Skjermbilete: holderdeord.no - 2015-11-25

29. Skjermbilete: https://enighet.holderdeord.no/ - 2016-02-17

30. Skjermbilete: https://enighet.holderdeord.no/ - 2016-02-17

31. Oslo kommune
• Byrådet vil:
• At alle etater skal tilgjengeliggjøre verdifulle data for publikum på
DIFIs åpne dataplattform, for å bidra til innovasjon
• Gjøre informasjon om saker, forslag og stemmegiving i bystyret
enkelt tilgjengelig i form av strukturerte data
Utdrag frå byrådserklæringa okt. 2015 - http://bit.ly/1QIxC1m

32. Næringsutvikling og verdiskaping

33. TerraFab
Video: TerraFab av Bengler - http://bengler.no/terrafab

34. • Datasetta i det nasjonale
kartgrunnlaget
(N50, N250, N500, N1000, N2000
og N5000 Kartdata og Rasterdata)
• Administrative grenser
• Vegdata med adresser
• Digitale terrengmodellar
• Stadnamndata
• Historiske kart
• Sjødata
• Tur- og friluftsruter
• Offisielle adresser
• Geodetiske datasett
• Postsoner og valgkrinsar
• Illustrasjonskart i små målestokkar

35. Døme på bruk av cache-tenester for kartfliser frå Kartverket - http://bit.ly/1Ii5uKn

36. Døme på bruk av Kartverket sine data.
Skjermbilete, tatt nov. 2015: http://kartverket.no/Kart/Gratis-kartdata/Smartkart/

37. biocaching.no

38. Biocaching mottek pris på Slush i Finnland. Foto: Magnus Buer, Nordic innovation

39. Også forbetring av eksisterande tenester
• Ikkje berre nye appar eller tenester
• Grunnlagsdata
• Finn.no
• Case: registrere kvar hjertestartar-utstyr finst.
Kobling til enhetsregisteret.

40. Video: Skjermopptak som viser
type-ahead på Firmanavn.
http://geo.stordahl.org/enhetsregisteret.html

41. Brønnøysundregistrene
• Enhetsregisteret og underenheter
• 4-10 millionar API-kall i månaden dei siste par åra
• Koble mot eigne system.
Kan “vaske” eigne lister over leverandørar/kundar.

42. Norsk reiseinformasjon (NRI)
• Nasjonal rutedatabase
• Rutedata - planlagte ruter, ikkje trafikkdata (sanntidsinformasjon)
• Inneheld data frå over 200 selskap som tilbyr personstransport, alt
frå NSB, SAS, Norwegian, Skyss, hurtigbåtar og små busselskap.
• http://labs.rutebok.no/

43. Direktoratet for forvaltning og IKTDato
Skjermbilete, tatt nov. 2015:
www.norgesruter.no

44. Direktoratet for forvaltning og IKTDato
Skjermbilete, tatt nov. 2015:
www.tidr.no

45. Skjermbilete, tatt 2016-03-31:
http://www.suncurves.com/

46. Effektivisering og innovasjon i
offentleg sektor
• Meir effektiv deling av data
Døme: Norges vassdrags- og energidirektorat (NVE) og Met.no.
• Innovasjon
“Dei smarte hovuda jobbar ikkje hos oss”

47. Frå videoopptak av foredag,
“Tenkning og strategi bak
«Smart Aarhus»”
Kultur og naturreise sin
konferanse 2015-11-13
http://bit.ly/1TfbA4M

48. Bergens mest etterspurte datasett

49. • Masteroppgåve:
«Skaping av meirverdi
gjennom opne data om
kollektivtrafikk»
• Mai 2015
• http://breim.net/livar/

50. Bruk på tvers i offentleg sektor også viktig!
• “Tradisjonell” opne-data-tankegang:
• Offentleg sektor gjer data tilgjengeleg
• Private lagar apps
• Viktig bruk innad i offentleg sektor

51. Data er ikkje data

52. Video: Trondheim kommune - trondheim2030.no - http://bit.ly/1TbRAA1

53. Bilde: Trondheim kommune - trondheim2030.no - http://bit.ly/1TbRAA1

54. Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer

55. Kvar startar eg?
• Begynne med ein eller fleire:
• Idè
• Datasett
• Organisasjon
• Noko du vil lære deg (programmeringsspråk, verktøy, rammeverk)
• Nysgjerrig

56. data.norge.no
Nasjonalt register over opne offentlege data m.m.

63. RSS frå data.norge.no
Brukar sjølv IFTTT.com
for å få varsel på mobil
straks datasett er lagt ut.
http://data.norge.no/aktuelt/rss.xml
http://data.norge.no/app/rss.xml
http://data.norge.no/data/rss.xml

64. Datahotellet
hotell.difi.no

68. Datahotellet
• Gir data i CSV, JSON, JSONP, XML og YAML
• Teknisk løysing
• Lucene søketeknologi
• CSV + metadata
• Ingen registrering eller API-nøklar
• Open kjeldekode — https://github.com/difi/datahotel

69. API — hotell.difi.no
• Syntaks:
• hotell.difi.no/api/<format>/<datasett>

70. Hente data
http://hotell.difi.no/api/json/
brreg/enhetsregisteret

71. Hent metadata (…/meta)
http://hotell.difi.no/api/json/
brreg/enhetsregisteret/meta

72. Hent felt-definisjonar (…/fields)
http://hotell.difi.no/api/json/brreg/enhetsregisteret/fields

73. List alle datasett
http://hotell.difi.no/api/json/_all

74. Klientar til datahotellet
• Java-klient, frå Difi
https://github.com/difi/datahotel-client
• NodeJS
https://www.npmjs.com/package/difi
• Ruby
https://github.com/VoitMore/difi

75. Datahotellet: NB
• Ikkje oppetidsgaranti. Datahotellet har ikkje status som nasjonal
felleskomponent eller liknande.
• Sjekk alltid informasjon om datasettet på data.norge.no. Viktig info
om oppdateringsfrekvens, lisens, forklaring på data, kontaktinfo til
datautgjevar etc.

76. Lisens
• Norsk Lisens for Offentlige Data (NLOD)
• Creative Commons
Attribution 4.0 (CC-BY 4.0)
• meir kjent internasjonalt. Blir brukt
av dei som har mange utanlandske
brukarar, t.d. Kartverket og Met.no
• Hugs å lese lisensteksten
• Namngjeving av kjelde
• Skilnad på lisens for data og vilkår for API

77. Norsk Lisens for Offentlige Data (NLOD)
Vilkår
Namngjeving
Ikkje anbefaling
Ikkje villeie, fordreie eller feilrepresentere data
Med forståing av at
Lisensgjevar fråskriv seg ansvar for kvaliteten på data og kva data vert brukt til

78. Få tilgang på data
• Data er gjort tilgjengeleg allereie
• Ikkje tilgjengeleg
• Be om innsyn
- sjå korleis andre gjer det på mimesbronn.no
• Lese av informasjon som er ope tilgjengeleg på nettsider.
Husk å avtale løyve til webscraping..

79. Lover og retningslinjer
• PSI-direktivet (2003/2013)
• Offentleglova
• Digitaliseringsrundskrivet
• «Retningslinjer ved tilgjengeliggjøring av offentlige data»

80. Offentleglova
• «Lov om rett til innsyn i dokument i offentleg verksemd
(offentleglova).»
• «§ 9. Rett til å krevje innsyn i ei samanstilling frå databasar
Alle kan krevje innsyn i ei samanstilling av opplysningar som er
elektronisk lagra i databasane til organet dersom samanstillinga kan
gjerast med enkle framgangsmåtar.»
• NB! Offentleglova vert oppdaterast i år, jf. høyring hausten 2014.

81. Digitaliseringsrundskrivet punkt 1.4:
• Verksemda skal gjere eigna informasjon tilgjengeleg i
maskinlesbare format
• Når ein etablerar eller oppgraderar fagsystem eller digitale tenester
skal ein legge til rette for at data kan gjerast tilgjengeleg i
maskinlesbare format
• Verksemda skal følge «Retningslinjer ved tilgjengeliggjøring av
offentlige data»
Digitaliseringsrundskrivet, versjon 2015-11-20: http://bit.ly/2342OvE

82. Vanlege motargument
• Kvaliteten er ikkje god nok
• Fare for mistolking
• Fare for misbruk
• Det er kostbart/ressurskrevjande
• Innteningskrav

83. Vanlege motargument
• Kvaliteten er ikkje god nok
• tenk «twin track»
• er det godt nok til å bruke sjølv, er det godt nok til å publisere
• Fare for mistolking
• erfaring frå met.no tilseier at folk er villige til å setje seg inn i domenet.
• vidarebrukarar er også avhengige av tillit.
• Fare for misbruk
• svært lite av dette.
• feilaktig framstilling er brot på NLOD-lisensen
• Det er kostbart/ressurskrevjande
• gjer det til ein del av vanleg arbeidsprosess. Ikkje tenk for avansert.
• publisering kan avlaste tid brukt på å behandle innsynskrav
• Innteningskrav
• Tek lenger tid. Overordna organ må gjerne fjerne krav og ev. tilføre pengar.

84. Kultur og endring
Skjermbilete frå artiklar på digi.no
http://www.digi.no/juss_og_samfunn/2010/09/10/--dette-gjor-ikke-google-bedre-enn-oss
http://www.digi.no/juss_og_samfunn/2011/03/23/sanntids-trafikkdata-til-alle

85. Etterlyse datasett
Skjermbilete frå ope tilgjengeleg dokument: http://bit.ly/1OsMPjI

86. Har du laga noko med opne data?
- døme på bruk av opne data
så andre kan sjå kva du har gjort!

87. Innhald
• Opne data - kva og kvifor?
• Nokre døme på bruk
• Korleis ta i bruk opne data
• Kva skjer

88. Difi og opne data
• data.norge.no
• datahotellet
• gir råd og brukarstøtte
• pådrivar
• foredrag
• følge opp dataeigarar
• #hack4no
• internasjonalt arbeid

89. Opne-data-gruppa
sin visjon
«At deling av data skal bli ein
integrert del av korleis offentleg
sektor handsamar informasjon,
utviklar løysingar og leverer
tenester.»
Frå Twitter-bio: http://twitter.com/opnedata

90. Statistikk frå data.norge.no
pr. 31.03.2016

91. Døme på datasett publisert 2015–
• Husdyrregisteret - data om registrerte storfeindivider (Ldir)
• Produksjonstilskudd jordbruksforetak (Ldir)
• Renholdsvirksomheter godkjent av Arbeidstilsynet
• Postnummer i Norge (Posten)
• Sanntidsdata for Kolumbus (buss i Rogaland)
• Dybdedata, offisielle adresser (Kartverket)
• 3D-bymodell (Trondheim kommune)
• Tilsyn av matsteder, smilefjes-ordningen (Mattilsynet)
• Verkstedregisteret (Statens vegvesen)
• Yrkesklassifiseringer (STYRK) (SSB)
• Budsjett, skuleruter, lokasjonsdata(helsestasjonar, barnehagar, offentlige toalett) (Stavanger kommune)

92. Komande datasett
• Stavanger kommune
• Oslo kommune
• Vegvesenet
• Aksjonærregisteret?
• Med fleire…
For informasjon om aksjonærregisteret, sjå denne diskusjonstråden, og lenkene:
https://www.facebook.com/vegard.venli/posts/10156746344640224

93. Status etter 2015
• 79 nye datasett ført opp på data.norge.no i 2015
• Verksemder som allereie har publisert opne data bidreg med
mesteparten av auka (78%)
• Til saman 80 verksemder frå statleg og kommunal sektor som har
registrert opne datasett.

94. Populært på datahotellet 2015
Kjelde: besøksstatistikk for hotell.difi.no (AWStats). Periode: 2015
Datasettet blir snart publisert. Følg med på data.norge.no

95. Bruk av data.norge.no
Nokre nøkkeltall for 2015:
60 000+ besøk
235 000 sidevisninger
12 062 søk
20 000 klikk på eksterne lenker

96. Skjermbilete tatt 2016-03-30:
http://data.norge.no/data/statistisk-sentralbyr%C3%A5/api-mot-datasett-fra-ssbs-statistikkbank

97. Datakatalogar
• Prosjekt der vi testar nasjonal infrastruktur for innhausting av
datakatalogar.
• Standard: DCAT-AP-NO, sjå http://difi.github.io/dcat-ap-no/
(Data catalogue vocabulary, application profile, norsk versjon)
• Skal også beskrive data som ikkje er publisert, inkludert lukka data.

98. Infrastruktur for felles datakatalog
DCAT-AP-NO
datakataloger
1..n
Nasjonalt
(meta)datalager
Data.norge.no
Felles
datakatalog
Andre tjenester
Registrering
s-skjema
EUs dataportal
Tjenester:Nasjonal
fellesløsning:
I virksomhetene:

99. Ny data.norge.no
• Sette infrastrukturpiloten i drift
• Tilpasse data.norge til ny infrastruktur
• Tilby innhøsting av datakataloger fra virksomhetene (jf piloten)
• Andre oppgaver:
• Optimalisere brukargrensesnitt og søk
• «Name and shame»: Vise kvem som ikkje publiserer datasett
• Førebels tidsplan: Innan 1. juli
• Noko du skulle ønskje var betre enn i dagens data.norge.no? Ta kontakt!

100. Global Open Data Index (GODI)
Skjermbilete frå index.okfn.org - 2016-03-31
Open Knowledge Foundation (OKFN).

101. Internasjonalt arbeid
• Prosjekt, «Share-PSI 2.0»
• Nettverk, erfaringsutveksling
• I sluttfasen av å lage Best Practices
• Lenker mellom BPs og
lokale guidar
• Synergi med W3C si gruppe,
Data on the web (DWBP)
Skjermbilete, 2016-03-31:
https://www.w3.org/2013/share-psi/bp/

102. Komande aktivitetar i Difi
• Revidere standarden for datakatalogar, DCAT-AP-
NO, og vegleding til standarden.
• Name and shame — synleggjere kven som har
gjort data tilgjengeleg og ikkje.
• Ny data.norge.no
• Revidere «Veileder i tilgjengeliggjøring av offentlige
data».
• #hack4no oktober 2016

103. Spådommar
• Samtykke-basert deling
• Lokale dataportalar — geografiske område/byar, verksemder
• Smart Cities

104. Å dele data er ikkje det same som at
dei vert brukt.
- Anne Cathrine Frøstrup, sjef for Kartverket

105. fishackathon.co/bergen
22.-24. april
Espegrend Marine Research Field Station
Espelandsvegen, 5258 Blomsterdalen

106. Direktoratet for forvaltning og IKT

107. #hack4no 2015. Foto: Statens kartverk

108. #hack4no 2015. Foto: Statens kartverk

109. #hack4no 2015. Foto: Statens kartverk

111. Bilde: http://kartverket.no/om-kartverket/nyheter/Na-kan-du-laste-ned-Norge-i-Minecraft/

112. “
#hack4no 2015. Foto: Statens kartverk

113. hack4norden
• Nordisk konkurranse, koordinert av Nordic innovation
• Kan kvalifisere seg via to ulike spor
• Generelt
• Kultur
• I Norge via #hack4no
• Registrer e-postadressa di på www.hack4no.no for å få meir info om
#hack4no etter kvart som det blir klart.

114. • data.norge.no
finn datasett - registrer kva du har laga
• etterlys datasett : http://bit.ly/1OsMPjI
• Grupper på Facebook og Meetup.com:
«Open data Bergen»
• Twitter: @opnedata / #opnedata
• opnedata@difi.no