- hvordan "data oriented architecture" brukes i Norges største IOT prosjekt. Du får en intro til prosjektet, til semantisk integrasjon, hvordan det settes opp, og hvordan det ble brukt i prosjektet. Opptak her: https://vimeo.com/album/3556815/video/138849272

1. Hafslund AMS: Hvordan semantisk
integrasjon redder
Norges største IOT-prosjekt
Jon Andreas Pretorius, Hafslund Nett
Simen Sommerfeldt, Bouvet
til JavzZone 2015

2. s.2

3. Utfordringen;
s.3
Løp ut og kjøp 700.000 avanserte strømmålere
Bygg et sikkert radiokommunikasjons –nettverk som dekker (nesten) all
bebyggelse i Oslo, Akershus og Østfold
Bytt ut alle 700.000 gamle strømmålere hjemme hos folk innen 1.januar 2019
(inne bak låst dør) ((tja, ca 1.200 per arbeidsdag))
Sørg for at all kunde- og anleggs -data er korrekt, konsoliderte og
tilgjengeligjøres for utrullingsprosessen (fra et tradisjonelt norsk lappverk av
en semi-integrert applikasjonsportefølje)
Sørg for at all ny data, inkludert data fra de 700.000 målerne er tilgjengelige
og konsolidert med eksisterende data, og at de kan benyttes av (ca her dupper de fleste i
salen av) kundene og internt for analyse som gir økt effektivisering av strømnettet
(også her i den tradisjonelle norske applikasjonsporteføljen)
OK?

4. s.4

5. Hafslunds.5

6. Operasjonell struktur
6
Produksjon
Vannkraft-
produksjon
Varme
Fjernvarme-
produksjon
Fjernvarme-
distribusjon
Bioenergi
Nett
Regionalnett
Distribusjons-
nett
Driftssentral
Marked
Strøm
Kundesenter
Fakturaservice

7. Forretningsområde Nett
• Hafslund eier og drifter Norges største strømnett, og
har lenge hatt en av landets laveste nettleier.
• Hafslund er regionalnettseier i Oslo, Akershus og
Østfold.
• Hafslund eier distribusjonsnettet i Oslo og
størstedelen av Akershus og Østfold.
• Antall nettkunder per 1.1.2015 er 683.000.
• Nettet består av til sammen 38.434 km luftledninger
og jordkabler.
• I regionalnettet er det 168 transformatorstasjoner.
• I det høyspente fordelingsnettet er det 17.156
nettstasjoner med til sammen 19.322 transformatorer.
• Hafslund har en av Europas mest avanserte
driftssentraler som styrer, overvåker og optimaliserer
strømnettet til 1,5 millioner mennesker,
fjernvarmeanleggene i Oslo-området og Hafslunds
kraftverk i Glomma.
7

8. Hafslund har eksistert i over 100 år- siden
1898
s.8

9. Det vil være større endringer de neste fem
årene enn det har vært de siste 100 årene
1899 1911 2011 2020
?"

10. Regulatoriske endringer vil øke kompleksiteten
og kreve stor grad av automasjon
s.10
35 000 enkle fjernavleste målere
Årlig driftskost pr måler: ca 950
700 000 komplekse fjernavleste
målere
Har i dag buffer for feilretting.
Stort sett bare ifm måler-
avlesning at programmet er tett
Årlig driftskost pr måler: 150
Alt online og ingen buffer eller
servicevindu. Alt må alltid være
tilgjengelig. Kan illustreres ved å
tenke at det var måleravlesning
hver dag hele døgnet
IT er i liten grad en trussel for
omdømme
Hacking, virus mm vil utgjøre en
mye større trussel generelt og
målere vil kunne hackes
Kompleksitet høy, men vi reddes
av rolige perioder
Kompleksitet vil være betydelig
høyere og konstant
I dag 2020
AMS
elHUB
Kundens forventning som i 1990
Hvordan vil kundens forventning
endres?

11. AMS:
• De nye smarte målerne registrerer strømforbruket
på timebasis og sender automatisk informasjon om
forbruket til nettselskapet
• De nye smarte målerne registrere også data knyttet
til spenningskvalitet, jordfeil etc
• De nye målerne har to-veis kommunikasjon mellom
måler og nettselskap, og vil kunne gi kundene
løpende informasjon om eget forbruk og
øyeblikksprisene for kraft og nettleie.
• Nettselskapene er ansvarlige for installasjon og
drift av AMS-systemet, men nettselskapene kan
ikke nekte andre tjenesteleverandører å tilby
kundene styrings- og informasjonstjenester.
Avanserte Måle- og Styringssystemer (AMS) innføres innen 01.01.2019
AMS – grunnmuren i fremtidens digitale
strømnett

12. s.12
Elhub og leverandørsentrisk modell
ElHub
Statnett har fått i oppdrag av NVE å etablere Elhub.
Elhub skal samle inn alle måleverdiene for Norge og
samtidig gjøre disse verdiene tilgjengelig for
kraftleverandører og deres sluttkunder. Videre skal
Elhub understøtte prosesser for kunder som flytter eller
bytter leverandør, samt sammenstille data for avregning
mellom aktørene i kraftmarkedet
For Hafslund Nett betyr dette at innsamlede og
verifiserte timesverdier fra samtlige AMS strømmålere
skal overføres til ElHub en gang i døgnet
Når leverandørsentrisk modell etableres vil kundene
kun forholde seg til strømselskapet (eksempel
tjenesteleverandører og infrastrukturleverandør
mobiltelefoni)
Leverandørsentrisk modell skaper store endringer i
forretningsprosesser og datautveksling i bransjen
Skisse hentet fra elhub.no

13. s.13
System D System …
System CSystem BSystem A
System N
Hafslund har utredet to
alternative løsninger for
integrasjonsarkitektur som vil
støtte kravene til ny AMS
løsning;
- ServiceBus
- DataNAV (Semantisk/RDF)
Hafslund har erfaring med
begge løsninger, men prosjektet
anser en DataNAV-basert
løsning som mest
hensiktsmessig i denne
sammenheng;
- Økt stabilitet (asynkron
datautveksling)
- Færre integrasjonspunkter
- Tilsvarende arkitektur valgt
sentralt for El-Hub
DataNAV
Valg av integrasjonsløsning

14. s.14
IFS ERP
Lager &
Logistikk
Prosjektmodul AO-modul
360º
Schedulering
Nytt feltverktøy
Økonomi anleggsregister
Dokumentasjon
HR/Ressurs
Utrulling
AMS
Drift.
AMS
Etappeplanlegging og
oppfølging Tildel Start opp Utfør Rapporter
Prosjekt, Drift, Vedl.
eksisterende
Mottak – uttak varer
DataNav
GeoNIS
#anlegg
Quant
#AMS
Generis
#gammel måler
CAB
#kunde
Datavarehus /
Arkiv
Konsolidert kunde- og anleggs-
data fra DataNav
Datakilder for
utrulling
Datamottakere i
utrulling
Historisk data-arkiv
og analyse
Integrasjonsmotor
All masterdata
konsolideres i
DataNAV
DataNAV er eneste
kilde for samtlige
fagapplikasjoner
Ved hjelp av den
semantiske
databasen
«kobles» alle data
DataNAV gir stort
potensiale
forvaltning av
informasjonsmodell
og analyse
Etablert applikasjon løsningsdesign

15. www.hafslund.nowww.hafslund.no

16. Advisor and CTO, Bouvet Oslo
Lær Kidsa Koding!
Oslo IoT meetup
@sisomm

18. Master data:
Elefanten i
rommet

19. System
System
System
System
System
System
System
System
System
System
System

20. Jeg har holdt mange foredrag og
skrevet mange artikler om IOT

21. Hypotese: Internet of Things
prosjekter vil alltid involvere
integrasjon

25. http://m.ash.to/cairo/images/pano/october-war-panorama-01.jpg

26. Store systemer vil egentlig ikke
snakke med andre
Folk glemmer ting
Systemer er fulle av bugs

27. De som skal fikse er ikke
tilgjengelige
Systemer oppgraderes plutselig
Systemer trenger ny info

28. Meldingstyper kan ikke endres
Noen vil ikke samarbeide
Lover og regler endres

29. Det er ikke produktet SESAM
som er viktig men idéen om
DOA

30. Arkiv
HR
Turnus
Regnskap
Lønn
Klasssk
ende-til-
ende
integrasjon

31. Arkiv
HR
Turnus
Regnskap
Lønn
ESBESB
Klassisk
integrasjon
med ESB

32. s
Arkiv-
domene
HR-
domene
Turnus
-domene
Regnskap-
domene
Lønn
-domene
msg msg msg
Micro-
Services:
REST

33. Arkiv
HR
Turnus
Regnska
p
Lønn
Felles datamodell?

36. Traditional
SOA med
kanonisk
datamodell
HINDRER
fleksibilitet

37. DOA – Data Oriented
Architecture
37

38. Arkiv
HR
Turnus
Regnskap
Lønn
Behold datamodellene – kopier dataene

39. Vi kopierer
hele domene-
modellene fra
systemene

40. Konvertering av data- RDF
ID Name Position Born E-mail Manager
101 Tim Berners-
Lee
Programmer 08061955
timbl@w3c.org 958
958 Vint Cerf Inventor 23061940 vint@stanford.edu 999
765 Pål Spilling Professor 04111940 pspilling@uio.no 765
Subject Predicate Object
101
101
101
101
Type Person
Name
Position
Born
E-mail
Manager
101
timbl@w3c.org08061955 958ProgrammerTim Berners-Lee101

41. Universelt unike identifikatorer
Subject Predicate Object
www.org.no/data/system/person/1 Type Person
www.org.no/data/system/person/1 Name Tim Berners-Lee
www.org.no/data/system/person/1 Position Programmer
www.org.no/data/system/person/1 Manager www.org.no/data/system/person/2
www.org.no/data/system/person/2 Name Vint Cerf
www.org.no = Unique organisation on the internet
www.org.no/data/system/person/1 = unique id of the information element

42. Arkiv
HR
Turnus
Regnskap
Lønn
Koble data
Duplikater
Kontakt=Kontakt
Location= Avdnr
Empnr=ID1
Avdnr=Depnr

43. Med open-source verktøyet
DUKE kan vi koble elementer
uten felles identifikatorer – ved
å benytte statistiske algoritmer
og trening på datasett

44. Arkiv
HR
Turnus
Regnskap
Lønn
Arkivering med metadata fra flere kilder
Nav
Dok
Meta1
Meta2
Dok

45. HR Dest
Løse koblinger! SDShare
Source
HUB
• Hent data, ikke dytt!
• Asynkront
• Abonnenter får data som er endret siden sist
• ...spør etter endringer eller hele datasettet
• Informasjonen transformeres i fart

46. www.sdshare.org

47. Arkiv
HR
Turnus
Regnskap
Lønn
Integrasjon via nav med løse koblinger
Nav
Søk

48. Arkiv
HR
Turnus
Regnskap
Lønn
I valgtider: kommunesammenslåing?
Nav
Turnus
HR
Lønn
Arkiv
Søk

49. s
Arkiv-
domene
HR-
domene
Turnus
-domene
Regnskap-
domene
Lønn
-domene
Micro-
Services:
REST m/
SESAM
modell&
modell& modell&
modell&
modell&

54. Vi bruker en “Hashtracker” for å
spore endringer, eller et “sist
endret” felt

55. Lese med SQL/File
Skrive med API

56. En “push receiver” er en http
server som mottar RDF
fragmenter. Den kaller på API
hos målsystemet. Hvis det feiler,
forsøker Sesam igjen

57. DOA
Database&
Content&
Mngmt&
File&
System&
Enterprise&
Search&
Reporting&
Analytics&
Data&Hub&
System&X&
Public&
Open&
Data&
Content&
Mngmt&
Enhance&
and&
Connect&
COLLECT
CONNECT
SHARE
Transform&
Data objects flow NOT messages

58. Kafka for ekstra trøkk
SDShare&Server&
KaDa&
Provider&
RDF&Store&
KaDa&Queue&
Kafka kan hente og berike data i enden av køen

59. • SQL Databaser via jdbc
• CSV filer
• RDF triple stores
• Sharepoint
• Kafka
• XML filer
• LDAP kilder
• Excel files
• MS Exchange server (mail and calendar)
• SDSHARE – anything! (MongoDB, etc)
Data kilder og mottakere

60. 61

61. Data Analytics & Enhancement Existing Systems
Processes Search and Reporting
All Data Indexed
Contribute data
Drive process through
state change
Models in data,
Constraints in data
Act on all data
Analytics results are
just more data
Complete
views of all
systems and
processes
Use Data
All people can ask
all questions
U
niform
ly
Structured
data
from
heterogeneous
sources
System Improved

62. Andre systemer kan fortsette å
kjøre selv om ett er nede. Og du
kan oppgradere et system eller
installere et nytt med færre
konsekvenser

63. Kunden får makt over
informasjonsmodellen
og stiller sterkere
overfor leverandører

64. Kunden kan lage prototyper
og hurtig kombinere
informasjon til nye systemer

65. 1. Du skal kun få fra data fra andre systemer gjennom SDSHARE
2. Prosesser drivs frem gjennom statusendringer i domenemodeller
3. Det vil aldri eksistere en felles datamodell i bedriften
4. Du skal aldri spørre navet direkte, men få data gjennom SDSHARE
5. Du skal være komfortabel med ”eventual consistency”
6. Du skal gi det samme svaret når du blir spurt om det samme
7. Verden er asynkron. Ikke prøv å påtving den noe annet
8. Du skal avfinne deg med at den samme informasjonen kan ha flere
kilder og oppdateres flere steder
9. Systemene trenger ikke å kjenne til informasjonsnavet
10. Informasjonsnavet er ikke en backup
De ti bud for DOA

66. • Java-basert, Kjører i Docker
• Bruker Github og Saltstack for å holde
installasjonene ajour
• I kjernen: Virtuoso Triple Store
• Har en “Data browser”
• Bruker SOLR for å tilby universelt søk
• All kommunikasjon skjer via SDSHARE
• Konfigurasjon over koding
Sesam tech

67. Et paradigmeskift for kodere
• Eventual consistency
• Tafsing av data
• RDF og SDShare
• Sparql er ikke SQL
• Idempotence: Sesam
kan sende duplikater
• Ingen direkte kall eller
meldingshåndtering
• Du trenger en
informasjonsarkitekt
• IKKE bruk flere køer.

68. http://m.ash.to/cairo/images/pano/october-war-panorama-01.jpg

71. Tråkk til! Lag
AMS med
SESAM!

72. Oppsummering av krav
• Massive datamengder
• Mange systemer som må koordineres
• Mange implementasjons-steg, med skiftende
behov
• og... Ikke unikt for Hafslund:

77. Komple)e"nå,d"og"historiske"
anleggsdata,"kundedata,"
arbeidsordre,"hendelser,"
«sensor»data,"feilrapporter"++"
kny)et",l"anlegg,"kunde"og",d.""
IFS"
Quan
t"
GEONIS" CAB"
Arkiv"(Azure)"
MDM"
Felt" Samtlige"kjernedata"og"
endringer"som"strømmer""
gjennom"DataNAV"arkiveres"i"alle"
versjoner"med",dspunkt.""
"
Alle"data"i"DataNAV"er"koblet",l"
anleggspunkt"og"eventuelt"kunde,"
arbeidsordre"eller"feilrapport."
"
Det"totale"historiske"volumet"i"
DataNAV"gir"et"komple)"databilde"i"
Hafslund"Ne),"og"er"en"sentral"
database"for"analyse"kny)et",l"driU,"
predik,v"analyse,"
investeringsbeslutninger"infrastruktur"
og"preven,vt"versus"reak,vt"
vedlikehold"++"
"
«Sensordata»"fra"700.000"målere"og"
ne)stasjonsovervåking"er"sentral"i"
denne"dimensjonen."
Analyselag"

78. 8
3
DataNAV;"All"data",lgjengelig"fra"en"
kilde,"koblet",l"en"logisk"anleggsstruktur"
og",d,""gir"en"enorm",lgang",l"
rapportering"og"analyse:"
"
Y Arbeidsordre"med"komponentnivå"kny)et",l"spesifikke"
anleggsobjekter"gir"muligheter"for"å"analysere"leve,d"
og"finne"faktorer"som"påvirker"leve,d"(se)"sammen"
med"sensordata"fra"strømmålere,"
ne)stasjonsovervåking"og"eventuelle"eksterne"kilder"
som"værdata)"
Y Data"kny)et",l"spenningskvalitet,"jordfeil"og"last"kan"
vurderes"per"målepunkt,"per"ne)stasjon"eller"definert"
geografisk"område."Eksempelvis"som"stø)e"ved"
investeringsbeslutninger."
Y Det"finnes"ingen"begrensinger"for"bruken"av"data,"
nøkkelen"er"at"samtlige"data"arkiveres"e*"sted"kny)et"
,l"et"spesifikt"anleggsobjekt."Det"logiske"strukturen"i"
anleggsne)et"kny)er"data"sammen"(eksempel;"for"å"
håndtere"en"situasjon"eller"endring"i"ne)et"må"man"
oppre)e"en"arbeidsordre"i"IFS."IFS"tvinger"brukeren",l"
å"kny)e"arbeidsordre",l"et"spesifikt"anleggspunkt"fra"
Geonis)"
Arbeidsordre"på"
komponentnivå"
Data"fra"
sensorer,"last,"
spenning"++"
Hendelser"

79. 8
4
Data+fra+
DataNAV+kan+
enkelt+
presenteres+i+
kartverk+da"all"
data"er"
strukturert"
e)er"våre"
standarder"og"
er"kny)et",l"
definerte"
anleggskompo
nenter"–"
uavhengig"av"
hvilke"
prosessautono
me"systemer"
de"oppstår"i."
DataNAVet"
ivaretar"
knytning."
Eksempler"basert"på"
enkeltkart"fra"Geodata"
og"Powell"Geonis"som"
er",lgjengelig"for"
Hafslund"Ne)"

80. 670.000 x 4 x 24
=
64.320.000 daglige målinger

81. YAY! Need for american-scale
technology
Yay! Need
for
AMERICAN
scale
technology!

82. Den første utfordringen er å
samkjøre informasjon mellom
systemene før målingene kan
starte

83. Lag SQL for import av data, inn
i “navet”, skrive “push receivers”
mot API’er for skriving til
systemer

84. Alle pilene
er ”feeds”
til/fra
Sesam

85. Slide source: Ståle Heitmann, Computas

87. Når du bør vurdere semantisk
integrasjon
• Brukes gjerne når alt annet er forsøkt
• Mange domener og/eller kilder til samme
informasjon
• Hvis integrasjonsarbeidet involverer mye
datakonvertering
• Hvis integrasjonsprosjektet eser ut
• Som innsamlingsledd for Big Data /
Analytics.

88. For mer info..
• send mail til info@sesam.no
• www.sesam.no
• www.sdshare.org

89. Spørsmål?

90. • Anders Volle
• Ståle Heitmann
• Steinar Rudsar
• Axel Borge
• Øystein Isaksen
• Graham Moore
• Lars Marius Garshol
• Steinar Rune Eriksen
Takk til...

91. Takk for oss!
Simen.Sommerfeldt@bouvet.no
995 07 733
@sisomm
Jon.Andreas.Pretorius@hafslund.no
476 01 370
@herrpretorius