NoSql presentation at IASA norway meeting. The point is to choose a db solution that fits your needs between functionality, scaling and complexity. Nothing is for free, but rdbms is not the only answer for all problems either.
Skal man få fullt utbytte av dataene man sitter, på må disse integreres, samles og vaskes. Det kan være både vanskelig og dyrt, men fremskritt innen integrasjonsteknologi har gjort dette vesentlig enklere og mer fleksibelt. Vi forteller om teknikker vi har brukt for dette, og ser på noen kundecaser.
Bjørn Nordlund discusses how Docker allows building and sharing infrastructure as easily as code. Docker uses containers based on Linux kernel features like namespaces and cgroups to package applications securely and independently from the underlying infrastructure. Docker provides a simple interface to create, start, stop, move, and share application containers. This allows more efficient utilization of server resources and easier deployment of applications.
Min drømmeapplikasjon (dreamapp) er en lyntale fra javaZone2010 som handler om at kompleks deployment med mange komponenter og infrastruktur gjør at du mister kunder/brukere av systemene du lager. 5 minutter er det jeg gidder å investere i å sette opp en tjeneste/produkt for å teste det ut.
Jeg viser også hvordan du på under 5 minutter kan sette i gang et javaprosjekt og bygge en deploybar applikasjon klar for produksjonssetting.
INSTRUCTIVO PARA VOTO ELECTRÓNICO NO PRESENCIALCALPERU
Este documento proporciona instrucciones sobre cómo votar electrónicamente en las elecciones 2016-2017 del Colegio de Abogados de Lima (CAL). Explica que los votantes deben estar registrados y habilitados en CAL, y crear o verificar su contraseña con anticipación. También indica que un día antes de las elecciones se publicará un enlace en el sitio web de CAL para acceder a la página de votación, ingresar con el registro CAL y contraseña, recibir un código por SMS, e ing
Er Apache Camel riktig valg for deg? Lytt til erfarne Camel spotters.Bjørn Nordlund
A problemsolving humoristic presentation of apache camel and enterprise integration presented at javazone 2011.
The presentation was filmed and is available at vimeo http://vimeo.com/28760446
Skal man få fullt utbytte av dataene man sitter, på må disse integreres, samles og vaskes. Det kan være både vanskelig og dyrt, men fremskritt innen integrasjonsteknologi har gjort dette vesentlig enklere og mer fleksibelt. Vi forteller om teknikker vi har brukt for dette, og ser på noen kundecaser.
Bjørn Nordlund discusses how Docker allows building and sharing infrastructure as easily as code. Docker uses containers based on Linux kernel features like namespaces and cgroups to package applications securely and independently from the underlying infrastructure. Docker provides a simple interface to create, start, stop, move, and share application containers. This allows more efficient utilization of server resources and easier deployment of applications.
Min drømmeapplikasjon (dreamapp) er en lyntale fra javaZone2010 som handler om at kompleks deployment med mange komponenter og infrastruktur gjør at du mister kunder/brukere av systemene du lager. 5 minutter er det jeg gidder å investere i å sette opp en tjeneste/produkt for å teste det ut.
Jeg viser også hvordan du på under 5 minutter kan sette i gang et javaprosjekt og bygge en deploybar applikasjon klar for produksjonssetting.
INSTRUCTIVO PARA VOTO ELECTRÓNICO NO PRESENCIALCALPERU
Este documento proporciona instrucciones sobre cómo votar electrónicamente en las elecciones 2016-2017 del Colegio de Abogados de Lima (CAL). Explica que los votantes deben estar registrados y habilitados en CAL, y crear o verificar su contraseña con anticipación. También indica que un día antes de las elecciones se publicará un enlace en el sitio web de CAL para acceder a la página de votación, ingresar con el registro CAL y contraseña, recibir un código por SMS, e ing
Er Apache Camel riktig valg for deg? Lytt til erfarne Camel spotters.Bjørn Nordlund
A problemsolving humoristic presentation of apache camel and enterprise integration presented at javazone 2011.
The presentation was filmed and is available at vimeo http://vimeo.com/28760446
Presentasjon som skal holdes på Software 2013. Presentasjonen inneholder gode designmønstre for å utnytte "skyen" representert ved Heroku og Skatteetatens målarkitektur: "Alle har høye forventninger. Dagens systemer kan ikke utnytte den nye plattformen. En softwarerevolusjon er nødvendig. Slik gir du din arkitektur en radikal ”makeover” med gode gamle designmønstre!"
Presentasjon fra Arkitektur i praksis på Software 2016. Modernisering av gamle systemer viser seg meget vanskelig. Det er ikke bare å skrive om. Skatteetaten har klart ett paradigmeskifte både på arkitektur og implementasjon, og presenterer mønstre bak reelle løsninger. For å dra nytte av nye teknologier (PaaS, In-memory, NoSql, Reactive, Immutable) må du forstå hvordan domenet skal representeres i det nye. Jeg opplever at det er utfordrende for mange å forstå dette paradigmeskiftet, som representerer løsninger for det 21. århundre. 3 basisteknologier, 3 sentrale komponenter og bruk av 8 designmønstre presenteres i detalj for å forklare helheten.
Hva Og Hvorfor Arkitektur - 11. mai 2010, TrondheimEspen Johanson
Arkitektur – hvorfor, hva og hvordan?
Sjefsarkitekt Tore Stokkedal fra IBM presenterer nytteverdien av å ha et sterkt fokus på IT-arkitektur.
Han belyser hva industrien mener IT-arkitektur er, og hvordan arkitektrollen skal fungere med eksempler fra praktisk erfaring gjennom 10 år som sjefsarkitekt i ulike typer prosjekter.
Om foredragsholderen:
Tore Stokkedal er sertifisert IT-arkitekt gjennom Open Group og har bred erfaring som IT-arkitekt fra større infrastruktur- og applikasjonsutviklingsprosjekter. Han er for tiden sjefsarkitekt for IBMs outsourcingsvirksomhet i Norge. Tore er opptatt av hvordan arkitekturarbeid legger verdi til prosjekter og virksomheter, samt hvordan rollen IT-arkitekt skal utføres.
Administrasjon av Geodatabasen - Esri norsk BK 2014Geodata AS
Sesjonen tar for seg ulike tema relatert til administrasjon av en Enterprise geodatabase. Vi vil se på hvordan arkitekturen til en Enterprise geodatabase er bygget opp og hvordan den gir et flerbruker-miljø muligheter for å jobbe uforstyrret mot de samme dataene. Tips om hvilke grep som må tas for å opprettholde ytelse og skalerbarhet i geodatabasen samt noen verktøy som forenkler administrators arbeidsoppgaver vil bli vist.
Sesjonen tar for seg ulike tema som kan være nyttig enten du er ansvarlig for administrasjon, systemansvarlig eller superbruker av en Enterprise geodatabase.
Foredrag 24. oktober: Ark2012 i regi av Dataforeningen.
Kinderegget; enklere, billigere og mye raskere
Tormod Varhaugvik, seniorrådgiver, Skatteetatens IT- og servicepartner (SITS)
Hovedmålet med Skatteetatens målarkitektur er endringsevne og forvaltningskost. I kjernen finnes en beregningsarkitektur for skatt og avgift. Beregningskjernen må ha høy endringsevne, full testbarhet, lineær skalering, store datamengder, lang levetid, fleksibel sourcing og massiv spørring 24/7. Vi har en radikal tilnærming og satt sammen en innovativ pakke. Vi tror vi er alene i verden på dette innen offentlig sektor. Hva med 100% funksjonell testdekning, 30% av dagens forvaltningskost, 5% av hardwarekost og 1000 ganger raskere? Presentasjon viser hvordan en drar nytte av Grid teknologi med Java.
Integrasjonsdagene 2014 - Lenkede data - automagisk integrasjon?Steinar Skagemo
Presentasjon på Communicates arrangement "Integrasjonsdagene" i Halden. Presentasjonen inneholder en lang rekke eksempler på bruk av lenkede data / linked data / RDF i offentlig sektor i Norge, samt noen internasjonale eksempler. De fleste foilene har pekere til kilden, for mer informasjon
Presentasjon som skal holdes på Software 2013. Presentasjonen inneholder gode designmønstre for å utnytte "skyen" representert ved Heroku og Skatteetatens målarkitektur: "Alle har høye forventninger. Dagens systemer kan ikke utnytte den nye plattformen. En softwarerevolusjon er nødvendig. Slik gir du din arkitektur en radikal ”makeover” med gode gamle designmønstre!"
Presentasjon fra Arkitektur i praksis på Software 2016. Modernisering av gamle systemer viser seg meget vanskelig. Det er ikke bare å skrive om. Skatteetaten har klart ett paradigmeskifte både på arkitektur og implementasjon, og presenterer mønstre bak reelle løsninger. For å dra nytte av nye teknologier (PaaS, In-memory, NoSql, Reactive, Immutable) må du forstå hvordan domenet skal representeres i det nye. Jeg opplever at det er utfordrende for mange å forstå dette paradigmeskiftet, som representerer løsninger for det 21. århundre. 3 basisteknologier, 3 sentrale komponenter og bruk av 8 designmønstre presenteres i detalj for å forklare helheten.
Hva Og Hvorfor Arkitektur - 11. mai 2010, TrondheimEspen Johanson
Arkitektur – hvorfor, hva og hvordan?
Sjefsarkitekt Tore Stokkedal fra IBM presenterer nytteverdien av å ha et sterkt fokus på IT-arkitektur.
Han belyser hva industrien mener IT-arkitektur er, og hvordan arkitektrollen skal fungere med eksempler fra praktisk erfaring gjennom 10 år som sjefsarkitekt i ulike typer prosjekter.
Om foredragsholderen:
Tore Stokkedal er sertifisert IT-arkitekt gjennom Open Group og har bred erfaring som IT-arkitekt fra større infrastruktur- og applikasjonsutviklingsprosjekter. Han er for tiden sjefsarkitekt for IBMs outsourcingsvirksomhet i Norge. Tore er opptatt av hvordan arkitekturarbeid legger verdi til prosjekter og virksomheter, samt hvordan rollen IT-arkitekt skal utføres.
Administrasjon av Geodatabasen - Esri norsk BK 2014Geodata AS
Sesjonen tar for seg ulike tema relatert til administrasjon av en Enterprise geodatabase. Vi vil se på hvordan arkitekturen til en Enterprise geodatabase er bygget opp og hvordan den gir et flerbruker-miljø muligheter for å jobbe uforstyrret mot de samme dataene. Tips om hvilke grep som må tas for å opprettholde ytelse og skalerbarhet i geodatabasen samt noen verktøy som forenkler administrators arbeidsoppgaver vil bli vist.
Sesjonen tar for seg ulike tema som kan være nyttig enten du er ansvarlig for administrasjon, systemansvarlig eller superbruker av en Enterprise geodatabase.
Foredrag 24. oktober: Ark2012 i regi av Dataforeningen.
Kinderegget; enklere, billigere og mye raskere
Tormod Varhaugvik, seniorrådgiver, Skatteetatens IT- og servicepartner (SITS)
Hovedmålet med Skatteetatens målarkitektur er endringsevne og forvaltningskost. I kjernen finnes en beregningsarkitektur for skatt og avgift. Beregningskjernen må ha høy endringsevne, full testbarhet, lineær skalering, store datamengder, lang levetid, fleksibel sourcing og massiv spørring 24/7. Vi har en radikal tilnærming og satt sammen en innovativ pakke. Vi tror vi er alene i verden på dette innen offentlig sektor. Hva med 100% funksjonell testdekning, 30% av dagens forvaltningskost, 5% av hardwarekost og 1000 ganger raskere? Presentasjon viser hvordan en drar nytte av Grid teknologi med Java.
Integrasjonsdagene 2014 - Lenkede data - automagisk integrasjon?Steinar Skagemo
Presentasjon på Communicates arrangement "Integrasjonsdagene" i Halden. Presentasjonen inneholder en lang rekke eksempler på bruk av lenkede data / linked data / RDF i offentlig sektor i Norge, samt noen internasjonale eksempler. De fleste foilene har pekere til kilden, for mer informasjon
6. Vi har muligheten BBS 20% Tekst endres i Topp- og Bunntekst 10/7/2009 s.6
7. Vi ønsket oss en databaseløsning hvor vi enkelt kunne lagre det vi ville og lett finne det igjen. Vi ønsket en løsning som var enkel å sette opp, som kunne kjøre hvor som helst Vi ønsket en dynamisk løsning som kunne vokse med applikasjonen, endres og skaleres opp eller ned etter behov.
10. Read slaves, caching, Partitioning, Shared everything and shared nothing Tekst endres i Topp- og Bunntekst 10/7/2009 s.11
11. Scaling vs functionality, performance and complexity Tekst endres i Topp- og Bunntekst 10/7/2009 s.22
12. SQL vs noSQL noSQL Ikke noe skjema, data som hører sammen lagres sammen. Ikke normalisert, ikke integritet. Referanser mellom data. key/value, (tables, collections) Spørringer, serverside funksjoner, map reduce finnes hos noen Indexer og profilering finnes hos noen BASE Skalering er noe enklere - shared nothing s.21 SQL Fast skjema, normaliserte data, integritet. Primærnøkler, fremmednøkler og indexer Transaksjoner Spørringer og joins Profiling (explain) ACID Skalere er vanskelig - shared everything?
13.
14. Key/value Project Voldemort Tokyo Cabinet Oracle BerkleyDB Tekst endres i Topp- og Bunntekst 10/7/2009 s.27 Operasjoner: Get (key) Put(key, value) Remove (key) Key Value hpv Navn:Hans-Petter, Email:hpv@bbs.no bjn Navn:Bjørn, Email:bjn@bbs.no, Tlf:22890000 Status:i pappaperm
15. Kolonnebaserte Tekst endres i Topp- og Bunntekst 10/7/2009 s.28 Hbase Cassandra Hypertable Operasjoner: Get (key, column:identifier) Put(key, column:identifier, value) Remove (key) Map/reduse for mer avanserte spørringer Key(rad) Kolonne:Value hpv Personalia:{ navn:Hans-Petter }, Kontakt:{ mail:hpv@bbs.no } bjn Personalia:{ navn:Bjørn }, Kontakt:{ mail:bjn@bbs.no Tlf:22890000 }
Tanken på å slippe databaseskjema var forlokkende.
One size fits all? Er det en naturlov at alle data må lagres i en relasjonsdatabase. For ikke så lenge siden var det ikke mulig å lage en applikasjon uten mange lag, appserver, ejb osv..
Arkivcase der vi har har problemer med skaleringer og utviding av funksjonalitet Store datamengder 10Tb, 350 mill elementer i enkelte tabeller.
Inspirert av Google med fler Vi kan søke om å få ca 20% av tiden vår til noe vi selv ønsker å drive med.
Det er i dette landskapet du skal bevege deg. Vil du ha funksjonalitet, joind, konsistens i basen, eller skalere enkelt og billig?
Atomicy Consistency Isolation Durability Basically Available Soft-state Eventual consistency noSql har typisk valgt vekk tradisjonell databasefunksjonalitet og overlatt det til klienten samtidig som de har kunnet styrke ting som skalering og tilgjengelighet. Dette er ting som relasjoner, skjema, spørringer, joins og transaksjoner. Noen er heller ikke ACID compliant. Men som regel er de i allefall atomicy (ikke transaksjoner), ofte konsistent, men ikke nødvendigvis, durability er ikke altid like garantert (forsinkelse på transaksjonslogger etc) Mye varianter, men de fleste har til felles å kunne lagre vilkårlige data, slå opp på nøkkel og flere har fokus på sharding løsninger – som er ekte skalerbart.
Større fleksibilitet Flytter skjema opp i applikasjonen. ” Tabeller” og ”kolonner” opprettes dynamisk ved behov. Enklere migrering. Versjonering av skjema sammen med koden. Enklere i en distribuert verden siden man slipper oppdatering Man trenger noe skjema greier indekser..
Enkle raske og skalerbare Litt enkle for mange problemer? Typisk kun key som er indeksert Det finnes varianter med unike/ multiple keys Mange varianter av hva som kan legges inn som value
Inspirert av Google Bigtable Det man kaller en multidimensjonal key value db Key/value med ett skjema (kolonner må predefineres) Muligheter for å behandle kolonner på forskjellig måte, for eksempel komprimering Key er typisk indeksert map reduse for å gjøre søk og operasjoner i data. Bedre egnet som en dataanalyse enn onlinedatabase? Vanskelig å forstå konseptet.
Data lagret som en struktur (typisk json eller xml) Felter inne i dokumentet kan indekseres individuelt. Mye funksjonalitet Enkle å forstå
Det er ikke noen grunn til at noSql baser skal være dårligere eller mindre sikre enn sql baser, dette kommer helt ann på modenheten til produktene og tilgangen på verktøy. I dag er ikke dette like bra, men tiden vil vise, vil de store stille seg bak initiativene, hvem vil overleve etc...
et argument for sql baser er ofte at data varer lengre enn applikasjoner og det er rett, men som regel ender du likevel opp med en eller annen eksport/import strategi fordi integrasjon rett mot en denormalisert base er vanskelig, og påtvinger deg legacy datamodell. Dokumenter er mer representative og enklere å gjenbruke. uansett, lag en export all/import all strategi!
Vis koden - modellen - noen rest verb Vis deploy til heroku - se startmeldingene Legg inn et dokument - finn dokumentet - Legg til et nytt dokument med nytt felt - finn basert på nytt felt Last opp noen bilder - Søk på metadata Slett med poster appen Vis mongoHq grensesnitt Se filer Se index Kjør en db.images.find({"tags":"oslo").explain()