I'll do a talk on how we've used Neo4J for dataquality analysis & corrections as well as breed-analysis and more at NKK, where performance (dogs/second 100-9.000) and (queries/second 200-20.000) are important metrics.. :)

1. Neo4Dogs
Innovasjon
Intelligent Systems
Software
Engineering
Graph Cafe 27.06.2014
Totto-14
@javatotto / totto@totto.org

2. A Global Leader
AMERICAS
EUROPE
ASIA
Bringing our customers'
projects to life and
boosting their performance
through technology and
innovation
«
«
€ +1 633 m
REVENUES in 2013
+20 000
EMPLOYEES in 2013
+20
COUNTRIES

3. R&D and Innovation
For 30 years, Altran has had a
close relationship with
innovation.
Where creative ideas become
a reality, Altran consultants
step up to transform ideas into
innovative solutions that can
enable technological progress.
In this way, Altran has
contributed to major
technological advances in
recent decades: speed,
precision, security,
communication, practicality,
interoperability, artificial
intelligence...
AEGT: the world's most
powerful electric car
Altran was responsible for
designing and engineering the
electric transmission on this
car, capable of reaching
speeds of 300 km/h.
Solar Impulse:
the first plane to fly on
solar energy alone
Since 2003, Altran experts
have dedicated their skills
to bringing about this
formidable technical and
human achievement.
The Airport of the Future:
outlining a ‘friend-lean’
space in 2040
Altran develops revolutionary
concepts for airports
responding to long-term
changes in the industry.

4. Agenda
● Situasjonsanalyse
● Fra registersystem, via saksbehandling
til "nav"
● Platformen vi bygget
● Tall og «sånt»

5. Situasjonsanalyse
● Fra registreringsløsning til saksbehandlingssystem – over 20 år
– Hundeindivid info spredd på 30+ relasjonelle tabeller
– 2-3 ukesverk for å få hente "hund" med endel info" (hver gang)
– "umulig" å få lagret nye typer data/informasjon på hund
– bortgjemte data => data råtner på rot
– Eksploderende endringskostnad
● Man erkjent at man måtte ta et løft
– Men hvordan man slulle male seg ut av hjørnet var ikke like åpenbart
– Begrenset teknisk og løsningskompetanse
– Ikke tid, kapasitet eller penger til noen form for «full rewrite»
● Bottom-up, data-først, platformtilnærming med sterke egenskaper for løpende
datakvalitetsarbeid og semistrukturerte data valgt.

6. Fra registerløsning til saksbehandling til "hundenav"
● Rask og enkel tilgang til individer
● Skalering, 10 til 50 integrasjons-interessenter
● Håndtere individer med "ymse" datakvalitet...
● Lett utvidbar lagring av mere data på individ => semistrukturert
persisteringsstrategi

7. Overordnet arkitektur

8. Platformen vi bygget
● Individoppslag
– SolrCloud med "json_full"
● DogPopulationService
– stamtavler, populasjonsstruktur, rasedata
– feil/avvil/mangler -> DogFixer
● DogIDMapper (multi-kilde, koble ID-skjemaer)
● DogCrawler
– klarer vi å komplettere et individ
● DogFixer
– kan vi statistisk analysere rett svar
– Manuelt for tvilstilfeller
● DogServiceREST
– verify & merge, writeback updates
– tailing hundeindivid kilder

9. Tall og «sånt»
● 2 mill oppslag/time
● 10 mill/døgn
● Raseberegninger fra månedlige lange kjøringer til on-line
– 200-500 joins per individ, 1000/år, 10 år = 2-8 sek
● Latency: 0.2 sek, 99.7% av requestene
● DogIDMapper: 4000 dogs/sek
● DogGraph: 3000 dogs/sek
● DogFixer: 10-15 dogs/sek
● DogCrawler: 100-200 dogs/sek

10. Tall

11. ..og «sånt»

12. Prøv selv:
* http://dogsearch.nkk.no
* http://dogpopulation.nkk.no/
* http://dogpopulation.nkk.no/ras/?breed=Dunker
* http://dogpopulation.nkk.no/dogpopulation/concurrent/executor/status
* Kode: på forespøsel :)