sones graph database in the cloud

GraphDB in der Wolke Daniel Kirstenpfad / sones CTO / Founder www.sones.com - @sonesConfidential sones GmbH| 11/30/2010 1

In den letzten 35 Jahren waren Informationen strukturiert und in Tabellenform in geschlossenen Datenbanken-Silos eingesperrt.Confidential sones GmbH| 11/30/2010 2 1

Relationale Datenmodelle und damit SQL sind ein limitierender Faktor (Performance, Komplexität) für hochverknüpfte Daten. == Graph DatenConfidential sones GmbH| 11/30/2010 3 1

Applikation 1 Applikation 2 Applikationen können auf unbekannte relationale Daten nicht zugreifen, sie ? ? nicht verstehen und verarbeiten. Datenbank 1 Datenbank 2Confidential sones GmbH| 11/30/2010 4 1

Property Graph Vertex Edge Alice Freunde Bob ID = 1 ID = 2 Alter = 21 seit = 2007/05/20 Alter = 32 bis = 2010/11/04 Edge- Properties Vertex- PropertiesConfidential sones GmbH| 11/30/2010 5 1

Property Graph Direkte Verknüpfung ohne externenID 1 Index BobTYPE Person ID = 2REVISION 20101104… Alter = 32Name AliceAlter 21PartnerFeinde MalloryLieblingsfarbe Rot, Grün ID = 3 Alter = 33Adresse.Straße Eugen-Richter-StraßeAdresse.Stadt Erfurt Edge-PropertiesConfidential sones GmbH| 11/30/2010 6 1

Property Graph • Eindeutige Identifikationsmöglichkeit • Benannte Verknüpfungen • Eng Angelehnt an RDF MoleculesID ID 1rdf:type TYPE Person Bobsones:revId REVISION 20101104… ID = 2 Alter = 32foaf:name Name Alicefoaf:age Alter 21sones:person Partners:set<person> Feinde Mallory ID = 3List<string> Lieblingsfarbe Rot, Grün Alter = 33gn:street Adresse.Straße Eugen-Richter…gn:town Adresse.Stadt Erfurt 7Confidential sones GmbH| 11/30/2010 1 Oscar

Property Graph • Kanten und Knoten sind Resourcen • Zugriff über http://test.com/vertices/[$id] • CRUD Operationen (GET, POST, PUT…) • Atomizität • Statusfrei • Idempotenz • Parallel GraphDB • Repräsentation muss mit Links REST umgehen können • z.B. XML+XLINK, ATOM,… • Repräsentation sollte Hypermedia selbstbeschreibend sein 8Confidential sones GmbH| 11/30/2010 1

von relationalen Schemata.. Relationale Schemata sind unflexibel – teure ALTER TABLE Operationen – Entity-Attribute-Value Modell RDF – keine semi-/unstrukturierten Daten • XML, JSON, … Hierarchien, Graphen, Binärdaten – keine Attribut Mengen • LIST<String>, SET<Integer>, SET<Person> – keine einfache Möglichkeit für versionierte DatenConfidential sones GmbH| 11/30/2010 9 1

Anti-Patterns Relationen über foreign-key-constraints – kein explizites Konzept für Relationen – keine Indexfreien Zugriffe (Adjazenz) Relationale Daten über JOINs anzufragen = komplex – nur Speichern war noch nie die Herausforderung keine rekursiven JOINs – Ineffiziente Query AbarbeitungConfidential sones GmbH| 11/30/2010 10 1

Ist SQL „cloud-ready“ ? Keine explizite Skalierung oder Partitionierung innerhalb des relationalen Datenmodells Keine JOINs zwischen verschiedenen Datenbanken SQL spielt nicht gut mit state-of-the-art Web Technologien zusammen – HTTP/REST, Hypermedia, Semantic WebConfidential sones GmbH| 11/30/2010 11 1

Vorteile einer Graphendatenbank explizites Graph Datenmodell – höherer Abstraktionsgrad – besseres Verständnis des Domänenmodells Konsistenzkriterien und Indices – einfache Attribute bis zu komplexen Graphenstrukturen Verknüpfte Informationen traversieren kürzeste Pfade finden semantische Partitionierung von Daten Gute Integration in state-of-the-art Programmierkonzepte und Webtechnologien Empfehlungssysteme und Datenerforschung von potentiell interessanten verknüpften Informationen persönlich sozial GegenständeConfidential sones GmbH| 11/30/2010 12 1

sones GraphDB URL http://www.sones.com Lizenz AGPLv3 und proprietär kommerziell Sprache C# 4.0 / .NET 4.0 Ziele Management von verknüpften Daten Concurrency MVCC Replikation Peer 2 Peer Persistenz proprietäres Dateisystem Cloud Microsoft Windows AzureConfidential sones GmbH| 11/30/2010 13 1

Azure Cloud Deployment DEMOConfidential sones GmbH| 11/30/2010 14 1

sones Architekturübersicht GraphDS REST, WebShell, C# API GraphDB GQL, Graph Traversals, Indices GraphFS Objekt Management, Objekt (De-)Serialisierung Host File System / Microsoft AzureConfidential sones GmbH| 11/30/2010 15 1

sones Architekturübersicht GraphDS REST WebShell WebDAV C# API Java API GraphDB Index (Dictionary, Anfragesprache Typmanagement Knotenmanagement Operative Logik B+Tree) GraphFS Objektmanagement Objekt (De-)Serialisierung Speichermedium Netzspeicher / Cloud Storage Lokales Dateisystem In-Memory (Windows Azure)Confidential sones GmbH| 11/30/2010 16 1

Skalierung GraphDB 1 GraphDS 1 GraphFS 1 User GraphFS 2 GraphDS 2 GraphDB 2Confidential sones GmbH| 11/30/2010 17 1

sones Property-Hypergraph Edge Person Freund Bob ID = 2 seit = 2009/09/21 Hyperedge Alter = 23 Alice SET<Person> Freunde ID = 1 Virtual -Edge SetMaxNumber = 12 Alter = 21 Hyperedge-Properties Person Freund Carol ID = 3 seit = 2010/04/11 Alter = 20Confidential sones GmbH| 11/30/2010 18 1

sones Property-Hypergraph Properties können auch Code (als Daten) enthalten – wie Stored Procedures – C#: Func<…>, ExpressionTrees Hyperedge erlaubt Berechnungen entlang einer Reihe von Edges – GetMinWeight – SetMaxNumber – …Confidential sones GmbH| 11/30/2010 19 1

sones Graph Query Language FROM Person SELECT Person.Freunde.Freunde.Name „SQL for Graphen“ intuitive DSL für Ad-Hoc queries ermöglicht benutzerfreundliche Abfragen Funktionen und Aggregate sind typsicher und können durch eigene Plug-Ins erweitert werden – SELECT COUNT(Person.Freunde) – SELECT Person.Freunde.Random(2) – SELECT Person.Freunde.Name.Substring(2,5)Confidential sones GmbH| 11/30/2010 20 1

sones Graph Query Language CREATE VERTEX Person ADD ATTRIBUTES (String Name, SET<Person> Freunde) INDICES (Name) MANDATORY (Name) INSERT INTO Person VALUES (Name = "Alice") INSERT INTO Person VALUES (Name = "Bob") LINK Person(Name = ‘Alice) VIA Freunde TO Person(Name = ‘Bob) LINK Person(Name = ‘Bob) VIA Freunde TO Person(Name = ‘Alice‘)Confidential sones GmbH| 11/30/2010 21 1

Graph Query Language DEMOConfidential sones GmbH| 11/30/2010 22 1

sones C# API var _Person = _GraphDB.TypeManager. CreateVertex(„Person“). AddString(„Name“, mandatory: true, indexed: true). AddLoop(„Freunde”, hyperEdge: true). execute(); Type _PersonT = _GraphDB.TypeManager. GenerateType(_Person);Confidential sones GmbH| 11/30/2010 23 1

sones C# API Person _Alice = _GraphDB.TypeManager.ActivateVertex( _Person, new VertexUUID(1)); _Alice.Name = „Alice“; dynamic _Alice2 = _Alice; _Alice.Alter = 21; _Alice.bdayparty = (Action) (() => { _Alice.Age++; }); _Alice.bdayparty();Confidential sones GmbH| 11/30/2010 24 1

sones C# API var _Freunde = new GraphAttribute(„Freunde“, Type:„foaf:knows“); var _Bob = _GraphDB.TypeManager.ActivateVertex( _Person, new VertexUUID(2)); _Alice.Link(_Freunde, _Bob); _Bob.Link(_Freunde, _Alice);Confidential sones GmbH| 11/30/2010 25 1

sones C# API Public T TraverseVertex<T> ( IVertex myStartVertex, TraversalOperation TraversalOperation = TraversalOperation.BreathFirst, Func<IVertex, IEdge, Boolean> myFollowThisEdge = null, Func<IVertex, Boolean> myMatchEvaluator = null, Action<IVertex> myMatchAction = null, Func<TraversalState, Boolean> myStopEvaluator = null, Func<IEnumerable<IVertex>, T> myWhenFinished = null) { // Traverse the graph }Confidential sones GmbH| 11/30/2010 26 1

Kontakte knüpfenDaniel Kirstenpfad Alexander OellingFounder / CTO Founder / Business Dev.daniel@sones.com alex@sones.comXing: Daniel_Kirstenpfad Xing: Alexander_Oelling sones GmbH Eugen-Richter-Strasse 44 99085 Erfurt +49-361-3026250Confidential sones GmbH| 11/30/2010 27 1

sones graph database in the cloud

by Daniel Kirstenpfad

Accessibility

Categories

Upload Details

Usage Rights

1 Embed 51

Statistics

sones graph database in the cloud Presentation Transcript