NoSQL - Neue Ansätze zur Verwaltung unstrukturierter Daten

NoSQL
Neue Ansätze zur Verwaltung unstrukturierter Daten
Tilmann Söffing

Das Relationale Datenbankmodell
Tabellenorientiert
Attribut
Datensatz

Einfache Beziehungen mittels Referenzierung

Mehrfachbeziehungen über zusätzliche Tabellen

RDBM - Probleme
Flexibilität
Komplexität
Lokalität
Konnektivität

RDBM - Probleme
Flexibilität
Komplexität
Lokalität
Konnektivität
Anzahl der Vornamen

RDBM - Probleme
Flexibilität
Komplexität
Lokalität
Konnektivität

Der Begriff: NoSQL
NoSQL steht nicht für
„No to SQL“ oder „Never use SQL“

Der Begriff: NoSQL
NoSQL steht für
Not OnlySQL

Ziele der NoSQL-Bewegung
Verwaltung von
Unstrukturierten Daten
Stark vernetzten Daten
Schnellen Strukturänderungen
Großen Datenmengen

Ziele der NoSQL-Bewegung
Operationen auf Daten
Replikation
Versionierung
Partitionierung

NoSQL - Vertreter
Document
Graph DB
Key-Value
BigTable
Für jede Anwendung das richtige Werkzeug

DOKUMENT
{
Dokument: Schlüssel-Wert-Paare
Schemafrei: Schlüssel sind frei wählbar
Paare können jederzeit hinzugefügt, geändert und gelöscht werden
"empfänger":"Eddi Müller"
"betrag":"1200 EUR"
"kontonr":"2221115132"
"blz":"830200100"
}

DOKUMENT
{
Paare können jederzeit hinzugefügt, geändert und gelöscht werden.
"betrag":"1200 EUR"
"kontonr":"2221115132"
"blz":"830200100"" betreff ":"Rechnung ABC"
}

DOKUMENT
{
Paare können jederzeit hinzugefügt, geändert und gelöscht werden.
"betrag":"1200 EUR"
"kontonr":"2221115132"
"blz":"830200100"" betreff ":"Rechnung CBA"
}

DATENBANK
Datenbank anlegen
Name der Datenbank vergeben
In der Datenbank Dokumente erstellen
Datenbank
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~

http://localhost:5984/_utils/
Datenbank „testdb“ erstellen
Dokument anlegen:
{
"betrag":"1200 EUR"
"kontonr":"2221115132"
"blz":"830200100"
}

DATENMODELL
Dokumentenorientiert
Relational
Graph-Modell
~ ~
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~
~~~~~~~ ~~~~~~~
~~~~~ ~~~~~~
~~~~~~~ ~~~~~~
~ ~
~ ~
~ ~
~ ~
wenig bis gar nicht vernetzt
z. B. Visitenkarten
teilweise vernetzt
z. B. Bestellungen
hoch vernetzt
z. B. Verwandschaft

ABFRAGEN

ABFRAGEN
Kein SQL
Abfragetechnik MapReduce
View: map- und reduce-Funktion
Umdenken nötig, dafür skalierbar
SQL
SELECT * FROM …

ABFRAGEN
Kein SQL
1
map
reduce
Ergebnis
2
3

ABFRAGEN
View
Kein SQL
map
reduce

ABFRAGEN
Kein SQL
t
n

REPLICATION
Ziel: Zwei Datenbanken haben die gleichen Dokumente
Repliziere von A nach B
Ändere X in A zu X.2
Ändere X in B zu X.3
Lösche Konflikt X.3

REPLICATION
A
B
X.1

REPLICATION
A
B
Replikation
X.1
X.1

REPLICATION
A
B
X.2
X.1

REPLICATION
A
B
X.2
X.3

REPLICATION
A
B
Replikation
X.3
X.2
X.2

REPLICATION
A
B
X.2
X.2

Anwendungsfall:
Virtuelle Pinnwand
Quelle: Bruce Allmächtig

?
?
Schema
http://url
Text texttexttexttext …
Skizze…

Replikation
Laptop
Server

Martin Junghanns
sones GmbH R&D
Eugen-Richter-Straße 44
99085 Erfurt
martin@sones.de
13.05.2011
sones GraphDB

Netzwerke
Welt besteht aus Objekten,die miteinander in Verbindung stehen
Politik, Wirtschaft, Wissenschaft
Körper, Interaktionen
Hardware, Software
Familie, Freunde, Kollegen
Komplexe Zusammenhänge, ständiger Wandel
Umfangreiche Datenmengen
Photo: Jeffrey Beall, flickr

Graph= (Knoten,Kanten)
Graphdatenbanken
Knoten
ID : 2
ID : 1
Kante

Property Graph
Benutzerdefinierte Eigenschaften
Knoten-Properties
Kanten-Properties
Knoten
ID : 2
Name : Bob
Alter : 23
ID : 1
Name : Alice
Alter : 21
Freund_von
seit : 2009/09/21
Kante

Property Graph
Beziehungen durch Kantentypen
ID : 2
Name : Bob
Alter : 23
ID : 1
Name : Alice
Alter : 21
Freund_von
seit : 2009/09/21
verwandt_mit
Grad: Mutter / Tochter
ID : 3
Name : Eve
Alter : 42

13.05.2011
Property Graph
Entitäten durch Knotentypen
Person
Person
ID : 2
Name : Bob
Alter : 23
ID : 1
Name : Alice
Alter : 21
Freund_von
seit : 2009/09/21
wohnt_in
verwandt_mit
Grad: Mutter / Tochter
ID : 3
Name : Eve
Alter : 42
Person
ID : 4
Name : Jena
Land : D
EW : 100K
Ort

Property Graph
ID : 23
Typ : Uni
Name : TU Ilmenau
ID : 12
Typ : Uni
Name : BA Gera
ID : 3
Typ : Person
Name : Carol
Age : 18
studiert an
seit : 2001
kommuniziert mit
studiert an
Studiert an
verwandt mit
seit : 2005
seit : 2004
Encrypted : true
Method : AES
Grad : Sister
ID : 0
Typ : Person
Name: Alice
Age : 23
ID : 1
Typ : Person
Name : Bob
Age : 42
kommuniziert mit
Encrypted : true
Method : RSA
Photo: Chuck “Caveman” Coker, flickr

Einfache Verwaltung strukturierter,
semi-strukturierter, unstrukturierter
Daten
Photo: litlnemo, flickr

Konstante Performanz auch bei steigender Datenmenge durch indexfreie Adjazenz
Photo: Google Search

Einfache Verwaltung
(rekursiv)
vernetzter
Daten
Photo: Robbert van der Steeg, flickr

Entdecken und Empfehlen
potentiell interessanter Zusammenhänge

Datensicherheit durch
Verschlüsselung,
Replikation und
Versionierung
Photo: squacco, flickr

Anwendungen eGovernment
Social Network– zentrale Kommunikationsplattform in der Verwaltung
Universal Data Access – Daten zentral verwalten, Daten aus diversen Quellen verknüpfen
Recommendation– Bewertung von Personen, Projekten, Bauflächen, Wohnräumen, …
Photo: Facebook World Graph

Anwendungen eGovernment
Automatische Kategorisierung – um die Übereinstimmung von z.B. Jobanzeigen und Bewerbern zu erhöhen und eine branchenübergreifende Empfehlung zu ermöglichen
Verkehrsplanung(GIS)– Planung von Straßen anhand der Auslastung bestehender Verkehrsnetze
...
Photo: Google Maps Leipzig

Let‘s go to work @
http://localhost:8080/webshell
Photo: outnow.ch

CREATE VERTEX UserProfile
ATTRIBUTES
(
String Nachname,
Integer Alter,
Set<UserProfile> Freunde
)

INSERT INTO UserProfile
VALUES
(
Nachname= „Mueller“,
Alter = 23
)

VALUES
(
Nachname= „Schmidt“,
Vorname = „Peter“,
Alter = 42,
Freunde = SETOF(Nachname=„Mueller“)
)

FROM UserProfile SELECT *

ALTER VERTEX UserProfile
ADD ATTRIBUTES ( String Wohnort )
ALTER VERTEX UserProfile
MANDATORY ( Wohnort )
FROM UserProfile SELECT *

VALUES
(
Nachname = „Schulze“,
Alter = 37
)

martin@sones.de
Vielen Dank
OlivoSkawronek
IBYKUSAG
Oliver.Skawronek@ibykus.de
Erfurt
Tilmann Soeffing
SenovaGmbH
T.Soeffing@senova.de
Weimar
Martin Junghanns
sones GmbH R&D
martin@sones.de
Leipzig

http://developers.sones.de	748
http://s1ckboy.de	104
http://developers.sones.com	33
url_unknown	26
http://www.slideshare.net	1
http://www.techgig.com	1

NoSQL - Neue Ansätze zur Verwaltung unstrukturierter Daten

by Martin Junghanns on May 13, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

6 Embeds 913

Statistics

NoSQL - Neue Ansätze zur Verwaltung unstrukturierter Daten — Presentation Transcript