This presentation is about databases in hadoop. More specifically Apache HBase and the differences with Accumulo. It also includes some extra information about column family stores. Although it is not a database, a small introduction to graph processing with Apache Giraph is also included. This presentation was a task for my Application Development studies at Karel de Grote University College. It was in the context of the elective course Big Data. Unfortunately for some of you, this presentation is in dutch.

1. Databases in
Hadoop
Steven Goris, Joni Verzelen, Lies Haemels

2. Korte inhoud
● HBase
● Accumulo
● Giraph

3. Data opslaan op HBASE vs HDFS
HBASE
● Lage latency
● Snelle random lees- en schrijfoperaties
● Geeft snel toegang tot één enkele rij
HDFS
● Gemaakt voor batch processing
● Snelle sequentiële lees- en schrijfoperaties

4. HBase
Belangrijkste features
● Column family store
o Linear & modular scalability
o Automatic sharding & replication
o Versioning
● Automatic failover
● Werkt met HDFS als filesystem
● Hadoop integratie

5. Column family store
● Schema-less
● Scalability
● Cellen met lege waarden kunnen weggelaten worden
● family -- column name = key -- value
● Tabellen worden opgeslagen per column family
o ↳hierdoor moet bij queries op familie niet alles
worden gescand
o Kolommen kunnen één keer voorkomen per familie
● Families zorgen ervoor dat er verder gedenormaliseerd
kan worden dan in klassieke SQL

6. Column family store
Opslagformaat
Versioning
standaard worden 3 versies
bijgehouden,
geïdentificieerd met een
timestamp

7. Column family store
Resultaat
rowid User:
name
User:
e-mail
Social:
friend
Social:
friend
Social:
classmate
u1 Ricky ricky@yahoo.com u10 u13
u2 Sam u10 u15
Opmerking: dubbele kolommen niet mogelijk in HBASE
➜ bij het toevoegen van een al bestaande kolom wordt de bestaande waarde
vervangen

8. Column family store
Toepassing sales

9. HBase in HUE
Insert new row

10. HBase in HUE
Rows:

11. HBase in HUE
● Column family store
o Per rij de kolommen en de celdata zelf
o Rows kunnen verschillen in kolommen
o Elke kolom heeft een familie
One row:

12. HBase architecture

13. Namenodes
• Houdt mappenstructuur van files bij
• Zegt waar op de cluster de files staan

14. HStore
Beperkt aantal regions/
RegionServer (~100) om
werkgeheugen te sparen
(~2MB/family/region zonder
data)
HStore
HStore HStore

15. HStore HStore
HStore HStore
Startup
Master assigns regions to
regionservers
HStore HStore
HStore HStore

16. HStore HStore
HStore HStore
Automatic sharding
Regions worden gesplitst en
herverdeeld door de master
als ze te groot worden
Load balancing

17. HStore HStore
HStore HStore
Hearthbeat

18. HStore HStore
HStore HStore
Failove
r
Hearthbeat
Master reassigns
regions to other
regionserver

19. Accumulo features
● Afkomstig van NSA
● Column family store
● Realtime analytics
● ACL (acces control list) op elke rij
o Included in HBase 0.98
● User database voor authenticatie
o Hbase: Kerberos (protocol using secret-key
cryptografie)
● Auto sharding

20. Accumulo: nadelen
● Geen replicatie
● Maximum één master (SPOF)

21. Apache Giraph
● Graph processing tool
● Map-only job in hadoop
● Alle berekeningen gebeuren in memory

22. Graph processing
● vertices en edges
● WWW, Facebook, Twitter, wegennetwerk
● werkt iteratief

23. PageRank
1. iedere vertice begint met dezelfde
PageRank
1
2
3

24. PageRank
2. elke vertice stuurt een evenredig deel van
zijn PageRank naar zijn buren

25. PageRank
3. elke vertex telt de waardes die hij binnen
krijgt op, en dit wordt zijn nieuwe waarde
1
1,5
0,5

26. PageRank
n. dit wordt herhaald tot dat de wijzigingen
aan de PageRank zo klein is dat het niet meer
uitmaakt

27. PageRank met MapReduce
● sorteert bij elke iteratie al de vertexes
● schrijft elke iteratie weg naar de harde schijf
● en leest ze dan weer in...

28. PageRank met Giraph
● alles gebeurt op de mappers

29. Wie doet wat?