Badanie skalowalności HBase

382 views

Published on

Published in: Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
382
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Badanie skalowalności HBase

  1. 1. Badanie skalowalności systemu HBase Zygmunt Mazur, Wojciech Langiewicz
  2. 2. Plan prezentacji • • • • • Czym jest HBase i NoSQL? Podstawy architektury Przykłady zastosowania Przeprowadzone testy i wyniki Podsumowanie
  3. 3. Skalowalność • Zdolność do zwiększania wydajności systemu wraz ze zwiększaniem jego zasobów (np. sprzętowych) • Liniowa skalowalność – zwiększając ilość zasobów systemu X razy, zwiększamy także X razy jego wydajność • Większość RDBMS nie posiada tej cechy • HBase jest skalowalny do nawet setek serwerów
  4. 4. Czym jest HBase • Nierelacyjna baza danych (NoSQL) • Otwarto-źródłowa implementacja BigTable • Dostęp w czasie rzeczywistym do ogromnych ilości danych • Przechowywanie miliardów wierszy i milionów kolumn
  5. 5. NoSQL • Brak schematu danych • Brak JOIN'ów, brak SQL • np.: bazy klucz/wartość, bazy dokumentowe, bazy grafowe • Bardziej wyspecjalizowane niż RDBMS
  6. 6. Google BigTable • Od 2004 roku używana przez większość usług Google, m.in.: Google Reader, Gmail, YouTube, Google Maps • HBase jest implementacją architektury BigTable tworzoną przez fundację Apache
  7. 7. Podstawy architektury • • • • Rozproszenie Redundancja Wielowymiarowe klucze Dane wersjonowane znacznikiem czasu
  8. 8. Wizualizacja danych
  9. 9. Przykłady zastosowania – historia zmian danych użytkownika • Przechowywanie historii zmian np. adresu e-mail, hasła, danych osobowych • Wykorzystywanie natywnych dla HBase mechanizmów wersjonowania • Umożliwia bezpieczny backup i odtworzenie danych
  10. 10. Przeprowadzone testy • Testy przeprowadzono standardowym narzędziem dołączonym do HBase • Zawierają testy użyte przez Google do oceny BigTable • Standardowe testy umożliwiają porównywanie BigTable oraz HBase na przestrzeni czasu
  11. 11. Wyniki testu – czas sumaryczny randomRead 50000000 4 45000000 3,5 40000000 3 35000000 total time 25000000 2 20000000 1,5 15000000 1 10000000 0,5 5000000 0 0 2 4 6 number of servers rowCount milliseconds 8 scalability 10 12 scalability 2,5 30000000
  12. 12. Wyniki testu – czas/serwer randomRead 14000000 0,5 0,45 12000000 0,4 0,35 0,3 8000000 0,25 6000000 0,2 0,15 4000000 0,1 2000000 0,05 0 0 2 4 6 8 number of servers rowCount milliseconds per server 10 scalability 12 scalability miliseconds per server 10000000
  13. 13. Podsumowanie 1. Nowe, specjalistyczne rozwiązania 2. Dzięki skalowalności nadają się do przetwarzania dużych ilości danych 3. HBase z powodzeniem używane przez: Facebook, Twitter, Yahoo!, Filmweb
  14. 14. Dziękuję za uwagę

×