Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Onet barcamp 4 - Cloud Storage

1,348 views

Published on

Published in: Technology
  • Be the first to comment

Onet barcamp 4 - Cloud Storage

  1. 1. czyli gdzie są moje pliki? 1
  2. 2. • >1 000 serwerów • >100 000 połączeń • >1 000 000 użytkowników • >100 000 000 małych plików („obrazki”) 2
  3. 3. HISTORIA / ZARYS Od mainframe’ów do chmury 3
  4. 4. Mainframe Wszystkie usługi na jednej mocnej maszynie www mail ftp dns 4
  5. 5. Klastry www www www www 5 – wspólny storage
  6. 6. ONET Cloud VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM` VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM VM 6
  7. 7. Macierze NAS 7
  8. 8. Wydajność NAS Controler Controler RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 nfs smb iscsi 8
  9. 9. ROZWIĄZANIE Systemy rozproszone http://commons.wikimedia.org/wiki/File:Liofilizat_04_pl.jpg 9
  10. 10. Od najdroższych… Controler Controler RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 RAID 1 2 3 4 µControler µControler µControler µControler 10
  11. 11. … do wszystkiego Controler Controler 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 1 2 3 4 11
  12. 12. Sprzęt… 12
  13. 13. … i software • Rozpraszanie danych • Skalowalność • Odporność na awarie • Brak punktów centralnych 13
  14. 14. JAK TO DZIAŁA? http://wallpaperbackgrounds.com/wallpaper/30711 14
  15. 15. Mapa Data Center #1 RządC Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa RządB Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa RządA Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa Serwer Serwer Serwer Szafa 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer Serwer Serwer Serwer Serwer Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer Serwer Serwer Serwer Serwer Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 Serwer 1 2 3 4 1 2 3 4 1 2 3 4 15
  16. 16. Data Center #1 Rząd A Serwer Szafa 1 Mapa Serwer Serwer Serwer Serwer Serwer Serwer Serwer Serwer Szafa 2 Szafa 3 16
  17. 17. Algorytm CRUSH CRUSH (fragment_pliku, mapa) -> dyskA, dyskB, dyskC Plik dysk10 dysk11 dysk12 dysk7 dysk8 dysk9 dysk4 dysk5 dysk6 dysk1 dysk2 dysk3 17
  18. 18. Awaria CRUSH (fragment_pliku, nowa_mapa) -> dyskA, dyskB, dyskD Plik dysk10 dysk11 dysk12 dysk7 dysk8 dysk9 dysk4 dysk5 dysk6 dysk1 dysk2 dysk3 18
  19. 19. Data Center #1 Rząd A Serwer Szafa 1 3 x kopie danych Serwer Serwer Serwer Serwer Serwer Serwer Serwer Serwer Szafa 2 Szafa 3 KOPIA #1 KOPIA #2 3x KOPIA #3 19
  20. 20. Usługi Swift 20
  21. 21. 21 CEPH W ONET czyli nasze doświadczenia
  22. 22. Nasze klastry 22
  23. 23. Doświadczenia • > 1 000 000 plików => sharding • Synchronizacja DC • Automatyzacja • Problemy z rozkładem • Wolne "zbieranie się konsystencji„ 23
  24. 24. http://commons.wikimedia.org/wiki/File:Berlin_Alexanderplatz_construction_cranes.jpg BUDUJEMY NADAL… … bo nam ciągle mało :-) 24
  25. 25. Rozwój • Spójne, duże klastry • Nowy sprzęt • Testy wydajności • Nowe usługi • SLA i QoS • Migracja Video - wyzwanie 25
  26. 26. PODSUMUJMY… http://www.hdwallpapersfull.com/view-fresh-cherry-fruits-1920x1200.html 26
  27. 27. Podsumowanie • Wyzwaniem jest wydajność (IOPS), a nie pojemność • Macierze NAS są drogie i słabo się skalują • Alternatywą jest storage rozproszony • CEPH to przykład takiego systemu • W Onet używamy go produkcyjnie • I nadal rozwijamy nasze klastry
  28. 28. 28

×