Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Extreme cloud storage on free bsd (Андрей Пантюхин)

472 views

Published on

  • Be the first to comment

  • Be the first to like this

Extreme cloud storage on free bsd (Андрей Пантюхин)

  1. 1. (пара скриптов на shell и SQL)
  2. 2. медиа-сервис с типичным размером файла от 1 до50 MBмастер данные от 100 TB до 1 PBстриминг данные от 50 до 200 TBстриминг полоса от 10 Gbit/s до 1 Tbit/s
  3. 3. сохранность мастер данныхбезотказность и качество стримингаразумная TCO
  4. 4. много дисковых полокэффективное кластерное хранилищеCDN от вендорасерверы доступа — отдельно
  5. 5. Isilon, NetApp, PanasasExadata, EMC, HDSGPFS, PolyServe
  6. 6. инфраструктура требует 3–4 решениянегарантируемая скорость при экстремальныхнагрузкахкрайняя сложность дебага и тюнингастоимость raw TB в 10–30 раза выше consumerstorage
  7. 7. server-integrated storage!(cloud storage)
  8. 8. Google, Yandex, и почти все крупные интернет-компаниигибкость, доступность дебага и тюнингаconsumer hardware, стоимость raw TB в 1,5–3 разавыше consumer storage
  9. 9. HDFS, GFS, S3, (Lustre, …)сложности с большими расстояниямимедленный стриминг, сложность кэшированиясложность эксплуатации
  10. 10. FreeBSDUFS2HTTP
  11. 11. продвинутый, надежный storage: geom, UFS2, ZFSпроверенный extreme streaming на nginxдоступная коммерческая поддержка на уровне ядрапромышленный опыт NetApp, Isilon, Panasas
  12. 12. самая быстрая FS в мире7 лет успешной эксплуатацииZFS сложна и пока медленна
  13. 13. основной протокол внешнего доступадостаточно быстрый и простой для внутреннегообмена
  14. 14. серверы и хранилищемастер и стриминг данныевнешний и внутренний доступкластерный и облачный (CDN) обмен
  15. 15. одна файловая система на дискникаких RAID, только JBODраспределённость на базе случайных чисел
  16. 16. шасси SuperMicro 4U 24 x 3.5"2–6 x Intel Gigabit24 x 2TB потребительские дискиконтроллеры LSI 1068 в режиме JBOD
  17. 17. имя файла — sha256 от его содержимогоравномерно разнесены по 4096 (16^x) папкамдиспетчер данных
  18. 18. минимум на трёх шассичуть позже — минимум в трёх ДЦ
  19. 19. минимум на трёх шассиво всех точках CDN
  20. 20. PostgreSQL, sh, Pythonsha, hdd, chassis, rack, dcвид sha—http://chassis/hdd/ доступенприложению
  21. 21. знает текущий статус всех объектовформирует из ручных и автоматических задачсценарии и запускает ихединая точка автоматизациичастичная multi-master архитектураself-healing
  22. 22. nginx + fetch/wget/curlгибкая аутентификациябыстрый fetcher в разработке
  23. 23. унифицирован между локальным ираспределённым уровнямиподстраивается под ширину каналов
  24. 24. nginx, secure link100k+ потоков на шасси
  25. 25. linear local read/write: 100MB/s на диск, 2.4GB/s нашассиrandom local read: 20–40MB/s на диск, 480–960MB/sна шассиrandom HTTP get: 4–5Gbit/s на шасси безоптимизаций
  26. 26. app-level next path retryактуальная информация о доступности вприложении
  27. 27. carp в пределах dcproxy store при выходе диска из строя
  28. 28. hardware balancers плохо подходят для тяжёлыхданныхapp-level, geo-aware, status-aware balancing
  29. 29. на новое шасси уходит несколько минутэто можно автоматизироватьplug-and-pray
  30. 30. примерно в 2,5 раза дороже жёсткого дискаможно оптимизировать: пример backblaze
  31. 31. рабочий прототип примерно за неделюсовершенствование в режиме production благодаряhigh availability
  32. 32. случайная распределённость — равномернораспределённое восстановление избытычностижёсткий диск 2TB: 6 часов 4 минутышасси 48TB: 55 часов 6 часовЦОД 1PB: 10 дней 5 дней :-(Земля 10PB: 3 месяца CLASSIFIED секунд
  33. 33. секунды при потере дискамиллисекунды при потере шасси (carp)секунды при потере dc (app-level next-path)
  34. 34. недостаткипреимущества
  35. 35. кастомностьвелосипедностьмаленький bus factor
  36. 36. сыростьотсутствие сертификаций
  37. 37. гибкостьпроизводительностьjob security
  38. 38. единственное унифицированное решение подзадачи
  39. 39. интересно? заходите к нам в гости знакомиться и оставайтесь делать будущее! andrew@dreamindustries.ru

×