(пара скриптов на shell и SQL)
медиа-сервис с типичным размером файла от 1 до
50 MB
мастер данные от 100 TB до 1 PB
стриминг данные от 50 до 200 TB
стрим...
сохранность мастер данных
безотказность и качество стриминга
разумная TCO
много дисковых полок
эффективное кластерное хранилище
CDN от вендора
серверы доступа — отдельно
Isilon, NetApp, Panasas
Exadata, EMC, HDS
GPFS, PolyServe
инфраструктура требует 3–4 решения
негарантируемая скорость при экстремальных
нагрузках
крайняя сложность дебага и тюнинга...
server-integrated storage!
(cloud storage)
Google, Yandex, и почти все крупные интернет-
компании
гибкость, доступность дебага и тюнинга
consumer hardware, стоимость...
HDFS, GFS, S3, (Lustre, …)
сложности с большими расстояниями
медленный стриминг, сложность кэширования
сложность эксплуата...
FreeBSD
UFS2
HTTP
продвинутый, надежный storage: geom, UFS2, ZFS
проверенный extreme streaming на nginx
доступная коммерческая поддержка на ...
самая быстрая FS в мире
7 лет успешной эксплуатации
ZFS сложна и пока медленна
основной протокол внешнего доступа
достаточно быстрый и простой для внутреннего
обмена
серверы и хранилище
мастер и стриминг данные
внешний и внутренний доступ
кластерный и облачный (CDN) обмен
одна файловая система на диск
никаких RAID, только JBOD
распределённость на базе случайных чисел
шасси SuperMicro 4U 24 x 3.5"
2–6 x Intel Gigabit
24 x 2TB потребительские диски
контроллеры LSI 1068 в режиме JBOD
имя файла — sha256 от его содержимого
равномерно разнесены по 4096 (16^x) папкам
диспетчер данных
минимум на трёх шасси
чуть позже — минимум в трёх ДЦ
минимум на трёх шасси
во всех точках CDN
PostgreSQL, sh, Python
sha, hdd, chassis, rack, dc
вид sha—http://chassis/hdd/ доступен
приложению
знает текущий статус всех объектов
формирует из ручных и автоматических задач
сценарии и запускает их
единая точка автомат...
nginx + fetch/wget/curl
гибкая аутентификация
быстрый fetcher в разработке
унифицирован между локальным и
распределённым уровнями
подстраивается под ширину каналов
nginx, secure link
100k+ потоков на шасси
linear local read/write: 100MB/s на диск, 2.4GB/s на
шасси
random local read: 20–40MB/s на диск, 480–960MB/s
на шасси
rand...
app-level next path retry
актуальная информация о доступности в
приложении
carp в пределах dc
proxy store при выходе диска из строя
hardware balancers плохо подходят для тяжёлых
данных
app-level, geo-aware, status-aware balancing
на новое шасси уходит несколько минут
это можно автоматизировать
plug-and-pray
примерно в 2,5 раза дороже жёсткого диска
можно оптимизировать: пример backblaze
рабочий прототип примерно за неделю
совершенствование в режиме production благодаря
high availability
случайная распределённость — равномерно
распределённое восстановление избытычности
жёсткий диск 2TB: 6 часов 4 минуты
шасс...
секунды при потере диска
миллисекунды при потере шасси (carp)
секунды при потере dc (app-level next-path)
недостатки
преимущества
кастомность
велосипедность
маленький bus factor
сырость
отсутствие сертификаций
гибкость
производительность
job security
единственное унифицированное решение под
задачи
интересно? заходите к нам в гости знакомиться
и оставайтесь делать будущее!
andrew@dreamindustries.ru
Extreme Cloud Storage on FreeBSD, Андрей Пантюхин
Extreme Cloud Storage on FreeBSD, Андрей Пантюхин
Upcoming SlideShare
Loading in …5
×

Extreme Cloud Storage on FreeBSD, Андрей Пантюхин

1,893 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,893
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
14
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Extreme Cloud Storage on FreeBSD, Андрей Пантюхин

  1. 1. (пара скриптов на shell и SQL)
  2. 2. медиа-сервис с типичным размером файла от 1 до 50 MB мастер данные от 100 TB до 1 PB стриминг данные от 50 до 200 TB стриминг полоса от 10 Gbit/s до 1 Tbit/s
  3. 3. сохранность мастер данных безотказность и качество стриминга разумная TCO
  4. 4. много дисковых полок эффективное кластерное хранилище CDN от вендора серверы доступа — отдельно
  5. 5. Isilon, NetApp, Panasas Exadata, EMC, HDS GPFS, PolyServe
  6. 6. инфраструктура требует 3–4 решения негарантируемая скорость при экстремальных нагрузках крайняя сложность дебага и тюнинга стоимость raw TB в 10–30 раза выше consumer storage
  7. 7. server-integrated storage! (cloud storage)
  8. 8. Google, Yandex, и почти все крупные интернет- компании гибкость, доступность дебага и тюнинга consumer hardware, стоимость raw TB в 1,5–3 раза выше consumer storage
  9. 9. HDFS, GFS, S3, (Lustre, …) сложности с большими расстояниями медленный стриминг, сложность кэширования сложность эксплуатации
  10. 10. FreeBSD UFS2 HTTP
  11. 11. продвинутый, надежный storage: geom, UFS2, ZFS проверенный extreme streaming на nginx доступная коммерческая поддержка на уровне ядра промышленный опыт NetApp, Isilon, Panasas
  12. 12. самая быстрая FS в мире 7 лет успешной эксплуатации ZFS сложна и пока медленна
  13. 13. основной протокол внешнего доступа достаточно быстрый и простой для внутреннего обмена
  14. 14. серверы и хранилище мастер и стриминг данные внешний и внутренний доступ кластерный и облачный (CDN) обмен
  15. 15. одна файловая система на диск никаких RAID, только JBOD распределённость на базе случайных чисел
  16. 16. шасси SuperMicro 4U 24 x 3.5" 2–6 x Intel Gigabit 24 x 2TB потребительские диски контроллеры LSI 1068 в режиме JBOD
  17. 17. имя файла — sha256 от его содержимого равномерно разнесены по 4096 (16^x) папкам диспетчер данных
  18. 18. минимум на трёх шасси чуть позже — минимум в трёх ДЦ
  19. 19. минимум на трёх шасси во всех точках CDN
  20. 20. PostgreSQL, sh, Python sha, hdd, chassis, rack, dc вид sha—http://chassis/hdd/ доступен приложению
  21. 21. знает текущий статус всех объектов формирует из ручных и автоматических задач сценарии и запускает их единая точка автоматизации частичная multi-master архитектура self-healing
  22. 22. nginx + fetch/wget/curl гибкая аутентификация быстрый fetcher в разработке
  23. 23. унифицирован между локальным и распределённым уровнями подстраивается под ширину каналов
  24. 24. nginx, secure link 100k+ потоков на шасси
  25. 25. linear local read/write: 100MB/s на диск, 2.4GB/s на шасси random local read: 20–40MB/s на диск, 480–960MB/s на шасси random HTTP get: 4–5Gbit/s на шасси без оптимизаций
  26. 26. app-level next path retry актуальная информация о доступности в приложении
  27. 27. carp в пределах dc proxy store при выходе диска из строя
  28. 28. hardware balancers плохо подходят для тяжёлых данных app-level, geo-aware, status-aware balancing
  29. 29. на новое шасси уходит несколько минут это можно автоматизировать plug-and-pray
  30. 30. примерно в 2,5 раза дороже жёсткого диска можно оптимизировать: пример backblaze
  31. 31. рабочий прототип примерно за неделю совершенствование в режиме production благодаря high availability
  32. 32. случайная распределённость — равномерно распределённое восстановление избытычности жёсткий диск 2TB: 6 часов 4 минуты шасси 48TB: 55 часов 6 часов ЦОД 1PB: 10 дней 5 дней :'-( Земля 10PB: 3 месяца CLASSIFIED секунд
  33. 33. секунды при потере диска миллисекунды при потере шасси (carp) секунды при потере dc (app-level next-path)
  34. 34. недостатки преимущества
  35. 35. кастомность велосипедность маленький bus factor
  36. 36. сырость отсутствие сертификаций
  37. 37. гибкость производительность job security
  38. 38. единственное унифицированное решение под задачи
  39. 39. интересно? заходите к нам в гости знакомиться и оставайтесь делать будущее! andrew@dreamindustries.ru

×