Масштабируемые серверные платформы для высоконагруженных систем Евгений Лагунцов, НР Россия
Вариант 1. <ul><li>32 сервера (2 x Xeon  54 5 0 , 16GB, 4xGE, 250GB HDD) </li></ul><ul><li>4  коммутатора  top-of-the-rack...
<ul><li>Что же такое блейд-система, как она работает и почему эффективна? </li></ul><ul><ul><li>Серверная полка </li></ul>...
Блейд-инфраструктура  HP Серверная полка Адаптер ввода-вывода Блейд-сервер Интегрированный коммутатор Сигнальная панель и ...
Встроенные средства управления <ul><li>Реализованы на базе модуля  Onboard Administrator </li></ul><ul><li>Модуль с «горяч...
Динамическое энергосбережение <ul><li>Пример: система потребляющая 1800 Вт </li></ul><ul><li>6 блоков питания, 300 Вт кажд...
Вентилятор HP Active Cool <ul><li>Сверхмощный  воздушный поток </li></ul><ul><li>Высокое давление </li></ul><ul><li>Лучший...
Блейд-серверы BL 460 c  BL465c  BL260c  BL2x220c  BL495c  BL480c  BL680c  BL685c  BL860c  BL870c  SB40c  TB448c  SB920c  P...
3 (2) GbE NICs (2) GbE NICs RAID 0/1 controller w/ BBWC option (2) SFF SAS bays iLO 2 Standard Blade Edition DDR2 667MHz (...
Model BL260c BL495c BL2x220c BL870c Processors 2-socket Quad core Intel Xeon 2-socket Quad-core AMD Opteron 2x 2-socket Qu...
HP ProLiant BL460c <ul><li>2  процессора  Dual-, Quad-core Intel Xeon 5200  и 5400 </li></ul><ul><li>8  слотов под операти...
HP ProLiant BL495c <ul><li>2  процессора  Quad-core AMD Opteron 2300 </li></ul><ul><li>16  слотов  под оперативную память ...
HP ProLiant BL2x220c <ul><li>2  полнофункциональных сервера в одном конструктиве  =>   32  сервера на серверную полку  10U...
HP ProLiant BL2x220c <ul><li>Каждый узел (их два в одном конструктиве) содержит: </li></ul><ul><li>2  процессора  Dual-, Q...
Коммуникационные адаптеры <ul><li>На каждый сервер интегрированы два или четыре адаптера  GigE ( на  BL4 9 5cG5 –  два ада...
Интегрированные коммуникации <ul><li>8 отсеков для коммуникационных устройств (коммутаторов) </li></ul><ul><li>Каждый комм...
Коммутаторы <ul><li>Интегрируются в коммункиационные отсеки полки </li></ul><ul><li>Ряд портов – внутренние, для связи с с...
Блейд-системы хранения <ul><li>Storage Blade SB40c </li></ul><ul><li>Добавление к любому серверу (кроме  BL2x220)  дополни...
Внешние системы хранения  FC <ul><li>Как подключить блейд в  SAN : </li></ul><ul><li>Интеграция в серверы адаптеров  FC </...
Внешние системы хранения  SAS <ul><li>Общие принципы – аналогичны  SAN/FC : </li></ul><ul><li>Разделяемое, гибко распредел...
ExDS – Extreme Data Storage <ul><li>Интегрированное программно-аппаратное решение -  820ТБ в 2   шкафах 42 U </li></ul><ul...
POD – Performance Optimized Datacenter <ul><li>Центр обработки данных в стандартном контейнере  (13м х 3м) </li></ul><ul><...
Для тех, кто не любит слово «блейд» <ul><li>4  двухпроцессорных сервера в корпусе 2 U </li></ul><ul><li>В каждом сервере: ...
Спасибо! Евгений Лагунцов Системный архитектор НР Россия [email_address] [email_address]
Upcoming SlideShare
Loading in...5
×

Scalablehw Лагунцов

512

Published on

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
512
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
10
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Scalablehw Лагунцов

  1. 1. Масштабируемые серверные платформы для высоконагруженных систем Евгений Лагунцов, НР Россия
  2. 2. Вариант 1. <ul><li>32 сервера (2 x Xeon 54 5 0 , 16GB, 4xGE, 250GB HDD) </li></ul><ul><li>4 коммутатора top-of-the-rack 1/10Gb </li></ul><ul><li>Монтажный шкаф 42 U </li></ul><ul><li>Энергопотребление: 1 4.3 кВт </li></ul><ul><li>224 кабеля внутри (4 x32 UTP, 2x32 10А- Power, 1x32 Console) </li></ul><ul><li>12 кабелей снаружи ( 8x 10GE, 6x 32A-Power) </li></ul><ul><li>2 62,316 очень условных единиц </li></ul>Вариант 2. <ul><li>32 сервера (2 x Xeon 5450, 16GB, 4xGE, 250GB HDD) </li></ul><ul><li>8 интегрированных коммутаторов 1/10Gb </li></ul><ul><li>Серверная полка 10 U (19 ”) </li></ul><ul><li>Энергопотребление: 7 .7кВт </li></ul><ul><li>0 кабелей внутри </li></ul><ul><li>12 кабелей снаружи ( 8x 10GE, 6x 16 A-Power) </li></ul><ul><li>270 , 56 0 очень условных единиц </li></ul>
  3. 3. <ul><li>Что же такое блейд-система, как она работает и почему эффективна? </li></ul><ul><ul><li>Серверная полка </li></ul></ul><ul><ul><li>Питание и охлаждение </li></ul></ul><ul><ul><li>Блейд-серверы </li></ul></ul><ul><ul><li>Решения по внутриполочной коммутации </li></ul></ul><ul><li>Решения по хранению данных для блейд-инфраструктур </li></ul><ul><ul><li>Внутри-полочные системы хранения </li></ul></ul><ul><ul><li>Внешние разделяемые системы хранения </li></ul></ul><ul><ul><li>Масштабируемые системы хранения для блейд и на базе блейд </li></ul></ul><ul><li>Если все же блейд – не для всех? </li></ul>План доклада:
  4. 4. Блейд-инфраструктура HP Серверная полка Адаптер ввода-вывода Блейд-сервер Интегрированный коммутатор Сигнальная панель и панель питания Вентилятор Блок питания
  5. 5. Встроенные средства управления <ul><li>Реализованы на базе модуля Onboard Administrator </li></ul><ul><li>Модуль с «горячей заменой», с резервированием </li></ul><ul><li>Расширенные средства мониторинга и управления блейд-инфраструктуры </li></ul><ul><li>Прозрачная интеграция с контроллерами управления, интегрирвоанными на серверы </li></ul><ul><li>Активное управление распределением нагрузки на блоки питания и вентиляторы </li></ul>
  6. 6. Динамическое энергосбережение <ul><li>Пример: система потребляющая 1800 Вт </li></ul><ul><li>6 блоков питания, 300 Вт каждый, 75% КПД </li></ul><ul><li>2400 Вт (вход), 1800 Вт (выход) </li></ul><ul><li>600 Вт потери </li></ul><ul><li>2 блока питания, 900 Вт каждый, 89% КПД </li></ul><ul><li>2048 Вт (вход), 1800 Вт (выход) </li></ul><ul><li>Экономия - 352 Вт на блок </li></ul><ul><li>4 резервных блока питания – в режиме горячего резерва включаются при возрастании потребляемой мощности </li></ul><ul><li>При 20 блоках и цене $ 0,075 за кВт/час возможная экономия около $4600/год </li></ul>
  7. 7. Вентилятор HP Active Cool <ul><li>Сверхмощный воздушный поток </li></ul><ul><li>Высокое давление </li></ul><ul><li>Лучший в своем классе уровень надежности </li></ul><ul><li>Отличная акустика во всем рабочем диапазоне </li></ul><ul><li>Низкое энергопотребление </li></ul><ul><li>Адаптация под текущие условия </li></ul><ul><li>1 вентилятор Active Cool – достаточно для охлаждения 5 серверов DL360 </li></ul>
  8. 8. Блейд-серверы BL 460 c BL465c BL260c BL2x220c BL495c BL480c BL680c BL685c BL860c BL870c SB40c TB448c SB920c PCIExp SB600c xw460c Двухпроцессорные серверы до 8 ядер, до 128 GB RAM Четырехпроцессорные серверы до 24 ядер, до 192 GB RAM Модули расширения, блейд-системы хранения, блейд-рабочие станции
  9. 9. 3 (2) GbE NICs (2) GbE NICs RAID 0/1 controller w/ BBWC option (2) SFF SAS bays iLO 2 Standard Blade Edition DDR2 667MHz (16) DIMMs/128GB 4-socket Quad-Core AMD Opteron 8000 Series BL685c BL860c BL680c BL480c BL465c BL460c Model 3 (2) GbE NICs (2) GbE NICs RAID 0/1 controller w/ BBWC option (2) SFF SAS bays iLO 2 Standard Blade Edition FBDimm 667MHz (16) DIMMs /128GB 4-socket Quad-, 6-Core Intel Xeon 7400 Series 3 (2) GbE NICs (2) GbE NICs RAID 0/1/5 controller w/ BBWC option (4) SFF SAS bays iLO 2 Standard Blade Edition FBDimm 667MHz (12) DIMMs / 64GB 2-socket quad-core Intel Xeon 2 (2) GbE NICs RAID 0/1 controller w/ BBWC option (2) SFF SAS bays iLO 2 Standard Blade Edition DDR2 667MHz (8) DIMMs / 64GB 2-socket Quad-Core AMD Opteron 2000 Series 3 (4) GbE NICs RAID 0/1 controller (2) SFF SAS bays iLO 2 Standard Blade Edition DDR 533MHz (12) DIMMs/96GB 2-socket Intel Itanium2 2-socket quad-core Intel Xeon Processors FBDimm 667MHz (8) DIMMs / 64GB Memory iLO 2 Standard Blade Edition Management (2) SFF SAS bays Internal HP Storage RAID 0/1 controller w/ BBWC option RAID (2) GbE NICs NICs 2 Mezzanine slots
  10. 10. Model BL260c BL495c BL2x220c BL870c Processors 2-socket Quad core Intel Xeon 2-socket Quad-core AMD Opteron 2x 2-socket Quad-core Intel Xeon 4-socket dual-core Intel Itanium2 Memory (6) DIMMs / 48GB (16) DIMMs / 128GB 2x DDR2 667MHz (4) DIMMs / 32GB DDR2 (24) DIMMs/192GB Remote Management iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition Internal HP Storage (2) SFF NHP SATA bays 2 NHP SATA SSD 2x(1) SFF NHP SATA bays or SSD (4) SFF SAS bays RAID Software RAID 0/1, optional external storage blade Optional external storage blade none RAID 0/1 controller NICs (2) GbE NICs (2) 10GbE 2x(2) GbE NICs (4) GbE NICs Mezzanine slots 1 2 2x1 3
  11. 11. HP ProLiant BL460c <ul><li>2 процессора Dual-, Quad-core Intel Xeon 5200 и 5400 </li></ul><ul><li>8 слотов под оперативную память (до 64 GB) </li></ul><ul><li>2 диска SAS/SATA с возможностью горячей замены </li></ul><ul><li>RAID- контроллер Smart Array с батарейной защитой кэш-памяти </li></ul><ul><li>2 интегрированных адаптера GigE </li></ul><ul><li>2 дополнительных слота для установки плат расширения </li></ul><ul><li>Контроллер управления iLO </li></ul>
  12. 12. HP ProLiant BL495c <ul><li>2 процессора Quad-core AMD Opteron 2300 </li></ul><ul><li>16 слотов под оперативную память (до 128GB) </li></ul><ul><li>2 диска SSD 64GB </li></ul><ul><li>Опциональная возможность подключения storage blade </li></ul><ul><li>2 интегрированных адаптера 10GigE </li></ul><ul><li>2 дополнительных слота для установки плат расширения </li></ul><ul><li>Контроллер управления iLO </li></ul>
  13. 13. HP ProLiant BL2x220c <ul><li>2 полнофункциональных сервера в одном конструктиве => 32 сервера на серверную полку 10U , 128 серверов и 1024 ядра на монтажный шкаф 42 U </li></ul><ul><li>Специализированный чипсет , память DDR2 => уникальное соотношение производительность/Вт </li></ul><ul><li>Никакого comminucation sharing – каждый сервер работает со своими выделенными линиями сетевых коммуникаций </li></ul><ul><li>Очевидный минус: серверы можно вынимать из полки только парами. Для большинства scale-out заказчиков это непринципиально </li></ul>
  14. 14. HP ProLiant BL2x220c <ul><li>Каждый узел (их два в одном конструктиве) содержит: </li></ul><ul><li>2 процессора Dual-, Quad-core Intel Xeon 5200 и 5400 </li></ul><ul><li>4 слота под оперативную память (до 32 GB) </li></ul><ul><li>диск SATA 250GB или SSD 64GB </li></ul><ul><li>2 интегрированных адаптера GigE </li></ul><ul><li>1 дополнительный слот для установки плат расширения ( GigE, 10GigE, FC, Infiniband DDR) </li></ul><ul><li>Контроллер управления iLO </li></ul>
  15. 15. Коммуникационные адаптеры <ul><li>На каждый сервер интегрированы два или четыре адаптера GigE ( на BL4 9 5cG5 – два адаптера 10GigE ) </li></ul><ul><li>Адаптеры вставляются в стандартизованные разъемы на материнской плате сервера ( mezzanine- слоты) </li></ul><ul><li>У адаптеров нет своей «скобки» и внешних разъемов – подключение к внешним сетям осуществляется по сигнальным дорожкам объединительной панели, на приемной стороне которых – коммутаторы </li></ul><ul><li>Адаптеры построены на стандартных микросхемах = > никаких проблем с драйверами </li></ul><ul><li>На текущий момент доступны следующие адаптеры: </li></ul><ul><ul><li>Dual-port GigE ( Intel, Broadcom), Quad-port GigE ( Intel, Broadcom), </li></ul></ul><ul><ul><li>Dual-port iSCSI HBA (QLogic), </li></ul></ul><ul><ul><li>Dual-port FC (QLogic, Emulex), </li></ul></ul><ul><ul><li>Dual-port 10GigE (NetXen), </li></ul></ul><ul><ul><li>Dual-port Infiniband DDR 20Gb/s (Mellanox) </li></ul></ul>
  16. 16. Интегрированные коммуникации <ul><li>8 отсеков для коммуникационных устройств (коммутаторов) </li></ul><ul><li>Каждый коммуникационный отсек связан с каждым слотом для блейд-сервера </li></ul><ul><li>Отсеки сгруппированы по парам для обеспечения отказоустойчивости и повышения производительности </li></ul><ul><li>Два верхний отсека зарезервированы для устройств GigE/10GigE , подключенных к интегрированным на серверы адаптерам </li></ul><ul><li>Линии, связывающие коммуникационный модуль и сервер – стандартные линии SERDES => прозрачная совместимость со всеми стандартами: GigE, 10GigE, FC, Infiniband, SAS </li></ul><ul><li>На сегодняшний день используемая производительность линка к каждому отсеку – 10 Gbit/s , для коммутаторов двойной ширины ( Infiniband DDR) – 20Gbit/s </li></ul>
  17. 17. Коммутаторы <ul><li>Интегрируются в коммункиационные отсеки полки </li></ul><ul><li>Ряд портов – внутренние, для связи с серверами (как правило, у каждого коммутатора 16 внутренних портов). </li></ul><ul><li>Ряд портов – внешние, для связи с внешней сетевой инфраструктурой </li></ul><ul><li>Ряд портов (опционально) – для связи коммутаторов внутри полки между собой </li></ul><ul><li>На сегодняшний день доступны следующие коммутаторы: </li></ul><ul><ul><li>HP Virtual Connect Ethernet GigE/10GigE (HP), </li></ul></ul><ul><ul><li>HP Virtual Connect FC (HP), </li></ul></ul><ul><ul><li>GigE (BNT, Cisco), GigE L3 (BNT, Cisco), </li></ul></ul><ul><ul><li>GigE/10GigE L3 (BNT, Cisco), </li></ul></ul><ul><ul><li>10GigE (NetXen), </li></ul></ul><ul><ul><li>FibreChannel 4Gb (Cisco, Brocade), FibreChannel 8Gb (Brocade), </li></ul></ul><ul><ul><li>Infiniband 20Gb/s (Mellanox). </li></ul></ul>
  18. 18. Блейд-системы хранения <ul><li>Storage Blade SB40c </li></ul><ul><li>Добавление к любому серверу (кроме BL2x220) дополнительно 6 дисков SAS / SATA с горячей заменой и RAID- контроллера </li></ul><ul><li>Доступные диски: </li></ul><ul><ul><li>72 GB SAS 15 k, </li></ul></ul><ul><ul><li>146GB SAS 10k, </li></ul></ul><ul><ul><li>250GB SATA </li></ul></ul><ul><li>На картинке : полка с 8 -ю серверами, в каждом по 8 дисков (2 TB) </li></ul><ul><li>Tape Blade SB920c </li></ul><ul><li>Добавление к любому серверу ленточного привода Ultrium 920 </li></ul><ul><li>All-in-One SB600c </li></ul><ul><li>Разделяемая система хранения внутри полки ( iSCSI, NFS) </li></ul>
  19. 19. Внешние системы хранения FC <ul><li>Как подключить блейд в SAN : </li></ul><ul><li>Интеграция в серверы адаптеров FC </li></ul><ul><li>Интеграция в полку коммутаторов FC </li></ul><ul><li>Плюсы: </li></ul><ul><li>Масштабируемость </li></ul><ul><li>Гибкость распределения ресурсов </li></ul><ul><li>Возможность общего доступа </li></ul><ul><li>Минусы: </li></ul><ul><li>Как правило, дорого </li></ul><ul><li>Относительно сложно </li></ul><ul><li>Особенно при очень больших объемах </li></ul><ul><li>На рисунке: </li></ul><ul><li>32 двухпроцессорных сервера BL2x220c , </li></ul><ul><li>4 системы хранения MSA2000, </li></ul><ul><li>192 «сырых» TB на дисках SATA , </li></ul><ul><li>или 86 «сырых» TB на дисках SAS 15k , </li></ul><ul><li>или любая комбинация, </li></ul><ul><li>в одном шкафу 42 U </li></ul>
  20. 20. Внешние системы хранения SAS <ul><li>Общие принципы – аналогичны SAN/FC : </li></ul><ul><li>Разделяемое, гибко распределяемое, легко расширяемое пространство </li></ul><ul><li>Но дешевле и проще </li></ul><ul><li>А также компактнее – 70 дисков LFF (70TB) в 5U </li></ul><ul><li>Адаптеры и коммутаторы SAS для блейд-систем </li></ul><ul><li>Возможности Zoned Storage </li></ul>Скоро
  21. 21. ExDS – Extreme Data Storage <ul><li>Интегрированное программно-аппаратное решение - 820ТБ в 2 шкафах 42 U </li></ul><ul><li>Блейд-система: </li></ul><ul><ul><li>Головные узлы, от 4 до 16 двухпроцессорных серверов; </li></ul></ul><ul><ul><li>Адаптеры и коммутаторы SAS; </li></ul></ul><ul><li>Системы хранения: </li></ul><ul><ul><li>Блоки хранения – контроллерная пара, плюс 82 диска по 1ТБ, размещается в 7 U ; </li></ul></ul><ul><ul><li>Кол-во блоков хранения – от 3 до 10; </li></ul></ul><ul><li>Программное обеспечение: </li></ul><ul><ul><li>Интегрированные средства управления; </li></ul></ul><ul><ul><li>Кластерная симметричная файловая система – доступна всем блейдам; </li></ul></ul><ul><ul><li>Поддержка различных протоколов ( NFS, HTTP, …) </li></ul></ul>Скоро
  22. 22. POD – Performance Optimized Datacenter <ul><li>Центр обработки данных в стандартном контейнере (13м х 3м) </li></ul><ul><li>22 монтажных шкафа 50 U </li></ul><ul><li>Водяное охлаждение – отвод 35кВт со шкафа </li></ul><ul><li>До 3520 серверов </li></ul><ul><li>Более 12000 жестких дисков LFF </li></ul>
  23. 23. Для тех, кто не любит слово «блейд» <ul><li>4 двухпроцессорных сервера в корпусе 2 U </li></ul><ul><li>В каждом сервере: </li></ul><ul><ul><li>2 процессора Intel Xeon, </li></ul></ul><ul><ul><li>8 слотов под модули памяти (до 64 GB), </li></ul></ul><ul><ul><li>2 интегрированных GigE интерфейса, </li></ul></ul><ul><ul><li>один стандартный слот расширения PCI-express x8 / x16, </li></ul></ul><ul><li>8 или 12 дисков LFF , распределяемых между узлами в почти произвольном порядке </li></ul><ul><li>Централизованная “ а ля блейд ” структура питания и охлаждения: </li></ul><ul><ul><li>2 блока питания 1200Вт, </li></ul></ul><ul><ul><li>5 вентиляторов </li></ul></ul>
  24. 24. Спасибо! Евгений Лагунцов Системный архитектор НР Россия [email_address] [email_address]
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×