Scalablehw Лагунцов
Upcoming SlideShare
Loading in...5
×
 

Scalablehw Лагунцов

on

  • 757 views

 

Statistics

Views

Total Views
757
Views on SlideShare
733
Embed Views
24

Actions

Likes
1
Downloads
9
Comments
0

2 Embeds 24

http://highload.ru 16
http://www.highload.ru 8

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Scalablehw Лагунцов Scalablehw Лагунцов Presentation Transcript

  • Масштабируемые серверные платформы для высоконагруженных систем Евгений Лагунцов, НР Россия
  • Вариант 1.
    • 32 сервера (2 x Xeon 54 5 0 , 16GB, 4xGE, 250GB HDD)
    • 4 коммутатора top-of-the-rack 1/10Gb
    • Монтажный шкаф 42 U
    • Энергопотребление: 1 4.3 кВт
    • 224 кабеля внутри (4 x32 UTP, 2x32 10А- Power, 1x32 Console)
    • 12 кабелей снаружи ( 8x 10GE, 6x 32A-Power)
    • 2 62,316 очень условных единиц
    Вариант 2.
    • 32 сервера (2 x Xeon 5450, 16GB, 4xGE, 250GB HDD)
    • 8 интегрированных коммутаторов 1/10Gb
    • Серверная полка 10 U (19 ”)
    • Энергопотребление: 7 .7кВт
    • 0 кабелей внутри
    • 12 кабелей снаружи ( 8x 10GE, 6x 16 A-Power)
    • 270 , 56 0 очень условных единиц
    • Что же такое блейд-система, как она работает и почему эффективна?
      • Серверная полка
      • Питание и охлаждение
      • Блейд-серверы
      • Решения по внутриполочной коммутации
    • Решения по хранению данных для блейд-инфраструктур
      • Внутри-полочные системы хранения
      • Внешние разделяемые системы хранения
      • Масштабируемые системы хранения для блейд и на базе блейд
    • Если все же блейд – не для всех?
    План доклада:
  • Блейд-инфраструктура HP Серверная полка Адаптер ввода-вывода Блейд-сервер Интегрированный коммутатор Сигнальная панель и панель питания Вентилятор Блок питания
  • Встроенные средства управления
    • Реализованы на базе модуля Onboard Administrator
    • Модуль с «горячей заменой», с резервированием
    • Расширенные средства мониторинга и управления блейд-инфраструктуры
    • Прозрачная интеграция с контроллерами управления, интегрирвоанными на серверы
    • Активное управление распределением нагрузки на блоки питания и вентиляторы
  • Динамическое энергосбережение
    • Пример: система потребляющая 1800 Вт
    • 6 блоков питания, 300 Вт каждый, 75% КПД
    • 2400 Вт (вход), 1800 Вт (выход)
    • 600 Вт потери
    • 2 блока питания, 900 Вт каждый, 89% КПД
    • 2048 Вт (вход), 1800 Вт (выход)
    • Экономия - 352 Вт на блок
    • 4 резервных блока питания – в режиме горячего резерва включаются при возрастании потребляемой мощности
    • При 20 блоках и цене $ 0,075 за кВт/час возможная экономия около $4600/год
  • Вентилятор HP Active Cool
    • Сверхмощный воздушный поток
    • Высокое давление
    • Лучший в своем классе уровень надежности
    • Отличная акустика во всем рабочем диапазоне
    • Низкое энергопотребление
    • Адаптация под текущие условия
    • 1 вентилятор Active Cool – достаточно для охлаждения 5 серверов DL360
  • Блейд-серверы BL 460 c BL465c BL260c BL2x220c BL495c BL480c BL680c BL685c BL860c BL870c SB40c TB448c SB920c PCIExp SB600c xw460c Двухпроцессорные серверы до 8 ядер, до 128 GB RAM Четырехпроцессорные серверы до 24 ядер, до 192 GB RAM Модули расширения, блейд-системы хранения, блейд-рабочие станции
  • 3 (2) GbE NICs (2) GbE NICs RAID 0/1 controller w/ BBWC option (2) SFF SAS bays iLO 2 Standard Blade Edition DDR2 667MHz (16) DIMMs/128GB 4-socket Quad-Core AMD Opteron 8000 Series BL685c BL860c BL680c BL480c BL465c BL460c Model 3 (2) GbE NICs (2) GbE NICs RAID 0/1 controller w/ BBWC option (2) SFF SAS bays iLO 2 Standard Blade Edition FBDimm 667MHz (16) DIMMs /128GB 4-socket Quad-, 6-Core Intel Xeon 7400 Series 3 (2) GbE NICs (2) GbE NICs RAID 0/1/5 controller w/ BBWC option (4) SFF SAS bays iLO 2 Standard Blade Edition FBDimm 667MHz (12) DIMMs / 64GB 2-socket quad-core Intel Xeon 2 (2) GbE NICs RAID 0/1 controller w/ BBWC option (2) SFF SAS bays iLO 2 Standard Blade Edition DDR2 667MHz (8) DIMMs / 64GB 2-socket Quad-Core AMD Opteron 2000 Series 3 (4) GbE NICs RAID 0/1 controller (2) SFF SAS bays iLO 2 Standard Blade Edition DDR 533MHz (12) DIMMs/96GB 2-socket Intel Itanium2 2-socket quad-core Intel Xeon Processors FBDimm 667MHz (8) DIMMs / 64GB Memory iLO 2 Standard Blade Edition Management (2) SFF SAS bays Internal HP Storage RAID 0/1 controller w/ BBWC option RAID (2) GbE NICs NICs 2 Mezzanine slots
  • Model BL260c BL495c BL2x220c BL870c Processors 2-socket Quad core Intel Xeon 2-socket Quad-core AMD Opteron 2x 2-socket Quad-core Intel Xeon 4-socket dual-core Intel Itanium2 Memory (6) DIMMs / 48GB (16) DIMMs / 128GB 2x DDR2 667MHz (4) DIMMs / 32GB DDR2 (24) DIMMs/192GB Remote Management iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition iLO 2 Standard Blade Edition Internal HP Storage (2) SFF NHP SATA bays 2 NHP SATA SSD 2x(1) SFF NHP SATA bays or SSD (4) SFF SAS bays RAID Software RAID 0/1, optional external storage blade Optional external storage blade none RAID 0/1 controller NICs (2) GbE NICs (2) 10GbE 2x(2) GbE NICs (4) GbE NICs Mezzanine slots 1 2 2x1 3
  • HP ProLiant BL460c
    • 2 процессора Dual-, Quad-core Intel Xeon 5200 и 5400
    • 8 слотов под оперативную память (до 64 GB)
    • 2 диска SAS/SATA с возможностью горячей замены
    • RAID- контроллер Smart Array с батарейной защитой кэш-памяти
    • 2 интегрированных адаптера GigE
    • 2 дополнительных слота для установки плат расширения
    • Контроллер управления iLO
  • HP ProLiant BL495c
    • 2 процессора Quad-core AMD Opteron 2300
    • 16 слотов под оперативную память (до 128GB)
    • 2 диска SSD 64GB
    • Опциональная возможность подключения storage blade
    • 2 интегрированных адаптера 10GigE
    • 2 дополнительных слота для установки плат расширения
    • Контроллер управления iLO
  • HP ProLiant BL2x220c
    • 2 полнофункциональных сервера в одном конструктиве => 32 сервера на серверную полку 10U , 128 серверов и 1024 ядра на монтажный шкаф 42 U
    • Специализированный чипсет , память DDR2 => уникальное соотношение производительность/Вт
    • Никакого comminucation sharing – каждый сервер работает со своими выделенными линиями сетевых коммуникаций
    • Очевидный минус: серверы можно вынимать из полки только парами. Для большинства scale-out заказчиков это непринципиально
  • HP ProLiant BL2x220c
    • Каждый узел (их два в одном конструктиве) содержит:
    • 2 процессора Dual-, Quad-core Intel Xeon 5200 и 5400
    • 4 слота под оперативную память (до 32 GB)
    • диск SATA 250GB или SSD 64GB
    • 2 интегрированных адаптера GigE
    • 1 дополнительный слот для установки плат расширения ( GigE, 10GigE, FC, Infiniband DDR)
    • Контроллер управления iLO
  • Коммуникационные адаптеры
    • На каждый сервер интегрированы два или четыре адаптера GigE ( на BL4 9 5cG5 – два адаптера 10GigE )
    • Адаптеры вставляются в стандартизованные разъемы на материнской плате сервера ( mezzanine- слоты)
    • У адаптеров нет своей «скобки» и внешних разъемов – подключение к внешним сетям осуществляется по сигнальным дорожкам объединительной панели, на приемной стороне которых – коммутаторы
    • Адаптеры построены на стандартных микросхемах = > никаких проблем с драйверами
    • На текущий момент доступны следующие адаптеры:
      • Dual-port GigE ( Intel, Broadcom), Quad-port GigE ( Intel, Broadcom),
      • Dual-port iSCSI HBA (QLogic),
      • Dual-port FC (QLogic, Emulex),
      • Dual-port 10GigE (NetXen),
      • Dual-port Infiniband DDR 20Gb/s (Mellanox)
  • Интегрированные коммуникации
    • 8 отсеков для коммуникационных устройств (коммутаторов)
    • Каждый коммуникационный отсек связан с каждым слотом для блейд-сервера
    • Отсеки сгруппированы по парам для обеспечения отказоустойчивости и повышения производительности
    • Два верхний отсека зарезервированы для устройств GigE/10GigE , подключенных к интегрированным на серверы адаптерам
    • Линии, связывающие коммуникационный модуль и сервер – стандартные линии SERDES => прозрачная совместимость со всеми стандартами: GigE, 10GigE, FC, Infiniband, SAS
    • На сегодняшний день используемая производительность линка к каждому отсеку – 10 Gbit/s , для коммутаторов двойной ширины ( Infiniband DDR) – 20Gbit/s
  • Коммутаторы
    • Интегрируются в коммункиационные отсеки полки
    • Ряд портов – внутренние, для связи с серверами (как правило, у каждого коммутатора 16 внутренних портов).
    • Ряд портов – внешние, для связи с внешней сетевой инфраструктурой
    • Ряд портов (опционально) – для связи коммутаторов внутри полки между собой
    • На сегодняшний день доступны следующие коммутаторы:
      • HP Virtual Connect Ethernet GigE/10GigE (HP),
      • HP Virtual Connect FC (HP),
      • GigE (BNT, Cisco), GigE L3 (BNT, Cisco),
      • GigE/10GigE L3 (BNT, Cisco),
      • 10GigE (NetXen),
      • FibreChannel 4Gb (Cisco, Brocade), FibreChannel 8Gb (Brocade),
      • Infiniband 20Gb/s (Mellanox).
  • Блейд-системы хранения
    • Storage Blade SB40c
    • Добавление к любому серверу (кроме BL2x220) дополнительно 6 дисков SAS / SATA с горячей заменой и RAID- контроллера
    • Доступные диски:
      • 72 GB SAS 15 k,
      • 146GB SAS 10k,
      • 250GB SATA
    • На картинке : полка с 8 -ю серверами, в каждом по 8 дисков (2 TB)
    • Tape Blade SB920c
    • Добавление к любому серверу ленточного привода Ultrium 920
    • All-in-One SB600c
    • Разделяемая система хранения внутри полки ( iSCSI, NFS)
  • Внешние системы хранения FC
    • Как подключить блейд в SAN :
    • Интеграция в серверы адаптеров FC
    • Интеграция в полку коммутаторов FC
    • Плюсы:
    • Масштабируемость
    • Гибкость распределения ресурсов
    • Возможность общего доступа
    • Минусы:
    • Как правило, дорого
    • Относительно сложно
    • Особенно при очень больших объемах
    • На рисунке:
    • 32 двухпроцессорных сервера BL2x220c ,
    • 4 системы хранения MSA2000,
    • 192 «сырых» TB на дисках SATA ,
    • или 86 «сырых» TB на дисках SAS 15k ,
    • или любая комбинация,
    • в одном шкафу 42 U
  • Внешние системы хранения SAS
    • Общие принципы – аналогичны SAN/FC :
    • Разделяемое, гибко распределяемое, легко расширяемое пространство
    • Но дешевле и проще
    • А также компактнее – 70 дисков LFF (70TB) в 5U
    • Адаптеры и коммутаторы SAS для блейд-систем
    • Возможности Zoned Storage
    Скоро
  • ExDS – Extreme Data Storage
    • Интегрированное программно-аппаратное решение - 820ТБ в 2 шкафах 42 U
    • Блейд-система:
      • Головные узлы, от 4 до 16 двухпроцессорных серверов;
      • Адаптеры и коммутаторы SAS;
    • Системы хранения:
      • Блоки хранения – контроллерная пара, плюс 82 диска по 1ТБ, размещается в 7 U ;
      • Кол-во блоков хранения – от 3 до 10;
    • Программное обеспечение:
      • Интегрированные средства управления;
      • Кластерная симметричная файловая система – доступна всем блейдам;
      • Поддержка различных протоколов ( NFS, HTTP, …)
    Скоро
  • POD – Performance Optimized Datacenter
    • Центр обработки данных в стандартном контейнере (13м х 3м)
    • 22 монтажных шкафа 50 U
    • Водяное охлаждение – отвод 35кВт со шкафа
    • До 3520 серверов
    • Более 12000 жестких дисков LFF
  • Для тех, кто не любит слово «блейд»
    • 4 двухпроцессорных сервера в корпусе 2 U
    • В каждом сервере:
      • 2 процессора Intel Xeon,
      • 8 слотов под модули памяти (до 64 GB),
      • 2 интегрированных GigE интерфейса,
      • один стандартный слот расширения PCI-express x8 / x16,
    • 8 или 12 дисков LFF , распределяемых между узлами в почти произвольном порядке
    • Централизованная “ а ля блейд ” структура питания и охлаждения:
      • 2 блока питания 1200Вт,
      • 5 вентиляторов
  • Спасибо! Евгений Лагунцов Системный архитектор НР Россия [email_address] [email_address]