Архитектура ЦОД Владимир Кург Киев, 8 октября 2009
Виртуализация ОС <ul><li>Гонка мегагерц сменилась «ядерной» гонкой </li></ul><ul><li>Проблема параллелизма </li></ul><ul><...
Виртуализация серверных ОС <ul><li>Термодинамика виртуализации:   MIPS/Ватт ,  IOPS/ Ватт,  Ватт/м 3 </li></ul><ul><li>Мак...
Виртуализация клиентских ОС:  VDI <ul><li>Термодинамика виртуализации:   -  Переносим энерговыделение    ПК в ЦОД - Избавл...
Виртуализация ОС  + Blade Systems <ul><li>Blade-системы + виртуализация </li></ul><ul><li>Максимизация загрузки лезвий  </...
Виртуализация ОС  + Blade Systems Ещё   два уровня иерархии коммутаторов: Проблема сложности, гетерогенности, администрати...
Виртуализация ввода-вывода <ul><li>Сколько   сетей работает в ЦОД? </li></ul>SAN LAN  WAN IPC MPI
Виртуализация ввода-вывода <ul><li>Единый   транспорт серверного сегмента : </li></ul><ul><li>Infiniband:  40  Gbps  сейча...
Виртуализация ввода-вывода  + Blade Пример:  Cisco Unified Computing System
WinHEC-2006 <ul><li>Цена порта: </li></ul><ul><li>Один  HCA/VIC  вместо  HBA + NIC + (MPI) </li></ul><ul><li>Один порт ком...
«Бесплатный процессор» <ul><li>Всё  over IP: </li></ul><ul><li>Проблема </li></ul><ul><li>Transport Offload </li></ul><ul>...
Выбираем 1 0 GE… <ul><li>I/O Consolidation in the Data Center. Cisco Press, 2009 </li></ul>
Виртуализация ОС   и ввода-вывода <ul><li>Результат:   </li></ul><ul><li>системы высокой плотности </li></ul><ul><li>Горяч...
Виртуализация и энергопотребление
Виртуализация и энергопотребление 67% reduction in server power results in 56% electric bill savings Servers 83% Fan motor...
Жизненный цикл и планирование <ul><li>Избежать «налога на инфраструктуру»: - новый ЦОД или модернизация - установленные мо...
Жизненный цикл и планирование Избежать «налога на инфраструктуру»: -  модульность инфраструктуры   по  « требованию »
Наращивание по требованию <ul><li>Конструктор для перехода к высокой плотности </li></ul>Blanking panels Supplemental cool...
Наращивание по требованию <ul><li>Мини-ЦОД ы высокой плотности </li></ul><ul><li>Не нагружают систему охлаждения ЦОДа </li...
Пример: банк «Пивденный» InRow ™  cooling Высокая плотность Hot aisle  containment Modular power distribution Rear Air  co...
Пример: ЕМЗ <ul><li>Система высокой плотности:  18  kW/rack </li></ul>InRow ™  cooling Высокая плотность Hot aisle  contai...
Incom Владимир Кург Киев, 8 октября 2009
Upcoming SlideShare
Loading in...5
×

Архитектура ЦОД

1,214

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,214
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
33
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Здесь нарисован идеальный шкаф из рекламы: не показаны СКС и коммутаторы Ethernet и Fibre Channel
  • /* Слайд будет русифицирован */
  • Слайд содержит некоторое преувеличение насчёт Management Network – в приличных серверах обеспечивается независимыми от ОС отдельными модулями. Решение несуществующей проблемы: TOE , FCIP, iSCSI offload
  • Одной из проблем является стандартный подход «что попало over IP » Не следует забывать, что TCP/IP – набор протоколов ядерной войны, разработанный для передачи данных о её последствиях на остатках коммуникационной инфраструктуры – и в силу этого в достаточной степени избыточный – что обуславливает его универсальность и удобство. Однако при всём его удобстве зачастую забывается цена транспорта информации – как в ресурсах процессора, так и памяти. В Windows- стеке для вередачи фрагмента данных на физический интерфейс требуется выполнение ~7000 инст р укций – не считая забавных пересылок в RAM. Эта ситуация породила совершенно отдельный рынок – TOE-Ethernet адаптеров, на которых аппаратно реализована часть обработки TCP- стека. Это вполне закономерно: серверы характеризуются одновременно высокой CPU- нагрузкой и высоким трафиком, который, в свою очередь, грузит CPU. Ещё одна проблема – пересылка данных из буфера памяти приложения в буфер сетевого стека: это ведёт как к нагрузке на процессор, так и перегружает и без того загруженную шину процессор-память. В случае виртуализации ввода-вывода становится возможным также RDMA – т.е. существуют механизмы дешёвого обхода любого коммуникационного протокола (кроме физики, конечно) Результат – «бесплатный процессор» - в т.ч. и по рассеиваемой мощности.
  • 10GBASE-CX4 (IEEE 802.3ak) , базируется на специальном сдвоенном кабеле “4-twinax infiniband” . «Толстый» Twinax cabling в сочетании с SFP+Cu обеспечивают весьма привлекательное энергопотребление – например, для подключения 10-лезвийного Blade -шасси требуется 40 10 GE портов (сдвоенные NICs + порты коммутатора), в случае 10GEBase-T Cat6/Cat7 это 320/ 160 W, для CX4 – 4W. Но на расстояниях до 10 м, что диктует преимущественное использование в пределах шкафа, т.е. c истемах высокой плотности.
  • Здесь нарисован идеальный шкаф из рекламы: не показаны СКС и коммутаторы Ethernet и Fibre Channel
  • Эту картинку можно рассматривать с обеих сторон: слева направо – сценарий виртуализации, справа налево – начальная стадия роста ЦОДа с небольшим количеством серверов и инфраструктурой, построенной «с запасом»
  • Архитектура ЦОД

    1. 1. Архитектура ЦОД Владимир Кург Киев, 8 октября 2009
    2. 2. Виртуализация ОС <ul><li>Гонка мегагерц сменилась «ядерной» гонкой </li></ul><ul><li>Проблема параллелизма </li></ul><ul><li>Изоляция приложения в собственной ОС </li></ul><ul><li>Несколько ОС в одной физической системе </li></ul>
    3. 3. Виртуализация серверных ОС <ul><li>Термодинамика виртуализации: MIPS/Ватт , IOPS/ Ватт, Ватт/м 3 </li></ul><ul><li>Максимизация загрузки системы: - рост рассеиваемой мощности - напряженней температурные режимы - рост плотности тепловыделения </li></ul><ul><li>Рост нагрузки ввода-вывода: сеть, storage </li></ul><ul><li>Горячие точки в шкафу </li></ul>
    4. 4. Виртуализация клиентских ОС: VDI <ul><li>Термодинамика виртуализации: - Переносим энерговыделение ПК в ЦОД - Избавляемся от UPS рабочих мест (тонкие клиенты) - Неравномерность нагрузки </li></ul><ul><li>Варианты: - терминальные системы - Blade PC от HP </li></ul>
    5. 5. Виртуализация ОС + Blade Systems <ul><li>Blade-системы + виртуализация </li></ul><ul><li>Максимизация загрузки лезвий </li></ul><ul><li>Горячие зоны ЦОДа </li></ul><ul><li>+ VDI: c уточные циклы энергопотребления и выделения </li></ul><ul><li>Проблемы ввода/вывода: - много виртуальных NIC и HBA на один физический - коммутаторы виртуальный => встроенный = > доступа </li></ul>
    6. 6. Виртуализация ОС + Blade Systems Ещё два уровня иерархии коммутаторов: Проблема сложности, гетерогенности, административных «границ»
    7. 7. Виртуализация ввода-вывода <ul><li>Сколько сетей работает в ЦОД? </li></ul>SAN LAN WAN IPC MPI
    8. 8. Виртуализация ввода-вывода <ul><li>Единый транспорт серверного сегмента : </li></ul><ul><li>Infiniband: 40 Gbps сейчас </li></ul><ul><li>Losseless Ethernet: 10 Gbps </li></ul>SAN LAN WAN
    9. 9. Виртуализация ввода-вывода + Blade Пример: Cisco Unified Computing System
    10. 10. WinHEC-2006 <ul><li>Цена порта: </li></ul><ul><li>Один HCA/VIC вместо HBA + NIC + (MPI) </li></ul><ul><li>Один порт коммутатора вместо трёх портов трёх коммутаторов </li></ul><ul><li>Управляемость: </li></ul><ul><li>Виртуальный «конструктор» </li></ul>
    11. 11. «Бесплатный процессор» <ul><li>Всё over IP: </li></ul><ul><li>Проблема </li></ul><ul><li>Transport Offload </li></ul><ul><li>Engine (TOE) </li></ul>Приложение Приложение Ethernet Card Virtual Interface HCA Socket TCP IP NDIS MiniPort VIA SDP ~7000 команд ~500 команд
    12. 12. Выбираем 1 0 GE… <ul><li>I/O Consolidation in the Data Center. Cisco Press, 2009 </li></ul>
    13. 13. Виртуализация ОС и ввода-вывода <ul><li>Результат: </li></ul><ul><li>системы высокой плотности </li></ul><ul><li>Горячие зоны ЦОДа </li></ul><ul><li>Неравномерные циклы энергопотребления и выделения </li></ul><ul><li>Множество ОС и приложений в малом объёме: - рост цены ошибок и сбоев - рост требований к планированию - рост требований к управляемости </li></ul>+ + …
    14. 14. Виртуализация и энергопотребление
    15. 15. Виртуализация и энергопотребление 67% reduction in server power results in 56% electric bill savings Servers 83% Fan motors 100kW Fan motors 100kW (no change) Энергопотребление меньше , но потребление инфраструктуры ( FIXED LOSS ) неизменно FIXED LOSS Уменьшение потребляемой мощности... … за счёт уменьшения количества серверов FIXED LOSS Термодинамика виртуализации: «налог на инженерную инфраструктуру» Запас невыгоден, нужны гибкость и планирование
    16. 16. Жизненный цикл и планирование <ul><li>Избежать «налога на инфраструктуру»: - новый ЦОД или модернизация - установленные мощности по охлаждению и БП - перемещение и перекоммутация - модульность инфраструктуры </li></ul>Распределение нагрузки Консолидация нагрузки
    17. 17. Жизненный цикл и планирование Избежать «налога на инфраструктуру»: - модульность инфраструктуры по « требованию »
    18. 18. Наращивание по требованию <ul><li>Конструктор для перехода к высокой плотности </li></ul>Blanking panels Supplemental cooling InRow ™ cooling Низкая плотность, Низкие нагрузки Высокая плотность Hot aisle containment Modular power distribution Rear Air containment < 3 kW/rack 3-5 kW/rack > 5 kW/rack
    19. 19. Наращивание по требованию <ul><li>Мини-ЦОД ы высокой плотности </li></ul><ul><li>Не нагружают систему охлаждения ЦОДа </li></ul><ul><li>Локальная циркуляция по короткому пути </li></ul><ul><li>Адаптация под переменные нагрузки </li></ul>
    20. 20. Пример: банк «Пивденный» InRow ™ cooling Высокая плотность Hot aisle containment Modular power distribution Rear Air containment Система высокой плотности: 1 6.5 kW/rack <ul><li>APC InfraStruXure </li></ul><ul><li>APC Symmetra PX 50 kW, N+1 </li></ul><ul><li>Blade Servers / APC NetShelter SX </li></ul><ul><li>Rack Air Remova l Units SX </li></ul><ul><li>APC Enviromental / InfraStruXure Manager </li></ul>
    21. 21. Пример: ЕМЗ <ul><li>Система высокой плотности: 18 kW/rack </li></ul>InRow ™ cooling Высокая плотность Hot aisle containment Modular power distribution Rear Air containment <ul><li>APC InfraStruXure </li></ul><ul><li>APC Symmetra PX 20 kW, N+1 </li></ul><ul><li>APC NetShelter SX </li></ul><ul><li>APC InRow RC </li></ul><ul><li>APC Enviromental / InfraStruXure Manager </li></ul>
    22. 22. Incom Владимир Кург Киев, 8 октября 2009
    1. A particular slide catching your eye?

      Clipping is a handy way to collect important slides you want to go back to later.

    ×