Downloaded 35 times
Архитектура ЦОД
- 1. Архитектура ЦОД ВладимирКург Киев, 8 октября 2009
- 2. Виртуализация ОС Гонкамегагерц сменилась «ядерной» гонкой Проблема параллелизма Изоляция приложения в собственной ОС Несколько ОС в одной физической системе
- 3. Виртуализация серверных ОСТермодинамика виртуализации: MIPS/Ватт , IOPS/ Ватт, Ватт/м 3 Максимизация загрузки системы: - рост рассеиваемой мощности - напряженней температурные режимы - рост плотности тепловыделения Рост нагрузки ввода-вывода: сеть, storage Горячие точки в шкафу
- 4. Виртуализация клиентских ОС: VDI Термодинамика виртуализации: - Переносим энерговыделение ПК в ЦОД - Избавляемся от UPS рабочих мест (тонкие клиенты) - Неравномерность нагрузки Варианты: - терминальные системы - Blade PC от HP
- 5. Виртуализация ОС + Blade Systems Blade-системы + виртуализация Максимизация загрузки лезвий Горячие зоны ЦОДа + VDI: c уточные циклы энергопотребления и выделения Проблемы ввода/вывода: - много виртуальных NIC и HBA на один физический - коммутаторы виртуальный => встроенный = > доступа
- 6. Виртуализация ОС + Blade Systems Ещё два уровня иерархии коммутаторов: Проблема сложности, гетерогенности, административных «границ»
- 7. Виртуализация ввода-вывода Сколько сетей работает в ЦОД? SAN LAN WAN IPC MPI
- 8. Виртуализация ввода-вывода Единый транспорт серверного сегмента : Infiniband: 40 Gbps сейчас Losseless Ethernet: 10 Gbps SAN LAN WAN
- 9. Виртуализация ввода-вывода + Blade Пример: Cisco Unified Computing System
- 10. WinHEC-2006 Цена порта:Один HCA/VIC вместо HBA + NIC + (MPI) Один порт коммутатора вместо трёх портов трёх коммутаторов Управляемость: Виртуальный «конструктор»
- 11. «Бесплатный процессор» Всё over IP: Проблема Transport Offload Engine (TOE) Приложение Приложение Ethernet Card Virtual Interface HCA Socket TCP IP NDIS MiniPort VIA SDP ~7000 команд ~500 команд
- 12. Выбираем 1 0GE… I/O Consolidation in the Data Center. Cisco Press, 2009
- 13. Виртуализация ОС и ввода-вывода Результат: системы высокой плотности Горячие зоны ЦОДа Неравномерные циклы энергопотребления и выделения Множество ОС и приложений в малом объёме: - рост цены ошибок и сбоев - рост требований к планированию - рост требований к управляемости + + …
- 14.
- 15. Виртуализация и энергопотребление67% reduction in server power results in 56% electric bill savings Servers 83% Fan motors 100kW Fan motors 100kW (no change) Энергопотребление меньше , но потребление инфраструктуры ( FIXED LOSS ) неизменно FIXED LOSS Уменьшение потребляемой мощности... … за счёт уменьшения количества серверов FIXED LOSS Термодинамика виртуализации: «налог на инженерную инфраструктуру» Запас невыгоден, нужны гибкость и планирование
- 16. Жизненный цикл ипланирование Избежать «налога на инфраструктуру»: - новый ЦОД или модернизация - установленные мощности по охлаждению и БП - перемещение и перекоммутация - модульность инфраструктуры Распределение нагрузки Консолидация нагрузки
- 17. Жизненный цикл ипланирование Избежать «налога на инфраструктуру»: - модульность инфраструктуры по « требованию »
- 18. Наращивание по требованиюКонструктор для перехода к высокой плотности Blanking panels Supplemental cooling InRow ™ cooling Низкая плотность, Низкие нагрузки Высокая плотность Hot aisle containment Modular power distribution Rear Air containment < 3 kW/rack 3-5 kW/rack > 5 kW/rack
- 19. Наращивание по требованиюМини-ЦОД ы высокой плотности Не нагружают систему охлаждения ЦОДа Локальная циркуляция по короткому пути Адаптация под переменные нагрузки
- 20. Пример: банк «Пивденный»InRow ™ cooling Высокая плотность Hot aisle containment Modular power distribution Rear Air containment Система высокой плотности: 1 6.5 kW/rack APC InfraStruXure APC Symmetra PX 50 kW, N+1 Blade Servers / APC NetShelter SX Rack Air Remova l Units SX APC Enviromental / InfraStruXure Manager
- 21. Пример: ЕМЗ Системавысокой плотности: 18 kW/rack InRow ™ cooling Высокая плотность Hot aisle containment Modular power distribution Rear Air containment APC InfraStruXure APC Symmetra PX 20 kW, N+1 APC NetShelter SX APC InRow RC APC Enviromental / InfraStruXure Manager
- 22. Incom Владимир КургКиев, 8 октября 2009
Editor's Notes
- #6 Здесь нарисован идеальный шкаф из рекламы: не показаны СКС и коммутаторы Ethernet и Fibre Channel
- #8 /* Слайд будет русифицирован */
- #11 Слайд содержит некоторое преувеличение насчёт Management Network – в приличных серверах обеспечивается независимыми от ОС отдельными модулями. Решение несуществующей проблемы: TOE , FCIP, iSCSI offload
- #12 Одной из проблем является стандартный подход «что попало over IP » Не следует забывать, что TCP/IP – набор протоколов ядерной войны, разработанный для передачи данных о её последствиях на остатках коммуникационной инфраструктуры – и в силу этого в достаточной степени избыточный – что обуславливает его универсальность и удобство. Однако при всём его удобстве зачастую забывается цена транспорта информации – как в ресурсах процессора, так и памяти. В Windows- стеке для вередачи фрагмента данных на физический интерфейс требуется выполнение ~7000 инст р укций – не считая забавных пересылок в RAM. Эта ситуация породила совершенно отдельный рынок – TOE-Ethernet адаптеров, на которых аппаратно реализована часть обработки TCP- стека. Это вполне закономерно: серверы характеризуются одновременно высокой CPU- нагрузкой и высоким трафиком, который, в свою очередь, грузит CPU. Ещё одна проблема – пересылка данных из буфера памяти приложения в буфер сетевого стека: это ведёт как к нагрузке на процессор, так и перегружает и без того загруженную шину процессор-память. В случае виртуализации ввода-вывода становится возможным также RDMA – т.е. существуют механизмы дешёвого обхода любого коммуникационного протокола (кроме физики, конечно) Результат – «бесплатный процессор» - в т.ч. и по рассеиваемой мощности.
- #13 10GBASE-CX4 (IEEE 802.3ak) , базируется на специальном сдвоенном кабеле “4-twinax infiniband” . «Толстый» Twinax cabling в сочетании с SFP+Cu обеспечивают весьма привлекательное энергопотребление – например, для подключения 10-лезвийного Blade -шасси требуется 40 10 GE портов (сдвоенные NICs + порты коммутатора), в случае 10GEBase-T Cat6/Cat7 это 320/ 160 W, для CX4 – 4W. Но на расстояниях до 10 м, что диктует преимущественное использование в пределах шкафа, т.е. c истемах высокой плотности.
- #14 Здесь нарисован идеальный шкаф из рекламы: не показаны СКС и коммутаторы Ethernet и Fibre Channel
- #16 Эту картинку можно рассматривать с обеих сторон: слева направо – сценарий виртуализации, справа налево – начальная стадия роста ЦОДа с небольшим количеством серверов и инфраструктурой, построенной «с запасом»