Download as PDF, PPTX
коммерческий цод De novo история большой стройки.
- 1. Коммерческий ЦОД DeNovo: история большой стройки Геннадий Карпов Директор по технологиям Киев, 2010 г.
- 2. Коммерческие ЦОД: предпосылки формированиярынка в Украине • К 2007 г. «серверные комнаты» перестали удовлетворять требованиям ИТ-оборудования и непрерывности бизнеса • Физические, организационные и финансовые ограничения на создание собственного ЦОД в приемлемые сроки • Повышение уровня зрелости ИТ-инфраструктуры, переход к промышленным моделям эксплуатации информационных систем • Невозможность удовлетворить потребность за счет ресурсов хостинг-центров 2
- 3. Чего не хватаетхостинг-центрам • возможность аренды физически изолированного полезного объема (модуля) с контролируемым физическим доступом; • соответствие локальным стандартам (например, требованиям НБУ к серверным помещениям банков), наличие соответствующих сертификатов; • недостаточный уровень доступности сервисов, наличие окна обслуживания (плановый останов), отсутствие SLA • возможность размещения современного высокоплотного оборудования (серверы-лезвия); • возможность размещения оборудования enterprise-класса (габариты и удельная нагрузка на пол, плотность энергопотребления и тепловыделения); • возможность организации широкополосных универсальных каналов связи (типа DC-DC) к другому ЦОД. 3
- 4. ЦОД De Novo: базовые принципы дизайна • Соответствие локальным стандартам и требованиям регуляторов рынка (прежде всего Национального Банка Украины) • Физическая изолированность арендуемых помещений (модульность) • Уровень не ниже Tier III по уровню доступности сервиса и окну обслуживания • Централизованное производство ресурсов (холод, энергия) с их последующим распределением по потребности между арендаторами модулей • Пригодность для установки современного и перспективного ИТ- оборудования: средняя мощность на стойку 8КВт, максимальная - >15КВт • Масштабирование «на ходу»: все пути распределения ресурсов создаются на первом этапе, масштабирование выполняется исключительно за счет емкости ресурсных групп (ИБП, чиллеры, ДГ) • Все системы ЦОД вписаны в периметр здания 4
- 5. ЦОД De Novo:основные параметры 2117 м2 модули: 728 м2 Площадь (+720 м2 на крыше) офис: 271 м2 Электр. мощность (общая/IT-нагрузка) 3300/1650 КВт Энерговводы 2 независимых высоковольтных + группа ДГ Количество модулей (единица аренды) 11L + 20S + 1H Типы модулей S : 4 стойки/30КВт, L: 8 стоек/60КВт, H: 50 стоек/400КВт 2 независимые оптоволоконные трассы к центру Телекоммуникации коммутации L9, суммарно 800 Gb Рабочая температура окружающей от -35 до +40 oC среды Соответствие стандартам TIA-942 III, требования НБУ
- 6. ЦОД De Novo:некоторые факты • ~240 серверных стоек (суммарная емкость модулей и MDA) • 80 прецизионных кондиционеров APC по 40 КВт • ~ 80 км. оптоволоконных пар OM-3, ~50 км. витой пары STP • 600 оптических и 200 медных пассивных портов в MDA • ~800 м гидромагистралей (d>300мм) • 96 видеокамер системы наблюдения • 35 датчиков VESDA (раннее обнаружение дыма) • 120 тонн воды (внутренний контур), 36 м3 гликоля (внешний контур) • Служба эксплуатации – 29 сотрудников, физическая охрана – 8 человек + группа быстрого реагирования 6
- 7. Спецификация S (x20)и L (x11) модулей Площадь S-14 м2, L-24 м2, Энерговводы 2 независимых через ФЗП-фильтры фронт→тыл Топология резервированного низ→верх прецизионного охлаждения IT- универсальная: фронт→верх оборудования фронт/низ/тыл→верх Мощность IT-оборудования S-30/40 КВт, L-60/80 КВт Максимальная плотность мощности 20 KBт/стойка Количество стоек S-4, L-8 Нагрузка на фальшпол 1500 кг (распределенная), 500 кг (точечная) Возможность установки enterprise-стоек да 1Gb Ethernet и 2Gb Fibre Channel в режиме Телекоммуникации прозрачных битовых потоков к центру коммутации L9 центры коммутации ЦОД (2 шт.) + межмодульные Кабельные коммуникации коммуникации (при необходимости) Экранирование согласно требованиям Национального Банка Украины Пожаротушение и сигнализация автономное автоматическое газовое, VESDA Автономная огнестойкость 1 час 7
- 8. Этапы проекта: начто ушло 3 года Привлечение Продажи инвестиций Бизнес- Финансовая Детализация продуктового ряда, модель Разработка SLA модель модель продаж и договора Технологическая Эскизный Рабочий Эксплуатационные концепция проект проект процессы и регламенты Выбор площадки Разрешительные процедуры Конкурсные процедуры Поставка оборудования Строительные и монтажные работы Наладка и испытания Формирование службы эксплуатации 2008 Инвестиции 2009 Анонс 2010 Первый 8 клиент
- 9. Организационная структура проекта ИНВЕСТОРЫ Управляющий комитет Конкурсные процедуры Проектная группа Представитель службы проектировщик Руководитель проекта Генеральный эксплуатации Главный системный архитектор Архитектор Архитектор Архитектор Архитектор (энергетика) (механика) (безопасность) (ИТ и телеком) Архитектурно-строительный надзор (сайт-менеджер) De Novo Исполнители подсистем 9
- 10. Что мы вынеслииз собственного опыта (бизнес) • Заказчики склонны предъявлять к коммерческому ЦОД значительно более жесткие требования чем к собственному, но при этом не всегда готовы платить за их выполнение • Качество SLA – определяющий фактор в регулировании отношений с корпоративных Заказчиком • Процесс миграции в коммерческий ЦОД – сам по себе сложный проект, сопряженный с существенными рисками 10
- 11. Какой ЦОД вампредлагают? SLA – лучший индикатор уровня ЦОД Обязательно обратите внимание на: • перечень, определения и метрики сервисов, а также возможность их объективного контроля; • наличие окна обслуживания (для Tier III/IV окно обслуживания = 0); • допустимое время аварийной недоступности сервисов; • степень ответственности провайдера за нарушение SLA. 11
- 12. Что мы вынеслииз собственного опыта (технологии) • Создание ЦОД к ИТ отношения практически не имеет, это большая стройка сложного инженерного объекта • Конечные характеристики ЦОД на 95% определяются качеством проектирования • Термическое моделирование существенно снижает риски ошибок проектирования • Комплексные нагрузочные испытания ЦОД – нетривиальная задача, требующая тщательного планирования и специализированного оборудования • Проектирование и внедрение процессов эксплуатации ЦОД уровня III/IV не менее сложная задача чем создание самого ЦОД 12
- 13. Откровения бывалых: опыт проектной группы • Реконструкция здания всегда приносит сюрпризы. Не экономьте на обследовании архитектурных конструкций, существующих инженерных коммуникаций и ресурсов здания. • Проработайте несколько вариантов планирования помещений. Правильное категорирование помещений по пожароопасности и взрывоопасности может существенно повлиять на бюджет проекта. • Будьте в курсе всех технических решений проектировщика, чтобы не получить по факту сюрприз. • Тщательно подготовленный RFP – главное условие получения сравнимых коммерческих предложений конкурсантов. • При выборе исполнителей подсистем выбирайте лучших среди лучших, не пытайтесь экономить «по-мелкому». • Минимизируйте количество подрядных организаций. Их управляемость и интегральное качество работы падает пропорционально квадрату их количества. 13
- 14. Фотогалерея (фотосделаны в течении последних двух месяцев перед сдачей в эксплуатацию, степень готовности различных подсистем отличается) 14
- 15.
- 16. MDA 1&2 16
- 17.
- 18.
- 19.
- 20.
- 21.
- 22.
- 23.
- 24.
- 25. Некоторые технические детали 25
- 26. Результаты термального моделирования Тип Максимальная нагрузка на Максимальная нагрузка на стойку модуля модуль без InRow с InRow без InRow с InRow S 30 KW 40 KW 20 KW 25 KW L 60 KW 80 KW 20 KW 25 KW H 400 KW 500 KW 20 KW 25 KW 26
- 27. S & Lмодули. Топология охлаждения Изоляция холодных и горячих коридоров гарантирует равномерное охлаждения ИТ-оборудования и высокую энергоэффективность 2-2.4 m 4m CRAH 1.7 m 0.92 m 0.8 m 27
- 28. S & Lмодули. Топология охлаждения enterprise-оборудования Опциональный фальшпотолок улучшает охлаждение оборудования enterprise-класса 0.6 m Enterprise CRAH Server 28
- 29. Выбор теплоносителя внешнегоконтура Вода риск замерзания Раствор этанола пары этанола взрывоопасны Раствор этиленгликоль токсичен этиленгликоля Раствор самый дорогой, но единственно пропиленгликоля приемлемый вариант 29
- 30. Нагрузочные испытания • Какпревратить в тепло 1.65 МВт энергии? • Как сохранить топологию воздушных потоков? • Как обеспечить аварийную защиту? 30
- 31.
- 32. Сеть DC-DC: точкадоступа на L9 Альтернативная точка доступа к сети ЦОД создана в коммутационном центре L9, в котором присутствуют большинство крупных телеком-операторов Украины. Полоса пропускания L9-ЦОД – до 800Gb в режиме прозрачного битового потока по протоколам 1GbE, 10GbE, 2Gb FC. 32
- 33.
- 34. Источники концепции службы эксплуатацииЦОД Лучшие практики Наш опыт и ITIL/ITSM отечественные реалии Рекомендации Процессы Uptime Institute Здравый эксплуатации и смысл ЦОД TIA-942
- 35. Модель службы эксплуатацииЦОД обращения Процессы: управление мониторинг доставка сервиса таймеры • инциденты трансформация • проблемы события • конфигурации действия • изменения Ресурсы Модель сорсинга Служба эксплуатации Внешние ресурсы
- 36. Будущее, в котороемы смотрим 36
- 37. Аутсорсинг ИТ: технологическиеслои DWH B2C CRM ERP B2B Аутсорсинг бизнес-приложений (SaaS) Процессы эксплуатации Аутсорсинг платформы (PaaS) Аутсорсинг вычислительной инфраструктуры (IaaS) Аутсорсинг инженерных систем
- 38. Дорога в облака:от аренды площадей к аренде сервисов 31 клиентский модуль H-модуль (168 стоек, 1200 КВт) (50 стоек, 400 КВт) Сервисы IaaS/SaaS
- 39. Спасибо за внимание Геннадий Карпов директор по технологиям De Novo Hennadiy.Karpov@de-novo.biz www.de-novo.biz 39