1. Проблемы проектирования больших
коммерческих ЦОДов на примере
NORD 4 DataLine
Сергей Мищук
smishchuk@dtln.ru

2. КТО МЫ
2

3. Историческая справка
ЦОД
Начало
эксплуатации
Особенности
OST-1 (Боровая)
2009 Существующее здание. Кондиционирование CW. TIA-942
Первый ЦОД, первые грабли
Выводы (по состоянию на начало эксплуатации):
•CW – дорого!!! И долго!!! (особенно в монтаже!
особенно в старом здании!)
•Проектировщики слабо разбираются в экономике
NORD-1
(Коровинское)
2010 Существующее здание. Кондиционирование DX. 285
стоек
NORD-2
(Коровинское)
2011-2012 Новое здание. Кондиционирование DX. 450 стоек
NORD-3
(Коровинское)
2013 Новое здание. Кондиционирование DX. 450 стоек
NORD-4
(Коровинское)
2014 Новое здание. Кондиционирование CW. 2000 стоек
•Tier-III (Uptime)
•Снижение эксплуатационных затрат
3

4. Площадка NORD 2013-2014
Генеральный план и фасады
нового здания
4

5. NORD 4: большой ЦОД
•
•
•
•
•
2000 стойко-мест
Установленная мощность - 20 МВА
8 машинных залов суммарной площадью 4276 кв.м.
Общая площадь здания -11 700 кв.м
3.5 этажа
•
•
•
•
1 – энергетика
2, 3 –машинные залы
тех. этаж – хладоцентр
кровля - чиллеры
5

6. Проблемы большого ЦОДа
•
•
•
•
На этапе капитального строительства увеличение масштаба
не приводит к снижению удельной себестоимости из
расчета на стойко-место или киловатт (если не говорить о
потенциальных скидках поставщиков)
Большой ЦОД, большие затраты
• Модульная архитектура инженерных систем,
позволяющая вводить мощности очередями (4 очереди)
Проблемы с компоновкой
Большая абсолютная стоимость проектных ошибок
6

7. Проблемы компоновки
1-й этаж
7

8. Проблемы большого ЦОДа
Этажи 2,3
8

9. Технико-экономические проблемы
•
•
Не специфичны для большого ЦОДа, но их последствия в
абсолютном выражении растут вместе с объектом
Трудности корректной экономической оценки того или иного
инженерного решения:
• Во что обойдется закупка инженерного оборудования (самый
простой вопрос)
• Сколько будет стоить монтаж
• Сколько будет стоить адаптация смежных систем
• Сколько будет стоить эксплуатация конкретного решения
• Какие еще скрытые расходы нас ждут
• Как корректно посчитать экономический эффект
(лучший/худший/средний сценарий)?
9

10. NORD-4. Новый ЦОД, новые задачи
•
PUE по холоду не более 1.3
•
•
Соответствие Tier III по Uptime Institute
•
•
•
Возвращаемся к CW
Проект: готовность к сертификации
• В случае принятия решения начинаем процедуру
сертификации
Объект: готовность к сертификации
Чтобы снизить риски в новых для себя областях, мы
приняли решение воспользоваться опытом Schneider Electric
10

11. Schneider Electirc: история
сотрудничества
•
С самого начала в ЦОДах DataLine используются ИБП APC
(MGE) by Schneider Electric: Galaxy 5000, 6000, 7000
Электротехнические шкафы Prisma и автоматы Masterpact
2010 г.: в одном из залов ЦОД OST (Боровая) реализована
система изоляции горячих коридоров (HACS)
2011 г.: переход на DX кондиционеры Uniflair (ЦОДы NORD
2,3)
Разумеется, стойки NetShelter
•
А теперь еще и проектирование и консультации
•
•
•
•
11

12. NORD 4: Schneider Electirc
•Архитектурный
надзор: анализ проектных решений на предмет
формального соответствия требованиям Uptime Institute. В
первую очередь это относится к электроустановке, включая
ДЭС.
•Проектирование
системы холодоснабжения
•Проектирование
ДЭС
12

13. NORD 4: Холодоснабжение
•
•
Проектный среднегодовой PUE по холоду не более 1.3
Гидравлическая схема с переменным расходом холодоносителя
обеспечивает повышенную энергоэффективность (отсутствует
смешение холодной и горячей воды)
•
•
•
•
Схема на чиллерной воде позволяет использовать преимущества
свободного охлаждения (free cooling)
Высокая температура холодоносителя (16/21 0C этиленгликоль, 18/23 вода)
позволяет увеличить среднегодовую продолжительность фрикулинга
14 холодильных машин на кровле (резерв 12+2)
Шкафные кондиционеры в машинных залах по схеме N+1 (традиционная
схема с подачей холодного воздуха под фальшпол)
13

14. NORD 4: Холодоснабжение
14

15. NORD 4: Опыт и развитие





Опыт эксплуатации оборудования Schneider Electric позволяет
уверенно выбирать это оборудование в дальнейших проектах
Опыт эксплуатации чиллерных (CW) и фреоновых (DX) схем
холодоснабжения дает нам надежные данные по экономическому
обоснованию выбираемых решений
Опыт эксплуатации различных моделей ИБП а сочетании с
различными схемами резервирования показывает, что схема 2N на
ИБП APC Galaxy 7000 обеспечивает отличную энергоэффективность
при высокой надежности
Опыт управления строительством ЦОД позволяет нам обеспечивать
ввод в эксплуатацию мощностей ЦОД очередями, без ущерба для
уже введенных в эксплуатацию
Партнерство со Schneider Electric в проектировании дает нам
уверенность в правильности проектных решений
15

16. КОНТАКТЫ
Центральный офис: 127521, Москва, ул. Октябрьская, 72
Телефон +7 (495) 784-65-05
Факс +7 (495) 784-65-05
E-mail info@dtln.ru
Дата-центр на Боровой: Москва, Боровая ул., дом 7, строение 10
Дата-центры на Коровинском: Москва, Коровинское ш., д. 41
16