• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
молчанов сергей датацентры 10 04 2010  Light
 

молчанов сергей датацентры 10 04 2010 Light

on

  • 1,153 views

 

Statistics

Views

Total Views
1,153
Views on SlideShare
1,060
Embed Views
93

Actions

Likes
0
Downloads
25
Comments
0

7 Embeds 93

http://ritconf.ru 59
http://lj-toys.com 9
http://www.slideshare.net 8
http://www.ritconf.ru 6
http://l.lj-toys.com 5
http://2011.ritconf.ru 4
http://hghltd.yandex.net 2
More...

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    молчанов сергей датацентры 10 04 2010  Light молчанов сергей датацентры 10 04 2010 Light Presentation Transcript

    • Датацентры. Размышления о постройке и эксплуатации
      Молчанов С.А.
    • Предтечи ЦОДов – суперкомпьютеры!
      • БЭСМ-1 – БЭСМ-6
      • Тепловыделение – 35Квт - 60 Квт
      • Производительность – 10 тыс оп/c 1 млн оп/с
      • Площадь зала – от 250 м2
      • Эльбрус
      • Тепловыделение – от 105 Квт
      • Производительность – 12 млн оп/с 125 млн оп/с
      • Площадь зала – от 250 м2
      • Стрела
      • Тепловыделение – 150 Квт
      • Производительность – 2000 оп/с
      • Площадь – 300 м2
      • Урал
      • Тепловыделение - от 10 до 25Квт
      • Производительность – 5000 оп/с
      • Площадь – 200 м2
    • Научная мощь = «Три К»
      Космос
      С.П. Королев
      Ядерная энергетика
      И.В. Курчатов
      Точные науки
      М.В.Келдыш
      В 1972 году в СССР насчитывалось более 250 вычислительных центров.
    • Советские датацентры
      • Типовой состав ДЦ три отсека:
      • Машинное отделение
      • Повышенные требования к теплосъему
      • Дисковые накопители
      • Повышенные требования к качеству воздуха
      • Ленточные накопители
      • Наименее требовательные к микроклимату
    • Стандарты СССР
      • Фальшполы
      • Съемные
      • Прочные
      • Несгораемые
      • Используются для прокладки коммуникаций
      • Пожаротушение
      • Объемное
      • Газовое
      • Автоматическое
      • Кондиционирование
      • Охлаждение процессорных модулей
      • Пылеудаление из дисковых хранилищ
      • Двухкратный воздухообмен
      • Поддержание t 21C +- 2
      • Электропитание
      • Два независимых ввода
      • АБП
      • Дизельгенераторы
    • Tier 1-4 и UPTIMEinstitute
      1-ый уровень надежности ЦОД 
      Инженерная инфраструктура для текущих потребностей, без резервирования
      Время простоя за год — 28,8 часов
      Коэффициент отказоустойчивости 99,671%
      2-ой уровень надежности ЦОД
      Частичное резервирование «N+1»)
      Время простоя за год — 22,0 часа
      Коэффициент отказоустойчивости 99,749%
      3-ий уровень надежности ЦОД 
      Имеет несколько путей электропитания и охлаждения, активен только один; («N+1»)
      Время простоя за год — 1,6 часа
      Коэффициент отказоустойчивости 99,982%
      4-ый уровень надежностиЦОД
      Несколько активных путей распределения нагрузки и охлаждения с резервными компонентами 2 (N+1).
      Время простоя за год — 0,4 часа
      Коэффициент отказоустойчивости 99,995%
    • Как грибы после дождя
      СТЭК 2004
      I-teco 2009
      Свернутый проект Феди 2010
      ISGR 2007
      WideXS 2000
      Caravan 2008
      КОМКОР 2009
      GoldenTelecom 2004
      Dataline 2009
      Kiae 2003
      Synterra 2008
      Агава 2009
      Masterhost 2009
      Несостоявшийся проект Леши 2009
      Хостинг-Центр 2010
    • Рыночные предложения 2007-2008
      Мастерхост 150000 р.
      Голден Телеком 60000 р.
      СТЭК 60000 р.
    • Положение контента до кризиса
      Сложно переезжать с площадки на площадку
      Дробность площадок
      Повышение цен всеми игроками рынка
      Заложники ситуации
      Отсутствие новых современных площадей ЦОДв
    • Ситуация 2008
      • Почта
      • Безлимитные почтовые ящики
      • Рост объемов корреспонденции
      • Активное развитие сервисов
      • Фото
      • Видео
      • Мой Мир
      • Игры
      • Серверный парк компании
      • За три года вырос в три раза
      • Сейчас более 2500 единиц оборудования
      • Более 200 арендованных стоек
    • Сервис на грани фантастики
      • «Перезагрузите сервер»
      • Подождите до утра
      • Перезагрузили… но не то
      • Ой… а мы его выключили
      • У нас авария перезвоните позже
      • Мы вам перезвоним
      • Мы не предоставляем такую услугу
      • «Нам срочно нужно попасть на площадку»
      • Вас нет в списках
      • Приезжайте утром
      • Вашим контрактом не предусмотрены работы в ночное время
    • Все решили. Сколько стоек?
      • Типовая стойка 5 квт
      • Типовой сервер потребляет 120-150 вт
      • Количество определяется кратностью/модульностью оборудования
      • Для типового контент-цода или ЦОДа хостинг-провайдера
      • Электричество 700Квт – 1000 Квт
      • Стойка 5ктв
      • Стоек 70 шт
      • Площадь 700 м2
      • 5 кондиционеров
      • 2 ДГУ
      • Для нашего ЦОД 250+ стоек (консолидация и резерв)
    • Ура нашли помещение!
      В Москве
      Отдельно стоящее здание
      С электричеством 3 500 Ква
      В хорошем состоянии
      С долгосрочной арендой
      Крепкими перекрытиями
      Охраняемой территорией
    • Занялись строительными работами
    • Электрические «Нюансы»
      Cos Фи
      P (активная мощность) = I*U*Cos(fi)
      P (полная мощность) = I*U
      Выделено на объект 3500 Ква (полная мощность)
      Потребителей на 3500 Квт (активная мощность)
      Оборудование 3500 Квт = 3500/0,8 = 4375 Ква
      Опс!?… Нехватка 1375 Ква
      Потери на ИБП
      Двойноепреобразование,
      Тепловые потери
      Потери от гармонических составляющих
      Итого потери до 20%!
      Выдача 500 Квт, сопровождается потреблением в 625 Квт!
      Офис, пожаротушение, СКУД
    • Рассчитали, заказали смонтировали
      Реконструировали ТП
      Смонтировали автоматику
      Сделали заземление
      Сделали молниезащиту
      Протестировали под нагрузкой
    • Дизельгенераторы
      Характеристики
      Суммарная мощность 5000 Ква
      4 агрегата по 1250 Ква
      Автоматический ввод резерва
      Выход на полную мощность за 30 сек
      Двигатели Сummins
      Этапность
      Подготовили площадку
      Привезли, установили, испытали
    • Дизельгенераторы
      Характеристики
      Суммарная мощность 5000 Ква
      4 агрегата по 1250 Ква
      Автоматический ввод резерва
      Выход на полную мощность за 30 сек
      Двигатели Сummins
      Этапность
      Подготовили площадку
      Привезли, установили, испытали
    • Бесперебойное питание
      ИБП «NT-Series 400kVA» - 12 шт
      Поделены на группы
      Резервирование N+1
      При 100% нагрузке до 11,5 мин
      При 80% нагрузке до 18 мин
    • Чем охлаждать?
      • Воздухом (фреоном)
      • Дешево на первом этапе
      • Привычно
      • Ограничение по длине трассы
      • Дорого в эксплуатации
      • Отсутствие единой точки отказа
      • Водой (гликолем)
      • Дешево в процессе эксплуатации
      • Дорого в резервировании
      • Может быть единая точка отказа
      • НоуХау - воздушный экономайзер
      • Эксперимент Intel
      • Экономия энергии
      • Малое количество отказов
      • Система для аварийного охлаждения
      Как экономить?
      Теплый воздух +26
      Разделение холодного и горячего коридоров
      Отключение «лишних» кондиционеров
      «Умные» решения
    • Фреоновое охлаждение
      Просчитали нагрузки на крышу
      Смонтировали трассы
      Смонтировали воздуховоды
      Установили внутренние блоки на опорах в зале
      Внешние блоки установили на крыше
    • Фреоновое охлаждение
      Просчитали нагрузки на крышу
      Смонтировали трассы
      Смонтировали воздуховоды
      Установили внутренние блоки на опорах в зале
      Внешние блоки установили на крыше
    • Экономайзер = фаршмашина
      Срабатывание в аварийных ситуациях
      Принудительное нагнетание уличного воздуха в помещение
      Фильтры грубой очистки
      В многократный воздухообмен в помещении
    • Пожаротушение
      Для тушения Хладон 125
      Пожарная станция
      Защита от ложных срабатываний
      Тушим все направления
    • Вот что получилось
    • Каждой твари по паре N+1
      В России нет датацентров уровня Tier IV
      Нет датацентров с настоящим, работающим SLA
      Любой сбой пытаются списать на форсмажор
      SLA это дорого – увеличение бюджета почти в два раза
      Обычно находится единая точка отказа
      АВР в датацентре на Восточной
      Электрощитовая на Андропова
      Но! Любые происшествия списываются на форсмажор
      Все системы в датацентреMail.ru зарезервированы как N+1
    • Датацентры в поле
      • 60% Датацентров сосредоточено в Москве
      • 20% В Санкт-Петербурге
      • 20 В остальных регионах России
      • Москва
      • Высокая стоимость подключения к электросетям
      • Высокие тарифы на электроэнергию
      • Электричество у финов дешевле чем в России
      • Проблемы с отдельно стоящими зданиями для постройки действительно «надежных» ЦОДов
      • Подмосковье/Регионы
      • Ниже стоимость подключения к электросетям
      • Ниже тарифы на электроэнергию
      • Есть возможность использовать газогенерацию
      • Дешевле земля и готовые объекты
      • Проблемы с канальной инфраструктурой
    • Датацентр в поле
      Амбициозные проекты
      ISGR
      Дубна
      4 модуля
      10000 квадратных метров
      3200 стоек
      Голден-Телеком
      Подмосковье
      Газогенерация
      2000 стоек
      3 очереди
      10000 квадратных метров
      IBS
      Дубна…
      Агава
      Дубна…
    • Сложности ДЦ в поле
      Транспортная доступность
      Канальная доступность
      Строить оптику в чистое поле дорого!
      Отсутствие спроса на местах
      Кому нужен ЦОД в Усть-Урюпинске?
      Отсутствие квалифицированной рабочей силы
      Как и кем строить ЦОД на местах?
      Логистика серверного оборудования
    • Можно ли на этом заработать
      — В общем, спустили они к нам в контору кризисного менеджера.
      — Кого?
      — Кризисного менеджера. Сулеймана. Такой, понимаешь, джигит с дипломом «мастер оф бизнес администрейшн», которого пять лет учили отжимать бабло из всего, что видит глаз и слышит ухо. Эффективный управленец типа. Посмотрел он, какой на нашем проекте кредит, и стал выяснять, в чем дело — откуда такие дикие цифры. Ну, ему рассказали предысторию, объяснили, что отбивать планировали через бюджет. Заодно объяснили, что к бюджету заместоМакраудова его никто не пустит — да он и сам понял, не дурак. Ну, значит, собрал он маркетологов, посмотрели они контракты и стали думать, как кредит вернуть. Понимаете ситуацию?
      В. Пелевин «Графт Т»
    • Можно ли на этом заработать
      Нужно ли платить за электричество?
      Насколько «дешевы деньги» потраченные на строительство?
      Высоки ли тарифы на электричество?
      Датацентр в чистом виде – долгие деньги!
      Счастье в доп услугах и антикризисных менеджерах!
      Есть ли рынок этих доп услуг?
      Датацентр «оторванный» от остальных сервисов – «мертвый» бизнес!
    • Что дальше? Мобильные ЦОДы.
      Появились в 2005-2006 году
      Представлено более 10ка различных модификаций
      Новаторы
      SUN Black Box
      HP POD
      IBM
      APC
      Плюсы
      Мобильность
      Относительная автономность
      Скорость развертывания
      Минусы
      Дороговизна подобных решений
      Необходимость создавать инфраструктуру для внедрения
      Сложности с «дешевым» масштабированием
    • Что дальше?Шахты и корабли.
      Датацентр в угольной шахте
      SUN + Японские компании
      Заброшенная угольная шахта
      Круглогодичная t за бортом +15 C
      Грунтовые воды в качестве хладогента
      Датацентр на корабле
      Новаторы Google.com и IDC
      Энергия волн для генерации электроэнергии
      Вода в качестве хладогента для систем кондиционирования
      Датацентр в сибири
      Майкрософт
      Экономия на охлаждении
    • Что дальше?Шахты и корабли.
      Датацентр в угольной шахте
      SUN + Японские компании
      Заброшенная угольная шахта
      Круглогодичная t за бортом +15 C
      Грунтовые воды в качестве хладогента
      Датацентр на корабле
      Новаторы Google.com и IDC
      Энергия волн для генерации электроэнергии
      Вода в качестве хладогента для систем кондиционирования
      Датацентр в сибири
      Майкрософт
      Экономия на охлаждении
    • Что дальше?Шахты и корабли.
      Датацентр в угольной шахте
      SUN + Японские компании
      Заброшенная угольная шахта
      Круглогодичная t за бортом +15 C
      Грунтовые воды в качестве хладогента
      Датацентр на корабле
      Новаторы Google.com и IDC
      Энергия волн для генерации электроэнергии
      Вода в качестве хладогента для систем кондиционирования
      Датацентр в сибири
      Майкрософт
      Экономия на охлаждении
    • Что нас ждет?
    • Загадки
    • Загадки
    • Спасибо за внимание!
      Вопросы?
      Молчанов Сергей
      Mail.ru
      molchanov@corp.mail.ru