Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

молчанов сергей датацентры 10 04 2010 Light

1,058 views

Published on

  • Be the first to comment

  • Be the first to like this

молчанов сергей датацентры 10 04 2010 Light

  1. 1. Датацентры. Размышления о постройке и эксплуатации<br />Молчанов С.А.<br />
  2. 2. Предтечи ЦОДов – суперкомпьютеры!<br /><ul><li>БЭСМ-1 – БЭСМ-6
  3. 3. Тепловыделение – 35Квт - 60 Квт
  4. 4. Производительность – 10 тыс оп/c 1 млн оп/с
  5. 5. Площадь зала – от 250 м2
  6. 6. Эльбрус
  7. 7. Тепловыделение – от 105 Квт
  8. 8. Производительность – 12 млн оп/с 125 млн оп/с
  9. 9. Площадь зала – от 250 м2
  10. 10. Стрела
  11. 11. Тепловыделение – 150 Квт
  12. 12. Производительность – 2000 оп/с
  13. 13. Площадь – 300 м2
  14. 14. Урал
  15. 15. Тепловыделение - от 10 до 25Квт
  16. 16. Производительность – 5000 оп/с
  17. 17. Площадь – 200 м2</li></li></ul><li>Научная мощь = «Три К»<br />Космос<br />С.П. Королев<br />Ядерная энергетика<br />И.В. Курчатов<br />Точные науки<br />М.В.Келдыш<br />В 1972 году в СССР насчитывалось более 250 вычислительных центров.<br />
  18. 18. Советские датацентры<br /><ul><li>Типовой состав ДЦ три отсека:
  19. 19. Машинное отделение
  20. 20. Повышенные требования к теплосъему
  21. 21. Дисковые накопители
  22. 22. Повышенные требования к качеству воздуха
  23. 23. Ленточные накопители
  24. 24. Наименее требовательные к микроклимату</li></li></ul><li>Стандарты СССР<br /><ul><li>Фальшполы
  25. 25. Съемные
  26. 26. Прочные
  27. 27. Несгораемые
  28. 28. Используются для прокладки коммуникаций
  29. 29. Пожаротушение
  30. 30. Объемное
  31. 31. Газовое
  32. 32. Автоматическое
  33. 33. Кондиционирование
  34. 34. Охлаждение процессорных модулей
  35. 35. Пылеудаление из дисковых хранилищ
  36. 36. Двухкратный воздухообмен
  37. 37. Поддержание t 21C +- 2
  38. 38. Электропитание
  39. 39. Два независимых ввода
  40. 40. АБП
  41. 41. Дизельгенераторы</li></li></ul><li>Tier 1-4 и UPTIMEinstitute<br />1-ый уровень надежности ЦОД <br />Инженерная инфраструктура для текущих потребностей, без резервирования<br />Время простоя за год — 28,8 часов <br />Коэффициент отказоустойчивости 99,671%<br />2-ой уровень надежности ЦОД<br />Частичное резервирование «N+1») <br />Время простоя за год — 22,0 часа <br />Коэффициент отказоустойчивости 99,749% <br />3-ий уровень надежности ЦОД <br />Имеет несколько путей электропитания и охлаждения, активен только один; («N+1») <br />Время простоя за год — 1,6 часа <br />Коэффициент отказоустойчивости 99,982% <br />4-ый уровень надежностиЦОД<br />Несколько активных путей распределения нагрузки и охлаждения с резервными компонентами 2 (N+1).<br />Время простоя за год — 0,4 часа <br />Коэффициент отказоустойчивости 99,995% <br />
  42. 42. Как грибы после дождя<br />СТЭК 2004<br />I-teco 2009<br />Свернутый проект Феди 2010<br />ISGR 2007<br />WideXS 2000<br />Caravan 2008<br />КОМКОР 2009<br />GoldenTelecom 2004<br />Dataline 2009<br />Kiae 2003<br />Synterra 2008<br />Агава 2009<br />Masterhost 2009<br />Несостоявшийся проект Леши 2009<br />Хостинг-Центр 2010<br />
  43. 43. Рыночные предложения 2007-2008<br />Мастерхост 150000 р.<br />Голден Телеком 60000 р.<br />СТЭК 60000 р.<br />
  44. 44. Положение контента до кризиса<br />Сложно переезжать с площадки на площадку<br />Дробность площадок<br />Повышение цен всеми игроками рынка<br />Заложники ситуации<br />Отсутствие новых современных площадей ЦОДв<br />
  45. 45. Ситуация 2008<br /><ul><li>Почта
  46. 46. Безлимитные почтовые ящики
  47. 47. Рост объемов корреспонденции
  48. 48. Активное развитие сервисов
  49. 49. Фото
  50. 50. Видео
  51. 51. Мой Мир
  52. 52. Игры
  53. 53. Серверный парк компании
  54. 54. За три года вырос в три раза
  55. 55. Сейчас более 2500 единиц оборудования
  56. 56. Более 200 арендованных стоек</li></li></ul><li>Сервис на грани фантастики<br /><ul><li>«Перезагрузите сервер»
  57. 57. Подождите до утра
  58. 58. Перезагрузили… но не то
  59. 59. Ой… а мы его выключили
  60. 60. У нас авария перезвоните позже
  61. 61. Мы вам перезвоним
  62. 62. Мы не предоставляем такую услугу
  63. 63. «Нам срочно нужно попасть на площадку»
  64. 64. Вас нет в списках
  65. 65. Приезжайте утром
  66. 66. Вашим контрактом не предусмотрены работы в ночное время</li></li></ul><li>Все решили. Сколько стоек?<br /><ul><li>Типовая стойка 5 квт
  67. 67. Типовой сервер потребляет 120-150 вт
  68. 68. Количество определяется кратностью/модульностью оборудования
  69. 69. Для типового контент-цода или ЦОДа хостинг-провайдера
  70. 70. Электричество 700Квт – 1000 Квт
  71. 71. Стойка 5ктв
  72. 72. Стоек 70 шт
  73. 73. Площадь 700 м2
  74. 74. 5 кондиционеров
  75. 75. 2 ДГУ
  76. 76. Для нашего ЦОД 250+ стоек (консолидация и резерв)</li></li></ul><li>Ура нашли помещение!<br />В Москве<br />Отдельно стоящее здание<br />С электричеством 3 500 Ква<br />В хорошем состоянии<br />С долгосрочной арендой<br />Крепкими перекрытиями<br />Охраняемой территорией<br />
  77. 77. Занялись строительными работами<br />
  78. 78. Электрические «Нюансы»<br />Cos Фи<br />P (активная мощность) = I*U*Cos(fi)<br />P (полная мощность) = I*U<br />Выделено на объект 3500 Ква (полная мощность)<br />Потребителей на 3500 Квт (активная мощность)<br />Оборудование 3500 Квт = 3500/0,8 = 4375 Ква<br />Опс!?… Нехватка 1375 Ква<br />Потери на ИБП<br />Двойноепреобразование, <br />Тепловые потери <br />Потери от гармонических составляющих<br />Итого потери до 20%!<br />Выдача 500 Квт, сопровождается потреблением в 625 Квт!<br />Офис, пожаротушение, СКУД<br />
  79. 79. Рассчитали, заказали смонтировали<br />Реконструировали ТП<br />Смонтировали автоматику<br />Сделали заземление<br />Сделали молниезащиту<br />Протестировали под нагрузкой<br />
  80. 80. Дизельгенераторы<br />Характеристики<br />Суммарная мощность 5000 Ква<br />4 агрегата по 1250 Ква<br />Автоматический ввод резерва<br />Выход на полную мощность за 30 сек<br />Двигатели Сummins<br />Этапность<br />Подготовили площадку<br />Привезли, установили, испытали<br />
  81. 81. Дизельгенераторы<br />Характеристики<br />Суммарная мощность 5000 Ква<br />4 агрегата по 1250 Ква<br />Автоматический ввод резерва<br />Выход на полную мощность за 30 сек<br />Двигатели Сummins<br />Этапность<br />Подготовили площадку<br />Привезли, установили, испытали<br />
  82. 82. Бесперебойное питание<br />ИБП «NT-Series 400kVA» - 12 шт<br />Поделены на группы<br />Резервирование N+1<br />При 100% нагрузке до 11,5 мин<br />При 80% нагрузке до 18 мин<br />
  83. 83. Чем охлаждать?<br /><ul><li>Воздухом (фреоном)
  84. 84. Дешево на первом этапе
  85. 85. Привычно
  86. 86. Ограничение по длине трассы
  87. 87. Дорого в эксплуатации
  88. 88. Отсутствие единой точки отказа
  89. 89. Водой (гликолем)
  90. 90. Дешево в процессе эксплуатации
  91. 91. Дорого в резервировании
  92. 92. Может быть единая точка отказа
  93. 93. НоуХау - воздушный экономайзер
  94. 94. Эксперимент Intel
  95. 95. Экономия энергии
  96. 96. Малое количество отказов
  97. 97. Система для аварийного охлаждения</li></ul>Как экономить?<br />Теплый воздух +26<br />Разделение холодного и горячего коридоров<br />Отключение «лишних» кондиционеров<br />«Умные» решения<br />
  98. 98. Фреоновое охлаждение<br />Просчитали нагрузки на крышу<br />Смонтировали трассы<br />Смонтировали воздуховоды<br />Установили внутренние блоки на опорах в зале<br />Внешние блоки установили на крыше<br />
  99. 99. Фреоновое охлаждение<br />Просчитали нагрузки на крышу<br />Смонтировали трассы<br />Смонтировали воздуховоды<br />Установили внутренние блоки на опорах в зале<br />Внешние блоки установили на крыше<br />
  100. 100. Экономайзер = фаршмашина<br />Срабатывание в аварийных ситуациях<br />Принудительное нагнетание уличного воздуха в помещение<br />Фильтры грубой очистки<br />В многократный воздухообмен в помещении<br />
  101. 101. Пожаротушение<br />Для тушения Хладон 125<br />Пожарная станция<br />Защита от ложных срабатываний<br />Тушим все направления<br />
  102. 102. Вот что получилось<br />
  103. 103. Каждой твари по паре N+1<br />В России нет датацентров уровня Tier IV <br />Нет датацентров с настоящим, работающим SLA<br />Любой сбой пытаются списать на форсмажор<br />SLA это дорого – увеличение бюджета почти в два раза<br />Обычно находится единая точка отказа<br />АВР в датацентре на Восточной<br />Электрощитовая на Андропова<br />Но! Любые происшествия списываются на форсмажор<br />Все системы в датацентреMail.ru зарезервированы как N+1<br />
  104. 104. Датацентры в поле<br /><ul><li>60% Датацентров сосредоточено в Москве
  105. 105. 20% В Санкт-Петербурге
  106. 106. 20 В остальных регионах России
  107. 107. Москва
  108. 108. Высокая стоимость подключения к электросетям
  109. 109. Высокие тарифы на электроэнергию
  110. 110. Электричество у финов дешевле чем в России
  111. 111. Проблемы с отдельно стоящими зданиями для постройки действительно «надежных» ЦОДов
  112. 112. Подмосковье/Регионы
  113. 113. Ниже стоимость подключения к электросетям
  114. 114. Ниже тарифы на электроэнергию
  115. 115. Есть возможность использовать газогенерацию
  116. 116. Дешевле земля и готовые объекты
  117. 117. Проблемы с канальной инфраструктурой</li></li></ul><li>Датацентр в поле<br />Амбициозные проекты<br />ISGR<br />Дубна<br />4 модуля<br />10000 квадратных метров<br />3200 стоек<br />Голден-Телеком<br />Подмосковье<br />Газогенерация<br />2000 стоек<br />3 очереди<br />10000 квадратных метров<br />IBS<br />Дубна…<br />Агава<br />Дубна…<br />
  118. 118. Сложности ДЦ в поле<br />Транспортная доступность<br />Канальная доступность<br />Строить оптику в чистое поле дорого!<br />Отсутствие спроса на местах<br />Кому нужен ЦОД в Усть-Урюпинске?<br />Отсутствие квалифицированной рабочей силы<br />Как и кем строить ЦОД на местах?<br />Логистика серверного оборудования<br />
  119. 119. Можно ли на этом заработать<br />— В общем, спустили они к нам в контору кризисного менеджера.<br />— Кого?<br />— Кризисного менеджера. Сулеймана. Такой, понимаешь, джигит с дипломом «мастер оф бизнес администрейшн», которого пять лет учили отжимать бабло из всего, что видит глаз и слышит ухо. Эффективный управленец типа. Посмотрел он, какой на нашем проекте кредит, и стал выяснять, в чем дело — откуда такие дикие цифры. Ну, ему рассказали предысторию, объяснили, что отбивать планировали через бюджет. Заодно объяснили, что к бюджету заместоМакраудова его никто не пустит — да он и сам понял, не дурак. Ну, значит, собрал он маркетологов, посмотрели они контракты и стали думать, как кредит вернуть. Понимаете ситуацию?<br />В. Пелевин «Графт Т»<br />
  120. 120. Можно ли на этом заработать<br />Нужно ли платить за электричество?<br />Насколько «дешевы деньги» потраченные на строительство?<br />Высоки ли тарифы на электричество?<br />Датацентр в чистом виде – долгие деньги!<br />Счастье в доп услугах и антикризисных менеджерах!<br />Есть ли рынок этих доп услуг?<br />Датацентр «оторванный» от остальных сервисов – «мертвый» бизнес!<br />
  121. 121. Что дальше? Мобильные ЦОДы.<br />Появились в 2005-2006 году<br />Представлено более 10ка различных модификаций<br />Новаторы<br />SUN Black Box<br />HP POD<br />IBM<br />APC<br />Плюсы<br />Мобильность<br />Относительная автономность<br />Скорость развертывания<br />Минусы<br />Дороговизна подобных решений<br />Необходимость создавать инфраструктуру для внедрения<br />Сложности с «дешевым» масштабированием<br />
  122. 122. Что дальше?Шахты и корабли.<br />Датацентр в угольной шахте<br />SUN + Японские компании<br />Заброшенная угольная шахта<br />Круглогодичная t за бортом +15 C<br />Грунтовые воды в качестве хладогента<br />Датацентр на корабле<br />Новаторы Google.com и IDC<br />Энергия волн для генерации электроэнергии<br />Вода в качестве хладогента для систем кондиционирования<br />Датацентр в сибири<br />Майкрософт<br />Экономия на охлаждении<br />
  123. 123. Что дальше?Шахты и корабли.<br />Датацентр в угольной шахте<br />SUN + Японские компании<br />Заброшенная угольная шахта<br />Круглогодичная t за бортом +15 C<br />Грунтовые воды в качестве хладогента<br />Датацентр на корабле<br />Новаторы Google.com и IDC<br />Энергия волн для генерации электроэнергии<br />Вода в качестве хладогента для систем кондиционирования<br />Датацентр в сибири<br />Майкрософт<br />Экономия на охлаждении<br />
  124. 124. Что дальше?Шахты и корабли.<br />Датацентр в угольной шахте<br />SUN + Японские компании<br />Заброшенная угольная шахта<br />Круглогодичная t за бортом +15 C<br />Грунтовые воды в качестве хладогента<br />Датацентр на корабле<br />Новаторы Google.com и IDC<br />Энергия волн для генерации электроэнергии<br />Вода в качестве хладогента для систем кондиционирования<br />Датацентр в сибири<br />Майкрософт<br />Экономия на охлаждении<br />
  125. 125. Что нас ждет?<br />
  126. 126. Загадки<br />
  127. 127. Загадки<br />
  128. 128. Спасибо за внимание!<br />Вопросы?<br />Молчанов Сергей<br />Mail.ru<br />molchanov@corp.mail.ru<br />

×