Максим Шапошников, Nutanix

2,744 views

Published on

HighLoad++ 2013

Максим Шапошников, Nutanix

  1. 1. Распределенная файловая система NDFS и базирующаяся на ней Компьютерная платформа Nutanix Максим Шапошников
  2. 2. 1990 2005 Будущее Эволюция дата-центров Эффективность
  3. 3. Google изменил все в ранних 2000 Physical transforms to virtual Converged architecture Services delivered via software Commodity hardware alters economics Традиционные (ранняя Yahoo, Altavista) Сервера, коммутаторы, SAN, NAS Модульные (Google, Amazon, Facebook) Стандартное оборудование, Map/Reduce, NoSQL
  4. 4. Google File System • Масштабируемость. Датацентры – как кубики лего. • Производительность. Скорость ответа на запросы миллисекунды. • Управляемость. Простые, идентичные компоненты, для легкости управления в любом масштабе. • Отказоустойчивость. Репликация данных и замена аппаратных компонент на лету.
  5. 5. RAID надежен? MythBusters могли бы возразить ;) • RAID6 практически гарантирует потерю данных в единой рейд-группе размером >500TB менее чем за год (вероятность 99.999%) • MTBF – маркетинг, на самом деле диски умирают партиями и не вовремя • Современные СХД могут восстанавливаться после сбоев дисков сутками и даже неделями, подъем из бэкапа – еще дольше • Отказ двух контроллеров в большинстве случаев – потеря данных или долговременный отказ в обслуживании
  6. 6. NDFS: Задачи и их решение • Создать ФС, подобную GFS, но спроектированную для общих задач / виртуализацию Создана NDFS, работающая «поверх» KVM, vmWare, HyperV • Предложить распределенную ФС на недорогом, стандарном X86 оборудовании высокой плотности размещения Поместили в 2 юнита сверхбыструю СХД + 4 «сервера» • Предоставить разделяемый доступ к датастору для всего кластера через стандартные протоколы NDFS способна работать через NFS, iSCSI, SMB3 Решить проблему split-brain Используем paxos, наиболее продвинутый алгоритм на сегодняшний день •
  7. 7. NDFS: Задачи и их решение • Решить множество проблем cтандартных IT инфраструктур Увеличили скорость ввода в эксплуатацию до минут, уменьшили стоимость и сложность, понизили энергопотребление, требуемое охлаждение, стойко-места • Предоставить реальную масштабируемость – от маленьких до очень больших проектов NDFS не имеет центральных точек отказа, использует NoSQL решения для работы с метаданными, масштабируется от 3-х узлов и не имеет теоритических лимитов расширения • Не использовать RAID ввиду устарелости, медленности и ненадежности Используется технология «размазывания данных» (dispersed data)
  8. 8. Кстати, нужна ли виртуализация? («у нас много денег на железо») • Постоянная головная боль для всей команды – высчитывать оптимальную аппаратную конфигруацию под конкретные задачи (или тратить $$$) • Считаем ядрами процессоров, гибайтами памяти и IOPS – сервера дешевле всего покупать одинаковые (память лишней не бывает) • Переезд сервисов на другое «железо» - трагикомедия • Пара команд из CLI или «кликов» мышкой, ни единого разрыва (с)! • «Мы тут чуть код улучшили в пятницу вечером» – требования к конфигурации могут кардинально измениться • Автоматически перераспределяемая нагрузка между аппаратными серверами (вплоть до времени суток) – как в сторону уменьшения, так и увеличения ресурсов, с учетом приоритетов • Множество точек управления, сложности развертывания ОС и ПО • Практически мнговенный деплой любых виртуальных машин и ПО, линкованный клон автоматически кэшируется на нужных аппаратных серверах, апдейт ОС всех VM кластера за минуты, загрузка ОС на них – секунды • Изоляция сервисов – условна, безопаснее разносить аппаратно • В пределах одного физического сервера абсолютно безопасно может находиться множество различных задач, вплоть до смешения разработки и продакшена
  9. 9. Новое поколение ДЦ? Универсальная платформа для гибридных облаков Гибкое управление нагрузками Общий интерфейс управления Управление данными ориентированное на виртуальные машины
  10. 10. Как оно работает?
  11. 11. Distributed File System (NDFS) Распределенная Файловая Система Распределенная Файловая Система Nutanix является масштабируемой, децентрализованной распределенной файловой системой, изначально разработанной для целей виртуализации. NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  12. 12. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  13. 13. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  14. 14. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  15. 15. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  16. 16. Distributed File System (NDFS) Архитектура NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  17. 17. Distributed File System (NDFS) Резервирование данных в кластере VM ABC Контроллерная VM данные Гипервизор VM данные DEF VM данные GHI Контроллерная VM Контроллерная VM Гипервизор Гипервизор
  18. 18. Distributed File System (NDFS) Как работает высокая доступность (HA)? VM данные ABC VM VM ABC данные данные DEF VM данные GHI Контроллерная VM Контроллерная VM Контроллерная VM Гипервизор Гипервизор Гипервизор
  19. 19. Distributed File System (NDFS) Как работает миграция VM? VM данные ABC VM данные DEF VM данные GHI Контроллерная VM Контроллерная VM Контроллерная VM Гипервизор Гипервизор Гипервизор
  20. 20. Distributed File System (NDFS) Оптимизация размещения данных Гостевая Гостевая VM Гостевая VM Гостевая VM VM cVM NFS датастор Гипервизор Горячие данные SATA SSD SATA SSD HDD HDD HDD HDD Холодные данные • • • Данные попадают на SSD Передвигаются на более медленные диски «Куратором» Поднимаются обратно на SSD в зависимости от количества и частоты обращений
  21. 21. Distributed File System (NDFS) Оптимизация ёмкости СХД. Сжатие. • • • Данные сжимаются при записи (синхронно) Идеально для архивации Высокая производительность для последовательных нагрузок • Данные сжимаются после того как стали «холодными» и мигрировали на низкопроизводительные уровни СХД Осуществляется (только) когда есть свободные вычислительные ресурсы Нет негативного эффекта на скорость вводавывода данных Идеально для нагрузок со случайным доступом • • •
  22. 22. Distributed File System (NDFS) Оптимизация ёмкости СХД. До 78% Сжатия
  23. 23. Линейное масштабирование Виртуальных машин В едином кластере могут независимо масштабироваться процессорные мощности и СХД Количество модулей (4 модуля на блок) NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  24. 24. Аварийное восстановление Репликация каждой виртуальной машины
  25. 25. Управляем из единого интерфейса
  26. 26. Виртуализация высокой плотности 4 независимых модуля, совмещающих СХД и сервера Сервера 4x Независимых серверных модуля 8x Intel CPUs (80 ядер) До 1TB RAM Два 10Gbit Ethernet 4 модуля в 2U NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  27. 27. Сценарии использования Виртуализация Виртуализация серверов рабочих мест Big data Приватные облака Hadoop Удаленные офисы Восстановление из аварий Локальные Непрерывность сервисы в бизнеса офисах
  28. 28. Как сказал Альберт Эйнштейн, «Безумие - делать одно и то же, и каждый раз ожидать иного результата»
  29. 29. NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY

×