Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Nutanix Acropolis - облако на базе KVM под ключ, Максим Шапошников (Nutanix)

10,201 views

Published on

Доклад Максима Шапошникова на HighLoad++ 2014.

Published in: Internet
  • Be the first to comment

Nutanix Acropolis - облако на базе KVM под ключ, Максим Шапошников (Nutanix)

  1. 1. Nutanix Acropolis - облако на базе KVM “под ключ”, или WebScale в коробке. Максим Шапошников
  2. 2. Гипервизор - ширпотреб 1990 2005 Будущее Эффективность
  3. 3. Проблемы традиционных ДЦ 1. Сложность (множество вендоров, различных коммуникаций) 2. Неэффективность (место и энергопотребление) 3. Непредсказуемое расширение (нелинейность)
  4. 4. Цели WebScale дизайна ДЦ • Массивное снижение энергопотребления и прогнозируемое масштабирование • Нет единой точки отказа • Распределять все • Всегда работает • Полная автоматизация и мощная аналитика Фундаментальные аксиомы • Стандартные однотипные x86 сервера: «отказало -> заменил» • Нет специализированных аппаратных средств • Весь интеллект и сервис в ПО • Линейный, предсказуемый рост Web-Scale IT
  5. 5. Openstack? Ха-ха три раза. • Не решает проблем низкого уровня (ввод-вывод данных) • Рабочие коммерческие варианты по факту очень дороги и несовместимы • Масса (зачастую) лишнего функционала, вносящего нестабильность. • Очень высокий порог вхождения - требуются специалисты экстра- класса для запуска и поддержки. • Чаще всего реально требуется не создание IaaS или PaaS, но внутренняя облачная инфраструктура. • Есть существенные проблемы масштабируемости.
  6. 6. Пилите Шура, они золотые! • OpenStack remains an emerging technology • It is not mature yet • Error handling not robust • Understanding the flow of calls and messages is needed • Large volume of message based rpc calls • Logging is not optimal (either too much or too little) • You must be willing to look at code • Networking (nova-network) is complicated • Multiple bridges • IPTables configuration not straight forward © IBM Corporation
  7. 7. Не путать проект и продукт Ceph, GlusterFS – отличные проекты • Крайне сложный запуск • Ограниченный или отсутствующий UI • Практически любое «железо» • Уникальные протоколы (эмуляция стандартных при необходимости) • Только ФС, не решает вопросов управления виртуализацией • Фактически, только KVM (ESXi / HyperV – говорить несерьезно) • Не создавались и не затачивались под виртуализацию. • Отсутствует взаимная интеграция гипервизора и СХД (локализация ввода-вывода)
  8. 8. Не путать проект и продукт Nutanix Acropolis – законченное решение • «Под ключ» с запуском за 15-30 минут • HTML5 UI • Ограниченный, но 100% протестированный набор оборудования (Supermicro, Dell) – полная интеграция IPMI / аппаратного мониторинга • Использование стандартных протоколов (iSCSI, NFS, SMB3) • BigData технологии (Cassandra, Zookeeper, etc), все распределенное • Комплексное решение • Не завязан на KVM
  9. 9. Proxmox? • Все проблемы стандартных решений • Копии конфигураций всех VM на каждом ноде • 16 нодов в кластере (2014 год!) • Попытка скопировать Look’n’Feel VMware vCenter (который уже устарел сам по себе) • Только KVM • Серьезнейшие проблемы производительности при большом количестве VM
  10. 10. Традиционные СХД • Архаичные RAID системы, не рассчитанные на масштабируемость и отказоустойчивость • Время “ребилда” современной СХД при отказе одного диска может быть часами или сутками. • RAID6 - потеря данных в течении года (при достаточно больших датасторах) - практически гарантирована • На рынок выходят диски 10TB, что несет в себе множество дополнительных проблем (Теперь мы идем к вам (с)! Сутки ребилда? Легко!) • Упор в количество интерфейсов ввода-вывода и производительность контроллеров.
  11. 11. Nutanix – все в одном • Отсутствуют все вышеназванные узкие места. • Безлимитное масштабирование (как по производительности, так и размеру кластера). Миллионы IOPS, тысячи VM на стойку • Использование по максимуму open-source компонент с существенной доработкой (Cassandra NoSQL, Apache ZooKeeper, Linux Kernel, EXT4, KVM). • Полностью программная реализация. • Распределенная файловая система NDFS и система управления облаком Acropolis. • Поддержка стандартной версии KVM (Centos 6.5+) через libvirt, но полностью своя реализация управления кластером - aCLI, HTML5 UI, RESTful API.
  12. 12. Nutanix – все в одном • Нет RAID или JBOD (на всех уровнях) • 2-я или 3-я защита данных • Disaster Recovery (репликация датацентров) • Метаданные файловой системы и кластера хранятся в NoSQL DB Cassandra. • Конфигурация кластера - Apache Zookeeper. • Активное применение SSD как полноценного уровня хранения (не кэширования).
  13. 13. Традиционные vs Nutanix Сервера Сеть СХД SAN
  14. 14. Nutanix Google Facebook Microsoft Другие решения VSAN Старые Архитектуры Гипер-конвергентные решения на x86 – интеграция компьютинга и СХД Все в программном обеспечении – 100% «только ПО» Распределение всего – кластеризация данных и сервисов Самоизлечение – изоляция сбоев и распределенное восстановление API автоматизация и мощная аналитика Множство различных приложений одновременно
  15. 15. Nutanix Distributed File System NUTANIX INC. – CONFIDENTIAL AND PROPRIETARY
  16. 16. Компоненты кластера
  17. 17. Компоненты кластера Arithmos: Публикация и получение статистики гипервизора Cassandra: Конфигурация VM, файловая система NDFS. 3 или 5 копий. Stargate: подготовка и работа с виртуальными дисками, отдача по протоколам iSCSI / NFS / SMB3 Zookeeper: конфигурация кластера (одна из наиболее устойчивых к partitioning систем хранения кластерных конфигураций) Prism: UI / CLI / API
  18. 18. CAP Теорема – «умный в гору» В любой реализации распределённых вычислений возможно обеспечить не более двух из трёх следующих свойств (WikiPedia): • Согласованность данных (англ. Consistency) — во всех вычислительных узлах в один момент времени данные не противоречат друг другу; • Доступность (англ. Availability) — любой запрос к распределённой системе завершается корректным откликом; • Устойчивость к разделению (англ. Partition tolerance) — расщепление распределённой системы на несколько изолированных секций не приводит к некорректности отклика от каждой из секций.”
  19. 19. …обойдет Значительная доработка Кассандры, многократное дублирование (3 – 5 копий метаданных) с реализацией Paxos алгоритма. • CAP -> CAP • Практически мгновенная сходимость файловой системы – суровая необходимость • Доступность – без вариантов • Устойчивость к партиционированию – делаем множество копий
  20. 20. Резервирование данных Динамическая настройка различных уровней защиты для разных приложений в одном кластере  100% программно  RF-3 защищает от одновременного выхода из строя двух дисков, нодов и сетевых карт  Переключайтесь между RF-2 и RF-3  Уровень репликации (защиты) выставляется на уровне контейнера RF-2 контейнер (2 копии данных) RF-3 контейнер (3 копии данных)
  21. 21. Умное распределение Распределение данных между аппаратными блоками  V1: Защищает от потери блока целиком (4 нода / контроллера одновременно)  Доступно начиная с трех блоков Блок Блок Блок
  22. 22. CLI / API : Управление VM • CPU and memory. • Disk and NIC (hot-plug). • Boot order configuration. • Power operations. • Live migration. • Crash-consistent snapshot, restore, clone.
  23. 23. CLI / API: управление сетью • OpenvSwitch (для KVM) • VLAN • IPAM (перехват DHCP / ARP на уровне хоста)
  24. 24. UI
  25. 25. Prism Central Управление множеством кластеров по всему миру из единой точки  Агрегация статусов кластеров  Единая точка входа  Накапливание исторических данных для глубокого анализа  Упрощение рабочих процессов
  26. 26. Интегрированная защита Локальные и «на расстоянии» снапшоты для целей резервного копирования и восстановления из аварий через Prism  Безлимитные локальные снапшоты на основном кластере с Time Stream  Восстановление данных «одним кликом»  WAN-оптимизированная репликация для DR Снапшоты в другом ДЦ vdisk Локальные снапшоты DR Кластер Основной кластер Он-сайт вторичные Локальные бэкапы (вне кластера)
  27. 27. High End нагрузки и задачи • High End решение • Практически любые применения • Государство, Военные, Медицина, Корпорации, Сервис провайдеры
  28. 28. p.s. не грузится VM? 
  29. 29. Спасибо! m.shaposhnikov@nutanix.com @Nutanix_Russia

×