Опыт построения СХД на базе Windows Server для использования в публичном обла...Ontico
В докладе мы поделимся опытом, полученным в ходе создания публичного облака, построенного на базе продуктов Microsoft. В частности, речь пойдет о построении программно-определяемой системы хранения данных на основе технологии Storage Spaces. Основное предназначение полученной СХД объемом около 80ТБ - использование в кластере Hyper-V для запуска порядка 5000 ВМ.
Мы рассмотрим архитектуру хранилища, проблемы снижения latency сетевого трафика, а также подходы повышения производительности при создании пулов и использовании кэша. Кроме того, буду затронуты вопросы тестирования производительности и сценарии миграции на Storage Spaces Direct.
AWS и GCP: трудная жизнь в облаках / Максим Пугачев (IPONWEB)Ontico
Разница между “несколько серверов в облаках” и “вся инфраструктура в облаках“ огромна. С одной стороны, мы перекладываем миллион забот на гигантские плечи Amazon и Google. С другой стороны, к сожалению, обретаем много новых и порой необычных проблем.
Как жить в облаках двух самых популярных провайдеров? Что это за проблемы и как их решать? В чем особенности облаков, если вы живете в мире highload? Как выжимать максимум из того, что предоставляют провайдеры?
Я попытаюсь рассказать о наиболее важных, на мой взгляд, особенностях:
- Почему не стоит полагаться на заявленные характеристики виртуальных машин.
- Почему нет разницы между загрузкой CPU в 85% и 100%.
- Всевозможные аномалии и неожиданные "спайки" в метриках.
- "Облачные" диски и их особенности.
Вебинар «EMC VNX: преображение во флеш» http://www.croc.ru/action/detail/23755/
Презентация Александра Овчинникова, эксперта группы внедрения и эксплуатации СХД компании КРОК
Опыт построения СХД на базе Windows Server для использования в публичном обла...Ontico
В докладе мы поделимся опытом, полученным в ходе создания публичного облака, построенного на базе продуктов Microsoft. В частности, речь пойдет о построении программно-определяемой системы хранения данных на основе технологии Storage Spaces. Основное предназначение полученной СХД объемом около 80ТБ - использование в кластере Hyper-V для запуска порядка 5000 ВМ.
Мы рассмотрим архитектуру хранилища, проблемы снижения latency сетевого трафика, а также подходы повышения производительности при создании пулов и использовании кэша. Кроме того, буду затронуты вопросы тестирования производительности и сценарии миграции на Storage Spaces Direct.
AWS и GCP: трудная жизнь в облаках / Максим Пугачев (IPONWEB)Ontico
Разница между “несколько серверов в облаках” и “вся инфраструктура в облаках“ огромна. С одной стороны, мы перекладываем миллион забот на гигантские плечи Amazon и Google. С другой стороны, к сожалению, обретаем много новых и порой необычных проблем.
Как жить в облаках двух самых популярных провайдеров? Что это за проблемы и как их решать? В чем особенности облаков, если вы живете в мире highload? Как выжимать максимум из того, что предоставляют провайдеры?
Я попытаюсь рассказать о наиболее важных, на мой взгляд, особенностях:
- Почему не стоит полагаться на заявленные характеристики виртуальных машин.
- Почему нет разницы между загрузкой CPU в 85% и 100%.
- Всевозможные аномалии и неожиданные "спайки" в метриках.
- "Облачные" диски и их особенности.
Вебинар «EMC VNX: преображение во флеш» http://www.croc.ru/action/detail/23755/
Презентация Александра Овчинникова, эксперта группы внедрения и эксплуатации СХД компании КРОК
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)Ontico
Зачем мы каждый раз изобретаем велосипед, только потому что можем? Корпоративные СХД существуют более 25 лет и умеют очень многое.
Защита данных, качество обслуживания, многоуровневое хранение и кэширование на флэш-памяти. Система хранения данных - это не только гигабайт по минимальной цене, но так же и гарантированная производительность и отказоустойчивость.
Вы узнаете, как можно обеспечить своим данным высокую степень защиты, значительно сократив время реализации проекта. Или, наоборот, убедитесь в том, что СХД корпоративного класса вашему проекту не подходят.
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Вадима Болотнова, директора центра решений КРОК на базе технологий EMC
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Дмитрия Лямина, директора Центра решений КРОК на базе технологий Hitachi Data Systems
Тест-драйв «Флеш в серверах: работа со скоростью вспышки» http://www.croc.ru/action/detail/29449/
Вадим Болотнов, менеджер по продвижению решений Департамента вычислительных систем КРОК
Настройка kubernetes: tips and tricks / Михаил Прокопчук (Avito)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2967.html
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов.
За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу.
В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Тест-драйв «Расширяя границы возможного с EMC XtremIO»
Презентация Вадима Болотнова, директора Центра решений КРОК на базе технологий EMC, и Антона Семчишена, менеджера по продвижению решений КРОК
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Ontico
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2940.html
Почти год назад я выступил с докладом 'Как и зачем создавать NginX-модуль - теория, практика, профит'. У меня не получилось рассказать обо всех возможностях Nginx и, уверяю вас, в этом докладе у меня это тоже не получится - тема слишком большая!
Сразу перейдем к делу. "Так что нового будет в этом докладе?" - спросите вы. В нем будут ответы на вопросы, на которые я не успел ответить в прошлом году, а именно:
- Как и зачем создавать upstream-модули?
...
Аппаратная и программно-аппаратная дедупликация от EMCКРОК
Вебинар «Дедупликация vs Hеконтролируемый рост данных»
Подробнее о мероприятии http://www.croc.ru/action/detail/5668/
Презентация Котцова Антона, технического менеджера компании КРОК
SAM за 7 шагов. Рецепт для небольших компанийValery Bychkov
21 июня в сообществе Смартсорсинг прошел вебинар «SAM за 7 шагов. Рецепт для небольших компаний» на котором Дмитрий Исайченко (Cleverics), рассказал о том, как организовать процесс управления активами ПО в небольшой компании. Весь вебинар – рассказ о том, как в компании Cleverics решали задачи учёта ПО, инвентаризации, управления лицензионными соглашениями и т.д. Так что, никаких абстрактных теорий и рекомендаций – только практический опыт.
Обзор технологий Microsoft Hyper-V: введение в виртуализациюSkillFactory
Евгений Павленко – эксперт по технологиям Microsoft – о том, какие возможности дает специалисту гипервизор Windows, чем он отличается от других популярных платформ виртуализации, а также как развернуть Hyper-V на Windows Server.
Контейнеры в OpenStack: простое решение сложных проблемYandex
В настоящее время в OpenStack есть хорошая поддержка гипервизорной виртуализации, но пока нет работающего решения для использования контейнеров. Я расскажу, почему так получилось, сравню гипервизорную и контейнерную технологии в контексте OpenStack и рассмотрю, насколько проще будет выполнять некоторые операции в OpenStack при использовании контейнеров, а также какие новые возможности появятся в OpenStack при использовании этого типа виртуализации.
Велосипед уже изобретен. Что умеют промышленные СХД? / Антон Жбанков (Nutanix)Ontico
Зачем мы каждый раз изобретаем велосипед, только потому что можем? Корпоративные СХД существуют более 25 лет и умеют очень многое.
Защита данных, качество обслуживания, многоуровневое хранение и кэширование на флэш-памяти. Система хранения данных - это не только гигабайт по минимальной цене, но так же и гарантированная производительность и отказоустойчивость.
Вы узнаете, как можно обеспечить своим данным высокую степень защиты, значительно сократив время реализации проекта. Или, наоборот, убедитесь в том, что СХД корпоративного класса вашему проекту не подходят.
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Вадима Болотнова, директора центра решений КРОК на базе технологий EMC
Тест-драйв «Флеш СХД: битва титанов на сверхбыстрых скоростях» http://www.croc.ru/action/test-drives/42143/
Презентация Дмитрия Лямина, директора Центра решений КРОК на базе технологий Hitachi Data Systems
Тест-драйв «Флеш в серверах: работа со скоростью вспышки» http://www.croc.ru/action/detail/29449/
Вадим Болотнов, менеджер по продвижению решений Департамента вычислительных систем КРОК
Настройка kubernetes: tips and tricks / Михаил Прокопчук (Avito)Ontico
HighLoad++ 2017
Зал «Пекин+Шанхай», 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2967.html
Мы в Avito уже более года используем Kubernetes в качестве платформы для микросервисов.
За это время мы столкнулись с рядом проблем, с которыми может столкнуться каждый, кто использует эту платформу.
В докладе поделюсь опытом решения проблем и настройки кластера для обеспечения его эффективной работы (низкий и стабильный latency для сервисов, использование ресурсов CPU, RAM): настройки аппаратного обеспечения (сеть, CPU), ОС, настройки самих инфраструктурных компонентов kubernetes и о том, что и как необходимо мониторить.
Резервное копирование не только виртуальных сред при помощи продуктов VeeamYaryomenko
- Возможности среды обеспечения доступности предприятия на базе решения Veeam Availability Suite 9.0, новые возможности и функционал продукта.
- Глубокая интеграция с решением хранения данных EMC Data Domain и VNX/VNXe.
- Возможности решения в гранулярном восстановлении объектов приложений.
Тест-драйв «Расширяя границы возможного с EMC XtremIO»
Презентация Вадима Болотнова, директора Центра решений КРОК на базе технологий EMC, и Антона Семчишена, менеджера по продвижению решений КРОК
Как и зачем создавать NginX-модуль — теория, практика, профит. Часть 2 / Васи...Ontico
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 15:00
Тезисы:
http://www.highload.ru/2017/abstracts/2940.html
Почти год назад я выступил с докладом 'Как и зачем создавать NginX-модуль - теория, практика, профит'. У меня не получилось рассказать обо всех возможностях Nginx и, уверяю вас, в этом докладе у меня это тоже не получится - тема слишком большая!
Сразу перейдем к делу. "Так что нового будет в этом докладе?" - спросите вы. В нем будут ответы на вопросы, на которые я не успел ответить в прошлом году, а именно:
- Как и зачем создавать upstream-модули?
...
Аппаратная и программно-аппаратная дедупликация от EMCКРОК
Вебинар «Дедупликация vs Hеконтролируемый рост данных»
Подробнее о мероприятии http://www.croc.ru/action/detail/5668/
Презентация Котцова Антона, технического менеджера компании КРОК
SAM за 7 шагов. Рецепт для небольших компанийValery Bychkov
21 июня в сообществе Смартсорсинг прошел вебинар «SAM за 7 шагов. Рецепт для небольших компаний» на котором Дмитрий Исайченко (Cleverics), рассказал о том, как организовать процесс управления активами ПО в небольшой компании. Весь вебинар – рассказ о том, как в компании Cleverics решали задачи учёта ПО, инвентаризации, управления лицензионными соглашениями и т.д. Так что, никаких абстрактных теорий и рекомендаций – только практический опыт.
Обзор технологий Microsoft Hyper-V: введение в виртуализациюSkillFactory
Евгений Павленко – эксперт по технологиям Microsoft – о том, какие возможности дает специалисту гипервизор Windows, чем он отличается от других популярных платформ виртуализации, а также как развернуть Hyper-V на Windows Server.
Контейнеры в OpenStack: простое решение сложных проблемYandex
В настоящее время в OpenStack есть хорошая поддержка гипервизорной виртуализации, но пока нет работающего решения для использования контейнеров. Я расскажу, почему так получилось, сравню гипервизорную и контейнерную технологии в контексте OpenStack и рассмотрю, насколько проще будет выполнять некоторые операции в OpenStack при использовании контейнеров, а также какие новые возможности появятся в OpenStack при использовании этого типа виртуализации.
Сейчас OpenStack на слуху, но детальных отзывов и описаний дизайна инфраструктуры все еще не много. Постараемся немного упростить задачу для тех, кто еще только планирует развертывание инфраструктуры виртуализации, и расскажем, как это делали мы в некоторых наших проектах:
погрузимся в нюансы реализации окружения OpenStack в боевой среде;
поговорим об отказоустойчивости;
рассмотрим варианты организации резервного копирования;
обратим внимание на конфигурацию «железок»: СХД и сети.
Эволюция High availability: Windows Server 2016 Failover ClusteringYuriy Denisov
Вспомним, как все начиналось и развивалось
Посмотрим, что появилось нового и изменилось
Узнаем, как обновиться, да так, чтобы без простоя
И немножко про то, чем многие не пользуются: Cluster-Aware Updating
Использование контейнеризации в среде массового хостингаYandex
Речь пойдет об особенностях использования контейнеров в публичных услугах. Почему linux upstream containers пока не подходят на эту роль? По каким причинам OpenVZ справляется с задачей, но не полностью? Какие фишки контейнеров мы хотим иметь в будущем?
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...Ontico
Tempesta FW — это Open Source гибрид Web-акселератора и файервола, специально разработанный для высокопроизводительной доставки контента вне зависимости от DDoS или наплыва посетителей.
В докладе будет рассказано про задачи, которые ставились при разработке проекта и пути их решения. Рассмотрим проблемы современных операционных систем в приложении к Web-стеку (система фильтрации, Web-сервер, application слой, БД), и как они решаются в Tempesta — некоторые уже решены, некоторые еще в процессе работы.
И самое главное — у нас появился рабочий прототип, и я расскажу про типовые примеры инсталляции, фичи и конфигурацию, а также покажу бенчмарки.
Модным ныне словом «виртуализация» сейчас называют различные обёртки аппаратной виртуализации, однако этот термин намного старше и более всеохватывающий. На уровне ознакомления с технологией мы поговорим о виртуализации ресурсов в кластере и на примере pacemaker.
Дмитрий Лазаренко-«Живая миграция и отказоустойчивость контейнеров в гибридно...Tanya Denisyuk
"Контейнеры могут динамически появляться и исчезать, являются легковесными, не резервируют все необходимые ресурсы при старте, потому их оркестрация дается не простой ценой. Каждый из виртуальных контейнеров в один момент времени может потребовать максимум доступных ему ресурсов и это может привести к тому, что закончатся все ресурсы на физическом сервере, на котором они размещаются. В докладе мы поговорим о механизме, который решает эту непростую задачу, и умеет проводить непрерывную балансировку нагрузки, перемещать контейнеры с одного физического сервера на другие для проведения технических работ без простоя приложений - умная живая миграция (Smart Live Migration).
Многие считают, что контейнеры не подходят для хранения важных данных, т.к. в любой момент они могут упасть и все данные пропадут навсегда. Мы расскажем как этого избежать с помощью технологии Software-defined-storage."
В нашей большой компании мы столкнулись с задачей выкладывания релизов наших проектов на несколько групп серверов по нескольким сотням машин.
Мы решили разработать свой софт для удобного деплоя, поскольку задача, на мой взгляд, достаточно сложная, потому что каждая секунда при выкатке решает очень многое.
Почему именно разработать что-то свое, а не использовать что-то готовое, например, Fabric или Capistrano?
Все просто:
1. Система должна быть написана на языке, на котором принято разрабатывать в компании.
2. Все возникающие трудности и проблемы должны быть решены в кратчайшие сроки, нет времени ждать пока чья-то техподдержка прилетит на помощь на голубом вертолете :)
3. Система должна быть безопасна, полностью с открытыми кодами для безопасников.
4. Минимизированы зависимости от внешних модулей.
Вкратце расскажу о том, как мы раскладываем front-end для наших проектов в Mail.ru Group в продакшн и на тестовые сервера.
В частности, расскажу, как мы собираем версточный релиз.
Расскажу о том, как его запаковать и как аккуратно раздать на несколько сотен серверов.
Расскажу об архитектуре мониторинга системы обновлений, а также покажу, как выглядит наш дашборд, по которому мы понимаем, что все хорошо.
Отвечу на все интересующие вас вопросы и дам несколько рекомендаций, которые помогут вам обойти подводные грабли, на которые наступали мы.
Что нового в nginx? / Максим Дунин (Nginx, Inc.)Ontico
HighLoad++ 2017
Зал Конгресс-Холл, 7.ноября, 11:00
Презентация и тезисы:
http://www.highload.ru/2017/abstracts/2981.html
Что нового появилось в nginx за последнее время, и для чего всё это нужно? В докладе - рассказ про основные новые функции в nginx 1.11.x (доступно в стабильной ветке 1.12.x) и 1.13.x. Для чего нужен параметр сборки --with-compat, что делает директива mirror, будет ли работать TLS 1.3, как обновлять кэш с помощью proxy_cache_background_update, что такое stale-while-revalidate, как логировать JSON и что делать, если после обновления конфигурации старые рабочие процессы долго не завершаются.
Читаем CHANGES вместе и разбираем на примерах.
"OpenStack & Oracle — взболтать, но не смешивать". Сергей Филимонцев, ЯндексYandex
Все enterprise-решения имеют свою специфику и отличаются весьма щепетильным подходом к эксплуатации. Но иногда возникает необходимость тиражировать их с минимальными усилиями. Нам в Яндексе понадобилось создать множество тестовых сред с продуктами Oracle. Для облегчения этой задачи мы виртуализовали их в приватном облаке OpenStack. В докладе пойдёт речь об этом опыте: с какими проблемами пришлось столкнуться и как мы будем использовать в дальнейшем полученные знания.
Similar to VMUG Moscow 2014 Проблемы с дисками? (20)
2. Pluggable Storage Architecture
• MultiPathing Plugin
• По умолчанию VMware NMP (Native MultiPathing)
• SATP – Storage Array Type Plugin
• Отказы и переключения путей
• PSP – Path Selection Plugin
• Балансировка нагрузки и выбор пути для IO
3. Роли и команды PSA
• PSA обнаруживает доступные хосту ресурсы хранения
• Присваивает правила MPP для управления ресурсом
• Для просмотра всех плагинов PSA
• esxcli storage core plugin list
4. PSA - MPP
• NMP/MPP исполняет функции
• MPP определяет физический путь до устройства для SATP
• NMP имеет собственный набор правил для ассоциации SATP с
PSP
• Экспортирует логическое устройство по физическому пути для
PSP
• Для просмотра всех устройств с соотв. PSP/SATP
• esxcli storage nmp device list
5. PSA - SATP
• Наблюдает за состоянием путей до физ. системы
• Объявляет пути в состояние failed/down
• Управляет переключением физ. путей после сбоя
• vSphere включает в себе SATP под некоторое количество
распространенных СХД, и несколько универсальных
вариантов active-active/active-passive
6. PSA - SATP
• Для просмотра всех загруженных SATP и ассоциированных
PSP
• esxcli storage nmp satp list
• Для изменения PSP по умолчанию для определенного
SATP
• esxcli storage nmp satp set –b <boottime> -P <Default PSP> -s
<SATP>
7. PSA - PSP
• Особенности и ответственность PSP
• Выбор пути для отправки IO запроса (далее просто IO)
• Отличается от SATP тем, что является механизмом
балансировки нагрузки и работает только с активными
путями
• vSphere использует три плагина по умолчанию:
• Fixed
• Most Recently Used (MRU)
• Round Robin
• VMware NMP по умолчанию выбирает PSP,
ассоциированный с SATP, загруженным для данной СХД
8. PSA - PSP
• Для просмотра загруженных PSP с текущей конфигурацией
• esxcli storage nmp psp <PSP Namespace> deviceconfig get –d
<device identifier>
9. IO от начала до конца
• ВМ выдает SCSI команду на соотв. виртуальный диск
• Драйверы гостевой ОС взаимодействуют с драйверами
виртуального хранения
• Команда перебрасывается в Vmkernel, где вступает PSA
• PSA загружает соотв. MPP (NMP в нашем случае)
• NMP вызывает соотв. PSP
• PSP согласно с правилами балансировки выбирает путь.
Команда отсылается аппаратному/программному
инициатору, CNA или HBA
• Если неудачно, то PSP вызывает SATP для обработки ошибки.
Статус пути меняется на неактивный и процесс повторяется
• Инициатор, CNA или HBA трансформирует команду соотв.
транспорту и посылает запрос
15. Log
• Основные журналы для решения проблем с дисковой
системой
• /var/log/hostd.log Основной журнал с информацией о
задачах, событиях и взаимодействии хоста с клиентом,
vCenter агентом (vpxa) и т.д.
• /var/log/vmkernel.log Основной журнал VMkernel,
включающие обнаружение устройств, сетевых и дисковых
событиях и включении ВМ
• /var/log/sysboot.log Журнал VMkernel с сообщениями о
старте хоста и загрузке модулей
16. Log
• Для простого поиска в журнале
• grep –r search_term /var/log/vmkernel.log
• Для рекурсивного поиска во всех журналах
• grep –r search_term /var/log/*
• Данный поиск выдаст только строки, содержащие искомое
• Если нужно не только эти строки, то
• grep –r –A3 –B2 search_term /var/log/*
• Этот запрос выдаст также 3 строки перед и 2 после
• Поиск всех событий, в которых одновременно SCSI и Failed
• cat /var/log/vmkernel.log | grep SCSI | grep –i Failed
17. Log
• Экран переполнился?
• cat /var/log/vmkernel.log | grep –i SCSI | less
• Последние 10 сообщений в hostd.log
• tail –n10 /var/log/hostd.log
• Первые 10 сообщений в hostd.log
• head –n10 /var/log/hostd.log
• Наблюдение за журналом vmkwarning.log
• tail –f /var/log/vmkwarning.log
19. Клейминг (claim)
• Клейминг – процесс установки взаимосвязи между
физическими устройствами и плагинами в PSA
• Все клейм-правила могут быть загружены только через
командную строку и не доступны через GUI
20. Клейминг (claim)
• Просмотр загруженных клейм-правил
• esxcli storage core claimrule list
• Клейм правило может быть разных типов
• vendor, location, transport и driver
• У каждого правила есть идентификатор от 0 до 65535
• ID 0-100, 65436-65535 зарезервированы
21. Клейминг (claim)
• Идентификатор 65535 зарезервирован
• Правила применяются в порядке от 0 по возрастающей
• Если устройство не попало ни под одно предыдущее правило,
то его забирает под себя NMP
• MASK_PATH – плагин, реализующий на уровне PSA
функционал, аналогичный зонированию и маскированию
в FC
• Если есть правило 134 для MASK_PATH и правило 150 для
MPP, то путь будет скрыт и устройство не будет подключено
• У каждого правила есть класс
• File – правило загружено в системе
• Runtime – правило включено и активно (связано с
устройством)
22. Клейминг (claim)
• Удалить клейм-правило
• esxcli storage core claimrule remove –rule 400
• !!! Всегда используйте команду vm-support для сохранения
текущей конфигурации !!!
23. Клейминг (claim)
• Удалить можно только правило в состоянии File
• Для удаления правила в состоянии Runtime
• Сначала загрузим набор правил
esxcli storage core claimrule load
• Затем снимем клейм с устройства
esxcli storage core claiming unclaim -t location -A vmhba32 -T 1 -L 0
• Простой рескан теперь позволит увидеть датастор
24. Проблемы с путями
• Внимательно читайте документацию к СХД
• vSphere по умолчанию загружает
• Fixed для active-active СХД
• MRU для active-passive СХД
• Вендор СХД знает лучше
• Например, HP MSA1500 имеет active-active
• Но в силу внутренней логики MSA рекомендуется MRU
25. Disk Resignature
• VMFS том содержит в сигнатуре информацию о железе
• В том числе идентификатор массива, LUN ID и UUID
• Если том перенесен или сменил ID – vSphere игнорирует
• Для предотвращения монтирования копий и снапшотов
• Переподписывание (resignature) – создание новой
сигнатуры (и UUID) для перемещенного LUN при
монтировании
• http://kb.vmware.com/selfservice/microsites/search.do?langu
age=en_US&cmd=displayKC&externalId=1011387
27. Номера LUN
• Максимальное количество LUN’ов, с которыми может
работать ESXi = 256
• При рескане ESXi начинает с 0 и останавливается на 255
• LUN 268 НИКОГДА не будет виден ESXi
• Пока нет острой необходимости – не меняйте LUN ID для
разных хостов
• Disk.MaxLun может сократить время рескана и загрузки
• Но всегда есть опасность, что новый выделенный LUN будет с
ID > Disk.MaxLun и соотв. хост его не увидит
28. IP видимость
• Настоятельно рекомендуется использование различных
подсетей и даже физических сетей для сети ВМ и IP
хранения
• Отдельная сеть – отдельные проблемы
• Пропали диски – проверьте подключение
• ping и vmkping для ESXi – одно и то же
29. Проблемы iSCSI
• Практически все проблемы с iSCSI можно найти в
журналах
• grep –r iscsid/var/log/* | less
• Если информации недостаточно, то…
• vmkiscsid -x "insert into internal (key, value) VALUES
('option.LogLevel',' 999');"
• Только не забудьте выключить после
• vmkiscsid -x "delete from internal where key ='option.LogLevel';"
30. Проблемы NFS
• NFS подключения лишены многих блочных проблем, но…
• Зависят еще и от DNS
• Некоторые NFS системы требуют обратного разрешения
имен. Если NFS СХД не может разрешить имя ESXi, то не
отдаст ресурс
• Не подключается NFS датастор – проверь ACL
• Проверь ACL еще раз
• И еще раз
• И не забудь, что NFS чувствителен к рЕгисТрУ
• И что на ВСЕХ хостах имя датастора должно быть одинаковым
31. Проблемы NFS
• NFS и командная строка
• grep –r nfs /var/log/* | less
• Добавим информации
• esxcfg-advcfg –s 1 /NFS/LogNfsStat3
• Закончили – убавили
• esxcfg-advcfg –s 0 /NFS/LogNfsStat3
33. IO Latency
• Ключевая проблема дисковых систем – задержки
• esxtop нам их покажет
• DAVG/cmd – среднее время на команду, посланную VMkernel
на устройство. Нормальный показатель <25ms
• KAVG/cmd – среднее время внутри VMkernel. 1-2ms
• GAVG/cmd – среднее время для гостевой ОС. <25ms
34. IO Latency – где зарыта?
• Как узнать, где именно зарыта собака?
• На одном HBA? На массиве? На одном пути?
• esxtop: d f a b g
35. IO Latency – где зарыта?
• Задержки по устройствам
• esxtop: u f a i
36. IO Latency по ВМ
• Можно посмотреть какие задержки в среднем по ВМ
• esxtop: v f b g h
37. SCSI Reservation
• VMFS – симметричная кластерная файловая система
• Нет выделенных хостов-арбитров
• Для предотвращения порчи данных при обновлении
метаданных идет блокировка всего LUN
• Метаданные обновляются в монопольном режиме
• Операции, требущие обновления метаданных
• Включение/выключение ВМ
• Создание новой ВМ/развертывание из шаблона
• Миграция ВМ на другой хост
• Изменение датасторов
• Изменение размера файла
39. SCSI Reservation - решение
• Включите VAAI
• Конкретно ATS
• Разместите ВМ, требующие SCSI Reservation по разным
LUN
• Включение-выключение, снапшоты
• Увеличьте количество LUN
• Уменьшите количество хостов на LUN
• Уменьшите количество снапшотов
• Уменьшите количество ВМ на LUN
• http://kb.vmware.com/selfservice/microsites/search.do?langu
age=en_US&cmd=displayKC&externalId=1005009
40. Очереди IO
• IO не сразу уходит на диск, а сначала попадает в очередь
• OS queue
• 32 по умолчанию
• 64 для PVSCSI
• Изменяется в реестре Windows
• Adapter Queue
• Обычно 1024+ на порт и крайне редко требует внимания
• Per-LUN queue
• Обычно 32 или 64
• Disk.SchedNumReqOutstanding
41. Очереди IO
• Мониторинг очередей
• DQLEN – per-LUN queue
• ACTV – активные команды в обработке VMkernel
• QUED – команды, ждущие обработки или постановки в
очередь
• %USED – процент команд в очереди в активной обработке
• LOAD – отношение нагруженности очереди к ее размеру
• Как посмотреть
• esxtop: u f F
42. Очереди IO
• Очевидны проблемы с LUN’ом
• QUED>0 означает, что очередь кончилась
• DAVG, KAVG, GAVG выше порогов
• DQLEN = 32, а не стандартные 128. Результат работы
Disk.SchedNumReqOutstanding
43. Литература
• Troubleshooting vSphere Storage. Preston, Mike.
• Information Storage and Management: Storing, Managing,
and Protecting Digital Information in Classic, Virtualized, and
Cloud Environments. EMC Education Services
• Storage Implementation in vSphere 5.0 Technology Deep Dive.
Mostafa Khalil
44. Вопросы?
• Антон Жбанков
• VCP 3/4/5
• VMware vExpert 2009-2014
• MCITP: SA + VA
• EMC Cloud Architect Expert
• anton@vadmin.ru
• http://blog.vadmin.ru
• https://communities.vmware.com/community/vmtn/vmug/fo
rums/emea/russia