В компании 2GIS широко используются виртуальные среды для обеспечения работы клиентских сервисов, а также сервисов разработки и тестирования. Эти сервисы работают в виртуальной инфраструктуре на базе MS Windows Server 2012 R2 и MS Hyper-V 3.0.
Управление кластерами Hyper-V осуществляется с помощью System Center Virtual Machine Manager 2012 R2. Но для обеспечения дальнейшего развития бизнеса компании и ускорения вывода на рынок новых сервисов требовалась еще более высокая надежность и гибкость инфраструктуры. Основными потребностями, которые не могла обеспечить имеющаяся конфигурация, были:
• возможность балансировать нагрузку между контроллерами без остановки сервиса
• возможность масштабировать систему хранения данных методом добавления контроллеров
• возможность проводить регламентные работы без прерывания доступа к данным
Решение: перевод инфраструктуры хранения данных под управление Clustered Data ONTAP. О том, как и зачем она внедряется — в этом докладе.
Год от года многие программисты решают одни и те же задачи, но не всегда среди огромного многообразия решений можно найти что-то подходящее. Вот и мы не смогли найти ни одной библиотеки логирования для C++, которая удовлетворяла бы всем нашим требованиям. Теперь у нас есть свой велосипед, и мы расскажем, чем он лучше других.
Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico
РИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 14:00
Тезисы:
http://backendconf.ru/2017/abstracts/2778.html
Хотите научиться принимать решения на основе данных, но не знаете, с чего начать? Нужно записать миллионы событий, но не уверены, как делать это правильно? Вы не знаете, как быстро и дёшево строить аналитические отчеты или запутались в инструментах?
На примере DocDoc я расскажу о плюсах и минусах различных подходов: как выбрать систему хранения, почему мы остановились на Google BigQuery. Как правильно организовать данные, записать свой clickstream, отказаться от сэмплирования в GA, а также строить простые и понятные отчеты.
Год от года многие программисты решают одни и те же задачи, но не всегда среди огромного многообразия решений можно найти что-то подходящее. Вот и мы не смогли найти ни одной библиотеки логирования для C++, которая удовлетворяла бы всем нашим требованиям. Теперь у нас есть свой велосипед, и мы расскажем, чем он лучше других.
Простая и дешёвая бизнес-аналитика на базе Google BigQuery / Алексей Паршуков...Ontico
РИТ++ 2017, Backend Conf
Зал Сан-Паулу, 6 июня, 14:00
Тезисы:
http://backendconf.ru/2017/abstracts/2778.html
Хотите научиться принимать решения на основе данных, но не знаете, с чего начать? Нужно записать миллионы событий, но не уверены, как делать это правильно? Вы не знаете, как быстро и дёшево строить аналитические отчеты или запутались в инструментах?
На примере DocDoc я расскажу о плюсах и минусах различных подходов: как выбрать систему хранения, почему мы остановились на Google BigQuery. Как правильно организовать данные, записать свой clickstream, отказаться от сэмплирования в GA, а также строить простые и понятные отчеты.
Особенности внедрения систем управления проектами в проектных институтахЕгор Воднев
Презентация Rubius для конференции "CIS & CEE Downstream Project Management".
Рассмотрены сложности внедрения систем управления проектами (MS Project, Oracle Primavera и их аналогов) в российские проектные институты и способы их преодоления.
Архитектура и принцип работы катастрофоустойчивого облачного решения CloudLine Metrocluster. В презентации рассмотрены основные сценария сбоев, при которых CloudLine Metrocluster поможет сохранить работоспособность сервисов и доступность данных.
Преимущества CloudLine Metrocluster:
Полная защита business-critical приложений и данных от внутренних сбоев и внешних угроз;
Дублирование элементов СХД в рамках двух площадок: дата-центры OST и NORD, расстояние - 33 км;
Миграция виртуальных машин при недоступности одного из дата-центров на резервную площадку;
Старт виртуальной машины на резервной площадке (Recovery Time Objective, RTO) – от 2 минут;
Зеркалирование данных на уровне СХД между двумя площадками: Recovery Point Objective (RPO) – 0 минут;
Балансировка нагрузки на уровне двух дата-центров.
My presentation at OSPconf. Big Data Forum 2015 in Moscow on Informatica products and solutions in Big Data space: datawarehouse offload, managed data lake, big data Customer MDM, streaming analytics platform.
«Облака» под контролем: как эффективно оценить производительность облачных т...СвязьКомплект
http://networkguru.ru/ - первый в России независимый портал, освещающий практические вопросы, как заставить быстро работать виртуальные и реальные сети и приложения! Присоединяйтесь к клубу экспертов, делитесь мнениями и идеями!
Облачные услуги Ростелеком и защита персональных данныхMichael Kozloff
Материалы презентации на семинаре в Ассоциации Европейского Бизнеса (АЕБ) 27.08.2015
Обзор изменений законодательства в области защиты персональных данных и возможностей облачной платформы Ростелеком
Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"Fwdays
Every company comes to a point where it’s infrastructure no longer fits team and business needs, and kludges are not working anymore. That’s the time to re-think and redesign the whole infrastructure. This is exactly where our company was half a year ago. I will talk about our experience dealing with this challenge while balancing between existing technology, costs, today’s reality and future needs.
Особенности внедрения систем управления проектами в проектных институтахЕгор Воднев
Презентация Rubius для конференции "CIS & CEE Downstream Project Management".
Рассмотрены сложности внедрения систем управления проектами (MS Project, Oracle Primavera и их аналогов) в российские проектные институты и способы их преодоления.
Архитектура и принцип работы катастрофоустойчивого облачного решения CloudLine Metrocluster. В презентации рассмотрены основные сценария сбоев, при которых CloudLine Metrocluster поможет сохранить работоспособность сервисов и доступность данных.
Преимущества CloudLine Metrocluster:
Полная защита business-critical приложений и данных от внутренних сбоев и внешних угроз;
Дублирование элементов СХД в рамках двух площадок: дата-центры OST и NORD, расстояние - 33 км;
Миграция виртуальных машин при недоступности одного из дата-центров на резервную площадку;
Старт виртуальной машины на резервной площадке (Recovery Time Objective, RTO) – от 2 минут;
Зеркалирование данных на уровне СХД между двумя площадками: Recovery Point Objective (RPO) – 0 минут;
Балансировка нагрузки на уровне двух дата-центров.
My presentation at OSPconf. Big Data Forum 2015 in Moscow on Informatica products and solutions in Big Data space: datawarehouse offload, managed data lake, big data Customer MDM, streaming analytics platform.
«Облака» под контролем: как эффективно оценить производительность облачных т...СвязьКомплект
http://networkguru.ru/ - первый в России независимый портал, освещающий практические вопросы, как заставить быстро работать виртуальные и реальные сети и приложения! Присоединяйтесь к клубу экспертов, делитесь мнениями и идеями!
Облачные услуги Ростелеком и защита персональных данныхMichael Kozloff
Материалы презентации на семинаре в Ассоциации Европейского Бизнеса (АЕБ) 27.08.2015
Обзор изменений законодательства в области защиты персональных данных и возможностей облачной платформы Ростелеком
Dmytro Nemesh "Building the perfect infrastructure with Kubernetes"Fwdays
Every company comes to a point where it’s infrastructure no longer fits team and business needs, and kludges are not working anymore. That’s the time to re-think and redesign the whole infrastructure. This is exactly where our company was half a year ago. I will talk about our experience dealing with this challenge while balancing between existing technology, costs, today’s reality and future needs.
3. 31
146
252
2006 2011 2013
Первый выпуск
1
1999
2ГИС 2ГИС для КПК,
онлайн-версия 2ГИС
2ГИС-Москва
2ГИС в ТОП-10
лучших работодателей РФ
по версии HeadHunter
Победа в международном конкурсе
«Хрустальная гарнитура»
в номинации «Лучший контакт-центр»
2ГИС в ТОП-10
интернет-компаний РФ
по версии Forbes
19. 1. Snapshot
Инструменты
- SnapDrive
- SnapManager for SQL
Результаты
- Ускорение развертывания приложений в 20 раз
- Выигрыш по месту +89%
20. 2. Quality of Service
«Фича» системы
Ограничение лимитов по IOPS на уровне
vserver, volume, lun
Результат
Соблюдение параметров SLA доступа к
данным для бизнес-приложений
21. 3. Storage efficiency
Инструменты
- Thin provisioning
- Дедупликация и компрессия данных
- Динамически изменяемые размеры томов
Результаты
- Эффективное использование СХД
- Экономия места 68%
- Опции для iSCSI-3 Persistent Reservations
- volume autosize mode grow-shrink
- lun space-allocation enabled
Добрый день, коллеги!
- Сегодня я хотел бы поделиться с Вами опытом, полученным в ходе внедрения кластерной системы Data ONTAP.
Несколько слов о нашей компании.
- 2GIS это один из самых популярных электронных справочников в России.
- В нем содержится информация более чем о 2 млн. организаций.
- На данный момент охват справочника составляет более 250 городов не только в России, но и Казахстане, Италии, Чехии и на Кипре.
- Аудитория справочника насчитывает более 18 млн. пользователей.
- Справочник доступен в трех версиях:
- Десктопной
- Мобильной
- А также ONLINE версии
Наша компания динамично развивается.
- 2GIS входит в ТОП 10 лучших работодателей Росии по версии HeadHunter.
- А также занимает 8 место в рейтинге лучших интернет-компании по версии Forbes
Сейчас давайте углубимся подробнее в технические детали.
- В частности, я хотел бы рассказать Вам о том, каким образом мы применяем СХД в нашей компании.
Основная инфраструктура компании находится в Новосибирске.
- Она представляет собой 2 географически распределенных центра обработки данных.
- Компания осуществляет полный цикл разработки программного обеспечения.
- Все бизнес-приложения являются интеллектуальной собственностью компании.
- Разработка приложений ведется как для внутренних потребностей компании, для ее сотрудников, так и для внешних пользователей справочника:
- Это онлайн-сервисы, api, старт-ап проекты.
В нашей компании широко применятся виртуальные среды.
- На них «крутятся» сервисы разработки, тестирования и боевой эксплуатации.
- Виртуальная инфраструктура построена на базе Hyper-V и Windows Server 2012.
- С помощью продуктов линейки System Center Virtual Machine Manager осуществляется управление отказоустойчивыми кластерами Hyper-V.
- Использование App Controller позволяет тестировщикам через веб-портал разворачивать тестовые среды из предопределенных шаблонов в «2 клика» мышью.
За последние годы в компании произошла существенная модернизация инфраструктуры.
- Устаревшие блэйд-корзины IBM были заменены современными и производительными корзинами HP.
- Сетевая инфраструктура была «прокачана» до 10G.
- Изменения также затронули СХД. Вдобавок к имеющимся контроллерам FAS3240 была приобретена новая система FAS6220.
А сейчас небольшой экскурс в историю.
- В то время, когда компания делала первые шаги в направлении виртуализации, требовалось недорогое, но оправданное вложение средств.
- Так в нашей компании появилась первая СХД FAS2040. Этот «старичок» по-прежнему пашет на благо компании, выполняя посильные для системы задачи.
- Решение в пользу NetApp было принято по ряду следующих факторов:
- Присутствие компании на рынке в сибирском регионе.
- Квалифицированная помощь на этапе запуска системы.
- А также гибкая ценовая политика.
При работе с нашими двумя СХД FAS3240 в классическом Data ONTAP 7-mode мы столкнулись со следующими сложностями:
- Прежде всего, это несбалансированность нагрузки контроллеров.
- А также отсутствие возможности масштабировать систему.
Плюсами кластерной системы для нас прежде всего являются гибкость и масштабируемость.
- Кластерный Data ONTAP – это многонодовая система.
- Он предназначен для работы более чем с двумя контроллерами.
- Что позволяет обеспечивать сбалансированную загрузку всех нод кластера.
- Технология DataMotion дает возможность «прозрачно» для конечных приложений осуществлять миграцию данных в пределах кластерной системы.
- Архитектура кластерной системы, основанная на Storage Virtual Machines, позволяет предоставить прикладным администраторам права доступа непосредственно к томам данных их приложений.
Подготовка к внедрению кластерной системы была похожа на игру в тетрис.
- Основная задача состояла в том, чтобы используя все блоки оптимальным образом заполнить игровое поле.
Первым этапом стало приобретение контроллеров FAS6220 в кластерной конфигурации.
После чего кластерная система была запущена на первой площадке и начат процесс миграции данных с классического Data ONTAP 7—mode.
После завершения миграции данных высвободившая пара контроллеров FAS3240 была сконвертирована в кластерную конфигурацию и запущена на второй площадке.
Далее последовала миграция данных на кластерную систему на второй площадке.
По завершению процесса миграции данных, высвободившиеся контроллеры FAS3240 были сконвертированы в Data ONTAP Cluster mode и добавлены как третья и четвертая ноды кластера в существующую кластерную систему на второй площадке. Следует добавить, что кластерный интерконнект построен на базе пары свитчей CN1610.
В итоге.
- Мы получили схожие по производительности кластерные системы на обоих площадках:
- Это двухнодовый кластер на базе FAS6220
- И четырехнодовый кластер, построенный из контроллеров FAS3240.
А сейчас я расскажу о нескольких полезных фичах по использованию СХД.
Технология создания снэпшотов.
- Мы используем такие инструменты, как:
- SnapDrive и
- SnapManager for SQL Server
- Что позволило достичь следующих результатов:
- Время развертывания приложений уменьшилось в 20 раз (с 1 недели до 2 часов).
- - Экономия по месту составила более 89%.
Quality of Service
- Фича позволяет ограничивать активность ввода вывода на уровне тома, луна, vserver-а.
- В результате, совместное использование СХД для бизнес приложений, а также сред разработки и тестирования, позволяет выделить максимальный приоритет данным бизнес-приложений.
Эффективное использование дискового места.
- С помощью таких инструментов, как Thin provisioning мы можем выделять места больше, чем фактически имеется на СХД.
Дедупликация и компрессия данных при использовании на томах виртуальных машин позволяет экономить в среднем 68% дискового места.
- Мы успешно используем iSCSI-3 с функцией persistent reservation, а также опций space-allocation для луна и режим autosize grow_shrink для тома в следующих целях:
- В такие тома происходит развертывание виртуальных машин тестовых сред через App Controller.
- Данный функционал позволяет получить динамически расширяемые и сжимаемые тома на СХД.
Компания очень быстро растет и развивается.
- Непрерывно происходит запуск все новых и новых как внешних, так и внутренних проектов.
- Увеличивается количество бизнес- приложений.
- Что естественно приводит к росту объемов данных.
- В ближайшей перспективе мы планируем наращивать кластерные мощности наших СХД, увеличивать число «шпинделей» в системах.
- А также глубже интегрировать технологии для повышения эффективности использования СХД и работы компании в целом.