Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Использование Tarantool в
качестве платформы
виртуализации данных
Константин Осипов, kostja@tarantool.org
Сергей Мясников,...
Платформа Tarantool
●
in-memory СУБД для высокой
нагрузки
●
создана в Mail.Ru в 2008-2016 гг.
●
технология нового поколени...
Участники проекта
●
ПАО “Вымпелком” - заказчик
●
ООО “ЭйТи Консалтинг” - интеграция с системами
ПАО “Вымпелком”
●
ООО “Мэй...
Что такое data virtualization
A solution that sits in front of
multiple data sources and
allows them to be treated as
a si...
Применение DV
●
каноническое централизованное представление
данных
●
интегрированное управление бизнес процессами
●
модерн...
Проблемы подхода DV
●
производительность, т.к. платформа не является
первоисточником данных
●
дополнительная нагрузка на п...
Почему Вымпелком нужна DV
•
растёт сложность услуг и настроек ИТ систем
•
необходима централизация управления услугами
в 9...
Базовые требования к решению
●
проекция данных в единую логическую модель
●
хранение мастер-данных внутри самой системы
●
...
Уникальные требования Вымпелком
●
независимый жизненный цикл поставщиков и
потребителей данных
✔
версионирование схемы
✔
п...
Обзор рынка
●
Informatica Platform
●
Denodo Platform
●
Cisco Data Virtualization/ex. Composite
software
●
JBOSS Teiid
… вс...
Причины выбора поставщика
●
наличие экспертизы для создания решения под
заказ
●
опыт производства коробочного ПО
●
гаранти...
Компоненты системы
Как мы “обманули” природу
●
3 операции над данными: чтение, запись, уведомление
●
версионирование схемы данных в Avro Sche...
Результаты
●
снижение затрат на поддержку существующих
систем за счёт выноса общих данных в
обособленную систему
●
снижени...
Планы
✔
единый профиль клиента
✔
лента сообщений
✔
контроль каналов при общении с пользователем
✔
генератор параметризован...
Использование Tarantool в качестве платформы виртуализации данных / Константин Осипов (tarantool.org), Сергей Мясников (Вы...
Upcoming SlideShare
Loading in …5
×

Использование Tarantool в качестве платформы виртуализации данных / Константин Осипов (tarantool.org), Сергей Мясников (Вымпелком)

690 views

Published on

Инфраструктура хранения данных современного предприятия отражает историю развития бизнеса и индустрии и зачастую разнородна: проприетарные системы хранения и обработки данных, кэширующие системы, системы хранения данных для Интернет-сервисов.

Всё большее проникновение цифровых технологий в бизнес бросает вызов существующей IТ-инфраструктуре. Для сохранения имеющихся позиций на рынке необходимо обрабатывать всё большие объёмы всё быстрее меняющихся данных.

Проприетарные решения не отвечают этому вызову не только в технологической, но и в экономической составляющей: лицензионная политика, общая стоимость владения часто линейно зависят от объёма обрабатываемых данных, что является недопустимым в условиях шквального роста цифровой составляющей бизнеса.

Облачные решения недостаточно сформировались, с одной стороны, и ограничены в применении, с другой, особенно если речь идёт об обработке персональных данных, либо данных, имеющих жизненно
важное значение для бизнеса.

Единственным возможным на сегодняшний день ответом на вызов digital трансформации является внедрение решений с открытым исходным кодом.

В данном докладе будет изложен опыт такого внедрения в крупную компанию телекоммуникационной индустрии. Речь пойдёт о построении платформы виртуализации данных на основе решения Tarantool.

Преимуществами подхода виртуализации данных являются:
- безболезненная интеграция с существующей IТ-инфраструктурой, платформа может выступать в качестве высокопроизводительного "фасада" к существующим источникам данных;
- чрезвычайно высокая скорость работы с данными;
- возможность работать с данными, а не с ис

Published in: Engineering
  • Be the first to comment

Использование Tarantool в качестве платформы виртуализации данных / Константин Осипов (tarantool.org), Сергей Мясников (Вымпелком)

  1. 1. Использование Tarantool в качестве платформы виртуализации данных Константин Осипов, kostja@tarantool.org Сергей Мясников, smyasnikov@beeline.ru
  2. 2. Платформа Tarantool ● in-memory СУБД для высокой нагрузки ● создана в Mail.Ru в 2008-2016 гг. ● технология нового поколения, на основе последних исследований в области обработки транзакций ● полностью бесплатна (BSD)
  3. 3. Участники проекта ● ПАО “Вымпелком” - заказчик ● ООО “ЭйТи Консалтинг” - интеграция с системами ПАО “Вымпелком” ● ООО “Мэйл.Ру” - решение “под ключ” на платформе Tarantool
  4. 4. Что такое data virtualization A solution that sits in front of multiple data sources and allows them to be treated as a single JSON/SQL database
  5. 5. Применение DV ● каноническое централизованное представление данных ● интегрированное управление бизнес процессами ● модернизация и поддержка legacy приложений ● инструмент консолидации данных при M&A – поглощениях и слияниях
  6. 6. Проблемы подхода DV ● производительность, т.к. платформа не является первоисточником данных ● дополнительная нагрузка на первоисточники ● требует дополнительных ресурсов – оборудование, ПО ● не заменяет другие инструменты (ETL, BI, CRM, CSM)
  7. 7. Почему Вымпелком нужна DV • растёт сложность услуг и настроек ИТ систем • необходима централизация управления услугами в 90 регионах России • рынок требует интерактивной работы с клиентом • новым данным нет места в legacy системах ➔ нельзя просто взять и всё сразу переписать с нуля
  8. 8. Базовые требования к решению ● проекция данных в единую логическую модель ● хранение мастер-данных внутри самой системы ● кэширование данных ● контроль прав доступа ● отказоустойчивость 3-го уровня и выше
  9. 9. Уникальные требования Вымпелком ● независимый жизненный цикл поставщиков и потребителей данных ✔ версионирование схемы ✔ подключаемые источники данных ✔ поддержка старых клиентов ● контроль нагрузок на источники данных ● производительность 30 Krps на узел
  10. 10. Обзор рынка ● Informatica Platform ● Denodo Platform ● Cisco Data Virtualization/ex. Composite software ● JBOSS Teiid … всего более 20 enterprise вендоров (Forrester) ➔ решение под конкретного заказчика на основе open source технологий
  11. 11. Причины выбора поставщика ● наличие экспертизы для создания решения под заказ ● опыт производства коробочного ПО ● гарантия доработок основной технологии хранения (платформы Tarantool) под нас ● наименьшая общая стоимость владения
  12. 12. Компоненты системы
  13. 13. Как мы “обманули” природу ● 3 операции над данными: чтение, запись, уведомление ● версионирование схемы данных в Avro Schema ● общее представление объекта из нескольких источников ● любой объект – это набор независимых параметров ● подключаемые источники данных ● реконфигурация без downtime ● внешний интерфейс REST ● постраничное чтение, чтение связанных объектов ● оптимистичная транзакционная семантика ● справочник сервисов как БД нагрузочных профилей и профилей доступа
  14. 14. Результаты ● снижение затрат на поддержку существующих систем за счёт выноса общих данных в обособленную систему ● снижение удельной стоимости 1 rps ● сокращение сроков запуска продуктов
  15. 15. Планы ✔ единый профиль клиента ✔ лента сообщений ✔ контроль каналов при общении с пользователем ✔ генератор параметризованных сообщений ✔ однородный мониторинг бизнес-метрик

×