Документ обсуждает использование платформы Tarantool для виртуализации данных, разработанной для обработки больших объемов транзакций. Он описывает преимущества, такие как каноническое представление данных и интеграцию с бизнес-процессами, а также проблемы, включая производительность и дополнительную нагрузку на источники данных. Приводятся требования и решения для компании 'Вымпелком', а также перспективы дальнейшего развития системы.

1. Использование Tarantool в
качестве платформы
виртуализации данных
Константин Осипов, kostja@tarantool.org
Сергей Мясников, smyasnikov@beeline.ru

2. Платформа Tarantool
●
in-memory СУБД для высокой
нагрузки
●
создана в Mail.Ru в 2008-2016 гг.
●
технология нового поколения, на
основе последних исследований в
области обработки транзакций
●
полностью бесплатна (BSD)

3. Участники проекта
●
ПАО “Вымпелком” - заказчик
●
ООО “ЭйТи Консалтинг” - интеграция с системами
ПАО “Вымпелком”
●
ООО “Мэйл.Ру” - решение “под ключ” на платформе
Tarantool

4. Что такое data virtualization
A solution that sits in front of
multiple data sources and
allows them to be treated as
a single JSON/SQL
database

5. Применение DV
●
каноническое централизованное представление
данных
●
интегрированное управление бизнес процессами
●
модернизация и поддержка legacy приложений
●
инструмент консолидации данных при M&A –
поглощениях и слияниях

7. Проблемы подхода DV
●
производительность, т.к. платформа не является
первоисточником данных
●
дополнительная нагрузка на первоисточники
●
требует дополнительных ресурсов – оборудование,
ПО
●
не заменяет другие инструменты (ETL, BI, CRM,
CSM)

8. Почему Вымпелком нужна DV
•
растёт сложность услуг и настроек ИТ систем
•
необходима централизация управления услугами
в 90 регионах России
•
рынок требует интерактивной работы с клиентом
•
новым данным нет места в legacy системах
➔
нельзя просто взять и всё сразу переписать с нуля

9. Базовые требования к решению
●
проекция данных в единую логическую модель
●
хранение мастер-данных внутри самой системы
●
кэширование данных
●
контроль прав доступа
●
отказоустойчивость 3-го уровня и выше

10. Уникальные требования Вымпелком
●
независимый жизненный цикл поставщиков и
потребителей данных
✔
версионирование схемы
✔
подключаемые источники данных
✔
поддержка старых клиентов
●
контроль нагрузок на источники данных
●
производительность 30 Krps на узел

11. Обзор рынка
●
Informatica Platform
●
Denodo Platform
●
Cisco Data Virtualization/ex. Composite
software
●
JBOSS Teiid
… всего более 20 enterprise вендоров
(Forrester)
➔
решение под конкретного заказчика на
основе open source технологий

12. Причины выбора поставщика
●
наличие экспертизы для создания решения под
заказ
●
опыт производства коробочного ПО
●
гарантия доработок основной технологии хранения
(платформы Tarantool) под нас
●
наименьшая общая стоимость владения

13. Компоненты системы

14. Как мы “обманули” природу
●
3 операции над данными: чтение, запись, уведомление
●
версионирование схемы данных в Avro Schema
●
общее представление объекта из нескольких источников
●
любой объект – это набор независимых параметров
●
подключаемые источники данных
●
реконфигурация без downtime
●
внешний интерфейс REST
●
постраничное чтение, чтение связанных объектов
●
оптимистичная транзакционная семантика
●
справочник сервисов как БД нагрузочных профилей и профилей
доступа

15. Результаты
●
снижение затрат на поддержку существующих
систем за счёт выноса общих данных в
обособленную систему
●
снижение удельной стоимости 1 rps
●
сокращение сроков запуска продуктов

16. Планы
✔
единый профиль клиента
✔
лента сообщений
✔
контроль каналов при общении с пользователем
✔
генератор параметризованных сообщений
✔
однородный мониторинг бизнес-метрик