Обзор основных особенностей системы управления большими данными HP Vertica.

1. www.vittecon.ru
Обзор платформы HP Vertica

2. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Представьте, что на этом слайде приведена громкая цитата,
сопровождающаяся шокирующими данными о лавинообразном
росте информации в мире, необходимости ее структуризации и
анализа посредством решений уровня Big Data

3. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
HP Vertica - это специализированная база данных,
предназначенная для анализа большого объема
информации в режиме реального времени
Архитектурные особенности HP Vertica позволяют
обрабатывать и предоставлять информацию намного
быстрее и эффективнее, чем традиционные СУБД
• Повышение производительности в 10-
100 раз
• Высокая масштабируемость от TB к PB
• Простая интеграция с существующими
решениями ETL и BI
• Максимальная производительность
на доступной аппаратной платформе
• Высокая гибкость развертывания
• Простая лицензионная модель

4. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Особенности, позволяющие добиться таких результатов:
• Технология колоночного хранения
• Высокоэффективное сжатие
• Массово-параллельная архитектура (MPP)
• Встроенная поддержка высокой доступности (HA)
• Стандартный SQL интерфейс, коннекторы ODBC, JDBC или ADO.NET
• Автоматизированный Дизайнер БД
• Идеология «нулевого» администрирования

5. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Технология колоночного хранения
В таблицах традиционных (рядных) СУБД все данные хранятся построчно, тогда как в
таблицах колоночной СУБД таблицы являются совокупностью колонок, каждая из которых по
сути представляет собой таблицу из одного поля
Такой подход позволяет минимизировать затраты сервера доступа к данным на носителях и
ускорить выполнение аналитических запросов за счет чтения значений только тех полей,
которые участвуют в запросе
SELECT
avg(price)
FROM
tickstore
WHERE
symbol = ‘AAPL’
AND
date = ‘5/06/09’;

6. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Высокоэффективное сжатие
Вся информация в HP Vertica хранится в сжатом виде, при этом значительно увеличивается
скорость чтения данных с носителей
HP Vertica использует различные алгоритмы сжатия в зависимости от характера данных : Run-
Length Encoding (RLE), словарный метод, дифференцированный (для непрерывных типов данных)
За счет использования технологии колоночного хранения достигается максимальная
эффективность сжатия данных одного типа
Принцип RLE
В таблице со 100 млн записей, сделанных в течение 1 года, в
колонке "Дата" будет храниться не более 366 возможных значений.
Таким образом, для хранения на диске 100 млн. отсортированных
значений заменяются на 366 пар значений вида <дата, кол-во раз>.
При этом они занимают почти в 100 тыс. раз меньше места, что
также способствует повышению скорости выполнения запросов.

7. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Массово-параллельная архитектура (MPP)
Архитектура MPP предполагает возможность горизонтального масштабирования кластера
серверов с разделенной памятью для легкого наращивания мощностей при значительном
увеличении потоков загружаемых данных и количества ad-hoc запросов, в том числе в рамках
параллельных сессий
Узлы кластера HP Vertica представляют собой по сути пиринговую сеть, так как не содержат
разделяемых ресурсов и связанных с ними блокировок
Преимущества MPP
• Отсутствуют специализированные (критические) узлы
• Для загрузки данных и выполнения запросов может использоваться
любой узел
• Линейная масштабируемость
• Чем больше узлов, тем больше места для данных и выше общая
производительность
• Автоматическая репликация и восстановление после сбоев

8. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Встроенная поддержка высокой доступности (HA)
• При выходе узла кластера из строя продолжается загрузка данных и выполнение запросов
• Необходимость ведения журналов и восстановления данных на их основе отсутствует
• Для обеспечения отказоустойчивости данные зеркалируются между узлами кластера
• Пропавшие данные восстанавливаются с оставшихся узлов кластера
Кластер HP Vertica из 3 узлов
Благодаря специальному механизму
K-Safety устройство кластера HP
Vertica функционально подобно
устройству RAID массивов

9. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Стандартный SQL интерфейс
HP Vertica поддерживает стандарт ANSI SQL-99 и его аналитические расширения с целью минимизации затрат
при интеграции с существующими инструментами BI и ETL
HP Vertica обладает всеми стандартными драйверами доступа к данным - ODBC, JDBC, ADO.NET, Python
Также HP Vertica оснащен набором штатных средств пакетной загрузки данных, которые можно расширять
собственными парсерами, фильтрами и валидаторами
Массовая и поточная
загрузка
ETL, Replication, Data Quality
SQL
ODBC, JDBC, .NET
Analytics, Reporting

10. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Автоматический дизайнер БД
HP Vertica поставляется с заранее сконфигурированными настройками и ПО Database Designer,
предназначенным для автоматизации адаптации системы под требования заказчика
HP Vertica Database Designer позволяет значительно минимизировать усилия администраторов,
связанные с физическим дизайном и оптимизацией баз данных
HP Vertica Database Designer:
• анализирует существующие логические схемы, статистическую информацию о загруженных данных и
используемые запросы (опционально)
• создает макет дизайна физической схемы (проекции) в форме сценариев SQL, которая может быть
выполнена как автоматически, так и вручную
• не требует специализированных знаний в области проектирования баз данных
• может запускаться в любое время для дополнительной оптимизации без остановки баз данных

11. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Идеология «нулевого» администрирования
Близость к идеологии "нулевого" администрирования достигается за счет архитектуры MPP,
наличия механизмов автоматической оптимизации, секционирования таблиц, определения
сортировки хранения записей в таблицах, созданием к таблицам дополнительных
оптимизированных моделей (проекций), а также распределением нагрузок через пулы ресурсов
Вместо выделенной штатной единицы постоянного администратора возможно удаленное
администрирование сервера или администрирование архитектором, разработчиком ETL или BI
Администрирование HP Vertica сводится к следующему:
• Управление ролями и пользователями
• Управление нагрузками на кластер - распределение ресурсов серверов HP Vertica по пулам ресурсов
• Управление серверами кластера - добавление новых серверов в кластер, их замена или удаление
• Восстановление работы кластера при помощи автоматизированной утилиты, позволяющей запустить или
заменить сбойный сервер
• Обновление версии сервера путем размещения дистрибутива на один из серверов HP Vertica, временной
остановки сервера HP Vertica, запуска инсталляции обновления и обратного старта сервера HP Vertica
• Оптимизация запросов при помощи HP Vertica Database Designer

12. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Программно-аппаратное обеспечение HP Vertica
• Процессоры – x86-64 (Intel/AMD)
• Хранилище – SAS, SATA, SAN, SSD
• Сеть – Gigabit Ethernet
• ОС – Linux
RHEL
SUSE
Debian
CentOS
• При увеличении аппаратной платформы
дополнительные затраты на приобретение лицензий
HP Vertica не требуются
Quarter-Rack
1 BladeSystem c7000
10TB Vertica license
8 BL460c G7 server blades
96 cores
576GB RAM
1 MDS600
18.75TB usable capacity
Full-Rack
2 BladeSystem c7000
50TB Vertica license
32 BL460c G7 server
blades
384 cores
2304GB RAM
4 MDS600
75TB usable capacity
Half-Rack
1 BladeSystem c7000
20TB Vertica license
16 BL460c G7 server
blades
192 cores
1152GB RAM
2 MDS600
37.5TB usable capacity

13. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Лицензирование HP Vertica
Модель лицензирования HP Vertica определяется объемом исходных данных, при этом
никаких ограничений на использование технических средств не существует
Такая модель позволяет увеличить производительность кластера, просто докупив и
подключив к нему новые сервера, не тратясь на дополнительные лицензии
Приобретение дополнительных лицензий потребуется только при условии, что объем
исходных данных достиг планируемого при покупке лицензий объема и нет возможности
удалить устаревшие архивные данные с целью высвобождения места
Существует также бесплатная полноценная версия HP Vertica Community Edition,
позволяющая развернуть кластер из 3 серверов и загрузить в такое хранилище до 1 ТБ
«сырых» данных

14. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Экосистема HP Vertica

15. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Заказчики HP Vertica (более 360)

16. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Потенциальные заказчики
• Любые организации, оперирующие большими объемами данных при
формирования аналитической отчетности и испытывающие проблемы с
производительностью в настоящем, или ожидающие возникновения
подобных проблем в будущем (хранилище данных - узкое место). В
данном случае Vertica позиционируется как замена уже развернутого в
организации хранилища c миграцией на Vertica имеющихся в нем
данных с сохранением их логической структуры.
• Любые организации, планирующие внедрение хранилища данных в
рамках разработки решения BI с нуля.

17. Обзор платформы HP Vertica
Ай-Теко Бизнес Консалтинг
Использованные материалы
Презентационные, публицистические и технические материалы
портала HP Vertica – http://www.vertica.com
Публицистические материалы архитектора DWH
Алексея Константинова - http://ascrus.blogspot.ru/
Публицистические материалы порталов
А также иные источники информации