Ontico, profile picture
Uploaded byOntico
PDF, PPTX728 views

Архитектура HAWQ / Алексей Грищенко (Pivotal)

Документ описывает архитектуру HAWQ, системы обработки данных на базе Hadoop, и ее компоненты, включая разъяснение работы, полезность и примеры использования. Также представлена информация о развитии HAWQ, ее кодовой базе и продуктивности. Внимание уделяется аналитическим возможностям и SQL-интерфейсу для бизнес-аналитики с различными примерами применения.

Embed presentation

Download as PDF, PPTX
1 / 143
2 / 143
3 / 143
4 / 143
5 / 143
6 / 143
7 / 143
8 / 143
9 / 143
10 / 143
11 / 143
12 / 143
13 / 143
14 / 143
15 / 143
16 / 143
17 / 143
18 / 143
19 / 143
20 / 143
21 / 143
22 / 143
23 / 143
24 / 143
25 / 143
26 / 143
27 / 143
28 / 143
29 / 143
30 / 143
31 / 143
32 / 143
33 / 143
34 / 143
35 / 143
36 / 143
37 / 143
38 / 143
39 / 143
40 / 143
41 / 143
42 / 143
43 / 143
44 / 143
45 / 143
46 / 143
47 / 143
48 / 143
49 / 143
50 / 143
51 / 143
52 / 143
53 / 143
54 / 143
55 / 143
56 / 143
57 / 143
58 / 143
59 / 143
60 / 143
61 / 143
62 / 143
63 / 143
64 / 143
65 / 143
66 / 143
67 / 143
68 / 143
69 / 143
70 / 143
71 / 143
72 / 143
73 / 143
74 / 143
75 / 143
76 / 143
77 / 143
78 / 143
79 / 143
80 / 143
81 / 143
82 / 143
83 / 143
84 / 143
85 / 143
86 / 143
87 / 143
88 / 143
89 / 143
90 / 143
91 / 143
92 / 143
93 / 143
94 / 143
95 / 143
96 / 143
97 / 143
98 / 143
99 / 143
100 / 143
101 / 143
102 / 143
103 / 143
104 / 143
105 / 143
106 / 143
107 / 143
108 / 143
109 / 143
110 / 143
111 / 143
112 / 143
113 / 143
114 / 143
115 / 143
116 / 143
117 / 143
118 / 143
119 / 143
120 / 143
121 / 143
122 / 143
123 / 143
124 / 143
125 / 143
126 / 143
127 / 143
128 / 143
129 / 143
130 / 143
131 / 143
132 / 143
133 / 143
134 / 143
135 / 143
136 / 143
137 / 143
138 / 143
139 / 143
140 / 143
141 / 143
142 / 143
143 / 143
Архитектура HAWQ Грищенко Алексей
Кто я? Enterprise Architect @ Pivotal •  7 лет в задачах обработки данных •  5 лет с MPP-системами •  4 года с Hadoop •  HAWQ - с первой beta •  Отвечаю за архитектуру всех внедрений HAWQ и Greenplum в EMEA •  Spark contributor •  http://0x0fff.com
О чем расскажу? •  Что такое HAWQ
О чем расскажу? •  Что такое HAWQ •  Зачем он нужен
О чем расскажу? •  Что такое HAWQ •  Зачем он нужен •  Из каких компонент он состоит
О чем расскажу? •  Что такое HAWQ •  Зачем он нужен •  Из каких компонент он состоит •  Как он работает
О чем расскажу? •  Что такое HAWQ •  Зачем он нужен •  Из каких компонент он состоит •  Как он работает •  Пример выполнения запроса
О чем расскажу? •  Что такое HAWQ •  Зачем он нужен •  Из каких компонент он состоит •  Как он работает •  Пример выполнения запроса •  Альтернативные решения
Что такое •  Аналитический движок SQL-on-Hadoop
Что такое •  Аналитический движок SQL-on-Hadoop •  HAdoop With Queries
Что такое •  Аналитический движок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2
Что такое •  Аналитический движок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2 2009 Rebase Postgres 8.2.15
Что такое •  Аналитический движок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2 2009 Rebase Postgres 8.2.15 2011 Fork GPDB 4.2.0.0
Что такое •  Аналитический движок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2 2009 Rebase Postgres 8.2.15 2011 Fork GPDB 4.2.0.0 2013 HAWQ 1.0.0.0
Что такое •  Аналитический движок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2 2009 Rebase Postgres 8.2.15 2011 Fork GPDB 4.2.0.0 2013 HAWQ 1.0.0.0 HAWQ 2.0.0.0 Open Source 2015
HAWQ – это … •  1’500’000 строк кода C и C++
HAWQ – это … •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах
HAWQ – это … •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python
HAWQ – это … •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java
HAWQ – это … •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java •  23’000 строк Makefile’ов
HAWQ – это … •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java •  23’000 строк Makefile’ов •  7’000 строк shell-скриптов
HAWQ – это … •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java •  23’000 строк Makefile’ов •  7’000 строк shell-скриптов •  Более 50 корпоративных клиентов
HAWQ – это … •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java •  23’000 строк Makefile’ов •  7’000 строк shell-скриптов •  Более 50 корпоративных клиентов –  Из них более 10 в EMEA
Apache HAWQ •  Apache HAWQ (incubating) с 09’2015 –  http://hawq.incubator.apache.org –  https://github.com/apache/incubator-hawq •  Что находится в Open Source –  Исходники версии HAWQ 2.0 альфа –  Релиз HAWQ 2.0 бэта до конца 2015 года –  Релиз HAWQ 2.0 GA в начале 2016 •  Сообщество еще только зарождается – присоединяйтесь!
Зачем он нужен?
Зачем он нужен? •  Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003
Зачем он нужен? •  Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций
Зачем он нужен? •  Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций •  Универсальный инструмент для ad hoc аналитики
Зачем он нужен? •  Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций •  Универсальный инструмент для ad hoc аналитики –  Пример из практики – распарсить URL, выдернув из него имя хоста и протокол
Зачем он нужен? •  Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций •  Универсальный инструмент для ad hoc аналитики –  Пример из практики – распарсить URL, выдернув из него имя хоста и протокол •  Хорошая производительность
Зачем он нужен? •  Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций •  Универсальный инструмент для ad hoc аналитики –  Пример из практики – распарсить URL, выдернув из него имя хоста и протокол •  Хорошая производительность –  Сколько раз данные будут скинуты на HDD для выполнения SQL-запроса в Hive?
Кластер с HAWQ Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM Сервер 2 ZK JM Сервер 6 Datanode Сервер N Datanode Сервер 5 Datanode interconnect …
Кластер с HAWQ Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM Сервер 2 ZK JM Сервер 6 Datanode Сервер N Datanode Сервер 5 Datanode YARN NM YARN NM YARN NM YARN RM YARN App Timeline interconnect …
Кластер с HAWQ HAWQ Master Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM HAWQ Standby Сервер 2 ZK JM HAWQ Segment Сервер 6 Datanode HAWQ Segment Сервер N Datanode HAWQ Segment Сервер 5 Datanode YARN NM YARN NM YARN NM YARN RM YARN App Timeline interconnect …
Мастер Сервера Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM Сервер 2 ZK JM HAWQ Segment Сервер 6 Datanode HAWQ Segment Сервер N Datanode HAWQ Segment Сервер 5 Datanode YARN NM YARN NM YARN NM YARN RM YARN App Timeline interconnect … HAWQ Master HAWQ Standby
Мастер Сервера HAWQ Master Парсер запросов Оптимизатор запросов Глобальный менеджер ресурсов Менеджер транзакций Диспетчер процессов Каталог метаданных HAWQ Standby Master Парсер запросов Оптимизатор запросов Глобальный менеджер ресурсов Менеджер транзакций Диспетчер процессов Каталог метаданных WAL репл.
HAWQ Master HAWQ Standby Сегменты Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM Сервер 2 ZK JM Сервер 6 Datanode Сервер N Datanode Сервер 5 Datanode YARN NM YARN NM YARN NM YARN RM YARN App Timeline interconnect HAWQ Segment HAWQ Segment HAWQ Segment …
Сегменты HAWQ Segment Движок выполнения запросов libhdfs3 Расширения PXF HDFS Datanode Локальная ФС Директория для временных данных Логи YARN Node Manager
Метаданные •  Структура аналогична структуре каталога Postgres
Метаданные •  Структура аналогична структуре каталога Postgres •  Статистика
Метаданные •  Структура аналогична структуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице
Метаданные •  Структура аналогична структуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля
Метаданные •  Структура аналогична структуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля –  Гистограмма для каждого числового поля
Метаданные •  Структура аналогична структуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля –  Гистограмма для каждого числового поля –  Количество уникальных значений в поле
Метаданные •  Структура аналогична структуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля –  Гистограмма для каждого числового поля –  Количество уникальных значений в поле –  Количество null значений в поле
Метаданные •  Структура аналогична структуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля –  Гистограмма для каждого числового поля –  Количество уникальных значений в поле –  Количество null значений в поле –  Средний размер значения поля в байтах
Статистика Без статистики Join двух таблиц, сколько записей в результате?
Статистика Без статистики Join двух таблиц, сколько записей в результате? ü  От 0 до бесконечности
Статистика Без статистики Количество строк Join двух таблиц, сколько записей в результате? ü  От 0 до бесконечности Join двух таблиц по 1000 записей в каждой, сколько записей в результате?
Статистика Без статистики Количество строк Join двух таблиц, сколько записей в результате? ü  От 0 до бесконечности Join двух таблиц по 1000 записей в каждой, сколько записей в результате? ü  От 0 до 1’000’000
Статистика Без статистики Количество строк Гистограммы и MCV Join двух таблиц, сколько записей в результате? ü  От 0 до бесконечности Join двух таблиц по 1000 записей в каждой, сколько записей в результате? ü  От 0 до 1’000’000 Join двух таблиц по 1000 записей в каждой, с известной кардинальностью, гистограммой распределения, наиболее частыми значениями, количеством null?
Статистика Без статистики Количество строк Гистограммы и MCV Join двух таблиц, сколько записей в результате? ü  От 0 до бесконечности Join двух таблиц по 1000 записей в каждой, сколько записей в результате? ü  От 0 до 1’000’000 Join двух таблиц по 1000 записей в каждой, с известной кардинальностью, гистограммой распределения, наиболее частыми значениями, количеством null? ü  ~ От 500 до 1’500
Метаданные •  Информация о структуре таблицы ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90
Метаданные •  Информация о структуре таблицы –  Поля распределения ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90 hash(ID)
Метаданные •  Информация о структуре таблицы –  Поля распределения –  Количество hash bucket распределения ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90 hash(ID) ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90
Метаданные •  Информация о структуре таблицы –  Поля распределения –  Количество hash bucket распределения –  Партиционирование (hash, list, range) ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90 hash(ID) ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90
Метаданные •  Информация о структуре таблицы –  Поля распределения –  Количество hash bucket распределения –  Партиционирование (hash, list, range) •  Общие метаданные –  Пользователи и группы
Метаданные •  Информация о структуре таблицы –  Поля распределения –  Количество hash bucket распределения –  Партиционирование (hash, list, range) •  Общие метаданные –  Пользователи и группы –  Права доступа к объектам
Метаданные •  Информация о структуре таблицы –  Поля распределения –  Количество hash bucket распределения –  Партиционирование (hash, list, range) •  Общие метаданные –  Пользователи и группы –  Права доступа к объектам •  Хранимые процедуры –  PL/pgSQL, PL/Java, PL/Python, PL/Perl, PL/R
Оптимизатор Запросов •  Используется cost-based оптимизатор
Оптимизатор Запросов •  Используется cost-based оптимизатор •  Выбрать можно один из двух
Оптимизатор Запросов •  Используется cost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres
Оптимизатор Запросов •  Используется cost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres –  ORCA (Pivotal Query Optimizer) – разработан специально для HAWQ
Оптимизатор Запросов •  Используется cost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres –  ORCA (Pivotal Query Optimizer) – разработан специально для HAWQ •  Хинты оптимизатора работают как в Postgres
Оптимизатор Запросов •  Используется cost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres –  ORCA (Pivotal Query Optimizer) – разработан специально для HAWQ •  Хинты оптимизатора работают как в Postgres –  Включить/отключить определенную операцию
Оптимизатор Запросов •  Используется cost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres –  ORCA (Pivotal Query Optimizer) – разработан специально для HAWQ •  Хинты оптимизатора работают как в Postgres –  Включить/отключить определенную операцию –  Изменить веса базовых операций
Формат Хранения Какой формат хранения данных является наиболее оптимальным?
Формат Хранения Какой формат хранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности
Формат Хранения Какой формат хранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU
Формат Хранения Какой формат хранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU –  Минимальный объем занимаемого дискового пр-ва
Формат Хранения Какой формат хранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU –  Минимальный объем занимаемого дискового пр-ва –  Минимальное время извлечения записи по ключу
Формат Хранения Какой формат хранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU –  Минимальный объем занимаемого дискового пр-ва –  Минимальное время извлечения записи по ключу –  Минимальное время извлечения подмножества столбцов таблицы
Формат Хранения Какой формат хранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU –  Минимальный объем занимаемого дискового пр-ва –  Минимальное время извлечения записи по ключу –  Минимальное время извлечения подмножества столбцов таблицы –  что-то другое?
Формат Хранения •  Построчное хранение –  «Обрезанный» формат postgres •  Без toast •  Без ctid, xmin, xmax, cmin, cmax
Формат Хранения •  Построчное хранение –  «Обрезанный» формат postgres •  Без toast •  Без ctid, xmin, xmax, cmin, cmax –  Сжатие •  Без сжатия •  Quicklz •  Zlib уровни 1 - 9
Формат Хранения •  Apache Parquet –  Поколоночное хранение блоков последовательных строк (“row group”)
Формат Хранения •  Apache Parquet –  Поколоночное хранение блоков последовательных строк (“row group”) –  Сжатие •  Без сжатия •  Snappy •  Gzip уровни 1 – 9
Формат Хранения •  Apache Parquet –  Поколоночное хранение блоков последовательных строк (“row group”) –  Сжатие •  Без сжатия •  Snappy •  Gzip уровни 1 – 9 –  Размер “row group” и страницы задается для каждой таблицы отдельно
Разделение Ресурсов •  Два основных варианта
Разделение Ресурсов •  Два основных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге
Разделение Ресурсов •  Два основных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге –  YARN – HAWQ запрашивает выделение ресурсов у менеджера ресурсов YARN
Разделение Ресурсов •  Два основных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге –  YARN – HAWQ запрашивает выделение ресурсов у менеджера ресурсов YARN •  Гибкая утилизация кластера –  Запрос может выполняться на части нод
Разделение Ресурсов •  Два основных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге –  YARN – HAWQ запрашивает выделение ресурсов у менеджера ресурсов YARN •  Гибкая утилизация кластера –  Запрос может выполняться на части нод –  Запрос может иметь несколько потоков исполнения на каждой из нод
Разделение Ресурсов •  Два основных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге –  YARN – HAWQ запрашивает выделение ресурсов у менеджера ресурсов YARN •  Гибкая утилизация кластера –  Запрос может выполняться на части нод –  Запрос может иметь несколько потоков исполнения на каждой из нод –  Желаемый параллелизм можно задать вручную
Разделение Ресурсов •  Пулы ресурсов (Resource Queue) задают
Разделение Ресурсов •  Пулы ресурсов (Resource Queue) задают –  Количество параллельных запросов
Разделение Ресурсов •  Пулы ресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU
Разделение Ресурсов •  Пулы ресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти
Разделение Ресурсов •  Пулы ресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти –  Лимит по ядрам CPU
Разделение Ресурсов •  Пулы ресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти –  Лимит по ядрам CPU –  MIN/MAX потоков исполнения в целом по системе
Разделение Ресурсов •  Пулы ресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти –  Лимит по ядрам CPU –  MIN/MAX потоков исполнения в целом по системе –  MIN/MAX потоков исполнения на каждой ноде
Разделение Ресурсов •  Пулы ресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти –  Лимит по ядрам CPU –  MIN/MAX потоков исполнения в целом по системе –  MIN/MAX потоков исполнения на каждой ноде •  Задаются для пользователя или группы
Внешние Данные •  PXF –  Фреймворк для доступа к внешним данным –  Легко расширяется, многие пишут свои плагины –  Официальные плагины: CSV, SequenceFile, Avro, Hive, HBase –  Open Source плагины: JSON, Accumulo, Cassandra, JDBC, Redis, Pipe
Внешние Данные •  PXF –  Фреймворк для доступа к внешним данным –  Легко расширяется, многие пишут свои плагины –  Официальные плагины: CSV, SequenceFile, Avro, Hive, HBase –  Open Source плагины: JSON, Accumulo, Cassandra, JDBC, Redis, Pipe •  HCatalog –  HAWQ видит таблицы из HCatalog как свои внутренние таблицы
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM Движок Ресурсы Подготовка Исполнение Результат Завершение План
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Ресурсы Подготовка Исполнение Результат Завершение План
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Ресурсы Подготовка Исполнение Результат Завершение План
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Ресурсы Подготовка Исполнение Результат Завершение План
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Ресурсы Подготовка Исполнение Результат Завершение План
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Ресурсы Подготовка Исполнение Результат Завершение План
План Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Подготовка Исполнение Результат Завершение Ресурсы
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM План Подготовка Исполнение Результат Завершение Ресурсы
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера План Подготовка Исполнение Результат Завершение Ресурсы
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера План Подготовка Исполнение Результат Завершение Ресурсы
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера План Подготовка Исполнение Результат Завершение Ресурсы
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера QE QE QE QE QE План Подготовка Исполнение Результат Завершение Ресурсы
Ресурсы Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE План Исполнение Результат Завершение Подготовка
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Ресурсы План Исполнение Результат Завершение Подготовка
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Ресурсы План Исполнение Результат Завершение Подготовка
Подготовка Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Ресурсы План Результат Завершение Исполнение
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Подготовка Ресурсы План Результат Завершение Исполнение
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Подготовка Ресурсы План Результат Завершение Исполнение
Исполнение Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Подготовка Ресурсы План Завершение Результат
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Исполнение Подготовка Ресурсы План Завершение Результат
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Исполнение Подготовка Ресурсы План Завершение Результат
Результат Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Исполнение Подготовка Ресурсы План Завершение
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Ок Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Ок Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Ок Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Ок Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
Завершение Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM Движок Результат Исполнение Подготовка Ресурсы План
Скорость •  Данные не приземляются на диск без необходимости
Скорость •  Данные не приземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости
Скорость •  Данные не приземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости •  Данные передаются между нодами по UDP
Скорость •  Данные не приземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости •  Данные передаются между нодами по UDP •  Хороший стоимостной оптимизатор запросов
Скорость •  Данные не приземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости •  Данные передаются между нодами по UDP •  Хороший стоимостной оптимизатор запросов •  Оптимальность кода на C++
Скорость •  Данные не приземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости •  Данные передаются между нодами по UDP •  Хороший стоимостной оптимизатор запросов •  Оптимальность кода на C++ •  Гибкая настройка параллелизма
Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор
Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL
Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки
Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски
Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски Параллелизм
Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски Параллелизм Дистрибутивы
Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски Параллелизм Дистрибутивы Стабильность
Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски Параллелизм Дистрибутивы Стабильность Сообщество
Задачи •  Интеграция с AWS и S3
Задачи •  Интеграция с AWS и S3 •  Интеграция с Mesos
Задачи •  Интеграция с AWS и S3 •  Интеграция с Mesos •  Улучшение интеграции с Ambari
Задачи •  Интеграция с AWS и S3 •  Интеграция с Mesos •  Улучшение интеграции с Ambari •  Интеграция с дистрибутивами Cloudera, MapR, IBM
Задачи •  Интеграция с AWS и S3 •  Интеграция с Mesos •  Улучшение интеграции с Ambari •  Интеграция с дистрибутивами Cloudera, MapR, IBM •  Сделать самый быстрый и удобный движок SQL-on-Hadoop
Заключение •  Современный движок SQL-on-Hadoop •  Для анализа структурированных данных •  Объединяет в себе лучшие качества альтернативных решений •  Новичок среди open source •  Community на стадии зарождения Присоединяйтесь!
Вопросы Apache HAWQ http://hawq.incubator.apache.org dev@hawq.incubator.apache.org user@hawq.incubator.apache.org Связь со мной: http://0x0fff.com

More Related Content

PDF
Путь от монолита на PHP к микросервисам на Scala / Денис Иванов (2GIS)
byOntico
 
PDF
My talk at Highload++ 2015
byAlex Chistyakov
 
PDF
Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...
byOntico
 
PDF
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...
byOntico
 
PDF
Брокер сообщений Kafka в условиях повышенной нагрузки / Артём Выборнов (Rambl...
byOntico
 
PPTX
Dennis Anikin - Tarantool Case Studies in Mail.Ru Group
byMail.ru Group
 
PDF
Мониторинг и отладка MySQL: максимум информации при минимальных потерях
bySveta Smirnova
 
PDF
Android Cloud... точнее Cloud из Android / Охрименко Алексей (Acronis)
byOntico
 
Путь от монолита на PHP к микросервисам на Scala / Денис Иванов (2GIS)
byOntico
 
My talk at Highload++ 2015
byAlex Chistyakov
 
Семантическое ядро рунета - высоконагруженная сontent-based рекомендательная ...
byOntico
 
Tempesta FW: challenges, internals, use cases / Александр Крижановский (Tempe...
byOntico
 
Брокер сообщений Kafka в условиях повышенной нагрузки / Артём Выборнов (Rambl...
byOntico
 
Dennis Anikin - Tarantool Case Studies in Mail.Ru Group
byMail.ru Group
 
Мониторинг и отладка MySQL: максимум информации при минимальных потерях
bySveta Smirnova
 
Android Cloud... точнее Cloud из Android / Охрименко Алексей (Acronis)
byOntico
 

What's hot

PDF
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
byOntico
 
PPTX
MyRocks Табличный Движок для MySQL / Алексей Майков (Facebook) / Сергей Петру...
byOntico
 
PPTX
Docker в работе: взгляд на его использование в Badoo через год / Турецкий Ант...
byOntico
 
PDF
Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)
byOntico
 
PDF
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
byOntico
 
PPTX
Настройка и оптимизация высоконагруженных J2EE веб-приложений / Шамим Ахмед (...
byOntico
 
PDF
Rspamd — высокопроизводительная система фильтрации спама / Стахов Всеволод (U...
byOntico
 
PDF
Принципы и приёмы обработки очередей / Константин Осипов (Mail.ru)
byOntico
 
PPTX
Погружение в виртуальную память и большие страницы / Константин Новаковский (...
byOntico
 
PPTX
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
byOntico
 
PDF
Осваиваем Tarantool 1.6 / Евгений Шадрин (Sberbank Digital Ventures)
byOntico
 
PPTX
BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)
byOntico
 
PPTX
Дмитрий Меньшиков "Топ-10 фейлов на реальном highload проекте"
byFwdays
 
PDF
Обзор перспективных баз данных для highload / Юрий Насретдинов
byOntico
 
PDF
10 способов достижения HighLoad'а и BigData на ровном месте / Илья Космодемья...
byOntico
 
PDF
Балансировка нагрузки и отказоустойчивость в Одноклассниках
byOntico
 
PDF
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
byOntico
 
PDF
BigMemory - работа с сотнями миллионов бизнес-объектов / Дмитрий Хмаладзе (Ag...
byOntico
 
PPTX
Как ускорить MySQL Handler Socket в 9 раз / Александр Яковлев (Мамба)
byOntico
 
PDF
«Путь от монолита на PHP к микросервисам на Scala» – Денис Иванов, 2ГИС
by2ГИС Технологии
 
nginx.CHANGES.2015 / Игорь Сысоев, Валентин Бартенев (Nginx)
byOntico
 
MyRocks Табличный Движок для MySQL / Алексей Майков (Facebook) / Сергей Петру...
byOntico
 
Docker в работе: взгляд на его использование в Badoo через год / Турецкий Ант...
byOntico
 
Асинхронная репликация без цензуры, Олег Царёв (Mail.ru Group)
byOntico
 
One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...
byOntico
 
Настройка и оптимизация высоконагруженных J2EE веб-приложений / Шамим Ахмед (...
byOntico
 
Rspamd — высокопроизводительная система фильтрации спама / Стахов Всеволод (U...
byOntico
 
Принципы и приёмы обработки очередей / Константин Осипов (Mail.ru)
byOntico
 
Погружение в виртуальную память и большие страницы / Константин Новаковский (...
byOntico
 
Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)
byOntico
 
Осваиваем Tarantool 1.6 / Евгений Шадрин (Sberbank Digital Ventures)
byOntico
 
BigПочта: как мы строили DataLake в Почте России / Алексей Вовченко (Luxoft)
byOntico
 
Дмитрий Меньшиков "Топ-10 фейлов на реальном highload проекте"
byFwdays
 
Обзор перспективных баз данных для highload / Юрий Насретдинов
byOntico
 
10 способов достижения HighLoad'а и BigData на ровном месте / Илья Космодемья...
byOntico
 
Балансировка нагрузки и отказоустойчивость в Одноклассниках
byOntico
 
Open Source SQL-базы данных вступили в эру миллионов запросов в секунду / Фед...
byOntico
 
BigMemory - работа с сотнями миллионов бизнес-объектов / Дмитрий Хмаладзе (Ag...
byOntico
 
Как ускорить MySQL Handler Socket в 9 раз / Александр Яковлев (Мамба)
byOntico
 
«Путь от монолита на PHP к микросервисам на Scala» – Денис Иванов, 2ГИС
by2ГИС Технологии
 

Viewers also liked

PPT
Alexey Ragozin Ritconf Seda Ru
byrit2010
 
PDF
Инфраструктура – это часть вашего приложения, Александр Азимов (Qrator Labs)
byOntico
 
PPTX
Строим 24/7 DevOps центр на высоконагруженном проекте / Евгений Потапов (ITSu...
byOntico
 
PDF
Chef. кто на кухне хозяин. концепция devops. а,титов. зал 2
byrit2011
 
PDF
Scaling Networks with Segment Routing
byAPNIC
 
PDF
Segment Routing: фундамент для построения сетей SDN
byCisco Russia
 
PDF
Презентации. Во сколько они реально обходятся компании?
bySergey Gusarov
 
PDF
Построение автономных и управляемых сетей
byCisco Russia
 
PDF
Stateful PCE and Segment Routing
byAPNIC
 
PDF
Cергей Коржнев, 2ГИС
byOntico
 
PDF
Securing Internet Routing: RPSL & RPKI
byAPNIC
 
PDF
Segment Routing
byAPNIC
 
PPTX
TechWiseTV Workshop: Segment Routing for the Datacenter
byRobb Boyd
 
PDF
BGP Traffic Engineering with SDN Controller
byAPNIC
 
PDF
Advanced Topics and Future Directions in MPLS
byCisco Canada
 
PDF
Архитектура Segment Routing
byCisco Russia
 
PDF
SDN Traffic Engineering, A Natural Evolution
byAPNIC
 
PDF
Segment Routing Lab
byCisco Canada
 
PDF
Хайлоад и безопасность в мире DevOps: совместимы ли? / Юрий Колесов (security...
byOntico
 
PDF
Как строить архитектуру для отказоустойчивой службы такси / Минкин Андрей (Na...
byOntico
 
Alexey Ragozin Ritconf Seda Ru
byrit2010
 
Инфраструктура – это часть вашего приложения, Александр Азимов (Qrator Labs)
byOntico
 
Строим 24/7 DevOps центр на высоконагруженном проекте / Евгений Потапов (ITSu...
byOntico
 
Chef. кто на кухне хозяин. концепция devops. а,титов. зал 2
byrit2011
 
Scaling Networks with Segment Routing
byAPNIC
 
Segment Routing: фундамент для построения сетей SDN
byCisco Russia
 
Презентации. Во сколько они реально обходятся компании?
bySergey Gusarov
 
Построение автономных и управляемых сетей
byCisco Russia
 
Stateful PCE and Segment Routing
byAPNIC
 
Cергей Коржнев, 2ГИС
byOntico
 
Securing Internet Routing: RPSL & RPKI
byAPNIC
 
Segment Routing
byAPNIC
 
TechWiseTV Workshop: Segment Routing for the Datacenter
byRobb Boyd
 
BGP Traffic Engineering with SDN Controller
byAPNIC
 
Advanced Topics and Future Directions in MPLS
byCisco Canada
 
Архитектура Segment Routing
byCisco Russia
 
SDN Traffic Engineering, A Natural Evolution
byAPNIC
 
Segment Routing Lab
byCisco Canada
 
Хайлоад и безопасность в мире DevOps: совместимы ли? / Юрий Колесов (security...
byOntico
 
Как строить архитектуру для отказоустойчивой службы такси / Минкин Андрей (Na...
byOntico
 

Similar to Архитектура HAWQ / Алексей Грищенко (Pivotal)

PPTX
Архитектура Apache HAWQ Highload++ 2015
byAlexey Grishchenko
 
PPTX
Построение аналитического хранилища на 100 петабайт
byAlexander Mazurov
 
PPT
ADD2010: Обработка большого объема данных на платформеApache Hadoop
byVladimir Klimontovich
 
PDF
Расширяемость PostgreSQL для хакеров и архитекторов / Олег Бартунов, Александ...
byOntico
 
PPT
Hadoop in Wikimart. Part 1. Business
byRoman Zykov
 
PDF
Доклад Сергея Аверина на CodeFest-2013. "MySQL+HandlerSocket=NoSQL".
byBadoo Development
 
PPTX
Industrial Programming Java - Lection Pack 03 - Relational Databases - Lavren...
byFedor Lavrentyev
 
PDF
Сергей Аверин, То, что вы хотели знать о HandlerSocket, но не смогли нагуглить
byTanya Denisyuk
 
PDF
Hacking PostgreSQL. Обзор исходного кода
byAnastasia Lubennikova
 
PPTX
Try to be professional
byPeri Innovations
 
PDF
Cравнительный анализ хранилищ данных (Олег Царев, Кирилл Коринский)
byOntico
 
PDF
Cостав дистрибутва Hortonworks data platform 2.3
byЕвгений Плакса
 
PDF
владивосток форум новости технологий 2015
byElena Ometova
 
PDF
12 - Hadoop. HBase и Cassandra
byRoman Brovko
 
PDF
Практика миграции реляционных баз данных в экосистему Hadoop
byYury Petrov
 
PDF
Андрей Аксёнов, Sphinx Technologies Inc.
byOntico
 
PDF
Шаблоны C++ и базы данных. Сергей Федоров. CoreHard Spring 2019
bycorehard_by
 
PPTX
Расширение библиотеки Slick
byАрсений Жижелев
 
PDF
"Мы два месяца долбались, а потом построили индекс" (c) Аксенов
byAlex Chistyakov
 
PPTX
Sphinx 2013
byAndrew Aksyonoff
 
Архитектура Apache HAWQ Highload++ 2015
byAlexey Grishchenko
 
Построение аналитического хранилища на 100 петабайт
byAlexander Mazurov
 
ADD2010: Обработка большого объема данных на платформеApache Hadoop
byVladimir Klimontovich
 
Расширяемость PostgreSQL для хакеров и архитекторов / Олег Бартунов, Александ...
byOntico
 
Hadoop in Wikimart. Part 1. Business
byRoman Zykov
 
Доклад Сергея Аверина на CodeFest-2013. "MySQL+HandlerSocket=NoSQL".
byBadoo Development
 
Industrial Programming Java - Lection Pack 03 - Relational Databases - Lavren...
byFedor Lavrentyev
 
Сергей Аверин, То, что вы хотели знать о HandlerSocket, но не смогли нагуглить
byTanya Denisyuk
 
Hacking PostgreSQL. Обзор исходного кода
byAnastasia Lubennikova
 
Try to be professional
byPeri Innovations
 
Cравнительный анализ хранилищ данных (Олег Царев, Кирилл Коринский)
byOntico
 
Cостав дистрибутва Hortonworks data platform 2.3
byЕвгений Плакса
 
владивосток форум новости технологий 2015
byElena Ometova
 
12 - Hadoop. HBase и Cassandra
byRoman Brovko
 
Практика миграции реляционных баз данных в экосистему Hadoop
byYury Petrov
 
Андрей Аксёнов, Sphinx Technologies Inc.
byOntico
 
Шаблоны C++ и базы данных. Сергей Федоров. CoreHard Spring 2019
bycorehard_by
 
Расширение библиотеки Slick
byАрсений Жижелев
 
"Мы два месяца долбались, а потом построили индекс" (c) Аксенов
byAlex Chistyakov
 
Sphinx 2013
byAndrew Aksyonoff
 

More from Ontico

PDF
Масштабируя DNS / Артем Гавриченков (Qrator Labs)
byOntico
 
PDF
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
byOntico
 
PDF
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
byOntico
 
PDF
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
byOntico
 
PDF
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...
byOntico
 
PDF
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...
byOntico
 
PPTX
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)
byOntico
 
PPTX
MySQL Replication — Advanced Features / Петр Зайцев (Percona)
byOntico
 
PDF
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...
byOntico
 
PPTX
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...
byOntico
 
PPTX
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...
byOntico
 
PDF
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)
byOntico
 
PPT
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)
byOntico
 
PPTX
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)
byOntico
 
PPTX
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)
byOntico
 
PPTX
100500 способов кэширования в Oracle Database или как достичь максимальной ск...
byOntico
 
PPTX
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...
byOntico
 
PDF
Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...
byOntico
 
PDF
Как мы учились чинить самолеты в воздухе / Евгений Коломеец (Virtuozzo)
byOntico
 
PPTX
Java и Linux — особенности эксплуатации / Алексей Рагозин (Дойче Банк)
byOntico
 
Масштабируя DNS / Артем Гавриченков (Qrator Labs)
byOntico
 
Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...
byOntico
 
Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...
byOntico
 
PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)
byOntico
 
Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...
byOntico
 
Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...
byOntico
 
ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)
byOntico
 
MySQL Replication — Advanced Features / Петр Зайцев (Percona)
byOntico
 
Внутренний open-source. Как разрабатывать мобильное приложение большим количе...
byOntico
 
Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...
byOntico
 
Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...
byOntico
 
Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)
byOntico
 
И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)
byOntico
 
Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)
byOntico
 
Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)
byOntico
 
100500 способов кэширования в Oracle Database или как достичь максимальной ск...
byOntico
 
Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...
byOntico
 
Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...
byOntico
 
Как мы учились чинить самолеты в воздухе / Евгений Коломеец (Virtuozzo)
byOntico
 
Java и Linux — особенности эксплуатации / Алексей Рагозин (Дойче Банк)
byOntico
 

Архитектура HAWQ / Алексей Грищенко (Pivotal)

  • 1.
  • 2.
    Кто я? Enterprise Architect@ Pivotal •  7 лет в задачах обработки данных •  5 лет с MPP-системами •  4 года с Hadoop •  HAWQ - с первой beta •  Отвечаю за архитектуру всех внедрений HAWQ и Greenplum в EMEA •  Spark contributor •  http://0x0fff.com
  • 3.
    О чем расскажу? • Что такое HAWQ
  • 4.
    О чем расскажу? • Что такое HAWQ •  Зачем он нужен
  • 5.
    О чем расскажу? • Что такое HAWQ •  Зачем он нужен •  Из каких компонент он состоит
  • 6.
    О чем расскажу? • Что такое HAWQ •  Зачем он нужен •  Из каких компонент он состоит •  Как он работает
  • 7.
    О чем расскажу? • Что такое HAWQ •  Зачем он нужен •  Из каких компонент он состоит •  Как он работает •  Пример выполнения запроса
  • 8.
    О чем расскажу? • Что такое HAWQ •  Зачем он нужен •  Из каких компонент он состоит •  Как он работает •  Пример выполнения запроса •  Альтернативные решения
  • 9.
  • 10.
    Что такое •  Аналитическийдвижок SQL-on-Hadoop •  HAdoop With Queries
  • 11.
    Что такое •  Аналитическийдвижок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2
  • 12.
    Что такое •  Аналитическийдвижок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2 2009 Rebase Postgres 8.2.15
  • 13.
    Что такое •  Аналитическийдвижок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2 2009 Rebase Postgres 8.2.15 2011 Fork GPDB 4.2.0.0
  • 14.
    Что такое •  Аналитическийдвижок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2 2009 Rebase Postgres 8.2.15 2011 Fork GPDB 4.2.0.0 2013 HAWQ 1.0.0.0
  • 15.
    Что такое •  Аналитическийдвижок SQL-on-Hadoop •  HAdoop With Queries Postgres Greenplum HAWQ 2005 Fork Postgres 8.0.2 2009 Rebase Postgres 8.2.15 2011 Fork GPDB 4.2.0.0 2013 HAWQ 1.0.0.0 HAWQ 2.0.0.0 Open Source 2015
  • 16.
    HAWQ – это… •  1’500’000 строк кода C и C++
  • 17.
    HAWQ – это… •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах
  • 18.
    HAWQ – это… •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python
  • 19.
    HAWQ – это… •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java
  • 20.
    HAWQ – это… •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java •  23’000 строк Makefile’ов
  • 21.
    HAWQ – это… •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java •  23’000 строк Makefile’ов •  7’000 строк shell-скриптов
  • 22.
    HAWQ – это… •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java •  23’000 строк Makefile’ов •  7’000 строк shell-скриптов •  Более 50 корпоративных клиентов
  • 23.
    HAWQ – это… •  1’500’000 строк кода C и C++ –  Из которых 200’000 только в заголовочных файлах •  180’000 строк кода Python •  60’000 строк кода Java •  23’000 строк Makefile’ов •  7’000 строк shell-скриптов •  Более 50 корпоративных клиентов –  Из них более 10 в EMEA
  • 24.
    Apache HAWQ •  ApacheHAWQ (incubating) с 09’2015 –  http://hawq.incubator.apache.org –  https://github.com/apache/incubator-hawq •  Что находится в Open Source –  Исходники версии HAWQ 2.0 альфа –  Релиз HAWQ 2.0 бэта до конца 2015 года –  Релиз HAWQ 2.0 GA в начале 2016 •  Сообщество еще только зарождается – присоединяйтесь!
  • 25.
  • 26.
    Зачем он нужен? • Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003
  • 27.
    Зачем он нужен? • Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций
  • 28.
    Зачем он нужен? • Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций •  Универсальный инструмент для ad hoc аналитики
  • 29.
    Зачем он нужен? • Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций •  Универсальный инструмент для ad hoc аналитики –  Пример из практики – распарсить URL, выдернув из него имя хоста и протокол
  • 30.
    Зачем он нужен? • Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций •  Универсальный инструмент для ad hoc аналитики –  Пример из практики – распарсить URL, выдернув из него имя хоста и протокол •  Хорошая производительность
  • 31.
    Зачем он нужен? • Универсальный SQL-интерфейс к данным Hadoop для BI с ANSI SQL-92, -99, -2003 –  Пример из практики – запрос Cognos на 5000 строк с множеством оконных функций •  Универсальный инструмент для ad hoc аналитики –  Пример из практики – распарсить URL, выдернув из него имя хоста и протокол •  Хорошая производительность –  Сколько раз данные будут скинуты на HDD для выполнения SQL-запроса в Hive?
  • 32.
    Кластер с HAWQ Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM Сервер 2 ZK JM Сервер 6 Datanode Сервер N Datanode Сервер 5 Datanode interconnect …
  • 33.
    Кластер с HAWQ Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM Сервер 2 ZK JM Сервер 6 Datanode Сервер N Datanode Сервер 5 Datanode YARN NM YARN NM YARN NM YARN RM YARN App Timeline interconnect …
  • 34.
    Кластер с HAWQ HAWQ Master Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM HAWQ Standby Сервер 2 ZK JM HAWQ Segment Сервер 6 Datanode HAWQ Segment Сервер N Datanode HAWQ Segment Сервер 5 Datanode YARN NM YARN NM YARN NM YARN RM YARN App Timeline interconnect …
  • 35.
    Мастер Сервера Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM Сервер 2 ZK JM HAWQ Segment Сервер 6 Datanode HAWQ Segment Сервер N Datanode HAWQ Segment Сервер 5 Datanode YARN NM YARN NM YARN NM YARN RM YARN App Timeline interconnect … HAWQ Master HAWQ Standby
  • 36.
  • 37.
    HAWQ Master HAWQ Standby Сегменты Сервер 1 SNameNode Сервер 4 ZK JM NameNode Сервер 3 ZK JM Сервер 2 ZK JM Сервер 6 Datanode Сервер N Datanode Сервер 5 Datanode YARN NM YARN NM YARN NM YARN RM YARN App Timeline interconnect HAWQ Segment HAWQ Segment HAWQ Segment …
  • 38.
  • 39.
    Метаданные •  Структура аналогичнаструктуре каталога Postgres
  • 40.
    Метаданные •  Структура аналогичнаструктуре каталога Postgres •  Статистика
  • 41.
    Метаданные •  Структура аналогичнаструктуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице
  • 42.
    Метаданные •  Структура аналогичнаструктуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля
  • 43.
    Метаданные •  Структура аналогичнаструктуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля –  Гистограмма для каждого числового поля
  • 44.
    Метаданные •  Структура аналогичнаструктуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля –  Гистограмма для каждого числового поля –  Количество уникальных значений в поле
  • 45.
    Метаданные •  Структура аналогичнаструктуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля –  Гистограмма для каждого числового поля –  Количество уникальных значений в поле –  Количество null значений в поле
  • 46.
    Метаданные •  Структура аналогичнаструктуре каталога Postgres •  Статистика –  Количество записей и страниц в таблице –  Наиболее частые значения для каждого поля –  Гистограмма для каждого числового поля –  Количество уникальных значений в поле –  Количество null значений в поле –  Средний размер значения поля в байтах
  • 47.
    Статистика Без статистики Join двухтаблиц, сколько записей в результате?
  • 48.
    Статистика Без статистики Join двухтаблиц, сколько записей в результате? ü  От 0 до бесконечности
  • 49.
    Статистика Без статистики Количество строк Joinдвух таблиц, сколько записей в результате? ü  От 0 до бесконечности Join двух таблиц по 1000 записей в каждой, сколько записей в результате?
  • 50.
    Статистика Без статистики Количество строк Joinдвух таблиц, сколько записей в результате? ü  От 0 до бесконечности Join двух таблиц по 1000 записей в каждой, сколько записей в результате? ü  От 0 до 1’000’000
  • 51.
    Статистика Без статистики Количество строк Гистограммыи MCV Join двух таблиц, сколько записей в результате? ü  От 0 до бесконечности Join двух таблиц по 1000 записей в каждой, сколько записей в результате? ü  От 0 до 1’000’000 Join двух таблиц по 1000 записей в каждой, с известной кардинальностью, гистограммой распределения, наиболее частыми значениями, количеством null?
  • 52.
    Статистика Без статистики Количество строк Гистограммыи MCV Join двух таблиц, сколько записей в результате? ü  От 0 до бесконечности Join двух таблиц по 1000 записей в каждой, сколько записей в результате? ü  От 0 до 1’000’000 Join двух таблиц по 1000 записей в каждой, с известной кардинальностью, гистограммой распределения, наиболее частыми значениями, количеством null? ü  ~ От 500 до 1’500
  • 53.
    Метаданные •  Информация оструктуре таблицы ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90
  • 54.
    Метаданные •  Информация оструктуре таблицы –  Поля распределения ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90 hash(ID)
  • 55.
    Метаданные •  Информация оструктуре таблицы –  Поля распределения –  Количество hash bucket распределения ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90 hash(ID) ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90
  • 56.
    Метаданные •  Информация оструктуре таблицы –  Поля распределения –  Количество hash bucket распределения –  Партиционирование (hash, list, range) ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90 hash(ID) ID Name Num Price 1 Яблоко 10 50 2 Груша 20 80 3 Банан 40 40 4 Апельсин 25 50 5 Киви 5 120 6 Арбуз 20 30 7 Дыня 40 100 8 Ананас 35 90
  • 57.
    Метаданные •  Информация оструктуре таблицы –  Поля распределения –  Количество hash bucket распределения –  Партиционирование (hash, list, range) •  Общие метаданные –  Пользователи и группы
  • 58.
    Метаданные •  Информация оструктуре таблицы –  Поля распределения –  Количество hash bucket распределения –  Партиционирование (hash, list, range) •  Общие метаданные –  Пользователи и группы –  Права доступа к объектам
  • 59.
    Метаданные •  Информация оструктуре таблицы –  Поля распределения –  Количество hash bucket распределения –  Партиционирование (hash, list, range) •  Общие метаданные –  Пользователи и группы –  Права доступа к объектам •  Хранимые процедуры –  PL/pgSQL, PL/Java, PL/Python, PL/Perl, PL/R
  • 60.
  • 61.
    Оптимизатор Запросов •  Используетсяcost-based оптимизатор •  Выбрать можно один из двух
  • 62.
    Оптимизатор Запросов •  Используетсяcost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres
  • 63.
    Оптимизатор Запросов •  Используетсяcost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres –  ORCA (Pivotal Query Optimizer) – разработан специально для HAWQ
  • 64.
    Оптимизатор Запросов •  Используетсяcost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres –  ORCA (Pivotal Query Optimizer) – разработан специально для HAWQ •  Хинты оптимизатора работают как в Postgres
  • 65.
    Оптимизатор Запросов •  Используетсяcost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres –  ORCA (Pivotal Query Optimizer) – разработан специально для HAWQ •  Хинты оптимизатора работают как в Postgres –  Включить/отключить определенную операцию
  • 66.
    Оптимизатор Запросов •  Используетсяcost-based оптимизатор •  Выбрать можно один из двух –  Planner – модифицированный оптимизатор Postgres –  ORCA (Pivotal Query Optimizer) – разработан специально для HAWQ •  Хинты оптимизатора работают как в Postgres –  Включить/отключить определенную операцию –  Изменить веса базовых операций
  • 67.
    Формат Хранения Какой форматхранения данных является наиболее оптимальным?
  • 68.
    Формат Хранения Какой форматхранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности
  • 69.
    Формат Хранения Какой форматхранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU
  • 70.
    Формат Хранения Какой форматхранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU –  Минимальный объем занимаемого дискового пр-ва
  • 71.
    Формат Хранения Какой форматхранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU –  Минимальный объем занимаемого дискового пр-ва –  Минимальное время извлечения записи по ключу
  • 72.
    Формат Хранения Какой форматхранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU –  Минимальный объем занимаемого дискового пр-ва –  Минимальное время извлечения записи по ключу –  Минимальное время извлечения подмножества столбцов таблицы
  • 73.
    Формат Хранения Какой форматхранения данных является наиболее оптимальным? ü  Зависит от того, что является для вас критерием оптимальности –  Минимальное потребление ресурсов CPU –  Минимальный объем занимаемого дискового пр-ва –  Минимальное время извлечения записи по ключу –  Минимальное время извлечения подмножества столбцов таблицы –  что-то другое?
  • 74.
    Формат Хранения •  Построчноехранение –  «Обрезанный» формат postgres •  Без toast •  Без ctid, xmin, xmax, cmin, cmax
  • 75.
    Формат Хранения •  Построчноехранение –  «Обрезанный» формат postgres •  Без toast •  Без ctid, xmin, xmax, cmin, cmax –  Сжатие •  Без сжатия •  Quicklz •  Zlib уровни 1 - 9
  • 76.
    Формат Хранения •  ApacheParquet –  Поколоночное хранение блоков последовательных строк (“row group”)
  • 77.
    Формат Хранения •  ApacheParquet –  Поколоночное хранение блоков последовательных строк (“row group”) –  Сжатие •  Без сжатия •  Snappy •  Gzip уровни 1 – 9
  • 78.
    Формат Хранения •  ApacheParquet –  Поколоночное хранение блоков последовательных строк (“row group”) –  Сжатие •  Без сжатия •  Snappy •  Gzip уровни 1 – 9 –  Размер “row group” и страницы задается для каждой таблицы отдельно
  • 79.
    Разделение Ресурсов •  Дваосновных варианта
  • 80.
    Разделение Ресурсов •  Дваосновных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге
  • 81.
    Разделение Ресурсов •  Дваосновных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге –  YARN – HAWQ запрашивает выделение ресурсов у менеджера ресурсов YARN
  • 82.
    Разделение Ресурсов •  Дваосновных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге –  YARN – HAWQ запрашивает выделение ресурсов у менеджера ресурсов YARN •  Гибкая утилизация кластера –  Запрос может выполняться на части нод
  • 83.
    Разделение Ресурсов •  Дваосновных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге –  YARN – HAWQ запрашивает выделение ресурсов у менеджера ресурсов YARN •  Гибкая утилизация кластера –  Запрос может выполняться на части нод –  Запрос может иметь несколько потоков исполнения на каждой из нод
  • 84.
    Разделение Ресурсов •  Дваосновных варианта –  Независимое разделение – HAWQ и YARN не знают друг о друге –  YARN – HAWQ запрашивает выделение ресурсов у менеджера ресурсов YARN •  Гибкая утилизация кластера –  Запрос может выполняться на части нод –  Запрос может иметь несколько потоков исполнения на каждой из нод –  Желаемый параллелизм можно задать вручную
  • 85.
    Разделение Ресурсов •  Пулыресурсов (Resource Queue) задают
  • 86.
    Разделение Ресурсов •  Пулыресурсов (Resource Queue) задают –  Количество параллельных запросов
  • 87.
    Разделение Ресурсов •  Пулыресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU
  • 88.
    Разделение Ресурсов •  Пулыресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти
  • 89.
    Разделение Ресурсов •  Пулыресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти –  Лимит по ядрам CPU
  • 90.
    Разделение Ресурсов •  Пулыресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти –  Лимит по ядрам CPU –  MIN/MAX потоков исполнения в целом по системе
  • 91.
    Разделение Ресурсов •  Пулыресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти –  Лимит по ядрам CPU –  MIN/MAX потоков исполнения в целом по системе –  MIN/MAX потоков исполнения на каждой ноде
  • 92.
    Разделение Ресурсов •  Пулыресурсов (Resource Queue) задают –  Количество параллельных запросов –  Приоритет на использование CPU –  Лимит по памяти –  Лимит по ядрам CPU –  MIN/MAX потоков исполнения в целом по системе –  MIN/MAX потоков исполнения на каждой ноде •  Задаются для пользователя или группы
  • 93.
    Внешние Данные •  PXF – Фреймворк для доступа к внешним данным –  Легко расширяется, многие пишут свои плагины –  Официальные плагины: CSV, SequenceFile, Avro, Hive, HBase –  Open Source плагины: JSON, Accumulo, Cassandra, JDBC, Redis, Pipe
  • 94.
    Внешние Данные •  PXF – Фреймворк для доступа к внешним данным –  Легко расширяется, многие пишут свои плагины –  Официальные плагины: CSV, SequenceFile, Avro, Hive, HBase –  Open Source плагины: JSON, Accumulo, Cassandra, JDBC, Redis, Pipe •  HCatalog –  HAWQ видит таблицы из HCatalog как свои внутренние таблицы
  • 95.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM Движок Ресурсы Подготовка Исполнение Результат Завершение План
  • 96.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Ресурсы Подготовка Исполнение Результат Завершение План
  • 97.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Ресурсы Подготовка Исполнение Результат Завершение План
  • 98.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Ресурсы Подготовка Исполнение Результат Завершение План
  • 99.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Ресурсы Подготовка Исполнение Результат Завершение План
  • 100.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Ресурсы Подготовка Исполнение Результат Завершение План
  • 101.
    План Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Подготовка Исполнение Результат Завершение Ресурсы
  • 102.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM План Подготовка Исполнение Результат Завершение Ресурсы
  • 103.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера План Подготовка Исполнение Результат Завершение Ресурсы
  • 104.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера План Подготовка Исполнение Результат Завершение Ресурсы
  • 105.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера План Подготовка Исполнение Результат Завершение Ресурсы
  • 106.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок Нужно 5 контейнеров Каждый по 1 ядру и 256 MB RAM Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера QE QE QE QE QE План Подготовка Исполнение Результат Завершение Ресурсы
  • 107.
    Ресурсы Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE План Исполнение Результат Завершение Подготовка
  • 108.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Ресурсы План Исполнение Результат Завершение Подготовка
  • 109.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Ресурсы План Исполнение Результат Завершение Подготовка
  • 110.
    Подготовка Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Ресурсы План Результат Завершение Исполнение
  • 111.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Подготовка Ресурсы План Результат Завершение Исполнение
  • 112.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Подготовка Ресурсы План Результат Завершение Исполнение
  • 113.
    Исполнение Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Подготовка Ресурсы План Завершение Результат
  • 114.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Исполнение Подготовка Ресурсы План Завершение Результат
  • 115.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE ScanBars b HashJoinb.name = s.bar ScanSells s Filterb.city ='San Francisco' Projects.beer, s.price MotionGather MotionRedist(b.name) Исполнение Подготовка Ресурсы План Завершение Результат
  • 116.
    Результат Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Исполнение Подготовка Ресурсы План Завершение
  • 117.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
  • 118.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Ок Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
  • 119.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Ок Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
  • 120.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Ок Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
  • 121.
    Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM QE Движок QE QE QE QE QE Ок Освобождаем Сервер 1: 2 контейнера Сервер 2: 1 контейнер Сервер N: 2 контейнера Результат Исполнение Подготовка Ресурсы План Завершение
  • 122.
    Завершение Жизненный Цикл Запроса HAWQ Master Метаданные Менедж. тр-й Парсер Опт. запросов Диспетч. проц. Менедж. рес-ов NameNode Сервер 1 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер 2 Локальная директория HAWQ Segment Движок HDFS Datanode Сервер N Локальная директория HAWQ Segment Движок HDFS Datanode YARN RM Движок Результат Исполнение Подготовка Ресурсы План
  • 123.
    Скорость •  Данные неприземляются на диск без необходимости
  • 124.
    Скорость •  Данные неприземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости
  • 125.
    Скорость •  Данные неприземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости •  Данные передаются между нодами по UDP
  • 126.
    Скорость •  Данные неприземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости •  Данные передаются между нодами по UDP •  Хороший стоимостной оптимизатор запросов
  • 127.
    Скорость •  Данные неприземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости •  Данные передаются между нодами по UDP •  Хороший стоимостной оптимизатор запросов •  Оптимальность кода на C++
  • 128.
    Скорость •  Данные неприземляются на диск без необходимости •  Данные не буферизируются на сегментах без необходимости •  Данные передаются между нодами по UDP •  Хороший стоимостной оптимизатор запросов •  Оптимальность кода на C++ •  Гибкая настройка параллелизма
  • 129.
  • 130.
    Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL
  • 131.
    Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки
  • 132.
    Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски
  • 133.
    Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски Параллелизм
  • 134.
    Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски Параллелизм Дистрибутивы
  • 135.
    Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски Параллелизм Дистрибутивы Стабильность
  • 136.
    Альтернативы Hive SparkSQL Impala HAWQ Оптимизатор ANSI SQL Встроенные языки Нагрузка на диски Параллелизм Дистрибутивы Стабильность Сообщество
  • 137.
  • 138.
    Задачи •  Интеграция сAWS и S3 •  Интеграция с Mesos
  • 139.
    Задачи •  Интеграция сAWS и S3 •  Интеграция с Mesos •  Улучшение интеграции с Ambari
  • 140.
    Задачи •  Интеграция сAWS и S3 •  Интеграция с Mesos •  Улучшение интеграции с Ambari •  Интеграция с дистрибутивами Cloudera, MapR, IBM
  • 141.
    Задачи •  Интеграция сAWS и S3 •  Интеграция с Mesos •  Улучшение интеграции с Ambari •  Интеграция с дистрибутивами Cloudera, MapR, IBM •  Сделать самый быстрый и удобный движок SQL-on-Hadoop
  • 142.
    Заключение •  Современный движокSQL-on-Hadoop •  Для анализа структурированных данных •  Объединяет в себе лучшие качества альтернативных решений •  Новичок среди open source •  Community на стадии зарождения Присоединяйтесь!
  • 143.