Когда стоит выбирать ClickHouse. 1. Когда у вас много фактов без обновлений: - web-аналитика - реклама - e-commerce and finance - мониторинг - телеком, анализ логов 2. Витрины данных: - нет JOIN со спилами - очень хорошо переносит клиентскую нагрузку - легко масштабируется - быстрая агрегация витрин - OBDC, JDBC, HTTP клиентские интерфейсы

1. Особенности построения хранилища на
ClickHouse

2. Когда стоит выбирать CLickHouse | Case #1
Много фактов без обновлений:
1) Web-аналитика
2) Реклама (Ad-tech)
3) E-commerce and finance
4) Мониторинг
5) Телеком, анализ логов

3. Когда стоит выбирать CLickHouse | Case #1

4. Когда стоит выбирать CLickHouse | Case #1
1) Таблица фактов шардирована на кластер.
2) Партиционирована по времени.
3) В таблицу фактов только дописываем новые события.
4) Словари должны помещаться в памяти одного сервера.

5. Когда стоит выбирать CLickHouse | Case #1
Таблица фактов.
Борьба с слабоструктурированными данными – массивы и вложенные структуры.
- Событие – строка.
- Все остальные параметры события укладываем в колонки. Колонок может быть много.
- Если есть что-то очень специфичное для конкретного события и редко нужно при
запросах – укладываем в массив или вложенную структуру.

6. Когда стоит выбирать ClickHouse | Case #1
Таблица фактов.
Борьба с слабоструктурированными данными – массивы и вложенные структуры.

7. Когда стоит выбирать ClickHouse | Case #1
Таблица фактов.
Борьба с слабоструктурированными данными – массивы и вложенные структуры.

8. Когда стоит выбирать ClickHouse | Case #1
Таблица фактов.
Борьба с слабоструктурированными данными – массивы и вложенные структуры.

9. Когда стоит выбирать ClickHouse | Case #1
Таблица фактов.
Борьба с слабоструктурированными данными – массивы и вложенные структуры.

10. Когда стоит выбирать ClickHouse | Case #1
Таблица фактов.
Борьба с слабоструктурированными данными – массивы и вложенные структуры.

11. Когда стоит выбирать ClickHouse | Case #1

12. Когда стоит выбирать ClickHouse | Case #1

13. Когда стоит выбирать ClickHouse | Case #1
ARRAY JOIN

14. Когда стоит выбирать ClickHouse | Case #1 - Воронки
Расчёт воронки:
Нужно проанализировать переходы пользователя по страницам.
Подсчёт суммы переходов для последовательности страниц 1 → 2 → 3 .
Переходы должны производиться последовательно.

15. Когда стоит выбирать ClickHouse | Case #1 - Воронки
Функция высшего порядка.
Позволяет описать лямбда-функцию для передачи в функцию
высшего порядка.

16. Когда стоит выбирать ClickHouse | Case #1 - Воронки
Функция высшего порядка.
Позволяет описать лямбда-функцию для передачи в функцию
высшего порядка.

17. Когда стоит выбирать ClickHouse | Case #1 - Воронки

18. Когда стоит выбирать ClickHouse | Case #1 - Воронки

19. Когда стоит выбирать ClickHouse | Case #1 - Воронки

20. Когда стоит выбирать ClickHouse | Case #1 - Воронки

21. Когда стоит выбирать ClickHouse | Case #1 - Воронки

22. Когда стоит выбирать ClickHouse | Case #1 - Воронки

23. Когда стоит выбирать ClickHouse | Case #2
Витрины данных:
- Нет JOIN с спилами.
- Очень хорошо переносит клиентскую нагрузку.
- Легко масштабировать.
- Быстрая агрегация витрин
- ODBC, JDBC, HTTP клиентские интерфейсы.

24. Когда стоит выбирать ClickHouse | Case #2
КХД
MARTS
BI / Ad-hoc
100s QPS
WHERE / GROUP BY
QUICK MART
Batch
Microbatch

25. ADQM | Support
24x7
5x8
Первая линия
• Приём заявок
• Приоритезация
• Решение простых кейсов
• Наполнение базы знаний
Входящий запрос
Вторая линия
• Сложные инциденты, добавление
нового функционала.
• Консалтинг
Третья линия
• Bugfix
• Доработки продукта на уровне ядра.
Наши доработки в ClickHouse
• ORC input format
• Доработка коннектора к HDFS
• Аутентификация в Kerberos
• для HDFS и Zookeeper (в разработке)
Наши доработки вокруг ClickHouse
• Мониторинг
• Деплой
• Прокси для запросов с ldap-аутентификацией
• и разграничением доступа.

26. ADQM | Support
Доступен везде:
В облакеOn-premise

27. QA
Коняев Андрей
ka@arenadata.io

28. Структура хранения данных | На диске