Download as PDF, PPTX
Uploaded byOntico
ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидов (Яндекс)
Документ представляет собой презентацию о ClickHouse, высокопроизводительной колонночной СУБД, разработанной Яндексом. Он описывает возможности системы, такие как обработка больших объемов данных в реальном времени, масштабируемость до петабайт и наличие собственного SQL-диалекта. В дополнение, упоминается эффективность ClickHouse по сравнению с другими СУБД, а также примеры использования и лучшие практики.
More Related Content
Similar to ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидов (Яндекс)
ClickHouse: очень быстро и очень удобно / Виктор Тарнавский, Алексей Миловидов (Яндекс)
- 2. ClickHouse: очень быстро иочень удобно Виктор Тарнавский RGB
- 3. Разработчик, в прошлом разработкажелеза Руководитель отдела аналитических продуктов jkee@yandex-team.ru Пару слов обо мне 3
- 4.
- 5. Яндекс.Метрика - втройке крупнейших веб-аналитических систем по количеству сайтов. Более 20 млрд. событий в день Более 1 млн. сайтов Более 100 000 аналитиков каждый день Яндекс.Метрика 5
- 6.
- 7.
- 8. Агрегированные данные Много разныхтаблиц Key → Metrics Классический подход 8
- 9. Неагрегированные данные Небольшое количествошироких таблиц Высокоэффективные фильтры и группировки Event → Properties Современный подход 9
- 10.
- 11. Максимально быстро выполнятьзапросы Обработка данных в реальном времени Возможность хранить петабайты данных Отказоустойивость в терминах датацентров Гибкий язык запросов Что мы хотим от базы данных? 11
- 12.
- 13. SQL Линейная мастабируемость Фокус набыстром выполнении запросов Column-oriented Основные идеи при создании ClickHouse 13
- 14. ClickHouse timeline 14 Prototype Январь 2009Август 2012 Data Transfer Июнь 2014 Metrica 2.0 Декабрь 2014 Июнь 2016 Open Source Production
- 15. Более 20 проектовв Яндексе Open-source с Июля 2016 В продакшне вне Яндекса ClickHouse сегодня 15
- 16.
- 17. Масштабируется до петабайт данных Cross-datacenter Highavailability Сжатие данных Линейная масштабируемость 17
- 18. 3 Pb 412 серверов 6датацентров Часы даунтайма за 4 года Кластер Яндекс.Метрики 18
- 19. SQL диалект Приблизительные вычисления, URI функции Массивы, кортежи Распределённые запросы из коробки Внешние словари Запросы 19
- 20. 20 # Weekly trafficand audience SELECT count() as visits, sum(PageViews) as hits, uniq(UserID) as users FROM visits_all WHERE StartDate > today() - 7
- 21. 21 # Using externaldictionary for regions SELECT count() as visits, regionToName(regionToCountry(RegionID), 'en') as country FROM visits_all WHERE StartDate > today() - 7 GROUP BY country ORDER BY visits DESC LIMIT 10
- 22. Типичные запросы быстрейчем за секунду >100 раз быстрей чем Hadoop >100 раз быстрей чем типичная DBMS 100 млн - 1 миллиард строк в секунду на одной ноде До 2 терабайт в секунду для кластера на 400 нод Скорость на грани фантастики 22
- 23. 23 1. Делаем запрос 2.Идём пить кофе У тебя нет ClickHouse У тебя есть ClickHouse Проверь 37 идей за 5 минут! ВНИМАНИЕ: развидеть нельзя
- 24.
- 25. Консольный клиент HTTP JDBC Python, PHP,NodeJS, Go и Perl коннекторы Интерфейсы 25
- 26.
- 27. Код Векторная обработка данных Ориентированныйна производительность C++14 код Каждая фича оптимизируется по производительности Почему ClickHouse такой быстрый? 27
- 28. Данные Колоночное хранение Merge Tree минимумseek-ов Обработка максимально близко к данным Почему ClickHouse такой быстрый? 28
- 29. Возможности Семплирование из коробки Функциис вероятностными алгоритмами Оптимизация производительности на уровне запроса Почему ClickHouse такой быстрый? 29
- 30. Нет единой точкикоординации запросов Асинхронная репликация ZooKeeper для координации реплик (не используется в SELECT) Масштабируемость и отказоустойчивость 30
- 31.
- 32.
- 33. OLTP Key-value Document-oriented Модифицирование данных Когда НЕнадо использовать 33
- 34. Широкие таблицы Много колонок QPSотносительно небольшой но много данных используется в каждом запросе Большой поток входящих данных Аналитика по петабайтам данных ClickHouse: best practises 34
- 35. С этого обычнопробуют ClickHouse Что делать: Вставить access и серверные логи в ClickHouse примерное время: несколько часов Что получаем: Анализируем любые инциденты за секунды Мониторинг и дашборды по ошибкам, таймингам и прочему Кейс: анализ серверных логов 35
- 36. Можно построить свойData Warehouse и копать данные с невероятной скоростью Что делать: Берём Hadoop или другую "не такую быструю" базу Копируем все данные в ClickHouse Что получаем: Realtime аналитика бизнес-процессов Довольные аналитики и менеджеры Легко построить внутренние дашборды/метрики Кейс: внутренняя база для аналитики 36
- 37.
- 38. Tutorial: https://clickhouse.yandex/tutorial.html Пишите вопросы:clickhouse-feedback@yandex-team.com GitHub: https://github.com/yandex/ClickHouse Больше информации: https://clickhouse.yandex С чего начать? 38
- 39.
- 40. Open-source колоночная DBMS Линейнаямасштабируемость Невероятная скорость SQL диалект с расширенными возможностями ClickHouse за один слайд 40
- 41. Виктор Тарнавский Руководитель отделааналитических продуктов jkee@yandex-team.ru clickhouse-feedback@yandex-team.ru Контакты