Download as PDF, PPTX
Uploaded byOntico
Gobblin как ETL-фреймворк / Иван Ахлестин (Rambler&Co)
Документ рассматривает Gobblin как ETL-фреймворк, описывая его архитектуру, преимущества и применение в различных случаях. Акцентируется внимание на необходимости выбора нового ETL-решения из-за проблем с предыдущими системами, такими как Kafka2HDFS. Также обсуждаются критерии выбора и ключевые компоненты Gobblin, его интеграция с существующими технологиями и примеры использования.
Gobblin как ETL-фреймворк / Иван Ахлестин (Rambler&Co)
- 1.
- 2. Обо мне Иван Ахлестин DevOpsинженер Отдел машинного обучения Rambler&Co j.helsinki@gmail.com
- 3. Что я вамрасскажу ● ETL - ??? ● Кто мы ● Как и почему мы искали новое ETL-решение ● Почему Gobblin крут ● Как с ним жить и делать вещи
- 4.
- 6.
- 7.
- 8.
- 9. Оптимизация в DSP/ Переторговка в SSP
- 10.
- 11. Наша платформа ● FreeBSD10 ● Hadoop 2.6 / CDH 5.5.1 ● Spark 2.1.1 ● Hive / Tez ● Kafka ● Jenkins/ Airflow/ Graphite / Consul / SaltStack
- 12.
- 13.
- 14.
- 15. Брокер сообщений Kafkaв условиях повышенной нагрузки http://backendconf.ru/2017/abstracts/2542
- 16.
- 17. Почему мы началиискать новый Kafka2HDFS ● Новая Kafka (0.8 → 0.10) ● Сamus умер ● Нет нормальной защиты от потери данных ● Нет оценки качества приходящих данных ● Метрики, мониторинг - малое покрытие
- 18. Наши критерии выборанового ETL ● Exactly-once ● Бизнес-логика – партиционирование по timestamp – кастомные декодеры ● Метрики (graphite) – информация по отступам – объем – ошибки
- 19. Наши критерии выборанового ETL ● Real-time – производительность не хуже, чем у camus – линейная масштабируемость ● Kafka2HDFS-компетенция ● Fault tolerance (checkpoint) ● Активное сообщество
- 20. Коробочные решения Project Exatctly once Time- stamping Decoders MetricsRealtime Perfoma nce Fault tolerance Communi ty Gobblin ✔ ✔ ✔ ✔ ✔ ✔ ✔ ✔ kafka- connect- hdfs ✔ ✘ ✔ ? ✔ ? ✘ ? etl-light ✔ ✔ ✔ ✘ ✘ ? ? ✘
- 21. Apache Flume, почемунет??? ✗ Not statefull ✗ Kafka2HDFS — побочный эффект
- 22. Библиотеки Project Exatctly once Metrics Realtime Perfomance Fault tolerance Community Spark Streaming? ? ✔ ✔ ✔ ✔ Python ✘ ✘ ✔ ✘ ✘ ✔ Brod ✔ ? ✔ ✔ ✔ ✔
- 23. Gobblin internals -QuickTour
- 24. Gobblin is auniversal data ingestion framework for extracting, transforming, and loading (ETL) large volume of data from a variety of data sources, e.g., databases, rest APIs, FTP/SFTP servers, filers, etc., onto Hadoop
- 25.
- 26.
- 27. Документация, примеры ● Хорошоописаны примеры использования и архитектура ● Почти все готовые решения - базовые и вам напрямую не подойдут ● Для полного понимания придется заглянуть в код
- 28. Gobblin pipeline -internals
- 30.
- 31.
- 32.
- 33.
- 34. ru.rambler.hobgobblin Отдельный пакет кастомныхклассов: ● Расширение и реализация оригинальных классов и интерфейсов ● Упрощенная развертка и отсутствие конфликтов при переходе на новые версии Gobblin ● Покрытие юнит-тестами
- 35.
- 37. Custom blocks -Converter public abstract class Converter<SI, SO, DI, DO>; implements Closeable, FinalState { public Converter<SI, SO, DI, DO> init(WorkUnitState workUnit) { return this; } public abstract SO convertSchema (SI inputSchema, WorkUnitState workUnit) throws SchemaConversionException; public abstract Iterable<DO> convertRecord (SO outputSchema, DI inputRecord, WorkUnitState workUnit) throws DataConversionException; }
- 38.
- 39.
- 41. Вывод Tranform должен бытьфункционально чистым
- 43. Quality Checker /Policy Проверяет качество выходного потока на соответствие ожиданиям. ● Row/Task Level ● Mandatory/Optional ● Redirect
- 44.
- 45.
- 46. Failback case -HDFS2HDFS В случае большого количества данных не прошедших проверку или при ошибках преобразования. HDFS2HDFS!!!
- 47.
- 49.
- 50.
- 51.
- 52. Итоги: В каких случаяхстоит начать смотреть в сторону gobblin: ● Kafka2HDFS ● У вас Hadoop, но вокруг своя уникальная экосистема ● Если cбор и доставка данных стали вашей головной болью ● И при этом нужно что-то особенное
- 53.