Документ обсуждает применение ETL-процессов на Python, включая использование решений, таких как Apache Airflow и Luigi для создания идемпотентных дата пайплайнов. Он описывает основные проблемы ETL-процессов и их эволюцию, а также дает примеры кода для реализации задач с использованием этих инструментов. Также рассматриваются альтернативы для управления потоками данных, такие как Apache NiFi и Prefect.

1. ETL на Python, или построение
идемпотентных дата пайплайнов

2. ~$ whoami
● Пишу на Python 8 лет
● Tech Lead в Playrix (Marketing)
● Веду блог khashtamov.com

3. ● 100TB+ данных
● 1000+ распределенных сотрудников
● 100+ миллионов событий в день
● 10+ миллионов игроков в день

4. Что такое ETL (Extract Transform Load):

5. Как оно бывает
● Кастомные скриптики/процедуры/вьюхи
● Ручной деплой
● Крон для запуска batch задач

6. Проблемы
● Задачи растут как снежный ком
● Зависимые задачи
● Мониторинг
● Retry механизм

8. Apache Airflow

9. ● Разработан Spotify, открыт в 2012
● S3, Amazon, Hadoop, Spark, PostgreSQL…
● удобный retry механизм
● удобное определение зависимостей
● оповещения и хуки
● простой код

11. class DownloadFileTask(luigi.Task):
def run(self):
url = f'https://s3.amazonaws.com/nyc-tlc/trip+data/file.csv'
self.output().makedirs() # in case path does not exist
response = requests.get(url, stream=True)
response.raise_for_status()
with self.output().open(mode='w') as f:
for chunk in response.iter_lines():
f.write('{}n'.format(chunk.decode('utf-8')))
def output(self):
return luigi.LocalTarget(os.path.join('data', self.filename))

12. class AggregateTaxiTripTask(luigi.Task):
def requires(self):
return DownloadTaxiTripTask()
def run(self):
with self.input().open() as input,
self.output().open('w') as output:
self.output().makedirs()
result = aggregate_taxi_data(input)
output.write(result)
def output(self):
return luigi.LocalTarget(os.path.join('data', f'nyc-taxi-agg.csv'))

13. TASK

14. TARGET

15. Недостатки
● нет планировщика (есть координатор)
● проблемы с масштабированием
“In the future, Luigi might implement its own triggering. The dependency on crontab (or
any external triggering mechanism) is a bit awkward and it would be nice to avoid”
https://luigi.readthedocs.io/en/stable/execution_model.html#scheduler

17. Apache Airflow
● Разработан AirBnB (Maxime Beauchemin)
● Мощный каркас для сложных пайплайнов
● Flask + Celery

18. Killer фичи
● Мощный Web UI с планировщиком, базой и логами
● Легко масштабируется за счет очередей (Celery/Dask)
● Хранилище конфигов (с шифрованием)
● Набор готовых операторов (Redshift, Hadoop, Bash, Python)

19. Operator

20. from airflow.operators.redshift_to_s3_operator import RedshiftToS3Transfer
run_this = RedshiftToS3Transfer(
schema='public',
table='my_very_big_table',
s3_bucket='my-s3-bucket',
s3_key='unload-airflow',
redshift_conn_id='my_redshift_conn',
aws_conn_id='my_s3_conn',
task_id='redshift_unload',
dag=dag
)

21. Операторы
● BashOperator
● PostgresOperator
● EmailOperator
● PythonOperator
● ….

22. DAG

23. from datetime import datetime
from airflow.models import DAG
args = {
'owner': 'airflow',
'start_date': datetime(2018, 10, 5),
}
dag = DAG(
dag_id='my_unload_redshift',
default_args=args,
schedule_interval=None
)

24. Sensor

25. Тестирование
● Unit-тесты
● Не пишите логику в тасках (Luigi)
● localstack для AWS

26. А можно ещё ?

27. ● Apache NiFi
● Prefect
● RQ
● Celery
● Dask

28. Что выбрать?

29. ¿Q & A?
@adilkhash
telegram: @dataeng_chat