Apache airflow + cloud composer slides from Python Madrid meetup june 2019 https://www.meetup.com/es-ES/python-madrid/events/261734564/

1. Apache Airflow + Cloud Composer
Python Madrid Junio 2019

2. ¿Qué es Apache Airflow?
Airflow es una plataforma
para programáticamente
crear, planificar y monitorizar
workflows de datos

3. ¿Qué es un workflow en Airflow?
SECUENCIA DE
TAREAS
DISPARADAS
POR UN
EVENTO O UNA
PLANIFICACIÓN
SUELE SER
USADO PARA
MANEJAR
PIPELINES BIG
DATA

4. Un workflow típico

5. ¿Cómo haríamos una ETL tradicional mínima?

6. ●
○
●
○
●
○
○
●
○
●
○
Problemas del enfoque tradicional

7. ●
●
○
○
○
○
○
●
Principales características y ventajas

8. DAGs
●
●

9. ●
●
●
●
●
●
●
●
●
●
●
●
¿Qué hace realmente WOW a Airflow?

10. Demo

11. ●
●
●
●
●
Mi primer Airflow workflow

12. Mi primer Airflow workflow
airflow/example_dags/tutorial.py
http://localhost:8080/admin/

13. Google Cloud Composer

14. ●
●
¿Qué es Google Cloud Composer?

15. ●
●
●
●
● …
¿Qué hace realmente WOW a Cloud Composer?

16. ●
●
gcloud
Despliegue

17. Google Cloud Console

18. ¡Gracias!