Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Apache airflow + cloud composer

45 views

Published on

Apache airflow + cloud composer slides from Python Madrid meetup june 2019
https://www.meetup.com/es-ES/python-madrid/events/261734564/

Published in: Software
  • Be the first to comment

  • Be the first to like this

Apache airflow + cloud composer

  1. 1. Apache Airflow + Cloud Composer Python Madrid Junio 2019
  2. 2. ¿Qué es Apache Airflow? Airflow es una plataforma para programáticamente crear, planificar y monitorizar workflows de datos
  3. 3. ¿Qué es un workflow en Airflow? SECUENCIA DE TAREAS DISPARADAS POR UN EVENTO O UNA PLANIFICACIÓN SUELE SER USADO PARA MANEJAR PIPELINES BIG DATA
  4. 4. Un workflow típico
  5. 5. ¿Cómo haríamos una ETL tradicional mínima?
  6. 6. ● ○ ● ○ ● ○ ○ ● ○ ● ○ Problemas del enfoque tradicional
  7. 7. ● ● ○ ○ ○ ○ ○ ● Principales características y ventajas
  8. 8. DAGs ● ●
  9. 9. ● ● ● ● ● ● ● ● ● ● ● ● ¿Qué hace realmente WOW a Airflow?
  10. 10. Demo
  11. 11. ● ● ● ● ● Mi primer Airflow workflow
  12. 12. Mi primer Airflow workflow airflow/example_dags/tutorial.py http://localhost:8080/admin/
  13. 13. Google Cloud Composer
  14. 14. ● ● ¿Qué es Google Cloud Composer?
  15. 15. ● ● ● ● ● … ¿Qué hace realmente WOW a Cloud Composer?
  16. 16. ● ● gcloud Despliegue
  17. 17. Google Cloud Console
  18. 18. ¡Gracias!

×