ابزار airflow

2. /
‫افزار‬ ‫نرم‬
Apache Airflow
‫به‬ ،‫است‬ ‫اپاچی‬ ‫بنیاد‬ ‫به‬ ‫متعلق‬ ‫که‬
‫شود‬ ‫می‬ ‫شناخته‬ ‫کاری‬ ‫جریان‬ ‫مدیریت‬ ‫سیستم‬ ‫عنوان‬
.
‫چیست؟‬ ‫کار‬ ‫جریان‬ ‫اما‬
!
‫و‬ ‫شده‬ ‫زمانبندی‬ ‫صورت‬ ‫به‬ ،‫مشخص‬ ‫زمانی‬ ‫بازه‬ ‫یک‬ ‫در‬ ‫که‬ ‫های‬ ‫فعالیت‬
‫شود‬ ‫می‬ ‫شناخته‬ ‫کار‬ ‫جریان‬ ‫عنوان‬ ‫به‬ ،‫دهید‬ ‫می‬ ‫انجام‬ ‫ترتیب‬ ‫به‬
.
‫چیست؟‬
‫یال‬ ‫و‬ ‫ها‬ ‫تسک‬ ‫بیانگر‬ ‫ان‬ ‫های‬ ‫نود‬ ‫که‬ ‫است‬ ‫گرافی‬ ‫واقع‬ ‫در‬
‫است‬ ‫ها‬ ‫تسک‬ ‫بین‬ ‫روابط‬ ‫بیانگر‬ ،‫آن‬ ‫های‬
.
‫افزار‬ ‫نرم‬ ‫از‬ ‫استفاده‬ ‫با‬
Apache Airflow
‫های‬ ‫جریان‬ ‫توان‬ ‫می‬
‫نمود‬ ‫مدیریت‬ ‫را‬ ‫مختلفی‬ ‫کاری‬
.

3. /
‫کنیم‬ ‫می‬ ‫اشاره‬ ‫آن‬ ‫های‬ ‫ویژگی‬ ‫ترین‬ ‫مهم‬ ‫به‬ ‫قسمت‬ ‫این‬ ‫در‬
:
•
‫ویژگی‬ ‫ترین‬ ‫مهم‬
Airflow
‫کنار‬ ‫در‬ ‫مناسب‬ ‫گرافیکی‬ ‫محیط‬ ‫بودن‬ ‫دارا‬
‫است‬ ‫فرمان‬ ‫خط‬ ‫های‬ ‫ابزار‬ ‫از‬ ‫استفاده‬
.
•
‫ببرید‬ ‫پیش‬ ‫یکدیگر‬ ‫با‬ ‫موازی‬ ‫صورت‬‫به‬ ‫را‬ ‫مختلف‬ ‫های‬‫تسک‬ ‫میتوان‬
•
‫را‬ ‫آن‬ ‫توان‬ ‫می‬ ،‫شود‬ ‫مواجه‬ ‫مشکلی‬ ‫با‬ ‫تسکی‬ ‫اجرا‬ ‫که‬ ‫صورتی‬ ‫در‬
‫نمود‬ ‫مدیریت‬
.
•
‫برنامه‬ ‫حال‬ ‫در‬ ‫دائما‬ ،‫روزمره‬ ‫ساده‬ ‫های‬ ‫کار‬ ‫برای‬ ‫نیست‬ ‫نیازی‬
‫بود‬ ‫نویسی‬
.
‫و‬ ‫ها‬ ‫پیچیدگی‬ ‫با‬ ‫شخص‬ ‫درگیری‬ ‫از‬ ‫تواند‬ ‫می‬ ‫ویژگی‬ ‫این‬
‫نماید‬ ‫جلوگیری‬ ‫نویسی‬ ‫برنامه‬ ‫جزئیات‬
.
•
‫کاری‬ ‫های‬ ‫جریان‬ ‫تعریف‬ ‫در‬ ‫پایتون‬ ‫نویسی‬ ‫برنامه‬ ‫زبان‬ ‫از‬ ‫استفاده‬
‫چرا؟‬

4. 4
Languages
python TypeScript Shell JavaScript Html Dockerfile Other
Languages %
python 95.3
TypeScript 2.1
Shell 0.8
JavaScript 0.6
Html 0.6
Dockerfile 0.3
Other 0.3

5. Airflow
‫های‬ ‫عامل‬ ‫سیستم‬ ‫روی‬ ‫بر‬ ‫تواند‬ ‫می‬ ‫حاضر‬ ‫حال‬ ‫در‬
‫با‬ ‫سازگار‬
/
POSIX
‫شود‬ ‫اجرا‬
.
‫اخیر‬ ‫های‬‫نسخه‬ ‫و‬ ‫لینوکس‬ ‫روی‬ ‫بر‬ ،‫توسعه‬ ‫برای‬
MacOS
‫شود‬‫می‬ ‫تست‬
.
Airflow
‫طریق‬ ‫از‬ ‫ویندوز‬ ‫در‬ ‫توان‬ ‫می‬ ‫را‬
WSL2
(Windows
Subsystem for Linux/)
‫اجرا‬ ‫لینوکس‬ ‫کانتینرهای‬ ‫طریق‬ ‫از‬ ‫یا‬
‫کنید‬
.
‫مورد‬ ‫عامل‬ ‫سیستم‬
‫نیاز‬

6. ‫نیاز‬ ‫مورد‬ ‫موارد‬
/
SQLite
‫های‬ ‫تست‬ ‫در‬
airflow
‫شود‬ ‫می‬ ‫استفاده‬
.
‫گیت‬ ‫در‬
‫پایدار‬ ‫نسخه‬ ‫آخرین‬ ‫از‬ ‫شده‬ ‫توصیه‬ ‫هاب‬
SQLite
‫برای‬
local
‫کنیم‬ ‫استفاده‬
.

7. ‫مدنظر‬ ‫باید‬ ‫که‬ ‫نکاتی‬
‫دهید‬ ‫قرار‬
/
‫نصب‬ ‫مورد‬ ‫در‬ ‫راهنمایی‬ ‫برای‬
Airflow
‫یا‬ ‫کار‬ ‫به‬ ‫شروع‬ ،
‫رسمی‬ ‫سایت‬ ‫وب‬ ‫مستندات‬ ‫از‬ ،‫تر‬ ‫کامل‬ ‫آموزش‬
Airflow
‫میتوان‬
‫گرفت‬ ‫کمک‬
.
‫های‬‫روش‬ ‫ترین‬‫رایج‬
‫نصب‬
Airflow
:
•
PyPI

‫ابزار‬ ‫از‬ ‫استفاده‬ ‫با‬
pip
‫شود‬ ‫می‬ ‫منتشر‬
•
Docker Images

‫ابزار‬ ‫طریق‬ ‫از‬
docker
•
‫در‬ ‫ها‬‫تگ‬
GitHub

8. ‫شده‬ ‫منتشر‬ ‫های‬ ‫ورژن‬

9. 9
+400 organizations are using Apache Airflow
https://github.com/apache/airflow/blob/main/INTHEWILD.md

10. ‫نصب‬
/
•
‫نصب‬
Pip
•
‫نصب‬
Airflow
‫اوبونتو‬ ‫در‬ ‫آن‬ ‫های‬ ‫وابستگی‬ ‫و‬
Airflow
‫از‬
sqlite
،‫کند‬ ‫می‬ ‫استفاده‬ ‫خود‬ ‫فرض‬ ‫پیش‬ ‫داده‬ ‫پایگاه‬ ‫عنوان‬ ‫به‬
‫از‬ ‫توانید‬ ‫می‬ ‫دارید‬ ‫دوست‬ ‫اگر‬ ‫اما‬
PostgreSQL
‫یا‬
MySQL
‫استفاده‬
‫کنید‬
.

11. 11
‫مثال‬
-
1

12. 12
‫خروجی‬
_
‫گراف‬

13. ‫شود‬ ‫انجام‬ ‫اول‬ ‫تسک‬ ‫ابتدا‬
‫اول‬ ‫تسک‬ ‫موفقیت‬ ‫صورت‬ ‫در‬ ‫دوم‬ ‫تسک‬ ‫سپس‬
‫در‬ ‫مستقال‬ ‫چهارم‬ ‫و‬ ‫سوم‬ ‫های‬ ‫تسک‬ ‫نهایت‬ ‫در‬ ‫و‬
‫دوم‬ ‫تسک‬ ‫موفقیت‬ ‫صورت‬
task1
task2
task3 task4
‫مثال‬
-
2

14. ‫نام‬ ‫با‬ ‫پایتونی‬ ‫فایل‬
simple_bash.py
‫با‬
‫کنیم‬ ‫می‬ ‫ایجاد‬ ‫زیر‬ ‫محتوای‬
:

15. 15
‫خروجی‬
_
‫گراف‬

16. •
‫مهندسان‬ ‫برای‬ ‫داده‬ ‫پردازش‬ ‫مدل‬
‫نیست‬ ‫گویا‬ ‫کار‬ ‫تازه‬
.
•
‫تغییر‬ ‫به‬ ‫نیاز‬ ‫بندی‬‫زمان‬ ‫تغییر‬
‫نام‬
DAG
‫دارد‬
/
•
‫نمی‬ ‫پشتیبانی‬ ‫بومی‬ ‫ویندوز‬ ‫از‬
‫کند‬
.
‫معایب‬

17. ‫آپاچی‬ ‫شده‬ ‫ذکر‬ ‫معایب‬ ‫وجود‬ ‫با‬
Airflow
،
‫پردازش‬ ‫ورک‬‫فریم‬ ‫یک‬ ‫همچنان‬
‫خطوط‬ ‫مدیریت‬ ‫برای‬ ‫عالی‬ ‫ای‬‫دسته‬
‫داده‬ ‫پردازش‬
ETL
‫است‬
.
‫زیادی‬ ‫های‬‫شرکت‬
‫از‬ ‫که‬ ‫دارند‬ ‫وجود‬
Airflow
‫برای‬
‫استفاده‬ ‫دهد‬‫می‬ ‫ارائه‬ ‫که‬ ‫مزایایی‬
‫کنند‬‫می‬
.
‫نتیجه‬
‫گیری‬

18. Thanks!
18

19. ‫از‬ ‫تشکر‬ ‫با‬
‫شما‬ ‫همراهی‬