株式会社アイリッジで実施した勉強会資料

1. Airflowで真面目にjob管理
〜cronからの撤退〜
Masashi.Sugiura@iRidge

2. Who are you?
Masashi Sugiura
@msssgur
撮影スポット探してます。
良い所知ってる人教えてください。

3. 高卒でネットワークエンジニアに就職。
ネットワークエンジニア時代は工事から配線、サーバ構築から
ソフトウェア開発まで行ってきたエセネットワークエンジニア。
iRidgeに入社してからはクラウドを軸としたソフトウェア開発に
従事している。
Who are you?

4. いきなりですが・・・
ワークフローの管理は
できていますか？

5. What is Airflow?
OSSで
ワークフローを
オーケストレーションできる

9. Feature
■ ワークフローは Dags(※.1) で定義する
■ 管理画面からDagsを操作する事は出来ない
（登録/変更/削除が出来ず、参照が基本）
■ Dagsを完全に削除には工夫が必要になる
※.1 Directed acyclic graph（有向非巡回グラフ）

10. ■ 複雑なビジネスロジックが多い
■ 依存関係のあるバッチ処理を行っている
■ Cronに飽きた
Who uses it?

11. 準備が大変？
How can I use it?

12. NO !!
How can I use it?

13. GCPでAirflowをFully Managedに扱える
Cloud Composer
が登場した。
How can I use it?

14. Setup
■ 名前を入力する
■ リージョンを入力する
■ CREATE！！！
※ 未入力フォームはデフォルト値が選択されます。
デフォルト値や値の説明は設定項目に記載されています。

15. この２項目だけ！

16. Airflow構成要素
Cloud Composerで実際に
用いられている構成

17. Airflow構成要素
共有ディスクにAirflowの
ホームディレクトリを設置し、
マウントする。
DagsのPythonファイルを
ホームディレクトリに配置する。
設定ファイルやログファイルも
ここに保存される。
Jobの実行命令が行われると、
QueueにJobが追加される。
結果やDagsの状態が
保存される。

18. Airflow構成要素
Worker
Jobを実際に実行するノード。
QueueからJobを取得し実行する。
ノードを増やす事で、
スケールさせる事ができる。

19. Airflow構成要素
Scheduler
実行する条件にマッチしたら、
Jobをキューに登録する。
保存されているDagsファイルを
監視し、状態をデータベースに
反映する。

20. Airflow構成要素
WebServer
データベースやキューの情報を
取得し、管理画面に表示する。
Load Balancerを手前に設置する
事で、冗長化する事ができる。

21. システム構成要素

22. システム構成要素
Google認証でアクセスできる。
エンドポイントのURLのみ
提供される。

23. システム構成要素
Airflowのホームディレクトリが
GCS Fuseを使用して接続される。
Dagsはこのバケットに保存する
必要がある。

24. How to use it?
■ DagをPythonで記述する
■ Airflowのホームディレクトリ（今回はGCS)
に設置する
■ Schedulerが自動的に反映し、完了

25. How to use it?

26. Practical examples

27. Practical examples

28. Enjoy Airflow
LIFE !!