SlideShare a Scribd company logo
airflowを用いて、
複雑大規模なジョブフロー管理
に立ち向かう
builderscon 2018
● 渥美 達也 と申します
● ブレインパッドの自社サービス開発部署のVP of Engineering
● VPoEのかたわら、サービス開発もやってます。
● Python, k8s, GCP, ボルダリングあたりが好きです。
自己紹介
最近話題のブレインパッドってデータサイエンスの堅い会社なの?
本イベントに合わせて、builderscon運営さん
に素敵なインタビュー記事を作っていただき
ました!
アジェンダ
1. airflowの簡単な紹介
2. airflowを導入したプロダクトについて
3. airflow導入以前の課題
4. airflowの導入
5. 規模拡大への対処
6. 運用TIPS
airflowの簡単な紹介
airflowって?
“Airflow is a platform to programmatically author,
schedule and monitor workflows.”
公式ドキュメントから抜粋
ざっくり言ってしまうと、
ワークフローを管理するためのソフトウェア。
ワークフローはタスクの依存関係
Task A
Task B
Task C
Task D
Task E
airflowでは”DAG”(有向非巡回グ
ラフ)とよばれます
airflowは、ワークフローを実行・管理する
例えばこんなことができます
● Pythonによるワークフローの実装
● スケジュール実行
● 実行履歴の可視化
● 自動・手動リトライ
● 並列処理
ワークフローの実装方法
airflowのPythonライブラリを利用します。主にDAGクラスとOperatorクラス(のサブクラ
ス)を利用します。
DAG
Operator
Operator Operator
ワークフローを表現するクラス。
オペレータ間の依存関係やスケジュールな
どを持っている。
タスクそのものを表現するクラス。
BashOperatorやPythonOperatorなど様々な
ものがある。
ワークフローの実装(コード例)
豊富なオペレータ
● BashOperator
○ Bashスクリプトを実行する
● PythonOperator
○ Pythonコードを実行する
● BranchPythonOperator
○ Pythonでの条件式に基づき、どのOperatorを次に実行するか判定する
● その他、
○ DockerOperator, BigQueryOperator, SlackAPIOperatorのような外部との連携も
○ 既存のOperatorを継承した自前実装も結構簡単です。
■ 私たちもBranchPythonOperatorを拡張した実装を一部使っています。
airflowのビューをご紹介:DAG一覧
airflowのビューをご紹介:グラフビュー
airflowの実行モードとスケーラビリティ
airflowでは、Executorというクラスの実装を切り替えることで環境に応じた実行モードを
切り替えます。
● SequentialExecutor
○ 一番単純な実行モード。タスクを直列にしか実行できない。
○ お試し用という位置付け。
● CeleryExecutor
○ RabbitMQなどのキューを利用した実行モードで、スケジューラとワーカーが分離される
○ ワーカーを並列実行でき、サーバー増設によるスケールも簡単になるため、本番環境での利用に
向いている。
airflowの良いところ
   DAGをPythonで実装できる!
   GUIで実行履歴や状況を管理できる!
   スケールする!
次のセクションに行く前に・・・
ここで紹介した機能やビューは本当に一部のものです。
airflowにはたくさんの機能がありますので、
ぜひドキュメントをご一読ください!
導入プロダクトについて
airflowを使っているプロダクト
レコメンドエンジン搭載プライベートDMP
Rtoaster(アール・トースター)
今年13年目を迎え、導入250社を超える大規模自社サービス!
Rtoasterとは
● 「レコメンドエンジン搭載プライベートDMP」
● ECサイトなどに導入することで、訪問ユーザーの行動ログをはじめとした、多様な
データを蓄積します
● 蓄積した行動ログをもとに、様々なアクションが行えます
○ 訪問ユーザーの嗜好に応じたレコメンド(オススメ的な)
○ ユーザーのセグメンテーション(グループ分け)
○ などなどなど・・
Rtoasterのシステム的特徴
● 100億件を超える大量のログデータ
● 単純な集計処理から、機械学習処理まで様々なタスク
● クライアントごとの独立性
○ 契約クライアントごとに集計などのデータ処理は独立している
○ あるクライアントのトラブルが他のクライアントに影響を与えてはいけない
このようなシステムではオンラインでのビッグデータ処理だけではなく、
オフライン(バッチ処理)で大量のワークフローが日夜実行される
Rtoasterシステムについて補足
Rtoasterは非常に巨大なプロダクトなのですが、
実態は複数の疎結合なサブシステムが連動することで成り立っています。
airflowは、その一部のサブシステムにのみ導入しました。
そのサブシステムは当初別プロダクトとして細々と展開されていましたが、今年はじめに
Rtoasterのサブシステムとして正式に統合されました。
airflow導入サブシステムの歴史
2014年 β版リリース(私はリリース後に入社)
2015年 GA版リリース
2016年 airflowを導入
2018年 Rtoasterへの正式統合に伴う規模の大幅な拡大
airflow導入以前の課題
β版リリース時のワークフロー
ログロードタスク
(クライアントA)
データ転送タスク
(クライアントA)
cron
ログロードタスク
(クライアントB)
データ転送タスク
(クライアントB)
● タスク間の依存関係はなかった
● クライアントごとにタスク実行
● cron設定行数は、2 * クライアント数となる
● クライアント追加ごとにcron設定が必要
● 通知はメール
● 当時は処理も単純でクライアント数も非常に少な
かったので特に問題なかった
GA版リリース時のワークフロー
ログロードタスク
(クライアントA)
データ転送タスク
(クライアントA)
cron
ログロードタスク
(クライアントB)
データ転送タスク
(クライアントB)
● ログロードタスクと集計タスクの間には依存関係があ
り、ログロードが終わらないと集計が実行できない
○ つまり、ワークフロー
● 上記のような問題にcron時間調整による職人芸で対
処していた
○ 例えば「ログロードがAM 4:00起動で10分くらい
で終わるから、集計タスクはAM 4:20の起動」
○ これをクライアントごとにやる・・!
● GAと言いつつも積極展開していなかったので運用ダ
メージは浅めだった
集計タスク
(クライアントA)
集計タスク
(クライアントB)
暗黙の関連
暗黙の関連
クラスタリング機能※ 追加後のワークフロー
ログロードタスク
(クライアントA)
データ転送タスク
(クライアントA)
cron
ログロードタスク
(クライアントB)
データ転送タスク
(クライアントB)
集計タスク
(クライアントA)
集計タスク
(クライアントB)
暗黙の関連
RMFクラスタリング
(クライアントA)
カテゴリクラスタリング
(クライアントA)
SQS
暗黙の関連
RMFクラスタリング
(クライアントB)
カテゴリクラスタリング
(クライアントB)
SQS
● ワークフローが複雑化
○ 二股に別れる
○ クライアントの状況に
よってどれを実行する
か動的に決まる
● SQSを導入して職人芸を回避
しつつスケーラビリティを確保
● しかし、集計タスクの部分に
職人芸が残る
● cronはクライアントが増えるた
びに肥大化を続ける
※クラスタリング機能=行動ログからユーザーを自動的にグループわけする機能。
億超えのレコードに対して処理を行うため、Spark on EMRで稼働。
さすがに辛くなってきた
クライアント増加にともなうcron設定の肥大化
ワークフローの複雑化
タスクの失敗も増え、リランがツラい
現在・過去の状況もログやメールから追うしかない
ワークフローの複雑化とクライアントの増加に伴い、運用負荷が拡大していた
airflowの導入
なんとかしないと、ということで対策
主に検討したのは以下
Amazon SWF(Simple Workflow)
Azkaban
awsサービスの一つ。弊社では他サービスでかなりヘビーに利用している。あまり利用者は多くない気がする。
元はLinkedInで開発されていたOSS。適度に枯れていそうな印象。採用事例をちらほら見かける。
Airflow
元はAirbnbで開発されていたOSS。事例があまりなく、枯れていない印象。
ちなみに、digdagも現在なら選択肢
に上がると思うが、当時はまだな
かった。
● 運用のしやすさ
○ GUIでの実行管理やリランの仕組み
○ エラー発生時・規定実行時間をオーバーしたときの通知
○ 現状のチームで管理できる
● きめ細かい制御
○ 複雑なワークフローの記述
■ 並列実行, 条件分岐, タスク間での値の受け渡し、動的なワークフロー生成など
○ 細かい実行制御
■ ワークフローごと・タスクごと・キューごとの同時実行数制限など
● 特定の種類のタスクや、特定のクライアントのタスクが他のタスクをブロックしてしまう
のは極力避けたい
● スケーラビリティ
選定の観点
比較
SWF Azkaban Airflow
運用のしやすさ 管理画面は必要最低限で、使い勝手もイマ
イチ・・。
タスク間の関係を制御をするのは完全に実
装側の責任。
管理画面はワークフローの可視化や再実
行の仕組みなどあり使いやすそう。
様々な観点でのワークフロー可視化やリラ
ンなど、管理画面が使いやすそう。
きめ細かい制御 制御するのは実装側なので、いかようにも
可能。
条件分岐や動的なワークフロー生成がな
かった。
並列性の制御はexecutor(ワーカー)ごと
のみ。
条件分岐など複雑なケースに対応。
並列性制御もワーカーごとだけでなく、Pool
の仕組みを使ったきめ細かい制御が可能。
スケーラビリティ 問題なくスケールする。 複数ワーカーの実行をサポートしているの
で大丈夫そう。バックエンドのDBが気にな
るが・・。
複数ワーカーの実行をサポートしているので
大丈夫そう。バックエンドのDBが気になるが
・・。
所感 運用の経験から、やりたいことはだいたいで
きるしスケールもするが、実装も運用も結構
ツラい。
シンプルなケースには最も向いていそうだ
が、今回の要件には機能不足感は否めな
い。
管理が簡単そうな他、複雑なケースにも対
処できそう。
ジョブ定義がPythonというのも良い。
airflowは我々の要件を満たしてくれそうと感じた!
※2015〜2016年時点での比較であることにご注意ください。
airflow導入前の構成
EC2(バッチサーバー)
crond
タスクA
(Pythonプロセス)
SQS
タスクB
(Pythonプロセス)
SQSポーラー
(Pythonプロセス)
push
pull
fork
※インフラはAWS
シンプルな構成
スケールする
タスク間の関連がタスクの実装に密結合
ワークフロー全体の状態を管理するのが大
変
特定のタスクの再実行(もちろんパラメータ
も引き継いだ上で)が大変
エラー時の自動リトライの実装など、自前で
作り込む必要性
ワーカーサーバー
airflow導入後の構成
EC2(マネージャーサーバー)
airflow scheduler
(Pythonプロセス)
airflow webserver
(Pythonプロセス)
EC2(ワーカーサーバー)
airflow worker
(Pythonプロセス)
タスク
(Pythonプロセス)
RDS
(airflow履歴管理)
Rabbit
MQ
自前のポーラー不要
スケールする
ワークフローの管理が簡単になるな
ど、airflowによるメリット
RabbitMQやRDS、2種類のEC2に
よるインフラの複雑化
システムの複雑化と引き換えに、
ワークフロー管理の簡単さを得たと
いえる。
(今のGCPならCloud Composerがあるの
で複雑化から逃れられそう。)※SQSでなくRabbitMQなのは、当時のCeleryではExperimentalだったから
DAGの動的な構築を活用
クライアント増加 -> cron設定を追加する
というオペレーションは、動的なDAG生成により回避した。
DAG構築時に、DBから顧客マスタをロードしてタスクを動的に構築する。
DAGの動的な構築
擬似コード
生成されるDag
start-load-log
start-load-log-cli1
start-load-log-cli2
start-load-log-cli3
aggregate-cli1
aggregate-cli1
aggregate-cli3
airflowを導入してみて
● 自前でやっていた依存関係管理は全部airflowにお任せできた
● ビューも見やすいので何かあっても状況確認が超簡単になった
● インフラが複雑化した面は否めないが、それ以上のメリットがもたらされた
● 検証・導入当時はバグを踏むことも何度かあった
○ PR出せばすぐチェックしてマージしてくれた
● 思った以上に安定稼働した
● airflow特有のクセに慣れる必要もあった
全体的には、運用が楽になり導入してよかったと感じられた
規模の拡大
Rtoasterへの統合
ついにRtoasterに統合される計画が始動。
つまり、
クライアントとデータの爆発的増加を意味する・・!!
大丈夫なのか??
どのくらい規模拡大したのか?
クライアント数
65
938 (x 14)
ジョブ実行数(1日)
9,042 (x 8)
1,120
乗り切るためにインフラ増強
airflow manager
airflow worker
t2.small x 1 c4.xlarge x 1
c4.large x 1
c4.2xlarge x 4
RDS
t2.small x 1 t2.small x 1
※アプリとairflowデータ共存 ※airflow専用インスタンスを新たに構築
思ったより大丈夫だったという結論
● インフラ増強+同時実行数制限を大きくするといったパラメータチューニング程度で
乗り切れた!
○ 同時実行数制限のお話は「運用TIPS」を参照(多分時間切れになっている)
● 特に事故らしい事故もなかった!
● 仮にairflow導入前のアーキテクチャで規模拡大がやってきたら、地獄が待っていた
に違いない(震え)
○ 大きなリスクには早めの対処を!
運用のTIPSや困った点など
タスクの同時実行数制御について
airflowには同時実行数を制御できる設定値がたくさんある。
● タスクの同時実行数(dag_concurrency)
● ワークフロー種類ごとの同時実行数(max_active_runs_per_dag)
● airflow workerごとの同時実行数(celeryd_concurrency)
● Pool(後述)
他にもあったかも・・・
Poolについて
Operator A
pool=”p-1”
priority=1
Operator B
pool=”p-1”
priority=2
Operator C
pool=”p-2”
priority=1
Pool: p-1
slot=1
Pool: p-2
slot=2
Operator A-1
Operator B-1 Operator C-1
オペレータ(タスク)ごとに、所属するプール名と優
先度を定義する
スケジュールされるオペレータの数がPoolのスロットを超
える場合、同じプールに属するものは優先度順に実行さ
れる。
この場合、Operator A-1、B-1がPool p-1に属しているが、
p-1のslotは1なので、優先度が劣るOperator A-1はB-1が
終わるまで待機となる。
Operator C-2
Pool: p-1
slot=1
Pool: p-2
slot=2
プールを定義する。slotは、そのプールの容量=
並列度
同時実行数制御のポリシー
● Poolを使う
○ 特定のタスクのまとまりごとに同じプールを使うことで、特定のタスクがワーカーを占拠してしまうこ
とによるタスク全体の目詰まりを防ぐ。
○ 各クライアントの契約状況等に基づいて優先度を設定する
● それ以外の設定は、基本的にはサーバーインフラに応じて大きめに設定する
○ 極力シンプルにしておきたい
○ 基本的にはPoolで制御されてしまう
ワークフロー(DAG)の実装について
● オペレータはクライアントごとに個別かつ並列に実行したい。
○ あるクライアントの処理が別のクライアントの処理をブロックしてほしくない
○ 一部のクライアントの処理だけ失敗した場合、そこだけに影響範囲を絞りつつ、リトライもしたい
○ クライアントが増えたり減ったりするたびに運用が発生して欲しくない
=> DAG定義ファイルの中で、DBからクライアントデータをロードして動的にDAGオブジェ
クトを構築する
バックフィルの挙動が厄介
● 例えばデイリーで動くワークフローがあったとして、そのワークフローを8/1〜8/3まで停止したとする
(airflowの機能でスケジュールを停止できる)
● 8/4に再開すると、8/1, 8/2, 8/3の動かなかった分のワークフローが動き出す
● 再開するたびに動く必要のない過去分が全部動くのはかなり邪魔臭かったので、タスクを再度起動する
場合はstart_dateパラメータを昨日など直近に更新してから再起動する運用が必要。
● 本番環境でタスクを停止することはほぼないので良いが、テスト環境ではよくあるので面倒だった。。
● 1.8からcatchupパラメータが追加され、Falseにすればバックフィルを無効にできるようになった!
タスクのスケジュール日時がわかりにくい
● airflowでは、一つ前の日時のタスクをスケジューリングする。
● 例えば毎日10時に起動されるタスクがあるとして、8/10の10時に起動されるタスク
の日時は8/9の10時となる。
○ {{ ds }}パラメータから取得できる値も”2018-08-09”となる・・!
○ オペレータの実装では気をつける必要がある。
まとめ
まとめ:airflowに対する印象
● 複雑なユースケースや実行制御なども可能で、やりたいことはだいたいできそう
● 設定が多いので、それなりのキャッチアップが必要
● ツールとしてのクセがやはりあるので、慣れが必要
● Python使いにはオススメ
● GCPがCloud Composerとしてマネージドairflowをサポートしだしたのはアツい
○ 自前で色々用意しなくても導入がとても簡単に
○ 開発が多分活発化する
We’re HIRING !!!
ブレインパッドは、
ビッグデータとテクノロジーを駆使して、
“データ活用技術”を極めたいエンジニアを大募集中です!!
ご静聴ありがとうございました。

More Related Content

What's hot

RDF Semantic Graph「RDF 超入門」
RDF Semantic Graph「RDF 超入門」RDF Semantic Graph「RDF 超入門」
RDF Semantic Graph「RDF 超入門」
オラクルエンジニア通信
 
こんなに使える!今どきのAPIドキュメンテーションツール
こんなに使える!今どきのAPIドキュメンテーションツールこんなに使える!今どきのAPIドキュメンテーションツール
こんなに使える!今どきのAPIドキュメンテーションツール
dcubeio
 
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティスAWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
Akihiro Kuwano
 
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps OnlineGKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
Google Cloud Platform - Japan
 
メタプログラミングって何だろう
メタプログラミングって何だろうメタプログラミングって何だろう
メタプログラミングって何だろうKota Mizushima
 
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
Kumazaki Hiroki
 
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajpAt least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
 
HashMapとは?
HashMapとは?HashMapとは?
HashMapとは?
Trash Briefing ,Ltd
 
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
NTT DATA Technology & Innovation
 
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLiveDXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
Tokoroten Nakayama
 
Swaggerでのapi開発よもやま話
Swaggerでのapi開発よもやま話Swaggerでのapi開発よもやま話
Swaggerでのapi開発よもやま話
KEISUKE KONISHI
 
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
 
ナレッジグラフ入門
ナレッジグラフ入門ナレッジグラフ入門
ナレッジグラフ入門
KnowledgeGraph
 
「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜
「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜
「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜
Takahiro Inoue
 
Python 3.9からの新定番zoneinfoを使いこなそう
Python 3.9からの新定番zoneinfoを使いこなそうPython 3.9からの新定番zoneinfoを使いこなそう
Python 3.9からの新定番zoneinfoを使いこなそう
Ryuji Tsutsui
 
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
Google Cloud Platform - Japan
 
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
NTT DATA Technology & Innovation
 
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
Takafumi ONAKA
 
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
NTT DATA Technology & Innovation
 
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるなテスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
Kentaro Matsui
 

What's hot (20)

RDF Semantic Graph「RDF 超入門」
RDF Semantic Graph「RDF 超入門」RDF Semantic Graph「RDF 超入門」
RDF Semantic Graph「RDF 超入門」
 
こんなに使える!今どきのAPIドキュメンテーションツール
こんなに使える!今どきのAPIドキュメンテーションツールこんなに使える!今どきのAPIドキュメンテーションツール
こんなに使える!今どきのAPIドキュメンテーションツール
 
AWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティスAWSのログ管理ベストプラクティス
AWSのログ管理ベストプラクティス
 
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps OnlineGKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
 
メタプログラミングって何だろう
メタプログラミングって何だろうメタプログラミングって何だろう
メタプログラミングって何だろう
 
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
 
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajpAt least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
 
HashMapとは?
HashMapとは?HashMapとは?
HashMapとは?
 
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
大規模データ活用向けストレージレイヤソフトのこれまでとこれから(NTTデータ テクノロジーカンファレンス 2019 講演資料、2019/09/05)
 
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLiveDXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
DXとかDevOpsとかのなんかいい感じのやつ 富士通TechLive
 
Swaggerでのapi開発よもやま話
Swaggerでのapi開発よもやま話Swaggerでのapi開発よもやま話
Swaggerでのapi開発よもやま話
 
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
 
ナレッジグラフ入門
ナレッジグラフ入門ナレッジグラフ入門
ナレッジグラフ入門
 
「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜
「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜
「GraphDB徹底入門」〜構造や仕組み理解から使いどころ・種々のGraphDBの比較まで幅広く〜
 
Python 3.9からの新定番zoneinfoを使いこなそう
Python 3.9からの新定番zoneinfoを使いこなそうPython 3.9からの新定番zoneinfoを使いこなそう
Python 3.9からの新定番zoneinfoを使いこなそう
 
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
[Cloud OnAir] GCP 上でストリーミングデータ処理基盤を構築してみよう! 2018年9月13日 放送
 
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
ポスト・ラムダアーキテクチャの切り札? Apache Hudi(NTTデータ テクノロジーカンファレンス 2020 発表資料)
 
エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織エンジニアの個人ブランディングと技術組織
エンジニアの個人ブランディングと技術組織
 
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
大量のデータ処理や分析に使えるOSS Apache Spark入門(Open Source Conference 2021 Online/Kyoto 発表資料)
 
テスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるなテスト文字列に「うんこ」と入れるな
テスト文字列に「うんこ」と入れるな
 

Similar to 2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう

2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
Issei Hiraoka
 
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ  〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ  〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
Google Cloud Platform - Japan
 
JBUG高知(KOCHI)#0_顧客満足度を高めるためのプロジェクト管理
JBUG高知(KOCHI)#0_顧客満足度を高めるためのプロジェクト管理JBUG高知(KOCHI)#0_顧客満足度を高めるためのプロジェクト管理
JBUG高知(KOCHI)#0_顧客満足度を高めるためのプロジェクト管理
kinunori
 
Intalio cloud development way in Japanese
Intalio cloud development way in JapaneseIntalio cloud development way in Japanese
Intalio cloud development way in JapaneseDaisuke Sugai
 
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
Hideaki Tokida
 
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
Shingo Kitayama
 
2022_08_10 SaaS.tech #5業務システム開発でデザインとフロントエンドも妥協しない話
2022_08_10 SaaS.tech #5業務システム開発でデザインとフロントエンドも妥協しない話2022_08_10 SaaS.tech #5業務システム開発でデザインとフロントエンドも妥協しない話
2022_08_10 SaaS.tech #5業務システム開発でデザインとフロントエンドも妥協しない話
Kazuki Murahama
 
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
Recruit Technologies
 
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Shinichiro Arai
 
Ms retail update ra 20191030
Ms retail update ra 20191030Ms retail update ra 20191030
Ms retail update ra 20191030
Microsoft Azure Japan
 
Intalio Cloudの詳細
Intalio Cloudの詳細Intalio Cloudの詳細
Intalio Cloudの詳細
Tomoaki Sawada
 
IBM Log Analysis with LogDNAを評価した話
 IBM Log Analysis with LogDNAを評価した話 IBM Log Analysis with LogDNAを評価した話
IBM Log Analysis with LogDNAを評価した話
Daisuke Hiraoka
 
【A-4】kintone API、JavaScript APIの実力
【A-4】kintone API、JavaScript APIの実力【A-4】kintone API、JavaScript APIの実力
【A-4】kintone API、JavaScript APIの実力
Cybozucommunity
 
2014-10-27 #ssmjp 腹を割って話そう (運用xセキュリティ)
2014-10-27 #ssmjp 腹を割って話そう (運用xセキュリティ)2014-10-27 #ssmjp 腹を割って話そう (運用xセキュリティ)
2014-10-27 #ssmjp 腹を割って話そう (運用xセキュリティ)
Operation Lab, LLC.
 
2014-01-28 Operation in the future
2014-01-28 Operation in the future2014-01-28 Operation in the future
2014-01-28 Operation in the future
Operation Lab, LLC.
 
どっちの VS ショー / 伝統の Visual Studio 2019、人気の Visual Studio Code
どっちの VS ショー / 伝統の Visual Studio 2019、人気の Visual Studio Codeどっちの VS ショー / 伝統の Visual Studio 2019、人気の Visual Studio Code
どっちの VS ショー / 伝統の Visual Studio 2019、人気の Visual Studio Code
Takashi Okawa
 
【2018年3月時点】Oracle BI 12c 新機能
【2018年3月時点】Oracle BI 12c 新機能【2018年3月時点】Oracle BI 12c 新機能
【2018年3月時点】Oracle BI 12c 新機能
オラクルエンジニア通信
 
最適なビックデータ・システムの構築のために
最適なビックデータ・システムの構築のために最適なビックデータ・システムの構築のために
最適なビックデータ・システムの構築のために
IBM Systems @ IBM Japan, Ltd.
 
Cloud box
Cloud boxCloud box
Cloud box
Daisuke Sugai
 
Intalio会社概要とbpmsの特長20100319
Intalio会社概要とbpmsの特長20100319Intalio会社概要とbpmsの特長20100319
Intalio会社概要とbpmsの特長20100319Tomoaki Sawada
 

Similar to 2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう (20)

2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
2021/02/19 Alterbooth 多忙なアーキテクトのためのクラウド導入フレームワーク (CAF) ダイジェスト
 
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ  〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ  〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
[Cloud OnAir] 事例紹介 : 株式会社マーケティングアプリケーションズ 〜クラウドへのマイグレーションとその後〜 2020年12月17日 放送
 
JBUG高知(KOCHI)#0_顧客満足度を高めるためのプロジェクト管理
JBUG高知(KOCHI)#0_顧客満足度を高めるためのプロジェクト管理JBUG高知(KOCHI)#0_顧客満足度を高めるためのプロジェクト管理
JBUG高知(KOCHI)#0_顧客満足度を高めるためのプロジェクト管理
 
Intalio cloud development way in Japanese
Intalio cloud development way in JapaneseIntalio cloud development way in Japanese
Intalio cloud development way in Japanese
 
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
OpenShift Ansbile 活用法 アプリケーションライフサイクルからみる導入効果
 
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
デブサミ2017【17-E-5】エンタープライズにおけるDevOpsの実態!Cloud Native Application Platformの選択
 
2022_08_10 SaaS.tech #5業務システム開発でデザインとフロントエンドも妥協しない話
2022_08_10 SaaS.tech #5業務システム開発でデザインとフロントエンドも妥協しない話2022_08_10 SaaS.tech #5業務システム開発でデザインとフロントエンドも妥協しない話
2022_08_10 SaaS.tech #5業務システム開発でデザインとフロントエンドも妥協しない話
 
リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例リクルートにおけるPaaS活用事例
リクルートにおけるPaaS活用事例
 
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
Cloud Days Tokyo 2015 "オンプレミス環境のクラウド化と運用を楽にする OpenStack ソリューション ~ハイブリッド・クラウドを...
 
Ms retail update ra 20191030
Ms retail update ra 20191030Ms retail update ra 20191030
Ms retail update ra 20191030
 
Intalio Cloudの詳細
Intalio Cloudの詳細Intalio Cloudの詳細
Intalio Cloudの詳細
 
IBM Log Analysis with LogDNAを評価した話
 IBM Log Analysis with LogDNAを評価した話 IBM Log Analysis with LogDNAを評価した話
IBM Log Analysis with LogDNAを評価した話
 
【A-4】kintone API、JavaScript APIの実力
【A-4】kintone API、JavaScript APIの実力【A-4】kintone API、JavaScript APIの実力
【A-4】kintone API、JavaScript APIの実力
 
2014-10-27 #ssmjp 腹を割って話そう (運用xセキュリティ)
2014-10-27 #ssmjp 腹を割って話そう (運用xセキュリティ)2014-10-27 #ssmjp 腹を割って話そう (運用xセキュリティ)
2014-10-27 #ssmjp 腹を割って話そう (運用xセキュリティ)
 
2014-01-28 Operation in the future
2014-01-28 Operation in the future2014-01-28 Operation in the future
2014-01-28 Operation in the future
 
どっちの VS ショー / 伝統の Visual Studio 2019、人気の Visual Studio Code
どっちの VS ショー / 伝統の Visual Studio 2019、人気の Visual Studio Codeどっちの VS ショー / 伝統の Visual Studio 2019、人気の Visual Studio Code
どっちの VS ショー / 伝統の Visual Studio 2019、人気の Visual Studio Code
 
【2018年3月時点】Oracle BI 12c 新機能
【2018年3月時点】Oracle BI 12c 新機能【2018年3月時点】Oracle BI 12c 新機能
【2018年3月時点】Oracle BI 12c 新機能
 
最適なビックデータ・システムの構築のために
最適なビックデータ・システムの構築のために最適なビックデータ・システムの構築のために
最適なビックデータ・システムの構築のために
 
Cloud box
Cloud boxCloud box
Cloud box
 
Intalio会社概要とbpmsの特長20100319
Intalio会社概要とbpmsの特長20100319Intalio会社概要とbpmsの特長20100319
Intalio会社概要とbpmsの特長20100319
 

More from BrainPad Inc.

Oss LT会_20210203
Oss LT会_20210203Oss LT会_20210203
Oss LT会_20210203
BrainPad Inc.
 
Business utilization of real estate image classification system using deep le...
Business utilization of real estate image classification system using deep le...Business utilization of real estate image classification system using deep le...
Business utilization of real estate image classification system using deep le...
BrainPad Inc.
 
ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方
BrainPad Inc.
 
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
BrainPad Inc.
 
機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介
BrainPad Inc.
 
れこめん道~とあるエンジニアの苦闘の日々
れこめん道~とあるエンジニアの苦闘の日々 れこめん道~とあるエンジニアの苦闘の日々
れこめん道~とあるエンジニアの苦闘の日々
BrainPad Inc.
 
DMPの分析機能を実現する技術
DMPの分析機能を実現する技術DMPの分析機能を実現する技術
DMPの分析機能を実現する技術
BrainPad Inc.
 
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
BrainPad Inc.
 
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシシステム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
BrainPad Inc.
 
Python研修の作り方 - teaching-is_learning-
Python研修の作り方 - teaching-is_learning-Python研修の作り方 - teaching-is_learning-
Python研修の作り方 - teaching-is_learning-
BrainPad Inc.
 
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
BrainPad Inc.
 
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
GKEとgRPCで実装する多言語対応・スケーラブルな内部APIGKEとgRPCで実装する多言語対応・スケーラブルな内部API
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
BrainPad Inc.
 
実証実験報告セミナー資料 20180328(抜粋版)
実証実験報告セミナー資料 20180328(抜粋版)実証実験報告セミナー資料 20180328(抜粋版)
実証実験報告セミナー資料 20180328(抜粋版)
BrainPad Inc.
 
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
BrainPad Inc.
 
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
BrainPad Inc.
 
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
BrainPad Inc.
 
エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_③Rtoasterの11年エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_③Rtoasterの11年
BrainPad Inc.
 
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
BrainPad Inc.
 
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
BrainPad Inc.
 
Big Data Analytics Tokyo講演資料
Big Data Analytics Tokyo講演資料Big Data Analytics Tokyo講演資料
Big Data Analytics Tokyo講演資料
BrainPad Inc.
 

More from BrainPad Inc. (20)

Oss LT会_20210203
Oss LT会_20210203Oss LT会_20210203
Oss LT会_20210203
 
Business utilization of real estate image classification system using deep le...
Business utilization of real estate image classification system using deep le...Business utilization of real estate image classification system using deep le...
Business utilization of real estate image classification system using deep le...
 
ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方ブレインパッドにおける機械学習プロジェクトの進め方
ブレインパッドにおける機械学習プロジェクトの進め方
 
機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト機械学習システムのアーキテクチャアラカルト
機械学習システムのアーキテクチャアラカルト
 
機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介機械学習システム開発案件の事例紹介
機械学習システム開発案件の事例紹介
 
れこめん道~とあるエンジニアの苦闘の日々
れこめん道~とあるエンジニアの苦闘の日々 れこめん道~とあるエンジニアの苦闘の日々
れこめん道~とあるエンジニアの苦闘の日々
 
DMPの分析機能を実現する技術
DMPの分析機能を実現する技術DMPの分析機能を実現する技術
DMPの分析機能を実現する技術
 
機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事機械学習システムを受託開発 する時に気をつけておきたい事
機械学習システムを受託開発 する時に気をつけておきたい事
 
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシシステム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
システム開発素人が深層学習を用いた画像認識で麻雀点数計算するLINEbotを作ったハナシ
 
Python研修の作り方 - teaching-is_learning-
Python研修の作り方 - teaching-is_learning-Python研修の作り方 - teaching-is_learning-
Python研修の作り方 - teaching-is_learning-
 
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
2018.08.21-機械学習工学研究会 現場を交えた勉強会発表資料
 
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
GKEとgRPCで実装する多言語対応・スケーラブルな内部APIGKEとgRPCで実装する多言語対応・スケーラブルな内部API
GKEとgRPCで実装する多言語対応・スケーラブルな内部API
 
実証実験報告セミナー資料 20180328(抜粋版)
実証実験報告セミナー資料 20180328(抜粋版)実証実験報告セミナー資料 20180328(抜粋版)
実証実験報告セミナー資料 20180328(抜粋版)
 
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
エンジニア勉強会資料_⑥エンジニアが主導する組織マネジメントや開発体制の継続的改善
 
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
エンジニア勉強会資料_⑤広告プロダクトとプラットフォームの開発
 
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
エンジニア勉強会資料_④Rtoaster×Myndエンジンによる興味キーワード分析機能開発事例
 
エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_③Rtoasterの11年エンジニア勉強会資料_③Rtoasterの11年
エンジニア勉強会資料_③Rtoasterの11年
 
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
エンジニア勉強会資料_②エンジニア・デザイナ・プロダクトオーナーが推薦するプロトタイプドリブン開発
 
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
エンジニア勉強会資料_①ブレインパッドの中で僕たちは何を開発しているのか?
 
Big Data Analytics Tokyo講演資料
Big Data Analytics Tokyo講演資料Big Data Analytics Tokyo講演資料
Big Data Analytics Tokyo講演資料
 

2018 builderscon airflowを用いて、 複雑大規模なジョブフロー管理 に立ち向かう