The Design for Serverless ETL Pipeline　データ分析基盤のレガシーなデータロードをサーバレスでフル...

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

The Design for Serverless ETL
Pipeline
データ分析基盤のレガシーなデータロードを
サーバレスでフルリプレースするまでの道のり
株式会社リクルートライフスタイル
山田雄・秋本大樹・白鳥昇治
2018/0...

■山田　雄(ヤマダ　ユウ)
　　@nii_yan
株式会社　リクルートライフスタイル
ネットビジネス本部データマネジメント2G
SIerにて主に組込み系の開発に従事したのち、フリーランスとし
て独立。フリーランスの間に、シミュレーションシステム...

会社紹介

Title text
一生のうち、数回つかうサービス
LIFE EVENT
日常的に、つかうサービス
LIFE STYLE

Title text
一生のうち、数回つかうサービス
LIFE EVENT
日常的に、つかうサービス
LIFE STYLE

リクルートライフスタイルの
データ分析基盤の歩み

分析基盤の変遷
2013
2014
2015
2016
2017
2018
✔TreasureData を一部 BQ へ移行
✔RedshiftSpectrum 導入
✔Redshift を一部 BQ へ移行
✔BigQuery 導入
✔Net...

分析基盤の概要
Spectrum
Oracle
Exadata
SPSS
Treasure
Data
aginity
CHEETAH
DIGITAL
Adobe
Analytics
CSV
外部データ
アクセスログ
アプリログ
HPB
JLN
...

■秋本　大樹(アキモト　ダイキ)
株式会社　リクルートライフスタイル
ネットビジネス本部データマネジメント2G
2011年新卒としてSIerに入社。
2014年にゲーム会社に転職。ゲームデータを集積する分析基
盤の構築、および社内KPI算出の自...

■白鳥　昇治( シロトリ　ショウジ)
　　@irotoris
株式会社　リクルートライフスタイル
ネットビジネス本部データマネジメント2G
インフラエンジニアとしてオンプレミスKubernetes環境の開発・
運用に従事後、2017年にリクルー...

レガシーな構成のつらみ

技術のツギハギ
● 自前サーバで動くシェルで書かれたレガシーなコード
○ 800行を超えるシェルスクリプトファイル
● 複数システムをツギハギするスケジュール実行
○ 終了するタイミングを見計らって後続の処理を実行
● データ量に関連した処理の...

データ間の依存関係
● 後続のマート作成で用いるテーブルは優先度を高めてロードする
必要がある。
● データマート間にも依存関係がある。
● 現在はJP1での「イベント受信」機能を用いて優先度を実現してい
る。
優先度高
ロード
優先度低
ロー...

スケジュール実行での運用が
つらい
● 障害発生時のリカバリが大変。
● 1つの実行単位に複数のテーブルを含めており、テーブル単位で
のロードができていない。
● 前の処理の時間をずらすと、後続の処理も合わせて時間をずらす
必要がある。
JP1

自前サーバでの開発がつらい
● テスト環境がないので気軽にテストできない。
● 本番に影響が出るので古いバージョンでの開発を強いられてい
る。
● 800行を超えるシェルスクリプトのメンテが辛すぎる。
古いパッケージシェルスクリプト
本番に影...

つらみを解消したい
そう、それがMigaloo Project

The Design for Serverless ETL
Pipeline

と、その前に

前回のServerlessconf Tokyo !!

● サーバーレスにしてサーバー管理を極力少なく
● イベントドリブンでオーケストレートする構成
● 自動リトライとアラートを作り込んで
● 運用0を目指しました
前回のServerlessconf Tokyo !!

前回のServerlessconf Tokyo !!
Q.「いま運用どうですか？」
データ量：増えてる
機械学習バッチのリソース使用量：増えてる

前回のServerlessconf Tokyo !!
Q.「いま運用どうですか？」
データ量：増えてる
機械学習バッチのリソース使用量：増えてる
A.「全然、運用ないです」

前回のServerlessconf Tokyo !!
A.「全然、運用ないです」
● Slackのアラート確認はしてるけど、だいたい自動リトライ済み
● データ量も処理量も増えてるけどデータ量に応じてスケールする
● システムモニタリング用途の...

うまくいったので今回もLet's
Serverless!!
前回のServerlessconf Tokyo !!

The Design for Serverless ETL
Pipeline

● サーバー管理が極力少ないパイプラインと実行環境
● イベントドリブン & 疎結合なアーキテクチャ
● スケーラビリティと処理の並列数の管理
● イベント（データ）のステータス管理と活用
● 運用が楽になるロギング・モニタリング
アーキテクチ...

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Data Lake (S3)
Runtime
Pipeline(Load to DataLake)
Pi...

Pipeline(Load to DataLake)
Serverless ETL Pipeline
Pipeline(Load to Redshift)
Pipeline(Load to BigQuery)
EventStatus
+Runt...

Pipeline(Load to DataLake)
Serverless ETL Pipeline
Pipeline(Load to Redshift)
Pipeline(Load to BigQuery)
EventStatus
+Runt...

Serverless ETL Pipeline
File/Log (CSV/JSON)
HPB
JLN
HPG
Database
EventStatus
Redshift /
Spectrum
BigQuery
Data Lake (S3)
P...

Serverless ETL Pipeline
File/Log (CSV/JSON)
HPB
JLN
HPG
Database
EventStatus
Redshift /
Spectrum
BigQuery
Data Lake (S3)
P...

● サーバー管理が極力少ないパイプラインと実行環境
● イベントドリブン & 疎結合なアーキテクチャ
● スケーラビリティと処理の並列数の管理
● イベント（データ）のステータス管理と活用
● 運用が楽になるロギング・モニタリング
アーキテクチ...

サーバーレスなパイプラインと実行環境
● パイプラインはStep Functionsなどのワークフローエンジンと
AWS Lambdaをベースに処理を定義
● 実行環境はスケーラブルなAWS Batch、Glue、GKE
● 要件により一部はオ...

サーバーレスなパイプラインと実行環境
● パイプラインはStep Functionsなどのワークフローエンジンと
AWS Lambdaをベースに処理を定義
● 実行環境はスケーラブルなAWS Batch、Glue、GKE
● 要件により一部はオ...

● サーバー管理が極力少ないパイプラインと実行環境
● イベントドリブン & 疎結合なアーキテクチャ
● スケーラビリティと処理の並列数の管理
● イベント（データ）のステータス管理と活用
● 運用が楽になるロギング・モニタリング
アーキテクチ...

Redshift /
Spectrum
BigQuery
Data Lake (S3)
Pipeline(Load to DataLake)
Serverless ETL Pipeline
Pipeline(Load to Redshift)
...

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Pipeline(Load to Redshift)
Pipeline(Load to BigQuery...

File/Log (CSV/JSON)
Pipeline(Load to DataLake)
EventStatus
Runtime
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Pipel...

Data Lake (S3)
Redshift /
SpectrumPipeline(Load to BigQuery)
File/Log (CSV/JSON)
Pipeline(Load to DataLake)
EventStatus
Ru...

Data Lake (S3)
Pipeline(Load to BigQuery)
File/Log (CSV/JSON)
Pipeline(Load to DataLake)
EventStatus
Runtime
HPB
JLN
HPG
D...

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Data Lake (S3)
Runtime
Pipeline(Load to DataLake)
Pi...

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Data Lake (S3)
Runtime
Pipeline(Load to DataLake)
Pi...

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Data Lake (S3)
Runtime
Pipeline(Load to DataLake)
Pi...

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Data Lake (S3)
Runtime
Pipeline(Load to DataLake)
Pi...

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Data Lake (S3)
Runtime
Pipeline(Load to DataLake)
Pi...

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Data Lake (S3)
Runtime
Pipeline(Load to DataLake)
Pi...

● サーバー管理が極力少ないパイプラインと実行環境
● イベントドリブン & 疎結合なアーキテクチャ
● スケーラビリティと処理の並列数の管理
● イベント（データ）のステータス管理と活用
● 運用が楽になるロギング・モニタリング
アーキテクチ...

パイプラインとスケーラビリティ
● マネージドなパイプラインにより無限のスケーラビリティを確
保
Runtime
Pipeline(Load to DataLake)
Eve
nt
Eve
ntEvent
スケールします
×1,000
スケール...

● マネージドなパイプラインにより無限のスケーラビリティを確
保
● しかしデータロード先がRedshiftなど処理がスケールしない
場合、イベントの同時処理の制御が必要
パイプラインとスケーラビリティ
Runtime
Pipeline(Loa...

● マネージドなパイプラインにより無限のスケーラビリティを確
保
● しかしデータロード先がRedshiftなど処理がスケールしない
場合、イベントの同時処理の制御が必要
● SQSの処理中のメッセージ数をポーリングし、処理中の同時
実行数を確...

● マネージドなパイプラインにより無限のスケーラビリティを確
保
● しかしデータロード先がRedshiftなど処理がスケールしない
場合、イベントの同時処理の制御が必要
● SQSの処理中のメッセージ数をポーリングし、処理中の同時
実行数を確...

● マネージドなパイプラインにより無限のスケーラビリティを確
保
● もちろんロード処理の宛先がスケールする場合は並列度を
気にせず実行できる
パイプラインとスケーラビリティ
Pipeline(Load to DataLake)
Eve
nt
...

● サーバー管理が極力少ないパイプラインと実行環境
● イベントドリブン & 疎結合なアーキテクチャ
● スケーラビリティと処理の並列数の管理
● イベント（データ）のステータス管理と活用
● 運用が楽になるロギング・モニタリング
アーキテクチ...

イベントとデータのステータス管理
● 各パイプラインで、現在のイベントと処理ステータスを
一元的にDynamoDBで管理
○ システム：Lambdaの2重発火による重複起動を制御
○ システム：データロード後のマート作成実行を制御
○ ユーザー...

イベントとデータのステータス管理
● イベントとステータスの変更履歴をRDSで管理・分析
● DynamoDB Streamsでアイテムの変更をRDSへストリーミン
グインサート
● メンバのスキル的にSQLによる分析が可能→RDSに決定
Pi...

イベントとデータのステータス管理
● イベントとステータスの変更履歴をRDSで管理・分析
● DynamoDB Streamsでアイテムの変更をRDSへストリーミン
グインサート
● メンバのスキル的にSQLによる分析が可能→RDSに決定
Pi...

● サーバー管理が極力少ないパイプラインと実行環境
● イベントドリブン & 疎結合なアーキテクチャ
● スケーラビリティと処理の並列数の管理
● イベント（データ）のステータス管理と活用
● 運用が楽になるロギング・モニタリング
アーキテクチ...

アプリケーションログとシステムモニタリング
● ログはDatadogに集約。重要な通知はSlackへ。
● Lambda、AWS Batch、On-Premiseの様々な実行環境のプ
ログラムログを一元的に検索可能。
Logging Alert

アプリケーションログとシステムモニタリング
● マネージドサービスのメトリクスのアラートもDatadogに集
約。重要な通知はSlackへ。
Metrics Alert

アプリケーションログとシステムモニタリング
● マネージドサービスのメトリクスのアラートもDatadogに集
約。重要な通知はSlackへ。
Metrics Alert
Datadogでログとメトリクスを
一元的に管理・検索・モニタリング

File/Log (CSV/JSON)
HPB
JLN
HPG
Database
Redshift /
Spectrum
BigQuery
Data Lake (S3)
Runtime
Pipeline(Load to DataLake)
Pi...

リプレースの際の教訓

既存の運用に
設計が引きずられる
● 運用をなるべく変えないようにすると、既存のインターフェースに引
きずられてサーバ依存の設計になりがち。
● 運用も含めて、リプレースの対象だという共通認識を作る。ただし
これには運用者の同意も必要なので事前...

スコープの肥大化
● システムのリプレースにおいては、今までのつらみを解消しようとし
てスコープが肥大化しがち。
● 要望を明文化して残しておき「やるやらない」の判断をしてからプロ
ジェクトを進めるようにする。
新しいシステムが全てを叶えてくれ...

エンジニア募集中！！

Share Slideshare

LinkedIn
Facebook
Twitter

Embed

Size (px)

Show related Slideshows at end

WordPress Shortcode

Link

Share
Email

2024 Trend Updates: What Really Wor... by Search Engine Jou... 1059379 views
Storytelling For The Web: Integrate... by Chiara Aliotta 976667 views
Artificial Intelligence, Data and C... by OECD Directorate ... 914599 views
How to Leverage AI to Boost Employe... by SocialHRCamp 387831 views
2024 State of Marketing Report – by... by Marius Sescu 219508 views
Everything You Need To Know About C... by Expeed Software 236350 views

View on Slideshare

1 of 67 Ad

View on Slideshare

1 of 67 Ad