2019/8/27 メルペイMachineLearning meetupの発表資料です。 https://mercari.connpass.com/event/142853/

1. メルペイあと払いを実現するData Pipeline
@shigeru
メルカリxメルペイ MachineLearning Meetup
2019 / 08 / 27

2. 自己紹介
2
● 名前
Satoshi Matsuzaki (@shigeru)
● 職種
Software Engineer / Machine Learning（SysML)
● やってきたこと
○ 前職
■ ECサイトのレコメンドロジックの開発
■ 機械学習によるマルウェア検知技術の開発
○ メルペイ (2018/10 〜)
■ メルカリ・メルペイデータの分析
■ 機械学習基盤の設計/実装/運用

3. Agenda
1. メルペイあと払いを実現するDataPipeline
2. 再現性を保つDataSnapshot
3. データ不整合を解消するDataCorrection
4. Microservice環境下でのDataValidation

4. Train/Predict Pipeline
Engineers
Data Pipeline
Mercari/Merpay DB
BigQuery
Predict Result
BigQuery
Datasets
Cloud Storage
Models
Cloud Storage
load dataset
Create Dataset
Cloud Composer
Train/Predict Image
Container Registry
loads
save
Predict Job
Kubernetes Engine
Train Job
Kubernetes Engine
load image
dump
Monitoring
Logging
4
1. メルペイあと払いを実現するDataPipeline
Query
⑥あと払い連携

5. 5
Airflow(Cloud Composer)
● タスクの依存関係をDAGで定義するWorkflow Engine.
● 複数のtableを参照して、学習に必要なDatasetを並列で作成している
Airflow(Cloud Composer)によるDataset生成

6. Scoring Pipeline
Data Pipeline
Dataset Pipeline
Dataset for train/predict
Cloud Storage
Create Dataset
Cloud Composer
Engineers
Corrected data
BigQuery
DataSnapshot
BigQuery
Mercari/Merpay DB
BigQuery
6
データ不整合を解消する
DataCorrection
再現性を保つ
DataSnapshot
Airflow(Cloud Composer)によるDataset生成
Predict Job
Kubernetes Engine
Train Job
Kubernetes Engine
Microservice環境下での
DataValidation
①任意のタイミングでキック
②Cron設定によるキック

7. 2. 再現性を保つDataSnapshot
7
Motivation
● ビジネス観点
○ 金融分野では、特定の期間でのデータの保全が特に求められる
● ML観点
○ 既存モデルと新しいモデルを比較するために、
モデルの再現性を保ちたい

8. 2. 再現性を保つDataSnapshot
8
Data Pipeline
Dataset Pipeline
Create Dataset
Cloud Composer
Engineers
①Datasetの期間を指定
2018/10/01 ~ 2019/04/01
Scoring Pipeline
Predict Job
Kubernetes Engine
Train Job
Kubernetes Engine
②指定した期間で
データを切出して保存
③切出したデータを元に
Datasetを作成していく
Dataset for train/predict
Cloud Storage
Corrected data
BigQuery
DataSnapshot
BigQuery
Mercari/Merpay DB
BigQuery

9. 3. データ不整合を解消するDataCorrection
9
Motivation
● キャンペーンなどで、特定の期間のデータが歪むことがある
● 支払い履歴データの転送遅延など
→ 該当のデータを修正あるいは除外したい Engineers
Data Pipeline
Dataset Pipeline
Dataset for train/predict
Cloud Storage
Create Dataset
Cloud Composer
Corrected data
BigQuery
DataSnapshot
BigQuery
Mercari/Merpay DB
BigQuery
Correction Rule
BigQuery
予め設定したルールに従って
データを修正 / 除外

10. 4. Microservice環境下でのDataValidation
10
Motivation
● データのスキーマは、各microserviceに任されているため
データの範囲や分布が変わる可能性がある
→ データが変わったことにすぐに気づきたい

11. Data Pipeline
Dataset Pipeline
4. Microservice環境下でのDataValidation
11
Tensorflow Data Validation
● 予め作成したschemaに一致しているかチェックする
Engineers
Create Dataset
Cloud Composer
Dataset for train/predict
Cloud Storage
Mercari/Merpay DB
BigQuery
Scoring Pipeline
Predict Job
Kubernetes Engine
Train Job
Kubernetes Engine
feature {
name: `event`
presence: {min_fraction: 1 }
value_count: {
min: 1
max: 1
}
type: BYTES
string_domain {
value: `CLICK`
value: `CONVERSION`
}
}
データから、
ある程度自動生成される
データから、
ある程度自動生成される
細かい調整をする

12. ご清聴ありがとうございました