Kubeflow への導入が予定されているPachydermについての紹介です。

1. Pachyderm Introduction
株式会社スタイルズ
矢野 哲朗
2018年1月16日

2. Pachydermとは？
2
データ処理のための
1. データ(トレーニングデータ、モデルデー
タ含む)のバージョン管理
2. データ操作パイプライン
ができるフレームワークです。
※有償のEnterprise Edition があります。
Enterprise Editionはダッシュボード機能やアクセスコントロール、ジョブ実行やデータに
ついての詳細統計が取得できます。
今回は、OSSでのPachydermについてご紹介します

3. Pachydermを作った人が困っていたこと
3
Spark、Hadoopを使っていたが、それらには問題があった
• どういうデータが元々あったか？変更途中のデータの履歴が
ない
• どういう風にデータを修正したかという操作履歴がない
• 元データに変更があった場合に同じような操作をなんども
手動で実施する必要がある
Fully-Reproducible MLDeployment with Spark, Pachyderm, and MLeap-
Databricks
https://databricks.com/session/fully-reproducible-ml-deployment-with-
spark-pachyderm-and-mleap

4. Pachydermと他のソリューションとの比較
4
Fully-ReproducibleMLDeploymentwithSpark, Pachyderm,andMLeap wit…
https://www.slideshare.net/databricks/fullyreproducible-ml-deployment-with-spark-pachyderm-and-mleap-with-daniel-whitenack-and-hollin-wilkins

5. データがバージョニングされるツールがなかった
5
データをバージョニングして、データ操作を
パイプライン化するというツールはなかった
ので、Pachydermの開発者は開発を開始した

6. Kubeflowとのインテグレーション
6
Kubeflowプロジェクトに採用予定
Ref: Kubeflow Project: Deep Dive
https://kccnceu18.sched.com/event/Drnd/kubeflow-deep-dive-david-aronchick-jeremy-lewi-google-intermediate-skill-level

7. Pachydermではどういうことができるか？
7
データの
バージョニング
データ処理を
コンテナで実行
データを分散処理
Pachyderm - Scalable, Reproducible Data Science
https://pachyderm.io/open_source.html

8. 動作例：全体像
8
このようなデータ処理があったとしま
す。

9. 動作例：リポジトリ(データストア)
9
履歴管理されている
リポジトリ
履歴管理されている
リポジトリ
履歴管理されている
リポジトリ
履歴管理されている
リポジトリ
データが保存されている場所＝リポジトリがあります

10. 動作例：パイプライン
10
trainingにデータが入ってきたら(or 更新されたら)、train.scalaを実行して
モデルを作成し、結果をmodelにMLeap bundleとして保存するパイプライン
testまたは、modelのデータが更新されたら、score.scalaを実行して
スコアを計算し、結果をscoreにscoreとして保存するパイプライン
データを処理する＝パイプラインがあります
モデル作成用
データ
検証用データ

11. 動作例：実行
11
1. trainingにデータを入れたら自動的にバージョニングされて、train.scalaが動いて、modelに
バージョニングしてデータを保存
2. testにデータを入れるか、またはmodelにデータが入ったら、score.scalaが動いて、scoreに
バージョニングしてデータを保存
モデル作成用
データ
検証用データ

12. Pachyderm について
12
Pachyderm動作要件
• Kubernetes
• Pachyderm
• (Option)S3 compatible storage
Pachyderm システム構成要素
• pachd(Pachydermジョブコントローラー)
• etcd(ジョブデータ保管)
• dash(Pachydermダッシュボード)

13. Pachyderm インストール設定
13
Pachydermインストール
Kubernetesに接続できる環境で
1. Pachydermコマンド(pachctl)をインストール
2. PachydermをKubernetesクラスターにpachctl deploy localでデプロイ
Pachyderm構成イメージ
Kubernetes
pachyderm/pachd
quay.io/coreos/etcd
pachyderm/dash
pachyderm/grpc-proxy
S3
Volume
pachctlコマンド
ブラウザー
リポジトリのデータは
ここに入ります

14. Pachydermの使い方
14
 Pachydermを使う
1. データを入れるリポジトリを作る(pachctl create-repo hogehoge)
2. ファイルをレポジトリーにputする
3. パイプラインファイルをjsonファイルで作成する
4. パイプラインファイルを取り込む
パイプラインサンプル
{
"pipeline":{
"name": "wordcount"
},
"transform":{
"image": "wordcount-image",
"cmd": ["/binary", "/pfs/data","/pfs/out"]
},
"input":{
"atom":{
"repo":"data",
"glob": "/*"
}
}
}
パイプライン動作イメージ
Dockerイメージと
オプションを実行指定

15. Pachydermのデータ保存
15
Pachydermをデプロイするときにデータ保存先を指定する
データは、トレーニングデータ、モデルデータを保存できる
保存先は、S3 互換のオブジェクトストレージも使える
ジョブ実行履歴は、etcdのKVSに入る
移行や別の場所での確認時には、pachctl extract で明示的にエクスポート、
pachctl restoreでインポートする必要がある
実行ジョブのソースコードはコンテナーイメージに入れておくか、コンテナー実行時
にソースコードを読み込む必要がある(ソースコード修正時のトリガーは別途用意す
る必要がある)
コンテナーイメージ実行時にPachydermのリポジトリデータは、以下のマウントパス
で参照できる
/pfs/<レポジトリ名>
データ出力ディレクトリは以下のマウントパスにする必要がある
/pfs/output

16. Pachydermのパイプラインについて
16
パイプライン実行タイミングは、リポジト
リが更新された時
Pachydermのパイプラインは複数のデ
ータリポジトリを参照できる
実行する処理は、コンテナーイメージを
指定
実行する処理はオプションも指定可能
パイプラインの並列分散実行も可能
sparkやhadoopも呼び出せる
cron定期実行も可能
リポジトリの更新された新しいファイル
のみ処理も可能
{
"pipeline": {
"name": "estimate_pi"
},
"transform": {
“image”: “pachyderm/estimate-pi-spark:0.3”,
“cmd”: [ “spark-submit”, “/home/estimate_pi.py” ]
},
"parallelism_spec": {
"constant": 1
},
"input": {
"pfs": {
"repo": "estimate_pi_config",
"glob": "/num_samples"
}
}
}
パイプラインサンプル

17. Pachyderm 情報リンク
17
 Pachyderm - Scalable, Reproducible Data Science
https://pachyderm.io/
 Fully Reproducible ML Deployment with Spark, Pachyderm, and MLeap - YouTube
https://www.youtube.com/watch?v=TmTYenyOU0s
 Pachyderm Developer Documentation — Pachyderm 1.8.2 documentation
https://pachyderm.readthedocs.io/en/latest/index.html
 Pachydermによるデータ管理とパイプライン | Research Blog
https://adtech.cyberagent.io/research/archives/890
 Modern Linux Pipeline Programmingを補助してくれるツールたち - Qiita
https://qiita.com/mumoshu/items/fc6f6a3149e82f7b375f#pachyderm
 3 go/debian での機械学習環境構築について
https://tokyodebian-team.pages.debian.net/pdf2018/debianmeetingresume201803.pdf
 CoreOSとDockerの上でビッグデータ分析の敷居をフロントエンドプログラマ向けに低くするPachyderm |
TechCrunch Japan
https://jp.techcrunch.com/2015/01/24/20150123pachyderm/