[第11回]データ分析ランチセッション - モダンな機械学習データパイプラインKedroを触ってみる

[第11回]データ分析ランチセッション - モダンな機械学習データパイプラインKedroを触ってみる
Leverages Marketing Department データ分析ランチセッション#11 モダンな機械学習データパイプライン Kedroを触ってみる 2020/03/25 渋谷スクランブルスクエア25F レバレジーズ株式会社データ戦略室室長阪上晃幸 1
Leverages Marketing Department ● データ戦略室で隔週で行っている、書籍をベースにした勉強会の補講の位置付け。情報の鮮度を意識した勉強会。 ● 扱うトピックは発表者が任意で決める。 ● 発表者以外は弁当を持参する。発表者は発表後に食事する。 ● 発表時間は10~15分。質疑応答が10~15分。ランチセッションとは 2
Leverages Marketing Department 今回はKedroを紹介しますよ！ 3
Leverages Marketing Department これは違う 4
Leverages Marketing Department ● 2019年から開発が進められている、オープンソースのデータパイプライン管理ツール（Python用） ○ AnacondaでPython3.7の環境下で実行できた。 ● データパイプラインの中心（とGitHubに書かれている。） ○ 本番用のコードを書く際に心配が少ない。（テスト、柔軟なデプロイ） ○ ロバストで、スケーラブルで、再現可能性があって、バージョン管理されたデータパイプラインを作れる。 ○ プロジェクト全体でチームが共同作業する方法を標準化する。 Kedroとは 5
Leverages Marketing Department ● プロジェクトのテンプレート：ベストプラクティスの提供 ● データカタログ：様々なデータ形式に対応（ローカルからクラウドまで） ● パイプラインの抽出：グラフで表現できる（kedro-viz） ● 再現性：パイプラインを再現できる ● コーディング規約：pytestを使ったテストができる ● フレキシブルなデプロイ：kedro-docerやkedro-Airﬂowなど、既存の環境やワークフローへの導入も行いやすいらしい Kedroの特徵 6
Leverages Marketing Department kedro-viz（別ライブラリ） 7
Leverages Marketing Department ● pip install kedro でインストール ● kedro info でインストールされているか確認 Kedroを触ってみる〜インストールについて 8
Leverages Marketing Department Kedroを触ってみる〜Hello World exampleについて 9 今回のHello World exampleではフィッシャーが集めた、アヤメのデータセットである irisを用いた機械学習のデータパイプラインを試しています。ディレクトリは以下のようになっており、ベストプラクティスとされているようです。
Leverages Marketing Department 今回の機械学習のデータパイプラインでは、・訓練データとテストデータの分割・モデルの訓練・モデルを用いた予測・評価指標のレポーティングが扱われています。 Kedroを触ってみる〜Hello World example 10
Leverages Marketing Department プロジェクトの新規作成 11
Leverages Marketing Department ディレクトリの中身 12
Leverages Marketing Department data_engineering/nodes.pyの中身 15 irisのデータを訓練データとテストデータに分けて、 dict型で返す
Leverages Marketing Department data_engineering/pipeline.pyの中身 16 さきほど定義した関数 parameters.ymlで指定された割合 catalog.ymlでパスが指定されたデータセット
Leverages Marketing Department catalog.ymlの中身 18 データの名前、データの型、ファイルのパスを指定している
Leverages Marketing Department parameters.ymlの中身 19 テストデータの割合、訓練回数、学習率が記されている
Leverages Marketing Department data/01_raw/iris.csvの中身 21 見紛う事なきirisのデータ
Leverages Marketing Department data_science/nodes.pyの中身 23 多クラスのロジスティック回帰モデルの推定推定したモデルでの予測正解率のレポーティング
Leverages Marketing Department data_science/pipeline.pyの中身 24 さきほど定義した関数 data_engineering/ pipeline.py で生成したデータ parameters.ymlで指定された学習率名付けたモデル名 data_engineering/ pipeline.py で生成したデータ名付けた変数名さきほど定義した関数
Leverages Marketing Department pipeline.pyの中身 26 前処理と推論の関数を呼び出してパイプラインを作る
Leverages Marketing Department run.pyの中身 28 パイプラインを呼び出して、プロジェクトを実行する
Leverages Marketing Department tests/test_run.pyの中身 30 pytestモジュールを使ったプログラムのテストを実行できる
31 コードたちは大体わかったので、実際に機械学習のパイプラインを実行してみる
Leverages Marketing Department kedro runの実行結果 32 データの読み込みパラメータの読込前処理部分の実行前処理で吐かれたデータたちパラメータの読込推論部分（訓練）の実行推論部分（予測）の実行推論部分（評価）の実行
Leverages Marketing Department kedro-vizの実行（kedro vizで立ち上がる） 33 kedro-vizは別のライブラリなので、 pip install kedro-vizでインストールしておく。
Leverages Marketing Department kedro-vizはブラウザで表示される 34
Leverages Marketing Department logs/journalsの中身 36 実行日時からなるid 実行したプロジェクトのパスログの設定はlogging.ymlでいじれる
Leverages Marketing Department ● Kedroは機械学習データパイプラインのベストプラクティスとされるものを提供してくれている。 ● logが吐かれるので、再現性の担保ができる。 ● kedro-vizでデータパイプラインの可視化もできる。 ● 今回のチュートリアルはシンプルだったので、より複雑な前処理、複雑なモデリングのケースで運用しやすいのかどうかを試していきたい。さいごに 37
Leverages Marketing Department [1] quantumblacklabs / kedro [2] Kedro を用いた分析コンペ向けのデータパイプライン構築 [3] A “Hello World” example [4] Kedro — Hello World Example [5] pipelineライブラリKedroを使ってみた話 [6] quantumblacklabs / kedro-viz 参考情報 38
Leverages Marketing Department ご静聴ありがとうございました！ 39

Check these out next

[第11回]データ分析ランチセッション - モダンな機械学習データパイプラインKedroを触ってみる

Recommended

More Related Content

Similar to [第11回]データ分析ランチセッション - モダンな機械学習データパイプラインKedroを触ってみる(20)

More from Teruyuki Sakaue(8)

Recently uploaded(20)

[第11回]データ分析ランチセッション - モダンな機械学習データパイプラインKedroを触ってみる