2016/12/6のJAZUGで登壇した内容です。

1. Data Science
チームビルディングと
DevOps

2. Yukako Shimizu
Lead for Data Scientist Team
日系SI企業米国支社のデータサイエンスチーム
よく使う領域:
R / Python / AWS / Azure
最近は専らパワーポイントエンジニア・・・
2

3. 3
目的
AI, デジタルマーケティング等を進めるときにデ
ータサイエンスが必要不可欠。
▸ Engineerとは違うバックグラウンドの
Data Scientistと、どうコワークしていくか？
▸ Engineerとして考えなければいけないことは何か？

4. Agenda
1. チームを作る
2. 環境をつくる
(おまけ) USのエンジニア
4

5. 1.
チームをつくる
(企画～PoC)
5

6. 一般的なシナリオ
6
HumanResource
Time
企画 PoC 本格導入 運用

7. よくある…
7
Owner
スーパーエンジニア
Owner
データ
サイエンテ
ィスト
データ
エンジニア
ビジネス
アナリスト

8. データ分析フロー
8
データ
サイエンティスト
データ
エンジニア
ビジネス
アナリスト
課題定義 仮説立案
データ
収集・加工
モデル構築
モデル
評価・運用
ビジネス
アナリスト
データ
サイエンティスト
データ
サイエンティスト
データ
エンジニア
ビジネス
アナリスト

9. データサイエンティストといっても
9
経歴
• PhDなどアカデミア出身
• ユーザ企業の研究職出身
• エンジニア出身
スキル
• 数学、統計学
• SPSS,SASなど分析ツール
• Python/R
• Hadoop, Spark
Data Scientistと機械学習エンジニア

10. DS不足を支えるツールたち
10
Azure Machine Learning
AutoML

11. 2.
環境をつくる
(PoC～本格導入)
11

12. 一般的なシナリオ
12
HumanResource
Time
企画 PoC 本格導入 運用

13. 13
コード整備
• 人に見せるコードを書いてもらう
• Gitのトレーニングもマスト
Jupyter Notebook問題
• 差分マージ時にHTMLジャンクがあり。
→バージョン管理されたライブラリから数学関数をインポー
ト or nbdimeの使用
→Azure DevOpsでJuputerNotebookサポート！！

14. 14
テスト
• モデルのテスト観点
プログラムとしての正常動作確認
• データサイエンスの観点
データ品質のチェック
モデルのパフォーマンスのチェック
OverFitモデルの採用を避けるためにも、定期的なモデルの検証・改善をする
評価対象範囲は業務特性に合わせてあらかじめ決めておく。
（e.g. 季節変動性のあるデータなら２年間分のデータで評価する）
精度＝業務効果ではない。保障はほどほどに。

15. 15
コンテナ化
Hardware
OS
Orchestration
Kernel
App A App B App C App D App E
Bins/libs Bins/libs
分割の仕方はモデル種別×企業種別
企業間で転移学習はデータ漏洩の可能性があるので△

16. Azure
DevOpsで
実現する
16

17. 17

18. 18

19. 19

20. 20

21. 21

22. まとめ
22
• 俗人化しがちなData Science分野こそ、
DevOpsツールを使うことで高速化できる!
• それぞれのカルチャーが違うのでDevOpsが難しい分野のひとつ
• Data Scientistは使いたい言語、パッケージバージョン、評価指
標などの要件は最初に伝える。
• Engineerは要件を汲み取った製品/手法選びを。

23. (おまけ)
USのエンジニア

24. 雇用形態のちがい
24
企業A
Proje
ct
企業B 企業C
Proje
ct
Proje
ct
人材
プール
企業A 企業B 企業C
システム会社
Proje
ct
Proje
ct
Proje
ct
アメリカ 日本

25. 25
DevOps for Data Science @ Microsoft Build 2018
https://developer.microsoft.com/en-us/events/build/content/devops-for-data-science
CI/CD for Your Machine Learning Pipeline with Amazon SageMaker @ AWS re:Invent 2018
https://www.slideshare.net/AmazonWebServices/cicd-for-your-machine-learning-pipeline-with-
amazon-sagemaker-dvc303-aws-reinvent-2018
References