SlideShare a Scribd company logo
Hidden Technical Debt in
Machine Learning Systems
Table of Contents
1. 関係論文
2. 背景
3. 複雑なモデルのシステム境界侵食
4. データの依存性コストはコード依存性コストより高い
5. フィードバックループ
6. 機械学習アンチパターン
7. 設定ファイル負債
8. 外部世界の変化を扱う
9. 他の領域での機械学習の負債
2
関係論文
3
機械学習のシステムの難易度について述べた論文
▸ 機械学習:技術的負債の高利子クレジットカード
▹ Sculley D, Phillips T, Ebner D, Chaudhary V, Young M. Machine learning: The
high-interest credit card of technical debt.
▹ 下記の資料と重なっている点が多い
▹ https://www.slideshare.net/recruitcojp/ss-42745505
4
:
機械学習のシステムの難易度について述べた論文
▸ 今回、紹介する論文
▹ Sculley D, Holt G, Golovin D, Davydov E, Phillips T, Ebner D, Chaudhary V, Young
M, Crespo JF, Dennison D. Hidden technical debt in machine learning systems.
InAdvances in neural information processing systems 2015 (pp. 2503-2511).
▹ NIPS 2015の論文
5
:
背景
6
技術的負債について
▸ 技術的負債によってコードのメンテナンス
性が低下し、品質と速度が低下する
▸ 全ての技術的負債が悪いのではない
▹ 致命的なエラーを解消するためのモンキーパッチ
など
▹ 一時的な対応のためのハードコーディング
7
:
技術的負債について
▸ ソフトウェアの側面で技術的負債を防ぐ
▹ リファクタリング、ユニットテスト、使用してい
ないコードの削除、依存性の低減、APIの強化、
ドキュメンテーションの充実
▸ 機械学習には上記で解決できない別の問題
が存在
▹ データに対する依存性が存在するため
8
:
モデルの複雑なシステム境
界侵食
9
ソフトウェアシステム
▸ 独立した変更と改善を容易にする
▹ カプセル化とモジュール設計による抽象境界
▹ コンポーネントからの入力、出力の不変、一
貫性を担保
10
:
機械学習システム
▸ データに対する依存性が存在
▹ 絡み合い
▹ 誤り訂正
▹ 宣言されていない消費
11
:
絡み合い
▸ CASE(Changing Anything Changes
Everything)
▹ 少し変わると全て変更される
▹ 入力特徴量が変更される(削除、増加、変化
etc) -> モデルの重みが全て変更される
▹ 重みだけでなく、ハイパーパラメータ、学習設定なども
変更される
12
:
絡み合いの対策
▸ 対策1:
▹ マルチクラスの予測のようなケースではモデルを
クラスごとに孤立させ、アンサンブルで学習(ク
ラスごとに相関がないことを仮定)
▸ 対策2:
▹ 入力が変わることによる予測の変化を可視化して
対応
13
:
誤り訂正
▸ 下記のような現象
▹ 問題Aを解決するようなモデルmAが存在
▹ モデルmAを改善して少し異なる問題A’を解決す
るモデルm’Aを作成
▹ モデルmAに対する依存が発生
14
:
誤り訂正の対策
▸ 対策1:
▹ ケースを識別する特徴量を追加
▸ 対策2:
▹ 問題ごとに個別にモデルを作成
15
:
宣言されていない消費
▸ モデルの出力結果のアクセス制御していな
いと他のシステムから参照可能になる
▹ 隠れたフィードバックループになりうる
▹ アクセス制限していない限り検出が難しい
16
:
宣言されていない消費者の対策
▸ 対策:
▹ リソースのアクセス制限
17
:
データの依存性コストはコ
ード依存性コストより高い
18
データ依存性
▸ 不安定なデータ依存
▸ 十分活用されていないデータ依存
▸ データ依存性の静的解析
19
:
不安定なデータ依存性
▸ 不安定にデータが変化する
▹ 量もしくは質
▹ 入力される値が別の機械学習モデル
▹ TF-IDFのようなデータに依存するスコアリン
グ
20
:
不安定なデータ依存性の対策
▸ 対策
▹ データのバージョン管理
21
:
十分活用されていないデータ依存
▸ コードでは使用していないパッケージは必
要ない
▸ データでも同様:
▹ 例:システム移行
▹ 古いシステムに依存しているモデルがある場
合、古いシステムが止まると悪影響が発生
22
:
十分活用されていないデータ依存の傾向
▸ 傾向1:
▹ Legacy Features: 開発初期の特徴は運用するに連
れて冗長になる
▸ 傾向2:
▹ Bundled Features: 適切に分離されていない特徴。
ほぼ値がないものや値が存在しない特徴が混ざる
可能性がある
▸ 傾向3:
▹ ε-Features: 精度向上のわずかに影響もしくはモデ
ルの複雑性を向上させても精度向上させている
23
:
十分活用されていないデータ依存の傾向
▸ 傾向4:
▹ Correlated Features:2つの特徴量が強く相関して
いるケースが多くある。これらは直接的な因果関
係がある。
▹ 因果関係があるので片方の特徴量が変更され
ると相関関係の強い特徴量も変更されるため
外界の変化に弱いモデルになる
24
:
データ依存性の静的解析
▸ データの依存性は静的解析が難しい
▸ コードはコンパイラやビルドシステムによ
って依存性の問題を解消している
25
:
データ依存性の静的解析の対策
▸ データの依存性解析ツールについて
▹ スケールするシステム対象
▹ データが欠損するとアラートが上がる。
▹ 異なる学習システムでもインターフェースは共通
▹ 欠損データは追跡可能
▹ 欠損データの補完可能
▹ 特徴量のホワイトリストを作成し、不要な特徴量は削除
▹ 特徴量の削除はリソースの消費を抑える
26
:
データ依存性の静的解析の対策
▸ データの依存性解析ツールの詳細
▹ McMahan, H. Brendan, et al. "Ad click prediction: a view from the
trenches." Proceedings of the 19th ACM SIGKDD international
conference on Knowledge discovery and data mining. ACM, 2013.
▹ https://static.googleusercontent.com/media/research.google.com
/en//pubs/archive/41159.pdf
27
:
フィードバックループ
28
フィードバックループ
▸ 直接的なフィードバック
▹ モデルの結果が将来的な学習データに影響を及ぼ
す可能性がある
▸ 隠れたフィードバック
▹ 2つのシステムが間接的に影響を与える
▹ 例:週次のレコメンドシステム
▹ 2週目から1週目のレコメンドの結果の影響が含まれる
29
:
フィードバックループの対策
▸ 直接的なフィードバック
▹ 探索と活用を混ぜたバンデットアルゴリズムの使用
▹ ランダムな要素を混ぜる
▹ データの特定部分をモデルの影響を受けないように分離
▸ 隠れたフィードバック
▹ レコメンドシステムのように明確な場合はレコメンド候補は学習
データから除くなどの処理をする
30
:
機械学習アンチパターン
31
フィードバックループの対策
▸ グルーコード
▸ パイプラインジャングル
▸ 不要になった実験コード
▸ 抽象化の欠如
▸ 上記に共通する匂い
32
:
グルーコード
▸ 1つのパッケージで完結可能なコードを研
究者は書きがち
▹ 汎用的なコードとデータのやりとりを行うコード
が混ざっている
▸ 成熟したシステムでは機械学習のコードが
5%、グルーコードが95%
33
:
グルーコードの対策
▸ パッケージを共通のAPIとしてまとめる
34
:
パイプラインジャングル
▸ グルーコードの特殊ケース
▹ データ準備によく現れる
▹ 機械学習のデータを用意する際に結合、サン
プリング、削除などで中間ファイルを作成
35
:
パイプラインジャングルの対策
▸ データの収集と特徴量抽出を包括したアー
キテクチャ
▸ エンジニアと研究者を同一チームにする
36
:
不要になった実験コード
▸ 実験コードを条件付きでプロダクションコ
ードにする
▹ パイプラインジャングルやグルーコードの温床に
なる
▹ 例:Knight Capitalのシステムが45分で4億6,500
万ドルの損失
37
:
不要になった実験コードの対策
▸ 実験コードをプロダクションコードに使用
しない
▹ プロダクションで使用可能な形に変更する
38
:
抽象化の欠如
▸ 機械学習は抽象化が難しい
▸ 抽象化が難しい故にコンポーネント間の明
確な責任分解も難しくなる
39
:
共通する匂い
▸ Plain-Old-Data Type Smell
▹ 浮動小数点や整数などのデータが存在
▹ ログの乗数、閾値が存在
▸ Multiple-Language Smell
▹ 複数の言語で記述されている
▸ Prototype Smell
▹ 抽象化されていない、インターフェースがない、
モジュール化されていないなど
40
:
設定ファイル負債
41
設定ファイル負債
▸ 機能、データの選択、アルゴリズムの設定
、前処理、後処理などの構成オプションが
ある
▸ 成熟したシステムではこれらはコードの行
数を超える可能性がある
42
:
設定ファイル負債
▸ 例:
▹ 特徴量A: 9/14-9/17のログが正しくない
▹ 特徴量B: 10/7前は使用できない
▹ 特徴量C: 11/1以降はログフォーマットが変更
▹ 特徴量D: プロダクションで使用不可なので代わり
のD’とD’’を使用
▹ 特徴量Z: 効率化のためルックアップテーブル用の
余分なメモリを割り当て
43
:
設定ファイル負債の対策
▸ 変更の特定が容易にするため変更は小さく
▸ 自動チェックなどでマニュアルエラー、見落とし、省略を難しくする
▸ 設定ファイルの違いをモデルで明確に分かるようにする
▸ 設定ファイルの基本的な事実(特徴量の数など)は自動チェックを行
う
▸ 冗長かつ使用していない設定は削除する
▸ プロダクションに入る設定ファイルもレビューを受けるべき
44
:
外部世界の変化を扱う
45
外部世界の変化を扱う
▸ 外部世界は安定していないのでそれに伴っ
て変化が必要
▹ 動的システムの固定値の危険性
▹ モニタリングとテスト
46
:
動的システムの固定値の危険性
▸ 電子メールのスパム判定などに固定値を設
定することがある
▸ 多数のモデルに対して手動で固定値を指定
するのは危険
47
:
動的システムの閾値の危険性の対策
▸ 検証データで自動的に閾値を設定する仕組
みを作る
48
:
モニタリングとテスト
▸ 単体テストやend-to-endテストは外部世界
の変化に対して十分なテストになり得ない
▹ 外部世界のモニタリングが必要
▹ Prediction Bias
▹ Action Limits
▹ Up-Stream Producers
49
:
Prediction Bias
▸ 予測ラベルの分布と観測ラベルの分布を観
測
▹ 包括的なテストではない
▹ 外部世界の変化を捉えることは可能
50
:
Action Limits
▸ 行動に制限をかける
▹ メッセージのスパム振り分けや入札など
▹ 許容する範囲は大きくとる
▹ 許容範囲を超える場合は明らかな異常としてチェ
ックする
51
:
Up-Stream Producers
▸ 機械学習に入力されるデータはあらゆるア
ップストリームから入力される
▹ これらのアップストリームは監視、テスト、定期
的な機械学習の要件を満たしたデータかをチェッ
クする必要がある
52
:
他の領域での機械学習の負債
53
他の領域での機械学習の負債
▸ Data Testing Debt
▸ Reproducibility Debt
▸ Process Management Debt
▸ Cultural Debt
54
:
Data Testing Debt
▸ データのテストを行う
▹ データの単純なサニティチェック
▹ データの入力分布の変化をモニタリング
55
:
Reproducibility Debt
▸ 厳密な再現性は不可能
▹ ランダムアルゴリズム
▹ 初期設定
▹ 外界との相互作用
56
:
Process Management Debt
▸ 多数のモデルを扱う場合
▹ モデルを安全かつ自動的に更新
▹ モデル間のリソースの割り当て
▹ データフローの可視化、異常の検出
▹ モデル作成に失敗した場合の復旧、回避
57
:
Cultural Debt
▸ 機械学習とエンジニアリングの両立は難し
い
▹ チームカルチャーを醸成するのも重要
▹ エンジニアと研究者の両方の強みをもつチームを
作ることがカルチャーを作るのにも繋がる
58
:
結論
59
Measuring Debt and Paying it Off
▸ 技術的な負債を抱えないために効果的な5
つの質問があります。
▹ 新しいアルゴリズムを簡単にフルスケールでテストできますか
▹ 全てのデータの依存関係は把握可能か
▹ システムへの新しい変化の影響をどれだけ正確に測定できますか
▹ 1つのモデルの改善が他のモデルをどれだけ劣化させるか
▹ 新規メンバーが入った時にどれだけ早くスピードを上げられるか
60
:
参考
61
References
62
▸ Sculley D, Holt G, Golovin D, Davydov E, Phillips T, Ebner D,
Chaudhary V, Young M, Crespo JF, Dennison D. Hidden technical
debt in machine learning systems. InAdvances in neural information
processing systems 2015 (pp. 2503-2511).
▸ 「機械学習:技術的負債の高利子クレジットカー
ド」のまとめ
▹ https://www.slideshare.net/recruitcojp/ss-
42745505

More Related Content

What's hot

ブースティング入門
ブースティング入門ブースティング入門
ブースティング入門
Retrieva inc.
 
For MANABIYA
For MANABIYAFor MANABIYA
For MANABIYA
ssuserafaae8
 
Semantic segmentation
Semantic segmentationSemantic segmentation
Semantic segmentation
Takuya Minagawa
 
MLOpsはバズワード
MLOpsはバズワードMLOpsはバズワード
MLOpsはバズワード
Tetsutaro Watanabe
 
グラフィカルモデル入門
グラフィカルモデル入門グラフィカルモデル入門
グラフィカルモデル入門Kawamoto_Kazuhiko
 
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
Shota Imai
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
 
12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf
幸太朗 岩澤
 
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツールProphet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
hoxo_m
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
Deep Learning JP
 
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
joisino
 
時系列ビッグデータの特徴自動抽出とリアルタイム将来予測(第9回ステアラボ人工知能セミナー)
時系列ビッグデータの特徴自動抽出とリアルタイム将来予測(第9回ステアラボ人工知能セミナー)時系列ビッグデータの特徴自動抽出とリアルタイム将来予測(第9回ステアラボ人工知能セミナー)
時系列ビッグデータの特徴自動抽出とリアルタイム将来予測(第9回ステアラボ人工知能セミナー)
STAIR Lab, Chiba Institute of Technology
 
“機械学習の説明”の信頼性
“機械学習の説明”の信頼性“機械学習の説明”の信頼性
“機械学習の説明”の信頼性
Satoshi Hara
 
協調フィルタリングを利用した推薦システム構築
協調フィルタリングを利用した推薦システム構築協調フィルタリングを利用した推薦システム構築
協調フィルタリングを利用した推薦システム構築
Masayuki Ota
 
ゼロから始める転移学習
ゼロから始める転移学習ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
 
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
Deep Learning JP
 
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII
 
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
ohken
 
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
Preferred Networks
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
Deep Learning JP
 

What's hot (20)

ブースティング入門
ブースティング入門ブースティング入門
ブースティング入門
 
For MANABIYA
For MANABIYAFor MANABIYA
For MANABIYA
 
Semantic segmentation
Semantic segmentationSemantic segmentation
Semantic segmentation
 
MLOpsはバズワード
MLOpsはバズワードMLOpsはバズワード
MLOpsはバズワード
 
グラフィカルモデル入門
グラフィカルモデル入門グラフィカルモデル入門
グラフィカルモデル入門
 
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
最新の多様な深層強化学習モデルとその応用(第40回強化学習アーキテクチャ講演資料)
 
全力解説!Transformer
全力解説!Transformer全力解説!Transformer
全力解説!Transformer
 
12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf12. Diffusion Model の数学的基礎.pdf
12. Diffusion Model の数学的基礎.pdf
 
Prophet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツールProphet入門【Python編】Facebookの時系列予測ツール
Prophet入門【Python編】Facebookの時系列予測ツール
 
[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation[DL輪読会]Graph R-CNN for Scene Graph Generation
[DL輪読会]Graph R-CNN for Scene Graph Generation
 
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
Word Tour: One-dimensional Word Embeddings via the Traveling Salesman Problem...
 
時系列ビッグデータの特徴自動抽出とリアルタイム将来予測(第9回ステアラボ人工知能セミナー)
時系列ビッグデータの特徴自動抽出とリアルタイム将来予測(第9回ステアラボ人工知能セミナー)時系列ビッグデータの特徴自動抽出とリアルタイム将来予測(第9回ステアラボ人工知能セミナー)
時系列ビッグデータの特徴自動抽出とリアルタイム将来予測(第9回ステアラボ人工知能セミナー)
 
“機械学習の説明”の信頼性
“機械学習の説明”の信頼性“機械学習の説明”の信頼性
“機械学習の説明”の信頼性
 
協調フィルタリングを利用した推薦システム構築
協調フィルタリングを利用した推薦システム構築協調フィルタリングを利用した推薦システム構築
協調フィルタリングを利用した推薦システム構築
 
ゼロから始める転移学習
ゼロから始める転移学習ゼロから始める転移学習
ゼロから始める転移学習
 
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
[DL輪読会]EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks
 
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
SSII2020SS: グラフデータでも深層学習 〜 Graph Neural Networks 入門 〜
 
最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向最適輸送の計算アルゴリズムの研究動向
最適輸送の計算アルゴリズムの研究動向
 
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
深層学習の新しい応用と、 それを支える計算機の進化 - Preferred Networks CEO 西川徹 (SEMICON Japan 2022 Ke...
 
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
[DL輪読会]NVAE: A Deep Hierarchical Variational Autoencoder
 

Similar to Hidden technical debt in machine learning systems(日本語資料)

「機械学習:技術的負債の高利子クレジットカード」のまとめ
「機械学習:技術的負債の高利子クレジットカード」のまとめ「機械学習:技術的負債の高利子クレジットカード」のまとめ
「機械学習:技術的負債の高利子クレジットカード」のまとめ
Recruit Technologies
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
Preferred Networks
 
プロジェクトマネージャのための機械学習工学入門
プロジェクトマネージャのための機械学習工学入門プロジェクトマネージャのための機械学習工学入門
プロジェクトマネージャのための機械学習工学入門
Nobukazu Yoshioka
 
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
Nobukazu Yoshioka
 
統計学勉強会#2
統計学勉強会#2統計学勉強会#2
統計学勉強会#2
Hidehisa Arai
 
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Preferred Networks
 
Structural data analysis based on multilayer networks
Structural data analysis based on multilayer networksStructural data analysis based on multilayer networks
Structural data analysis based on multilayer networks
tm1966
 
Top-K Off-Policy Correction for a REINFORCE Recommender System
Top-K Off-Policy Correction for a REINFORCE Recommender SystemTop-K Off-Policy Correction for a REINFORCE Recommender System
Top-K Off-Policy Correction for a REINFORCE Recommender System
harmonylab
 
オブジェクト指向
オブジェクト指向オブジェクト指向
オブジェクト指向
iPride Co., Ltd.
 
The Recommendations for DX in Commercial Education
The Recommendations for DX in Commercial EducationThe Recommendations for DX in Commercial Education
The Recommendations for DX in Commercial Education
seastar orion
 
機械学習応用システムのためのセキュリティリスク分析手法
機械学習応用システムのためのセキュリティリスク分析手法機械学習応用システムのためのセキュリティリスク分析手法
機械学習応用システムのためのセキュリティリスク分析手法
Nobukazu Yoshioka
 
データベース09 - データベース設計
データベース09 - データベース設計データベース09 - データベース設計
データベース09 - データベース設計
Kenta Oku
 
Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介
Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介
Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介
Tsukasa Takagi
 
[NeurIPS2019 論文読み会] A Meta Analysis of Overfitting in Machine Learning
[NeurIPS2019 論文読み会] A Meta Analysis of Overfitting in Machine Learning[NeurIPS2019 論文読み会] A Meta Analysis of Overfitting in Machine Learning
[NeurIPS2019 論文読み会] A Meta Analysis of Overfitting in Machine Learning
Masanari Kimura
 
授業用Twitterクライアント・アーカイブシステムの開発とその評価
授業用Twitterクライアント・アーカイブシステムの開発とその評価授業用Twitterクライアント・アーカイブシステムの開発とその評価
授業用Twitterクライアント・アーカイブシステムの開発とその評価
Shinya Mori (@mosuke5)
 
機械学習デザインパターン Machine Learning Design Patterns
機械学習デザインパターン Machine Learning Design Patterns機械学習デザインパターン Machine Learning Design Patterns
機械学習デザインパターン Machine Learning Design Patterns
Hironori Washizaki
 
20180117_ICON技術セミナー4_常盤
20180117_ICON技術セミナー4_常盤20180117_ICON技術セミナー4_常盤
20180117_ICON技術セミナー4_常盤
ICT_CONNECT_21
 
ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-
ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-
ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-
Hironori Washizaki
 
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
DeepEyeVision, Inc.
 
学習活動の構造化とデザイン
学習活動の構造化とデザイン学習活動の構造化とデザイン
学習活動の構造化とデザインMinoru Uchida
 

Similar to Hidden technical debt in machine learning systems(日本語資料) (20)

「機械学習:技術的負債の高利子クレジットカード」のまとめ
「機械学習:技術的負債の高利子クレジットカード」のまとめ「機械学習:技術的負債の高利子クレジットカード」のまとめ
「機械学習:技術的負債の高利子クレジットカード」のまとめ
 
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
東大大学院 電子情報学特論講義資料「深層学習概論と理論解析の課題」大野健太
 
プロジェクトマネージャのための機械学習工学入門
プロジェクトマネージャのための機械学習工学入門プロジェクトマネージャのための機械学習工学入門
プロジェクトマネージャのための機械学習工学入門
 
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
機械学習工学と機械学習応用システムの開発@SmartSEセミナー(2021/3/30)
 
統計学勉強会#2
統計学勉強会#2統計学勉強会#2
統計学勉強会#2
 
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
Session4:「先進ビッグデータ応用を支える機械学習に求められる新技術」/比戸将平
 
Structural data analysis based on multilayer networks
Structural data analysis based on multilayer networksStructural data analysis based on multilayer networks
Structural data analysis based on multilayer networks
 
Top-K Off-Policy Correction for a REINFORCE Recommender System
Top-K Off-Policy Correction for a REINFORCE Recommender SystemTop-K Off-Policy Correction for a REINFORCE Recommender System
Top-K Off-Policy Correction for a REINFORCE Recommender System
 
オブジェクト指向
オブジェクト指向オブジェクト指向
オブジェクト指向
 
The Recommendations for DX in Commercial Education
The Recommendations for DX in Commercial EducationThe Recommendations for DX in Commercial Education
The Recommendations for DX in Commercial Education
 
機械学習応用システムのためのセキュリティリスク分析手法
機械学習応用システムのためのセキュリティリスク分析手法機械学習応用システムのためのセキュリティリスク分析手法
機械学習応用システムのためのセキュリティリスク分析手法
 
データベース09 - データベース設計
データベース09 - データベース設計データベース09 - データベース設計
データベース09 - データベース設計
 
Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介
Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介
Learning Semantic Representations for Unsupervised Domain Adaptation 論文紹介
 
[NeurIPS2019 論文読み会] A Meta Analysis of Overfitting in Machine Learning
[NeurIPS2019 論文読み会] A Meta Analysis of Overfitting in Machine Learning[NeurIPS2019 論文読み会] A Meta Analysis of Overfitting in Machine Learning
[NeurIPS2019 論文読み会] A Meta Analysis of Overfitting in Machine Learning
 
授業用Twitterクライアント・アーカイブシステムの開発とその評価
授業用Twitterクライアント・アーカイブシステムの開発とその評価授業用Twitterクライアント・アーカイブシステムの開発とその評価
授業用Twitterクライアント・アーカイブシステムの開発とその評価
 
機械学習デザインパターン Machine Learning Design Patterns
機械学習デザインパターン Machine Learning Design Patterns機械学習デザインパターン Machine Learning Design Patterns
機械学習デザインパターン Machine Learning Design Patterns
 
20180117_ICON技術セミナー4_常盤
20180117_ICON技術セミナー4_常盤20180117_ICON技術セミナー4_常盤
20180117_ICON技術セミナー4_常盤
 
ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-
ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-
ヒンシツ大学セミナー ゴール指向の測定と品質保証活動 -メトリクス解説およびGqm法のワークショップ-
 
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
NeurIPS2021から見るメタ学習の研究動向 - 第83回人工知能セミナー (2022.3.7)「AIトレンド・トップカンファレンス報告会(NeurI...
 
学習活動の構造化とデザイン
学習活動の構造化とデザイン学習活動の構造化とデザイン
学習活動の構造化とデザイン
 

More from Ogushi Masaya

Deep reinforcement learning for imbalanced classification
Deep reinforcement learning for imbalanced classification Deep reinforcement learning for imbalanced classification
Deep reinforcement learning for imbalanced classification
Ogushi Masaya
 
Deep and confident prediction for time series at uber
Deep and confident prediction for time series at uberDeep and confident prediction for time series at uber
Deep and confident prediction for time series at uber
Ogushi Masaya
 
A dual stage attention-based recurrent neural network for time series prediction
A dual stage attention-based recurrent neural network for time series predictionA dual stage attention-based recurrent neural network for time series prediction
A dual stage attention-based recurrent neural network for time series prediction
Ogushi Masaya
 
Kerasを用いた3次元検索エンジン@TFUG
Kerasを用いた3次元検索エンジン@TFUGKerasを用いた3次元検索エンジン@TFUG
Kerasを用いた3次元検索エンジン@TFUG
Ogushi Masaya
 
EuroPython 2017 外部向け報告会
EuroPython 2017 外部向け報告会EuroPython 2017 外部向け報告会
EuroPython 2017 外部向け報告会
Ogushi Masaya
 
How to apply deep learning to 3 d objects
How to apply deep learning to 3 d objectsHow to apply deep learning to 3 d objects
How to apply deep learning to 3 d objects
Ogushi Masaya
 
自然言語処理に適した ニューラルネットのフレームワーク - - - DyNet - - -
自然言語処理に適した ニューラルネットのフレームワーク - - - DyNet - - -自然言語処理に適した ニューラルネットのフレームワーク - - - DyNet - - -
自然言語処理に適した ニューラルネットのフレームワーク - - - DyNet - - -
Ogushi Masaya
 
人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ slide share
人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ  slide share人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ  slide share
人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ slide share
Ogushi Masaya
 
Step by Stepで学ぶ自然言語処理における深層学習の勘所
Step by Stepで学ぶ自然言語処理における深層学習の勘所Step by Stepで学ぶ自然言語処理における深層学習の勘所
Step by Stepで学ぶ自然言語処理における深層学習の勘所
Ogushi Masaya
 
Wikipedia Entity VectorとWordNetで
対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語...
Wikipedia Entity VectorとWordNetで
対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語...Wikipedia Entity VectorとWordNetで
対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語...
Wikipedia Entity VectorとWordNetで
対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語...
Ogushi Masaya
 
Chainer with natural language processing hands on
Chainer with natural language processing hands onChainer with natural language processing hands on
Chainer with natural language processing hands on
Ogushi Masaya
 

More from Ogushi Masaya (11)

Deep reinforcement learning for imbalanced classification
Deep reinforcement learning for imbalanced classification Deep reinforcement learning for imbalanced classification
Deep reinforcement learning for imbalanced classification
 
Deep and confident prediction for time series at uber
Deep and confident prediction for time series at uberDeep and confident prediction for time series at uber
Deep and confident prediction for time series at uber
 
A dual stage attention-based recurrent neural network for time series prediction
A dual stage attention-based recurrent neural network for time series predictionA dual stage attention-based recurrent neural network for time series prediction
A dual stage attention-based recurrent neural network for time series prediction
 
Kerasを用いた3次元検索エンジン@TFUG
Kerasを用いた3次元検索エンジン@TFUGKerasを用いた3次元検索エンジン@TFUG
Kerasを用いた3次元検索エンジン@TFUG
 
EuroPython 2017 外部向け報告会
EuroPython 2017 外部向け報告会EuroPython 2017 外部向け報告会
EuroPython 2017 外部向け報告会
 
How to apply deep learning to 3 d objects
How to apply deep learning to 3 d objectsHow to apply deep learning to 3 d objects
How to apply deep learning to 3 d objects
 
自然言語処理に適した ニューラルネットのフレームワーク - - - DyNet - - -
自然言語処理に適した ニューラルネットのフレームワーク - - - DyNet - - -自然言語処理に適した ニューラルネットのフレームワーク - - - DyNet - - -
自然言語処理に適した ニューラルネットのフレームワーク - - - DyNet - - -
 
人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ slide share
人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ  slide share人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ  slide share
人工知能の技術で有名なニューラルネットワークのフレームワークである #Chainer を用いた対話botを使った俺の屍を越えてゆけ slide share
 
Step by Stepで学ぶ自然言語処理における深層学習の勘所
Step by Stepで学ぶ自然言語処理における深層学習の勘所Step by Stepで学ぶ自然言語処理における深層学習の勘所
Step by Stepで学ぶ自然言語処理における深層学習の勘所
 
Wikipedia Entity VectorとWordNetで
対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語...
Wikipedia Entity VectorとWordNetで
対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語...Wikipedia Entity VectorとWordNetで
対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語...
Wikipedia Entity VectorとWordNetで
対話内容を選定し Chainer を用いたAttentionモデルで 発話内の重要な単語...
 
Chainer with natural language processing hands on
Chainer with natural language processing hands onChainer with natural language processing hands on
Chainer with natural language processing hands on
 

Hidden technical debt in machine learning systems(日本語資料)

Editor's Notes

  1. Icon free http://www.flaticon.com/ イラストや http://www.irasutoya.com/ ぱくたそ https://www.pakutaso.com/ http://www.slidescarnival.com/ja/%E3%82%A6%E3%82%A3%E3%83%AA%E3%82%A2%E3%83%A0%E3%81%AE%E3%83%97%E3%83%AC%E3%82%BC%E3%83%B3%E3%83%86%E3%83%BC%E3%82%B7%E3%83%A7%E3%83%B3%E3%83%86%E3%83%B3%E3%83%97%E3%83%AC%E3%83%BC%E3%83%88/1705
  2. 時系列の予測ではなく分類に向いている
  3. 時系列の予測ではなく分類に向いている
  4. 時系列の予測ではなく分類に向いている
  5. 時系列の予測ではなく分類に向いている
  6. 時系列の予測ではなく分類に向いている
  7. 時系列の予測ではなく分類に向いている
  8. 時系列の予測ではなく分類に向いている
  9. 時系列の予測ではなく分類に向いている
  10. 時系列の予測ではなく分類に向いている
  11. 時系列の予測ではなく分類に向いている
  12. 時系列の予測ではなく分類に向いている
  13. 時系列の予測ではなく分類に向いている
  14. 時系列の予測ではなく分類に向いている
  15. 時系列の予測ではなく分類に向いている
  16. 時系列の予測ではなく分類に向いている
  17. 時系列の予測ではなく分類に向いている
  18. 時系列の予測ではなく分類に向いている
  19. 時系列の予測ではなく分類に向いている
  20. 時系列の予測ではなく分類に向いている
  21. 時系列の予測ではなく分類に向いている
  22. 時系列の予測ではなく分類に向いている
  23. 時系列の予測ではなく分類に向いている
  24. 時系列の予測ではなく分類に向いている
  25. 時系列の予測ではなく分類に向いている
  26. 時系列の予測ではなく分類に向いている
  27. 時系列の予測ではなく分類に向いている
  28. 時系列の予測ではなく分類に向いている
  29. 時系列の予測ではなく分類に向いている
  30. 時系列の予測ではなく分類に向いている
  31. 時系列の予測ではなく分類に向いている
  32. 時系列の予測ではなく分類に向いている
  33. 時系列の予測ではなく分類に向いている
  34. 時系列の予測ではなく分類に向いている
  35. 時系列の予測ではなく分類に向いている
  36. 時系列の予測ではなく分類に向いている
  37. 時系列の予測ではなく分類に向いている
  38. 時系列の予測ではなく分類に向いている
  39. 時系列の予測ではなく分類に向いている
  40. 時系列の予測ではなく分類に向いている
  41. 時系列の予測ではなく分類に向いている
  42. 時系列の予測ではなく分類に向いている
  43. 時系列の予測ではなく分類に向いている
  44. 時系列の予測ではなく分類に向いている
  45. 時系列の予測ではなく分類に向いている
  46. 時系列の予測ではなく分類に向いている
  47. 時系列の予測ではなく分類に向いている
  48. 時系列の予測ではなく分類に向いている
  49. 時系列の予測ではなく分類に向いている
  50. \begin{eqnarray*} \tilde{y}_T &=& F(y_1,....y_{T-1}, \vec{x}_1,...\vec{x}_T) \\ &=& \vec{v}^T_y(\vec{W}_y[\vec{d}_T;\vec{c}_T] + \vec{b}_w) + b_v \end{eqnarray*}