Submit Search
Upload
機械学習システム構築実践ガイド
•
0 likes
•
111 views
Y
yusuke shibui
Follow
https://infra-eng-books.connpass.com/event/265139/#_=_
Read less
Read more
Software
Report
Share
Report
Share
1 of 38
Download now
Download to read offline
Recommended
Vision and Language(メタサーベイ )
Vision and Language(メタサーベイ )
cvpaper. challenge
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII
物体検出フレームワークMMDetectionで快適な開発
物体検出フレームワークMMDetectionで快適な開発
Tatsuya Suzuki
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
Hirokatsu Kataoka
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
[DL輪読会]モデルベース強化学習とEnergy Based Model
[DL輪読会]モデルベース強化学習とEnergy Based Model
Deep Learning JP
Recommended
Vision and Language(メタサーベイ )
Vision and Language(メタサーベイ )
cvpaper. challenge
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII2022 [SS1] ニューラル3D表現の最新動向〜 ニューラルネットでなんでも表せる?? 〜
SSII
物体検出フレームワークMMDetectionで快適な開発
物体検出フレームワークMMDetectionで快適な開発
Tatsuya Suzuki
【チュートリアル】コンピュータビジョンによる動画認識
【チュートリアル】コンピュータビジョンによる動画認識
Hirokatsu Kataoka
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
【DL輪読会】言語以外でのTransformerのまとめ (ViT, Perceiver, Frozen Pretrained Transformer etc)
Deep Learning JP
近年のHierarchical Vision Transformer
近年のHierarchical Vision Transformer
Yusuke Uchida
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII2020SS: 微分可能レンダリングの最新動向 〜「見比べる」ことによる3次元理解 〜
SSII
[DL輪読会]モデルベース強化学習とEnergy Based Model
[DL輪読会]モデルベース強化学習とEnergy Based Model
Deep Learning JP
JDLA主催「CVPR2023技術報告会」発表資料
JDLA主催「CVPR2023技術報告会」発表資料
Morpho, Inc.
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
Preferred Networks
TensorFlow Liteを使った組み込みディープラーニング開発
TensorFlow Liteを使った組み込みディープラーニング開発
Makoto Koike
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
Deep Learning JP
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Preferred Networks
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
Ml system in_python
Ml system in_python
yusuke shibui
Point net
Point net
Fujimoto Keisuke
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者
cvpaper. challenge
CV分野におけるサーベイ方法
CV分野におけるサーベイ方法
Hirokatsu Kataoka
ディープラーニングのフレームワークと特許戦争
ディープラーニングのフレームワークと特許戦争
Yosuke Shinya
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
MixMatch: A Holistic Approach to Semi- Supervised Learning
MixMatch: A Holistic Approach to Semi- Supervised Learning
harmonylab
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
Hideki Tsunashima
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
Yusuke Uchida
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
Toru Tamaki
Reviewing_machine_learning_program.pdf
Reviewing_machine_learning_program.pdf
yusuke shibui
機械学習でテスト実行を効率化するLaunchable.pdf
機械学習でテスト実行を効率化するLaunchable.pdf
yusuke shibui
More Related Content
What's hot
JDLA主催「CVPR2023技術報告会」発表資料
JDLA主催「CVPR2023技術報告会」発表資料
Morpho, Inc.
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
hoxo_m
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
Preferred Networks
TensorFlow Liteを使った組み込みディープラーニング開発
TensorFlow Liteを使った組み込みディープラーニング開発
Makoto Koike
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
Deep Learning JP
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
cvpaper. challenge
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Preferred Networks
全力解説!Transformer
全力解説!Transformer
Arithmer Inc.
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
Ml system in_python
Ml system in_python
yusuke shibui
Point net
Point net
Fujimoto Keisuke
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者
cvpaper. challenge
CV分野におけるサーベイ方法
CV分野におけるサーベイ方法
Hirokatsu Kataoka
ディープラーニングのフレームワークと特許戦争
ディープラーニングのフレームワークと特許戦争
Yosuke Shinya
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
Deep Learning JP
MixMatch: A Holistic Approach to Semi- Supervised Learning
MixMatch: A Holistic Approach to Semi- Supervised Learning
harmonylab
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
Hideki Tsunashima
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
Yusuke Uchida
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
Toru Tamaki
What's hot
(20)
JDLA主催「CVPR2023技術報告会」発表資料
JDLA主催「CVPR2023技術報告会」発表資料
トピックモデルの評価指標 Perplexity とは何なのか?
トピックモデルの評価指標 Perplexity とは何なのか?
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
東北大学 先端技術の基礎と実践_深層学習による画像認識とデータの話_菊池悠太
TensorFlow Liteを使った組み込みディープラーニング開発
TensorFlow Liteを使った組み込みディープラーニング開発
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
【DL輪読会】Visual Classification via Description from Large Language Models (ICLR...
【メタサーベイ】Video Transformer
【メタサーベイ】Video Transformer
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
全力解説!Transformer
全力解説!Transformer
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
Ml system in_python
Ml system in_python
Point net
Point net
ゼロから始める転移学習
ゼロから始める転移学習
【メタサーベイ】Vision and Language のトップ研究室/研究者
【メタサーベイ】Vision and Language のトップ研究室/研究者
CV分野におけるサーベイ方法
CV分野におけるサーベイ方法
ディープラーニングのフレームワークと特許戦争
ディープラーニングのフレームワークと特許戦争
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
【DL輪読会】ConvNeXt V2: Co-designing and Scaling ConvNets with Masked Autoencoders
MixMatch: A Holistic Approach to Semi- Supervised Learning
MixMatch: A Holistic Approach to Semi- Supervised Learning
分散学習のあれこれ~データパラレルからモデルパラレルまで~
分散学習のあれこれ~データパラレルからモデルパラレルまで~
DRIVE CHARTを支えるAI技術
DRIVE CHARTを支えるAI技術
動作認識の最前線:手法,タスク,データセット
動作認識の最前線:手法,タスク,データセット
Similar to 機械学習システム構築実践ガイド
Reviewing_machine_learning_program.pdf
Reviewing_machine_learning_program.pdf
yusuke shibui
機械学習でテスト実行を効率化するLaunchable.pdf
機械学習でテスト実行を効率化するLaunchable.pdf
yusuke shibui
machine_learning_failure_apocalypse.pdf
machine_learning_failure_apocalypse.pdf
yusuke shibui
Creative as Software Engineering for GenAI LT
Creative as Software Engineering for GenAI LT
yusuke shibui
Rosbag search system
Rosbag search system
yusuke shibui
Testing machine learning development
Testing machine learning development
yusuke shibui
MLOps failure(1_108)
MLOps failure(1_108)
yusuke shibui
Devsumi 2021 MLOps for Self-driving car
Devsumi 2021 MLOps for Self-driving car
yusuke shibui
How to start MLOps
How to start MLOps
yusuke shibui
Traffic light detection for self driving car
Traffic light detection for self driving car
yusuke shibui
Quality of ml_system
Quality of ml_system
yusuke shibui
Launchable and efficient test execution
Launchable and efficient test execution
yusuke shibui
Generative AIと検索を組み合わせた新たな体験の模索
Generative AIと検索を組み合わせた新たな体験の模索
yusuke shibui
Lets start mlops
Lets start mlops
yusuke shibui
サイボウズライブでもHubotがしたい!
サイボウズライブでもHubotがしたい!
NAKAOKU Takahiro
Androidの新ビルドシステム
Androidの新ビルドシステム
l_b__
Twillio deadshot made me happy
Twillio deadshot made me happy
yusuke shibui
20180829 ガチラボ vol.9
20180829 ガチラボ vol.9
Satoshi Fujimoto
IT業界とソフトウェア技術者を取り巻く今日の様相と荒波の将来への船出
IT業界とソフトウェア技術者を取り巻く今日の様相と荒波の将来への船出
VOYAGE GROUP
Getting started with MLOps
Getting started with MLOps
yusuke shibui
Similar to 機械学習システム構築実践ガイド
(20)
Reviewing_machine_learning_program.pdf
Reviewing_machine_learning_program.pdf
機械学習でテスト実行を効率化するLaunchable.pdf
機械学習でテスト実行を効率化するLaunchable.pdf
machine_learning_failure_apocalypse.pdf
machine_learning_failure_apocalypse.pdf
Creative as Software Engineering for GenAI LT
Creative as Software Engineering for GenAI LT
Rosbag search system
Rosbag search system
Testing machine learning development
Testing machine learning development
MLOps failure(1_108)
MLOps failure(1_108)
Devsumi 2021 MLOps for Self-driving car
Devsumi 2021 MLOps for Self-driving car
How to start MLOps
How to start MLOps
Traffic light detection for self driving car
Traffic light detection for self driving car
Quality of ml_system
Quality of ml_system
Launchable and efficient test execution
Launchable and efficient test execution
Generative AIと検索を組み合わせた新たな体験の模索
Generative AIと検索を組み合わせた新たな体験の模索
Lets start mlops
Lets start mlops
サイボウズライブでもHubotがしたい!
サイボウズライブでもHubotがしたい!
Androidの新ビルドシステム
Androidの新ビルドシステム
Twillio deadshot made me happy
Twillio deadshot made me happy
20180829 ガチラボ vol.9
20180829 ガチラボ vol.9
IT業界とソフトウェア技術者を取り巻く今日の様相と荒波の将来への船出
IT業界とソフトウェア技術者を取り巻く今日の様相と荒波の将来への船出
Getting started with MLOps
Getting started with MLOps
More from yusuke shibui
DevSummit_2022_summer_MLOps.pdf
DevSummit_2022_summer_MLOps.pdf
yusuke shibui
Machine learning CI/CD with OSS
Machine learning CI/CD with OSS
yusuke shibui
ML system design_pattern
ML system design_pattern
yusuke shibui
Machine learning quality for production
Machine learning quality for production
yusuke shibui
TFLite_and_PyTorch_Mobile
TFLite_and_PyTorch_Mobile
yusuke shibui
Mercari Image search 1st Anniversary
Mercari Image search 1st Anniversary
yusuke shibui
Machine learning and_system_design
Machine learning and_system_design
yusuke shibui
Machine learning microservice_management
Machine learning microservice_management
yusuke shibui
Mercari ML Meetup
Mercari ML Meetup
yusuke shibui
More from yusuke shibui
(9)
DevSummit_2022_summer_MLOps.pdf
DevSummit_2022_summer_MLOps.pdf
Machine learning CI/CD with OSS
Machine learning CI/CD with OSS
ML system design_pattern
ML system design_pattern
Machine learning quality for production
Machine learning quality for production
TFLite_and_PyTorch_Mobile
TFLite_and_PyTorch_Mobile
Mercari Image search 1st Anniversary
Mercari Image search 1st Anniversary
Machine learning and_system_design
Machine learning and_system_design
Machine learning microservice_management
Machine learning microservice_management
Mercari ML Meetup
Mercari ML Meetup
機械学習システム構築実践ガイド
1.
機械学習システム 構築実践ガイド 2022/12/08 shibui yusuke
2.
自己紹介 shibui yusuke ● いろいろ
→ Launchable(いまここ) ● MLOpsとかいろいろエンジニア ● もともとクラウド基盤の開発、運用 ● ここ6年くらいMLOpsとバックエンドとインフラとたまに データ分析とAndroidで仕事 ● Github: @shibuiwilliam ● FB: yusuke.shibui ● 最近の趣味:副業と自宅勤務改善 cat : 0.55 dog: 0.45 human : 0.70 gorilla : 0.30 物体検知 2
3.
● 2022年11月14日発売! ● https://www.amazon.co.jp/dp/4798173401/ ●
https://github.com/shibuiwilliam/building-ml-system ● 発売中! ● https://www.amazon.co.jp/dp/4798169447/
4.
今日話すこと ● 機械学習の実用化の課題 ● 機械学習システム需要予測編 ●
機械学習システム検索編 ● まとめ
5.
機械学習の実用化の課題
6.
機械学習の実用化の課題 ● 機械学習チームのソフトウェア開発の理解不足 ● ソフトウェア開発チームの機械学習の理解不足 ●
機械学習を0->1だけで終わらせているプロジェクトを散見 → 機械学習を実用化するワークフロー、システム、チーム
7.
最近の機械学習界隈の状況 ● 研究から利用、利用から実用へ データ 機械学習 デプロイ
利用 課題 ユーザ システム 解決 開発 課題を解くためのワークフロー ワークフローを実現するシステム システムを開発、運用するチーム
8.
ユーザに使われる機械学習へ 固定化された デザイン 画像処理 写真を撮る タイトル入力 説明入力 投稿する 自然言語処理 違反検知 あるコンテンツ投稿アプリ
9.
機械学習を使ったプロダクト 画像処理 写真を撮る タイトル入力 説明入力 投稿する 自然言語処理 違反検知 登録情報から違反を フィルタリング 入力情報から 入力補助 超解像による 画質改善 ねこ 検索 協調フィルタリングや ランク学習による 並べ替え あるコンテンツ投稿アプリ 画像分類と 検索
10.
ワークフロー 写真を撮る タイトル入力 説明入力 投稿する 動物画像SNSアプリ ねこ 違反検知 違反 アノテーション 学習 ダブルチェック
11.
機械学習を使うための技術 写真を撮る タイトル入力 説明入力 投稿する ねこ 動物画像SNSアプリ ログ DB Storage 監視 学習 モデル proxy 画像 API 推論 API batch デプ ロイ 認証 認可 ID 検索 API Item API 推薦 API BI クラウド・インフラ
12.
システム 写真を撮る タイトル入力 説明入力 投稿する 動物画像SNSアプリ ねこ 違反検知 違反 ダブルチェック DWH 推論 API 推論 batch BI アノテー ション ツール 学習 Pipe line ML 基盤 投稿 API
13.
動物画像SNSアプリ 機械学習を実用化するチーム 写真を撮る タイトル入力 説明入力 投稿する ねこ 違反検知 違反 ダブルチェック DWH 推論 API 推論 batch BI アノテー ション ツール 学習 Pipe line ML 基盤 データ ML SWE SRE PdM 投稿 API
14.
機械学習システム 需要予測編
15.
超初期の機械学習プロジェクト ● 機械学習エンジニアは一人 ● 会社初の機械学習プロジェクト ●
データ基盤はない ● 飲料品の需要予測を改善し、適切に発注数量を決めるために機械学習を使う
16.
飲料品の需要予測 ● あなたは全国展開する小売店『AI商店』で働く機械学習エンジニアです。 ● AI商店は全国10店舗(東北、関東、東海、関西各地方)に展開しており、食品、飲料品、日用品等を販売して います。 ●
AI商店では商品を毎週発注しています。発注数は各店舗の店長が経験的に予測して発注数を 決めていました。 ● 機械学習によってより精度の高い予測を実施し、売れ残りや売り切れを防ぎたいと思います。 機械学習エンジニアとして解決策を提示してください。 ● まずは飲料品にターゲットを絞って需要予測を試してみることにします。
17.
プランニング PoC・初期フェーズ 発展・拡大フェーズ 飲料品需要予測の 実用化 オフライン評価 分析と開発 オンライン評価 需要予測 システム開発 現状調査 課題定義 GO/NO GO判断 需要予測の 自動化開発 チーム化、採用 オフライン評価 分析と開発 現状調査 課題定義 オンライン評価 課題の再定義 開発・運用 スタイルの確立 データシステムの確 立
18.
やらないことを決める PoC・初期フェーズ 発展・拡大フェーズ 飲料品需要予測の 実用化 オフライン評価 分析と開発 オンライン評価 需要予測 システム開発 現状調査 課題定義 GO/NO GO判断 需要予測の 自動化開発 チーム化、採用 オフライン評価 分析と開発 現状調査 課題定義 オンライン評価 課題の再定義 開発・運用 スタイルの確立 データシステムの確 立 まずはここで成功させる。
こっちは後回しにする。
19.
需要予測のスケジュール ● 現行のスケジュールは以下のとおりです。 ● AI商店では週毎に各店舗の各商品の売れ行きに応じて発注数を決めています。 たとえばA週の発注数は、A-1週までの売れ行きを集計し、A週の月曜日に需要を予測して 発注しています。 発注した商品が届くのは発注から最短5日後で、商店に並ぶのはA+1週になります。 ●
前日までの売れ行きデータを取得することができます。 14 木 22 金 21 木 20 水 19 火 18 月 23 土 24 日 25 月 26 火 27 水 28 木 29 金 30 土 15 金 この週に販売したい 前日までの 販売数を集計、 需要予測、発注 13 水 12 火 11 月 16 土 17 日 9 土 10 日 31 日 商品が届く 学習 データ テストデータ
20.
飲料品の需要予測 14 木 22 金 21 木 20 水 19 火 18 月 23 土 24 日 25 月 26 火 27 水 28 木 29 金 30 土 15 金 前日までの 販売数を集計、 需要予測、発注 13 水 12 火 11 月 16 土 17 日 9 土 10 日 31 日 10:00 11:00 13:00
14:00 15:00 データ集計 需要予測 予測結果 確認 予測結果を 店舗に展開 予測結果を 店舗で確認 発注 バッファ 学習 データ テストデータ この週に販売したい
21.
売れ残りと売り切れ ● 需要予測は回帰分析で解くことが多いが、 MAEやRMSEのような評価が適切とは 限らない。 ● 売れ残りと売り切れは実質的に違う意味を 持つ。 ●
売れ残り:発注過多。消費期限に余裕が あれば翌週以降も売れる。 ● 売り切れ:発注不足。買いたい人が買えず、 機会損失。 多少の発注過多は許容するが、不足は回避したい。 誤差の範囲内 大きく外れているが、発 注過多は許容する 少ない方に大きく 外れており、機会損失の リスクが高い。 需要予測の評価
22.
飲料品の需要予測 システムの全体像(現状) 銀座店 メーカー 発注数 見る 発注 販売実績
23.
飲料品の需要予測 システムの全体像 (機械学習PoCフェーズ) 需要予測PoC 学習 推論 評価 分析と展開 メーカー 発注 評価と分析 各店舗の 店長 実績 CSV 予測 CSV
24.
いわゆるテックカンパニー チーム構成の遷移 ● チーム構成 機械学習 導入開始 実用化 開発自動化 完全自動化 複数システム 機械学習 エンジニア一人 機械学習 エンジニア複数 機械学習エンジニア + バックエンドエンジニア プロダクト別チーム 頑張れ! 一番自由な時期! 阿吽の呼吸で わいわい楽しい♪ 軋轢が生まれ始める 運用品質
vs Jupyter 各チームの独自運用 他チームは知らない スーパーエンジニア レガシー企業は 実はこのステージが多い
25.
飲料品の需要予測 システムの全体像 (発展フェーズDX後) 需要予測 システム DWH 学習 学習・モ デル 管理 推論 評価 分析と展開 メーカー 発注 評価と分析 各店舗の 店長
26.
初の機械学習プロジェクトを成功させるために ● 作らないものを決める。完璧な機械学習システムを用意する必要はない。 ● 課題を解決するためのステークホルダーとスケジュールを決める。 ●
ビジネスに即して評価する。 ● システムとチームは並行してスケールさせる。
27.
機械学習システム 検索編
28.
自動化しなければ成り立たないシステム ● 週単位の需要予測はある程度人間の作業が入っていても成り立つシステム。 ● データの変化に追随する必要の機械学習用途の場合、人間の作業が入ると困難になる。 End-to-endで自動化する必要がある。
29.
機械学習を使ったプロダクト 画像処理 自然言語処理 検索 ランク学習による 並べ替え 画像検索 Query Understanding 動物画像SNSアプリ
30.
類似画像検索 ● 似ている画像を検索する技術。 ● クエリの画像からディープラーニングで特徴量を抽出し、その 特徴量に似た特徴を持つ画像を返す。 DL 特徴量 特徴量抽出
類似ベクトル検索
31.
学習と推論のパイプライン バックエンドAPI 類似画像検索プロキシ 類似画像検索Tensorflow Serving MobileNet
v3 + SCaNN Argo Workflow ワークフローエンジン 類似画像検索学習 Tensorflow Serving デプロイ 類似画像検索プロキシ デプロイ 類似画像検索 類似画像検索の学習 1. 類似画像検索 4. 類似画像検索 2. 類似画像検索 画像 ストレージ 3. クエリ画像を取 得 1. 検索対象画像を収集 2. モデルを更新 3. リクエスト先の Tensorflow Servingを 更新 動物画像SNSアプリ
32.
Argo Workflow ワークフローエンジン 学習のパイプライン 類似画像検索Tensorflow
Serving MobileNet v3 + SCaNN 画像 ストレージ 3. デプロイ 0. 投稿 類似画像検索学習 DL 特徴量 SCaNN 1. 学習 2. ビルド ● ディープラーニングによる特徴量抽出:画像をベクト ル(特徴を持った数値表現)に変換 ● SCaNN:似ているベクトルを検索 動物画像SNSアプリ
33.
類似画像検索Tensorflow Serving MobileNet v3
+ SCaNN 推論のパイプライン バックエンドAPI 類似画像検索プロキシ 1. 類似画像検索 4. 類似画像検索 2. 類似画像検索 画像 ストレージ 3. クエリ画像を取 得 DL 特徴量 SCaNN 5. 類似画像 動物画像SNSアプリ
34.
まとめ
35.
機械学習を実用化する ● 解決すべき課題とやらないことを定義する。 ● そのための解決策(ワークフロー、システム、チーム)を段階的に作る。 ●
試し、評価し、GO/NO GOを判断する。
36.
● 2022年11月14日発売! ● https://www.amazon.co.jp/dp/4798173401/ ●
https://github.com/shibuiwilliam/building-ml-system ● 発売中! ● https://www.amazon.co.jp/dp/4798169447/
37.
MLOpsコミュニティ ● 機械学習の実用化を学ぶコミュニティ ● 12/14(水)にLT大会を開催します!
38.
MLOps Advent Calendar
2022 バー募集中! まだまだ空いておりますので今年1年 得た知見を一緒にQiitaに投稿しましょう! https://qiita.com/advent-calendar/2022/mlops
Download now