Uploaded byShota Saitoh
異音検知プラットフォーム開発におけるMLOpsの実際と考察 - MLOps コミュニティ #3
https://mlops.connpass.com/event/192140/
異音検知プラットフォーム開発におけるMLOpsの実際と考察 - MLOps コミュニティ #3
- 1. 株式会社 センター リードエンジニア 齋藤翔太 異音検知プラットフォーム開発における MLOpsの実際と考察 コミュニティ 第 回
- 2. AGENDA Announcements Self-Introduce 01 03 02 04 05 06 About "Anomalous sound detectionSystem" 異音検知システムとは MLOps? をどう定義するか Implementation 実例の紹介 Consideration 実例からの考察及び今後 本講演について 自己紹介と所属
- 3.
- 4.
- 5.
- 6.
- 7.
- 8. $whoami 齋藤 翔太 2007年 ヤフー株式会社入社 2015年 ライフネット生命保険株式会社 入社 2018年 Hmcomm株式会社 入社 R&Dセンター リードエンジニア 得意 - WebサイトやSaaSアプリケーションの企画・開発・運用 - ビッグデータ統計・解析システムの構築・運用 資格 - 情報処理安全支援保護士 - Licensed Scrum Master - AWS Solution Architect Associate - 大型特殊免許(9月にとった)
- 9.
- 10. Solutions Speech To Text事業 異音検知 FAST-D 事業 音声のテキスト化 音声会話 応答 「異常な音」検知
- 11. About "Anomalous sound detectionSystem" 03 異常音検知システムとは
- 12.
- 13. 畜産 機械 モニタリング 防犯・警備 インフラ モニタリング 異音とは？ 風邪をひく 悲鳴があがる ドアが閉まる 音がおかしい 水の流れが悪い
- 14. 畜産 機械 モニタリング 防犯・警備 インフラ モニタリング 異音とは？ 風邪をひく 悲鳴があがる ドアが閉まる 音がおかしい 水の流れが悪い 出荷ができない 故障 / 操業一時停止 人的被害・盗難 ダイヤ乱れ
- 15.
- 16.
- 17.
- 18. あの企業のMLOps定義は Google MLOps は、MLシステム開発（Dev）と MLシステム運用（Ops）の統合を目的と する MLエンジニアリングの文化と手法 MLOpsを実践すると、統合、テスト、リ リース、デプロイ、インフラストラクチャ管 理など、MLシステム構築のすべてのス テップで自動化とモニタリングを推進でき る Microsoft MLOpsは、ワークフローの効率を向上さ せるDevOpsの原則と実践に基づいてい る。例えば継続的インテグレーション、配 信、デプロイ MLOps では、次のことを目標に、これら の原則をMLプロセスに適用する - モデルのより迅速な実験と開発 - 実稼働環境へのモデルのより迅速なデ プロイ - 品質保証 引用: AVILEN AI Trend - MLOpsとは｜定義、メリット、課題、ツール、ワークフローを分かりやすく解説ライター:山村 敬一 https://ai-trend.jp/business-article/ai-project/mlops1205/ MLOpsとは「MLの開発チームと、運用チームが連携・協力して、学習モデルを活用したモデルの開発 から運用まで一連の MLライフサイクルを管理する基盤・体制」だと言えよう。?
- 19.
- 20. みんな世の中を良くしたい リサーチャ ユーザソフトウェア エンジニア ● 最先端の論文を社会に 適用して、世の中をより 良くしたい ●便利なシステムを開発 して、世の中をより良く したい ● を活用したシステム を使って、身の回りや 社会の課題を解決した い
- 21. 学習モデルの価値は、誰の価値？ リサーチャ ユーザソフトウェア エンジニア ● 最先端の論文を社会に 適用して、世の中をより 良くしたい ●便利なシステムを開発 して、世の中をより良く したい ● を活用したシステム を使って、身の回りや 社会の課題を解決した い
- 22. ResDevOps 初出？ ResDevOps: A SoftwareEngineering Framework for Achieving Long-Lasting Complex Systems Furaro, Angelo and Gallo, Teresa and Garro, Alfredo and Saccà, Domenico and Tundis, Andrea (2016) 経験上自然とやってきたので、自分の中でも定義があいまい 。 「研究と開発を分け隔てることなく実施し、その結果を運用につないでいくこと」 あえて言葉で定義してみるのなら、
- 23.
- 24.
- 25.
- 26. FAST-D開発環境 リサーチャ ソフトウェアエン ジニア クラウド(AWS)前提の開発しない ● Tryand Error の回数が多い ため、クラウドの遅さがネッ ク。オンプレ高スペックマシン がほしい。 クラウド(AWS)前提に開発したい ● マネージドサービスの活用、 トラブルやサーバー運用は最 小限にしたい。 Python が基本開発言語 スクラム開発の採用
- 27. FAST-Dプロダクトの開発(例: 学習モデル生成) リサーチャ ソフトウェアエン ジニア 前処理方法考案・実装 -経験と実行回数に基づく。 学習モデル生成考案・実装 - 多くの実験を重ねる必要がある。 前処理ロジック移植 - AWS Lambda - Amazon ECS 学習モデル生成ロジック移植 - Amazon SageMaker - MLインスタンス同時立ち上げ。 - モデル評価・比較。 ● 各前処理仕様ヒアリング。 ● 最新リサーチャコードの確認。 ● 最新リサーチャコードを確認。 ● テストデータと結果のマッチ。 FAST-DプロダクトへFAST-D PoC へ
- 28.
- 29. FAST-Dプロダクトの開発利点 リサーチャ ソフトウェアエン ジニア ● リサーチャ、及び、ソフトウェアエンジニアとのコミュニケーションが取りやすいので、都度仕様を 聞くなどができる。 ●チーム個別ではるが、スクラム開発により、毎日のアップデートを確認できるようにしている。 ● 最終的にテストをする場は、 AWSなのでテスト環境を作りやすい。
- 30. FAST-Dプロダクトの開発の問題点 リサーチャ ソフトウェアエン ジニア ● PoCの進捗速度が早いためか、ソース コードと結果の関連管理が乱雑になりが ち。 ● 経験とセンスがものをいう。 (問題点とは 言いづらい。) ● リサーチャが求めていた推論精度に達さ ないことがある。(※最終的には達するよ うにチームが注力する。 ) ● がんばって開発したはいいけど、次バー ジョンあたりで利用しなくなる機能があ る。(※費用対効果の見極めが難しい。 )
- 31. FAST-D開発環境( 理想 ) リサーチャソフトウェアエン ジニア ● 開発環境が統一されている。 ● 使うソースコードも一意になっている。 ○ リサーチャがプロダクトのソースコードを記述するなど。 ● 1人に完全依存しない。 ○ 技術や知見はすぐ拡散させる。
- 32. FAST-D開発環境( 改善 ) リサーチャソフトウェアエン ジニア ● リサーチャ側でのフレームワークの開発・適用。 ● 毎日1人、技術発表の実施。
- 33. Slidesgo Flaticon Freepik Please keepthis slide for attribution. THANKS shota-saitoh-479b6937