Recommended
Recommended
More Related Content
Similar to 豆寄席_エンジニアリングと機械学習
Similar to 豆寄席_エンジニアリングと機械学習 (20)
Recently uploaded
Recently uploaded (16)
豆寄席_エンジニアリングと機械学習
- 2. 自然言語処理の機械学習エンジニア ※ 研究者ではありません。現場の人です。 元々はAndroidのソフトウェアエンジニア 2009年から2019年までAndroid Google Developer Expert（旧： Google API Expert） 2011年まで豆蔵 豆蔵の頃のもの 江川 崇 EGAWA Takashi X(twitter): @t_eg g t.egawa@gmail.com
- 4. オライリー・ジャパン Chip Huyen 著、江川 崇、 平山 順一 翻訳 機械学習システムデザイン 機械学習システムデザイン ―実運用レベルのアプリケーションを実現する継続的反復プロセス― https://nsakki55.hatenablog.com/entry/2023/10/10/094001 2023-10-10 機械学習システムデザインを読みました satsuki @nsakki55 さんによる丁寧な解説記事 機械学習システムを本番運用するためのノウハウが 書かれていて、実務家なら読み応えのある一冊です
- 6. 機械学習の精度と現場
- 7. 最新技術の触れられ方 - 論文 - • 提案手法となるモデルのアーキテクチャーを説明し、今 までのSOTA（最高性能）を超えたと謳う • サポートするライブラリが公開される • それを試してみたブログなどが世に出る • Language Models are Few-Shot Learners https://arxiv.org/pdf/2005.14165v4.pdf
- 8. 最新技術の触れられ方 - Kaggleなどのコンペティション - •綺麗に整理された静的なデータセットを用いる •明確なタスクでのスコア（精度）の優劣を競う https://www.kaggle.com/competitions/asl- fi ngerspelling/leaderboard?tab=public 【参考】 Machine learning isn't Kaggle competitions https://jvns.ca/blog/2014/06/19/machine-learning-isnt-kaggle-competitions/
- 11. 精度と恩恵とのトレードオフ 2 例）アンサンブル • 複数の学習アル ゴ リ ズ ム（モデル）を組み 合わせて、構成する単独の学習アル ゴ リ ズ ム（モデル） で 得られるよりも優れた精度 で 予測すること • 精度が上がることが多いが、過剰にシステ ムが複雑になり、予測の速度やメンテナン ス性が低下しがち https://pub.towardsai.net/introduction-to-ensemble-methods-226a5a421687 ■ 相関がない精度0.7のモデル3つを組み合わせれば、精度は0.784になる 出典：機械学習システムデザイン オライリー・ジャパン
- 12. 精度と恩恵とのトレードオフ 3 精度によって得られるビジネス上の恩恵を慎重に見極める 例） • 機械翻訳システムの精度が0.5%向上した場合 • Eコマースのおすすめのクリック率が0.5%向上した場合 • リソース分配システムの効率が0.5%向上した場合 精度と恩恵が見合うなら、取り組む価値がある
- 14. 精度の犠牲者 2 住宅ローンの審査拒否 2019年 2008年から2015年の間に信用力のある黒人やラテン系ア メリカ人130万人が人種を理由に不当に住宅ローンの申請を 却下されていたことが判明 https://www.cbsnews.com/news/mortgage-discrimination-black-and-latino-paying-millions-more-in-interest-study-shows/ Google Photosによる自動分類 2015年 ＊ 2023年5月時点で GoogleもAppleもゴリラは分類できない https://www.nytimes.com/2023/05/22/technology/ai-photo-labels-google-apple.html Google Photosが黒人の方の画像をゴリラと自動分類し Googleが謝罪
- 17. 責任あるAI（Responsible AI） • 精度が高くとも社会が許容できないものがある • 精度の指標は存在するが公正さの指標（Responsible 度 のようなもの）は存在していない • 社会に対して公正で倫理的な機械学習システムを構築 できなければ悲劇を引き起こす可能性がある
- 18. データに関する問題とその対処
- 20. 機械学習のアプローチ 既存のデータ から 複雑なパターン を 学習 し、 そのパターンを用いて 未知のデータ から 予測 する ■ 機械学習とデータは不可分 ■ 入手可能な良質なデータが必要
- 21. データの側面から見た 従来のSWEと機械学習システムの違い ■ 従来のソフトウェアエンジニアリング（SWE）では コードとデータを分離すること 物事をできる限りモジュール化して分割すること ※ が重視される ■ 機械学習システムのエンジニアリングでは データとコードが不可分になる ※ https://ja.wikipedia.org/wiki/関心の分離 → テストとコードを管理 → テストとコードとデータを管理 • データの良し悪しがシステムの性能を大きく左右 • 大規模なデータセットのバージョン管理が必須
- 22. 従来のシステム要件との違い ■ 従来のシステムでは システムの動作に対する期待を満たせているかに 注意する ■ 機械学習システムでは 上記に加えて機械学習のパフォーマンス指標にも 目を向ける必要がある フランス語への機械翻訳システムでの例 ■ システム動作上の要件 文章を与えて1秒以内にフランス語の翻訳を返すこと ■ 機械学習パフォーマンス上の要件 返された訳文が99%の確率で元の文を正確に翻訳できていること 機能要件 非機能要件 従来のシステムの要件 機械学習指標 機械学習システムの要件
- 23. 機械学習特有の問題（障害） 機械学習システムは正確に動作していることの定義が難しく、異常の検出や 修正が難しい 【理由】 • 確率論的に動作するため • 時間とともに入力分布が変化するため 機械学習特有の主な問題の例 ■ データのリーク ■ データ分布の違いや変化（シフト） ■ フィードバックループの悪化
- 24. データのエンジニアリング •データの入手/加工/保存 •データモデル 訓練データ •サンプリング データの不足問題 •ラベルの不足・不均衡問題 •弱教師学習/半教師学習 特徴のエンジニアリング 特徴の学習 データリーク データ分布のシフト・監視 • 機械学習の特性 • データ分布シフト • 監視 機械学習のデータに関連するトピック
- 27. データリークの対処 2 特徴の量と重要度 •一般的には特徴を増やせば増やすほどモデルのパフォーマンスが上がる •しかし特徴が増えれば増えるほどデータリークの機会も増す •どの特徴がモデルの予測に寄与しているかを判別し、役に立たない（有 害な可能性さえある）特徴を削除して、よい特徴を優先すべき 少数の特徴がモデルの振る舞いを決めることが多い •上位10の特徴がモデル全体の特徴重要度の約半分 を占めている •下位300の特徴が特徴重要度に与える影響は 1% 未満にとどまる 特徴重要度を可視化する •SHAP （SHapley Additive exPlanations） •InterpretML（https://github.com/interpretml/interpret ） など
- 29. データ分布のシフトへの対処 指標を監視する 監視：問題発生時の判断に役立つ様々な指標を追跡・測定・記録する行為 監視指標 • 1. 精度 • 2. 予測 • 3. 特徴 • 4. 生の入力 可観測性 • 問題の原因を調査 で きるように可視化するシステム を構築すること • 可観測性は監視の一部。ある程度の可観測性なしに 監視は実現できない
- 31. データ分布のシフトへの対処 3 機械学習特有の問題に対処する上で、従来のソフトウェアエンジニアリング 関連のツールももちろん有用だが、機械学習ならではのツールやソリュー ション、アルゴリズムの活用が事実上必須となる TensorFlowデータ検証ツール https://www.tensor fl ow.org/tfx/data_validation/get_started?hl=ja Alibi Detect https://github.com/SeldonIO/alibi-detect ※ 様々なドリフト検出アルゴリズムの実装を持つオープンソースライブラリ Great Expectations https://github.com/great-expectations/great_expectations ※ 特徴検証を行えるオープンソースライブラリ Deequ https://github.com/awslabs/deequ ※ AWS提供の特徴検証ライブラリ 機械学習特有の問題の対処に有用な主なツール等の例）
- 34. フィードバックループの悪化の対処 ２ 検知できるように 例）人気度バイアス • すでに人気のあるものが過剰に持ち上げられる現象 • 新しいものやマイナーなものが埋もれ多様性を損なう傾向がある • 放置していると加速する 人気度バイアスの評価 • Aggregate Diversity（集計結果の多様性） ユーザ全体に推薦したアイテム集合に関する多様性の指標 • Average Coverage of long-tail items（ロングテール平均カバー範囲） 推薦に占めるロングテールアイテムの割合
- 36. ご清聴ありがとうございました 江川 崇 EGAWA Takashi
- 37. ご清聴ありがとうございました 江川 崇 EGAWA Takashi