MLシステム品質強化のススメ

1. www.albert2005.co.jp/
本社 〒169-0074
東京都新宿区北新宿2-21-1 新宿フロントタワー15F
TEL: 03-5937-1610 FAX: 03-5937-1612
東海⽀社 〒451-6008
愛知県名古屋市⻄区⽜島町6-1 名古屋ルーセントタワー8F
TEL: 052-433-3701 FAX: 052-433-3702
MLシステム品質強化のススメ
2021/01/30
第51回 Machine Learning 15minutes!
Broadcast

2. 2
⾃⼰紹介
• 中野 和俊
• 株式会社ALBERT プロダクトマネージャー
• JDLA G検定 2020 #2
• 2018/12⽉ALBERTにジョイン
© 2021 ALBERT Inc.
twitter:@kznx

3. 3
LTでお伝えしたいこと
1. 安⼼・安全が必要な領域に、 AI/MLシステムが社会実装されつつある
2. AI/MLシステムは、従来の品質管理とは性質が異なる、という課題
3. 信頼できる⾼品質なAI/MLシステムを実現するアプローチ
1. AI/ML技術・エンジニアリング
2. 開発プロセス・ガイドラインの整備
3. 社会システム、価値観
本LTでの品質の定義︓
ü システムがその全体として利⽤時に満たすことが期待される「利⽤時品質」
ü システムのうち機械学習で構築された構成要素が満たすことが期待される「外部品質」
ü 機械学習による構成要素が固有に持つ「内部品質」
の3 つに分けて理解し、機械学習要素の「内部品質」の向上を通じてその「外部品質」を必要となるレベルで達成し、最終的なシステムの「利⽤
時品質」を実現するものと整理
（産総研CPSECおよび⼈⼯知能研究センター（AIRC）の「機械学習品質マネジメントガイドライン」 より）
© 2021 ALBERT Inc.

4. 4
外科⼿術を⾃動⼿術ロボットにまかせられますか︖

5. 5
⾃動運転が社会実装されるのは
いつ頃になると思いますか

6. 出典︓AI応⽤システムの安全性・信頼性を確保する新世代ソフトウェア⼯学の確⽴ （国⽴研究開発法⼈ 科学技術振興機構 研究開発戦略セン
ター）https://www.jst.go.jp/crds/pdf/2018/SP/CRDS-FY2018-SP-03.pdf
1. 安⼼・安全が必要な領域に、 AI/MLシステムが社会実装されつつある
© 2020 ALBERT Inc. 6

7. 出典︓AI応⽤システムの安全性・信頼性を確保する新世代ソフトウェア⼯学の確⽴ （国⽴研究開発法⼈ 科学技術振興機構 研究開発戦略セン
ター）https://www.jst.go.jp/crds/pdf/2018/SP/CRDS-FY2018-SP-03.pdf
2. AI/MLシステムは、従来の品質管理とは性質が異なる、という課題
© 2020 ALBERT Inc. 7
機械学習型は従来型と性質が異なるので、異なる対応・考え⽅を整備していくことが必要

8. 8
© 2021 ALBERT Inc.
出典︓ AI活⽤戦略 https://www.keidanren.or.jp/policy/2019/013_gaiyo.pdf
3.信頼できる⾼品質なAI/MLシステムを実現するアプローチ
信頼できる⾼品質なAI

9. 9
n 攻撃を防ぐロバストな学習の研究
Ø NNから貢献度の⾼いフィルターを
取り除くと、精度は下がるものの、
攻撃を受けにくくなる
© 2021 ALBERT Inc.
出典︓
はじめてのAdversarial Example https://elix-tech.github.io/ja/2017/10/15/adversarial.html
Goodfellow et al. (2014) https://arxiv.org/abs/1412.6572
Amirata Ghorbani, James Y. Zou. (2020) https://proceedings.neurips.cc/paper/2020/file/41c542dfe6e4fc3deb251d64cf6ed2e4-Paper.pdf
3.信頼できる⾼品質なAI/MLシステムを実現するアプローチ
1. AI/ML技術・エンジニアリング
n Adversarial Example攻撃
Ø ⼈の⽬にはわからないノイズを加え
て誤認識させる

10. 10
n ガイドラインの公開
Ø AI プロダクト品質保証コンソーシ
アム
Ø 産業技術総合研究所
n ガイドラインの⽬的
Ø AIを利⽤するシステムの品質を測定
し向上
Ø AIの誤判断による事故や経済損失な
どを減少させる⼀助
© 2021 ALBERT Inc.
出典︓
AI プロダクト品質保証コンソーシアムの「 AIプロダクト品質保証ガイドライン」︓ http://www.qa4ai.jp/
産総研CPSECおよび⼈⼯知能研究センター（AIRC）の「機械学習品質マネジメントガイドライン」︓
https://www.cpsec.aist.go.jp/achievements/aiqm/
3.信頼できる⾼品質なAI/MLシステムを実現するアプローチ
2.開発プロセス・ガイドラインの整備

11. 11
n 機械学習の枠組み（内部品質）の
中では問題無くても、社会の価値
観に合わないと、社会実装が進ま
ない
n 価値観の例
Ø バイアス
Ø 公平性
Ø 説明性
© 2021 ALBERT Inc.
出典︓https://gigazine.net/news/20160325-tay-microsoft-flaming-twitter/
3.信頼できる⾼品質なAI/MLシステムを実現するアプローチ
3.社会システム、価値観
「ユーザーとの会話を通じて
⼈種差別や性差別、暴⼒表現などを学習し、
不適切にもほどがある発⾔を連発」
マイクロソフトのチャットボット「Tay」

12. 12
まとめ
© 2021 ALBERT Inc.
安⼼・安全なAI/MLシステムの社会実装を加速
1. 安⼼・安全が必要な領域に、 AI/MLシステムが社会実装されつつある
2. AI/MLシステムは、従来の品質管理とは性質が異なる、という課題
3. 信頼できる⾼品質なAI/MLシステムを実現するアプローチ
1. AI/ML技術・エンジニアリング
2. 開発プロセス・ガイドライン
3. 社会システム、価値観

13. • お問い合わせ
h"ps://www.albert2005.co.jp/form/service_form.html
• 採⽤情報
h"ps://www.albert2005.co.jp/saiyo/
ありがとうございました︕