Recommended
Recommended
More Related Content
Featured
Featured (20)
Mln22 mlse summer-camp2019-report2
- 1. MLSE夏合宿2019 参加レポート ２ 2019-11-16 AKIHIRO HORIKAWA （配布用） 1 もう冬だけど
- 2. 自己紹介 名前： AKIHIRO HORIKAWA 所属： 総合エネルギー企業 技術研究所 仕事： データ分析（主にアセスメントとマネジメント） 資格： 日本ディープラーニング協会G検定 コミュニティ： JUASビジネスデータ研究会（仕事） 機械学習名古屋 AWS-UG名古屋、他 趣味： 子供、データサイエンス勉強、ゲーム SNS： まだやってない（今後の課題） 2
- 3. 目次 １．はじめに （さらっと） ２．イベント内容 （さらっと） ３．セッション紹介１ （今回なし） ４．セッション紹介２ ５．まとめ 3
- 6. MLSE 機械学習工学研究会について 機械学習工学研究会（MLSE）は、機械学習システムの開発・ 運用にまつわる生産性や品質の向上を追求する研究者とエンジニ アが、互いの研究やプラクティスを共有し合う会です。 2018年度より、日本ソフトウェア科学会の公式研究会として正式 に発足しました。 6 日本ソフトウェア科学会 機械学習工学研究会 略称 MLSE （「メルシー」と読む。今回知った） 以下、MLSEホームページより https://sites.google.com/view/sig-mlse
- 7. MLSE 機械学習工学研究会について 本研究会では、機械学習システムの開発・運用に関わる様々な 手法やツールを扱います。例えば、以下の様なものが挙げられます。 • 機械学習プロジェクトを運用するマネジメント手法や組織論 • 機械学習システムのための要求分析、目的設計、工数見積も り手法 • 効率的な教師データの収集・整備、前処理の方法 • 機械学習システム開発を効率的に行うためのフレームワークやプ ログラミング言語、開発環境 • 機械学習システムの設計に用いるアーキテクチャ • 機械学習システムのテスト・検証、デバッグ、モニタリング手法 • 機械学習システムを支えるプラットフォームやインフラストラクチャ、 ハードウェア 7 （続き）
- 10. 概要 MLSE夏合宿２０１９ ⚫ 2019年7月6、7日（土日） ⚫ コロニー箱根 ⚫ 参加者 73名 ⚫ セッション 20個 10
- 11. 会場の様子 11
- 12. セッション１日目PM ◼ 鼎談（３名によるトークセッション） ⚫ 新しいプログラミングパラダイムとしての深層学習 ◼ 発表セッション ５個 ⚫ なぜなぜ機械学習プロジェクトはPoC で終わるのか ⚫ Facebook/Ax: Adaptive Experimentation Platformの解説 ⚫ ハイパーパラメータ最適化における実用的な早期停止アルゴリズムの考察 ⚫ 分類ラベルからのセグメンテーションタスクの学習に関する考察 ⚫ ディープニューラルネットワークのモデル特化ハードウェア合成コンパイラ ◼ 食事後に有志によるナイトセッション 12
- 13. セッション ２日目AM ◼ 基調講演 ⚫ 機械学習モデル理解のための説明法 （大阪大学 産業科学研究所 助教 原 聡 先生） ◼ 発表セッション 5個 ⚫ 機械学習活用に向けた解釈手段の比較考察 ⚫ 科学的説明を持つ機械学習システム ⚫ 機械学習システムの動的な保証のための支援ツール開発 ⚫ 機械学習ソフトウェアシステムの環境変化適応の課題とアプローチ: スマート フォンのナビゲーションアプリケーションを例として ⚫ 為替レート予測における機械学習システムのモニタリング手法の検討 13 ←今回は この話です
- 14. セッション ２日目PM ◼ ポスター・デモセッション ８個 ⚫ 機械学習エンジニアのデータ分析と知識習得を支援するツールMALSS ⚫ JAXAにおける機械学習システムの解釈可能性向上に関する取り組み ⚫ 機械学習自動化でラクにデータ分析"RakuDA" ⚫ 機械学習応用システムのテストにおける入力空間分割の評価 ⚫ Human-in-the-loop型機械学習におけるモジュールの再利用化と開発 支援 ⚫ 品質および説明可能性に関する考察 ⚫ DeepVisual: A Visual Programming Tool for Deep Learning Systems ⚫ 融合分野としての機械学習工学における技術チャレンジ 14
- 16. ジャンル分けしたらこんな感じ 16 ⇒ XAI、オートMLは世間的にもホットな気がする ジャンル セッション数 説明性（XAI） ５ ソフトウェア2.0、オートML、 ハイパラ自動最適化、ML開発環境 各２ PoCの先続かない問題、アノテーション効率化、 FPGA、安全性、環境変化適応、品質向上、 テスト 各１
- 20. 概要 ⚫ 大阪大学の原先生による、XAI（explanalbe AI ＝説明可能AI）に関するご講演 ⚫ 最近盛んな背景から、手法の分類、個別手法の内容、 注意点など、XAIについて網羅的に知ることができた ⚫ スライド公開されてるのでご参照ください https://www.slideshare.net/SatoshiHara3/ss-126157179 ※講演時とは一部差異あり 20 ⇒ 大変勉強になったので、ダイジェストでご紹介します！
- 21. （１）研究背景 21
- 22. 研究背景 ⚫ 現在のAIは説明が苦手 ➢ 高精度の予測・認識 ⇔ 判断根拠の説明 ➢ 判断根拠が説明できることは、AIへの信頼醸成・利用拡大 に重要 ⚫ 人間の意思決定補助に使うなら、説明が必要 ➢ 医療： 判断根拠がわからないと原因の検討もできない ➢ 金融： 「顧客への説明の義務」がある 22
- 23. 研究背景 ⚫ 世界的に、説明性が重要視 ➢ 日本 AI利活用原則案 透明性の原則、アカウンタビリティ（説明責任）の原則 ➢ EU 一般データ保護規則（GDPR） ユーザに対する意思決定の説明責任 ➢ US DARPAプロジェクト XAI（説明可能AI） 人間が理解し信頼できるAIの開発 ⚫ 2016年以降、論文が急増 23
- 24. （２）代表的研究 24
- 25. 導入 ⚫ 代表的な説明法 • 重要な特徴の提示 • 重要な学習データの提示 • 自然言語による説明 • モデルの可読性 ⚫ 万能な説明法はなく、課題に応じて、どれを使えばいい か検討が必要！ 25
- 26. 注意点 ⚫ 説明は、コストがかかる。コストがペイするときに使う • 手元のモデル／データで検証が必要（人手） • 計算リソースも必要（お金、時間） • “誤説明”もありえる（リスク） ※ 逆に「説明を意図的にミスリードするように、データを改変できること」が 報告されている（後述の先生の研究に関連） ⚫ 論文として発表されている結果は、「うまくいった事例」 だけが抽出されている可能性がある、とのこと 26
- 27. 代表的な研究アプローチ ① 局所的な説明 特定の入力に対するブラックボックスモデルの予測の根拠を提示 することで説明 ② 大域的な説明 複雑なブラックボックスモデルを可読性の高い解釈可能なモデル で表現することで説明 ③ 深層学習モデルの説明 深層学習モデル、特に画像認識モデルの説明。アプローチとして は、「局所的な説明」 27
- 28. ①局所的な説明 ⚫ 予測の根拠となった特徴量を提示する方法 • LIME • SHAP • Anchor ⚫ 予測の根拠となった訓練データを提示する方法 • influence 28
- 29. ①局所的な説明 － LIME ⚫ どの特徴が予測に重要だったかを提示 ⚫ モデルを「説明対象データ」の周辺で線形モデルで近似 ➢ 線形モデルの係数大小で、各種特徴量の重要度合いを測る ➢ 周辺のサンプルデータを、モデルで生成するらしい ⇒ すごく使われているらしい 29 https://www.kdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf より
- 30. ①局所的な説明 － LIME ⚫ 説明の例：ギター・レトリバーの判別でどこ見てたか ⚫ モデルデバックの例：狼の判別で実は雪を見てた 30 https://www.kdd.org/kdd2016/papers/files/rfp0573-ribeiroA.pdf より
- 31. ①局所的な説明 － SHAP ⚫ どの特徴が予測に重要だったかを提示 ➢ LIMEと同じように、線形モデルで近似して、同様の出力をする らしい （手法の説明はよく理解できなかったので割愛・・・） ⚫ 線形モデル用、決定木用、DL用など、アルゴリズムに特 化した手法があるらしい 31
- 32. ①局所的な説明 － Anchor ⚫ 特徴量がどの範囲にあれば予測に十分かを提示 ➢ 多腕バンディッドの技術とかを利用しているらしい （手法の説明はよく理解できなかったので割愛・・・） ⚫ 「犬の画像のどの部分があれば判別できるか」の例 ➢ 「大事な部分」を残して、他の部分を別の画像に入れ替えても、 判別精度があまりかわらないというもの 32
- 33. ①局所的な説明 － influence ⚫ 各訓練データの影響度合いを提示 ➢ ある訓練データがなかったら予測がどのくらい変わるか。モデルの パラメータθに対し「あるデータ抜いたθ－素のθ」を評価 ➢ 「影響関数」なるもの使って近似的に評価するらしい （手法の説明はよく理解できなかったので割愛・・・） ⚫ 応用として「DataPoisoning」の紹介 ➢ 「指定したテストデータ」への影響の強い学習データに、敵対的 ノイズを載せた「敵対的学習データ」を作成（人間の見た目に は、違いがわからないレベル） ➢ 「敵対的学習データ」で学習したモデルは、「指定した学習デー タ」で間違えるようになる。魚と犬の写真の例 33 https://arxiv.org/pdf/1703.04730.pdf 参照
- 34. ①局所的な説明 － その他 ⚫ 改善アクションの提示 判別結果を特定のクラスに変えるために、何の特徴を変えればい いかユーザに提示 ⚫ 自然言語による説明 モデルの判断根拠を自然言語で説明 34 ⇒ 局所的な説明は、今研究が盛ん！！
- 36. ②大局的な説明 ⚫ Born Again Trees ➢ 複雑なモデルを決定木で近似する ➢ 学習したモデルを使って、疑似的な学習データを作成 （ランダムなインプットに、解析対象モデルでラベル付け） ➢ 疑似学習データセットを、決定木で学習 ⚫ Making Tree Ensembles Interpretable （原先生の研究） ➢ アンサンブルの多数の予測ルールを少数の予測ルールで近似 少ないルールで低い予測誤差を実現 ➢ モデル簡略化をベイズモデル選択の問題として定式化 FAB Inferenceを使うことで、モデル選択の計算を効率化 （手法の説明はよく理解できなかったので割愛・・・ ） 36
- 37. ③深層学習モデルの説明 ⚫ 深層学習モデルが、モデルのどこを見て判別しているか ⚫ 勾配ベースのハイライト法 ➢ 入力のある要素を微小変化させたら、出力はどれだけ変化す るか見るもの（詳しい説明なし） ⚫ コンセプトベースの説明法 ➢ 深層学習モデルの判断と、特定のコンセプト（シマウマの「しま しま」など）が関係あるかを調べるもの 37
- 38. （３）原先生の研究の紹介 38
- 39. 原先生の研究の紹介 ① モデル列挙によるユーザ納得感の向上 ➢ 説明は手段で、本当に欲しいのはユーザの納得 ➢ そもそも、モデルを一つに決めつけようとするから難しい 精度の高いモデルを複数列挙して、ユーザがそこから納得感 の高いモデルを選べばいい モデル１：身長と○○ ⇒ そんなバカな！ モデル２：体重と○○ ⇒ それなら納得！ ➢ 対象はlasso回帰とルールベース （DLなど複雑なモデルではない） ➢ 嬉しさ２点 • データ理解の促進 • 科学的な知識発見のため、有望な仮説が複数得られる 39
- 40. 原先生の研究の紹介 ② 公平性・説明性への“攻撃” ➢ 倫理的なことは大切。差別等をしていないこと、ちゃんと説明 する必要がある ➢ 実は男女差別してるAIであるとき、企業は言いづらい このため、企業が説明すると、嘘の説明することがありえる 真実： 女性だから ⇒ 嘘： 収入低いから ➢ そこで悪いアルゴリズムを提案。沢山説明を提案して選択 普通に説明モデル作ると性別でも、性別が効いてない説明モ デルを作ることができる ➢ どうやったらそんなチートを検知できるか、今後の課題 40
- 41. 原先生の研究の紹介 ③ データクレンジング ➢ AIの失敗原因をつきとめて、性能向上を目指す研究 ➢ 「AIの説明」を使った性能向上と異なり、「説明なしでも性能 向上できればOK」というアプローチ モデルではなく、データで頑張る ➢ 特定の学習データを抜いたときの、モデルの精度向上を見る。 ただし、再学習なしに！ ➢ 従来手法では、損失関数が「強凸＆滑らか＆二階微分可 能前提」のものを、「非凸（DLなど）＆経験誤差最小化を 厳密に解かない（SGDなど）」に拡張？ ヘシアンを陽には 計算しない？？ （ちょっと何言ってるかわかんない） 41
- 42. ５．まとめ 42
- 43. イベントの感想 いろんな人と話せた。 ⚫ 参加者の幅が広かった アカデミック、メガベンチャー、AIベンチャー、データ提供業、 大手製造業、大手SIer、コンサル、フリーランス、JAXA、 （学会の研究会なのに学生は一桁だったらしい…） ⚫ 自分的有名人と名刺交換できた ⚫ アイチ圏は自分含めて少なくとも４名観測 ⚫ MLとソフトウェアエンジニアリングを兼ね備えた人はまだ少ない 印象 43
- 45. 感想 ⚫ MLを取り巻く様々な話題に触れて、勉強になった ⚫ いろんな人と話して、刺激を受けた 45 結論：楽しかった 行ってよかった 家庭内根回し、小遣いピンチを乗り越えて行った甲斐があったｗ