Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

BlackBox モデルの説明性・解釈性技術の実装

3,693 views

Published on

株式会社電通国際情報サービス
小川雄太郎 氏

Published in: Technology
  • Be the first to comment

BlackBox モデルの説明性・解釈性技術の実装

  1. 1. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 0 BlackBoxモデルの説明性・解釈性技術の実装 ※公開用 (株)電通国際情報サービス(通称、ISID) クロスイノベーション本部 AIテクノロジー部 小川 雄太郎 DLLAB 機械学習モデル解釈ナイト (エンジニア向け) 19年11月27日 19:00-19:40@日本マイクロソフト株式会社・品川
  2. 2. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 1 本発表の内容 01 簡単に会社と自己紹介 02 説明性・解釈性技術の重要性 03 種々の説明性・解釈性技術を実装・実行した結果と感想 04 おわりに
  3. 3. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 簡単に会社と自己紹介 Section 01 2
  4. 4. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 株式会社電通 3 1975年に創業 電通グループのIT集団(SIer) General Electric Company(GE) 電通国際情報サービス(ISID)
  5. 5. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 4 出身:1986年生まれ、兵庫県西宮市出身 経歴:明石高専、東京大学工学部、東京大学新領域創成科学研究科 博士課程を卒業。脳科学の分野にて博士号(科学)を取得 所属:ISID クロスイノベーション本部・AIテクノロジー部 兼職:早稲田大学・非常勤講師、日本ディープラーニング協会 委員 副業:PyTorchのディープラーニング本、深層強化学習本、雑誌連載 詳細:https://github.com/YutaroOgawa/about_me 小川 雄太郎(おがわ ゆうたろう)
  6. 6. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 5 近著の紹介 PyTorchによる発展ディープラーニング 第1章:画像分類と転移学習(VGG) 第2章:物体検出(SSD) 第3章:セマンティックセグメンテーション(PSPNet) 第4章:姿勢推定(OpenPose) 第5章:GANによる画像生成(DCGAN、Self-Attention GAN) 第6章:GANによる異常検知(AnoGAN、Efficient GAN) 第7章:自然言語処理による感情分析(Transformer) 第8章:自然言語処理による感情分析(BERT) 第9章:動画分類(3DCNN、ECO) https://www.amazon.co.jp/dp/4839970254
  7. 7. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 説明性・解釈性技術の重要性 Section 02 6
  8. 8. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 7 言葉の定義 ●解釈性:アルゴリズムが予測に至るために用いるプロセスを人間が どれだけ簡単に理解しやすいかを示す(例:決定木は解釈性が高い) ●説明性:とある推論結果において、入力したデータの各説明変数が 予測結果にどの程度影響を与えたのかなどを示す 解釈性(Interpretability)と 説明性(Explainability)の定義 「AIプロダクト品質保証ガイドラインAI4Q」[1]を参考に
  9. 9. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 8 解釈性・説明性が大切な理由 顧客(社外・社内): 推論結果を安心して使用できる≒BlackBox性の緩和 競争力: 自社のサービス・製品の差別化要因になる 自社: モデル改善に役立つ、ESG経営に役立つ
  10. 10. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 9 解釈性・説明性が大切な理由 顧客(社外・社内): 推論結果を安心して使用できる≒BlackBox性の緩和 競争力: 自社のサービス・製品の差別化要因になる 自社: モデル改善に役立つ、ESG経営に役立つ
  11. 11. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 10 解釈性・説明性が競争力となる理由 ガートナー先進テクノロジのハイプ・サイクル:2019年 [2] 説明可能なAIは、黎明期から期待期へと入りかけの注目技術である
  12. 12. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 11 解釈性・説明性が競争力となる理由 フォレスターのAutoMLサービスのリーダー製品の選定基準に Explainablitityが入る[3]
  13. 13. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 12 解釈性・説明性が競争力となる理由 ●機械学習モデルの解釈性・説明性は近年の注目技術である ●さらに、優れた製品・サービスとしての差別化要因となる ゆえに、自社製品・サービスの競争力を高めるべく、ぜひ解釈性・ 説明性技術の取り組みを開始すべきである
  14. 14. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 13 解釈性・説明性が大切な理由 顧客(社外・社内): 推論結果を安心して使用できる≒BlackBox性の緩和 競争力: 自社のサービス・製品の差別化要因になる 自社: モデル改善に役立つ、ESG経営に役立つ
  15. 15. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 14 解釈性・説明性が自社にとって重要な理由 1. モデル改善の役に立つ ⇒解釈性・説明性により、学習済モデルや推論結果の根拠の一端を 知ることは、学習済モデルのバイアス(真に有るべきモデルからの ズレ)などを知ることができ、より良い学習済みモデルの構築に役 立つ。 (例)説明性技術により、学習済モデルの重要な特徴量が「性別」 と明らかになったとする⇒学習データに性別での歪みがあるかもし れない。倫理・公平性についても企業的問題があるかもしれない。
  16. 16. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 15 解釈性・説明性が自社にとって重要な理由 2. ESG経営に役立つ 上場・非上場に関わらず、株式会社にとって重要なのは、 投資家から自社が株式投資価値があると認められることである 昨今、投資家が着目するDX・AI関連の切り口 [4]※参考:Gartner IT Symposium/Xpo 2019、28F:投資家はあなたのデジタル戦略の夢を見るか ①他社と比べた際の持続的な競争優位性 ➡「成長を生む≒儲ける仕組み」にAIが組み込まれていること ②「ESG」に関連する企業活動 ➡ 環境(E)、社会(S)、ガバナンス(G)の状況。とくにG。
  17. 17. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 16 解釈性・説明性が自社にとって重要な理由 2. ESG経営に役立つ➡ガバナンス(G) ガバナンスとは、「企業経営を管理監督する仕組み」。 ではAIにおいて、企業はどのように社員や製品・サービスを管理・ 監督する必要があるのか? (次ページへ)
  18. 18. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 17 解釈性・説明性が自社にとって重要な理由 公平性・説明性を求める各種のガイドラインが整備されつつある[5]参考 Partnership on AI(2016/09) Stanford AI100 in 2030 (2016/09) RoboLawロボッ ト規制ガイドラ イン(2014/09) 人工知能学会倫 理委員会設立 (2014/12) アシロマ23のAI 原則(2017/01) IEEE Ethically Aligned Design v1(2016/12) ロボティクスにかかる民 法規制に関する欧州委員 会への提言(2017/01) 米国大統領府 人 工知能・自動化と 経済(2016/12) GDPR (2018/05) IEEE Ethically Aligned Design First Edition 第1版 (2019/1) 人工知能に関す るOECD原則 (2019/05) 総務省:AI開発 ガイドライン (2018/07) 内閣府:人間中心の AI社会原則(案) (2018/12) 経団連:AI活用戦略 (2019/02) ソニーグループ AI倫理ガイドラ イン(2018/09) 富士通グループ AIコミットメン ト(2019/03) NECグループ AIと 人権に関するポリ シー(2019/04) NTTデータグ ループAI指針 (2019/05) NRIグループAI 倫理ガイドライ ン(2019/10)
  19. 19. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 18 解釈性・説明性が自社にとって重要な理由 経団連:AI活用戦略 ~AI-Readyな社会の実現に向けて~19年2月[6] 具体的には? (次ページ)
  20. 20. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 19 解釈性・説明性が自社にとって重要な理由 経団連:AI活用戦略 ~AI-Readyな社会の実現に向けて~19年2月[6] 公正・アカウンタブル・ 透明性を確保した 説明可能なAIの開発へ
  21. 21. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 20 解釈性・説明性が自社にとって重要な理由 (例)NRIグループAI倫理ガイドライン(2019/10)[7]
  22. 22. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 21 解釈性・説明性が自社にとって重要な理由 (例)NRIグループAI倫理ガイドライン(2019/10)[7]
  23. 23. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 22 解釈性・説明性が自社にとって重要な理由 2. ESG経営に役立つ➡ガバナンス(G)➡AIにおける人権倫理・公 平性とは? 公平性に関する代表的な尺度と解説の一例 [8-12]参考。 例えば、HR-Techにおけるハイパフォーマーを分類する際の「性 別」を例に。 (次ページへ。) ※性別の場合、本資料は男性・女性の2区分ですが、さらに配慮をするべき場合もあります。
  24. 24. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 解釈性・説明性が自社にとって重要な理由 AIにおける人権倫理・公平性の指標例(一例:ハイパフォーマー分類) 1. Group unaware(集団非識別):性別(のような、個人が努力では変え難い属性 情報)を機械学習に使用しない 2. Equal opportunity(機会均等):訓練データにおいて、データ数に性別による 偏りがあるか 3. Statistical Parity Difference(統計均衡差):訓練データにおいて、性別によっ てH(ハイパフォーマー)に分類される可能性に偏りがあるか 4. Equal Opportunity Difference(機会均等差):Hと分類する真陽性の精度が、 性別によって偏りがあるか 5. Average Odds Difference(平均オッズ差):オッズ(真陽性/偽陽性)が、性別 によって偏りがあるか 6. Disparate Impact(差別効果):性別がHと分類するのに対して、与える影響力
  25. 25. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 24 解釈性・説明性が自社にとって重要な理由 AIにおける人権倫理・公平性の指標例(一例:ハイパフォーマー分類) 公平性指標の各詳細は、AI開発に関わるエンジニアにとっては非常 に重要なことであり、是非知っておいていただきたいです。 また、 6. Disparate Impact(差別効果)例:性別がH(ハイパフォー マー)と分類するのに対して、与える影響力 を明らかにする際に、解釈性・説明性の技術は重要となります
  26. 26. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 25 解釈性・説明性が自社にとって重要な理由 AIにおける人権倫理・公平性の指標例(一例:ハイパフォーマー分類) 1. Group unaware(集団非識別):(例)性別を機械学習に使用しない ハイパフォーマ 性別 特徴量A 特徴量B 1 男性 2.4 A 0 男性 3.5 B 1 女性 3.3 A 1 女性 6.4 S 0 男性 2.1 C 性別をはじめ、「個人が努力では変え難い属性情報」を 機械学習システムの入力変数に使用しない
  27. 27. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 26 解釈性・説明性が自社にとって重要な理由 AIにおける人権倫理・公平性の指標例(一例:ハイパフォーマー分類) 2. Equal opportunity(機会均等): (例)訓練データにおいて、データ数に性別 による偏りがあるか ハイパフォーマ 性別 特徴量A 特徴量B 1 男性 2.4 A 0 男性 3.5 B 1 女性 3.3 A 1 女性 6.4 S 0 男性 2.1 C 性別をはじめ、「個人が努力では変え 難い属性情報」が訓練データで偏りが あるか事前チェック 男性 女性 ●人 ■人
  28. 28. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 27 解釈性・説明性が自社にとって重要な理由 AIにおける人権倫理・公平性の指標例(一例:ハイパフォーマー分類) 3. Statistical Parity Difference(統計均衡差):(例)訓練データにおいて、性別 によってHに分類される可能性に偏りがあるか 性別をはじめ、「個人が努力では変え 難い属性情報」でHの割合に偏りがな いか事前チェック 男性 女性 ▲% 〇% ハイパフォーマの割合 ハイパフォーマ 性別 特徴量A 特徴量B 1 男性 2.4 A 0 男性 3.5 B 1 女性 3.3 A 1 女性 6.4 S 0 男性 2.1 C
  29. 29. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 28 解釈性・説明性が自社にとって重要な理由 AIにおける人権倫理・公平性の指標例(一例:ハイパフォーマー分類) 4. Equal Opportunity Difference(機会均等差):(例)Hと分類する真陽性の確 率の性別による差 ハイパフォーマ 特徴量A 特徴量B 1 2.4 A 0 3.5 B 1 3.3 A 1 6.4 S 0 2.1 C 機械学習システムにおいて、真陽性の確率(緑色のマス)が、男性・女性など、 「個人が努力では変え難い属性情報」によってどの程度の差があるのかを示す 機械学習 システム Hで予想H 真陽性 Hで予想notH 偽陰性 notHで予想H 偽陽性 notHで予想notH 真陰性 Hで予想H 真陽性 Hで予想notH 偽陰性 notHで予想H 偽陽性 notHで予想notH 真陰性 男性 女性
  30. 30. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 29 解釈性・説明性が自社にとって重要な理由 AIにおける人権倫理・公平性の指標例(一例:ハイパフォーマー分類) 5. Average Odds Difference(平均オッズ差):(例)オッズ(真陽性/偽陽性)が、 性別によって偏りがあるか ハイパフォーマ 特徴量A 特徴量B 1 2.4 A 0 3.5 B 1 3.3 A 1 6.4 S 0 2.1 C 機械学習システムにおいて、オッズ(真陽性:緑色/偽陰性:赤色)が、男性・ 女性など、「個人が努力では変え難い属性情報」によって偏りがないか≒正解 率での判断 機械学習 システム Hで予想H 真陽性 Hで予想notH 偽陰性 notHで予想H 偽陽性 notHで予想notH 真陰性 Hで予想H 真陽性 Hで予想notH 偽陰性 notHで予想H 偽陽性 notHで予想notH 真陰性 男性 女性
  31. 31. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 30 解釈性・説明性が自社にとって重要な理由 AIにおける人権倫理・公平性の指標例(一例:ハイパフォーマー分類) 6. Disparate Impact(差別効果):(例)性別がHと分類するのに対して、与える 影響力 ハイパフォーマ 特徴量A 特徴量B 1 2.4 A 0 3.5 B 1 3.3 A 1 6.4 S 0 2.1 C 機械学習システムにおいて、真陽性の確率(緑色のマス)が、男性・女性など、 「個人が努力では変え難い属性情報」によってどの程度の割合差があるのか。 (女性の真陽性率)/(男性の真陽性率)で計算。0.8を閾値とすることが多い。 機械学習 システム 男性 女性 Hで予想H 真陽性 Hで予想notH 偽陰性 notHで予想H 偽陽性 notHで予想notH 真陰性 Hで予想H 真陽性 Hで予想notH 偽陰性 notHで予想H 偽陽性 notHで予想notH 真陰性
  32. 32. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 31 解釈性・説明性が自社にとって重要な理由 ●より優れた機械学習モデル構築へとつながる技術である ●投資家のESG観点が高まる中、AIのガバナンスが重要視される社会 となっている ●AIガバナンスにおける、公正・アカウンタブル・透明性を有する機 械学習・ディープラーニングモデルの構築が求められている ゆえに、自社製品・サービスの競争力を高め、ガバナンスを強化する ためにも、ぜひ解釈性・説明性技術の取り組みを開始すべきである
  33. 33. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 32 解釈性・説明性が大切な理由 顧客(社外・社内): 推論結果を安心して使用できる≒BlackBox性の緩和 競争力: 自社のサービス・製品の差別化要因になる 自社: モデル改善に役立つ、ESG経営に役立つ 以上、解釈性・説明性技術に取り組むことが大切な理由を解説しました
  34. 34. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 種々の説明性・解釈性技術を実装・実行 した結果と感想 Section 03 33
  35. 35. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 34 サマリー:説明性技術の調査と実装した感想 縦軸はデータ形式、横軸は説明性技術を示します。 〇はおススメ技術、△は実装してみて微妙に感じた技術、?は未実装、ーは基本的 には技術適用が不可能なケース、空欄はライブラリが未整備、をそれぞれ示します LIME SHAP Anchors Grad- CAM Attention influence 表形式データ △ 〇 △ ー ー ー 画像分類 △ △ 〇 ー 〇 日本語テキスト (tf-idf) 〇 ? ? ー ー ー 日本語テキスト (BERT) ー ー ー ー △ 〇
  36. 36. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 35 技術選定基準 本調査で解釈性・説明性技術として対象とした手法は、日本人工知能 学会の「機械学習における解釈性」に関するレビュー論文(18年5月発 行) [13] にて、紹介されている手法を中心に選択
  37. 37. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 36 解釈性と説明性 解釈性については、機械学習アルゴリズムそのものの話なので、今回 はパスします。 ・決定木やロジスティック回帰は解釈性が高い です。 また、後ほど講演がある、ロジスティック回帰の発展版である ・EBM(Explainable Boosting Machine) ≒一般化加法モデルGA2M(Generalized Additive 2 Model ) も解釈性の高さが期待されるアルゴリズムです。
  38. 38. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 37 解釈性と説明性 説明性については、 ・大域的説明性:モデル内の重要な説明変数を示す ・局所的な説明:推論結果に強く影響した特徴量を示す or 入力と類似性の高い訓練データを示す の2タイプが存在します
  39. 39. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 38 解釈性と説明性 大域的説明性:モデル内の重要な説明変数を示す Born Again Trees [14]:学習データ+学習データの疑似生成データ(推論判定は 学習済みモデルで実施)を訓練データとして、決定木モデルを構築 いろいろな手法:学習済みモデルにおいて、重要度の高い特徴量を知る ●特徴量加工による重要度(MeanDecreaseAccuracy) 特徴量を加工した疑似生成データを用意し、推論性能の悪化から、各特徴量の 重要度を求める(Morris sensitivity analysisなど) ●ジニ係数など情報量を用いた重要度(MeanDecreaseGiniなど) Tree系のアルゴリズムで、各ノードにおいて「判定に使用した特徴量の種類、 ジニ係数、そのノードで分割された訓練データの数」の情報から計算。scikit- learnのTree系アルゴリズムの特徴量重要度はこちら
  40. 40. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 39 表形式データ ※実装プログラムは以下のGitHubにあります https://github.com/YutaroOgawa/my_azure
  41. 41. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 40 局所的説明性(表形式データ) 表形式データにおいては、LIME、SHAP、Anchorsが主に使用されます[15-21] LIME SHAP Anchors
  42. 42. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 41 LIME LIMEは、局所的な説明が欲しいテストデータを中心にperturbedデータを生成し、 元のモデルでそれらを推論、その結果から新たに線形モデルを作成。作った線形モ デルの係数から、テストデータの推論にどの特徴量が重要だったのかを説明 【手順】 1. 局所的な説明が欲しいテストデータのサンプル1つを決定 2. 訓練データの確率分布に従うperturbedデータを生成(デフォルトは5,000個) 3. 元の機械学習モデルでperturbedデータを推論 4. perturbedデータと推論結果から線形モデルを構築(その際、対象テストデータ とperturbedデータの距離で重み付けして誤差を計算。近傍データを重視) 5. 線形モデルの係数から説明
  43. 43. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 42 LIME タイタニックの生存予測のデータセットでのLIMEの例 このような特徴の人の生存確率をランダムフォレストモデルで予測すると、 (死亡、生存)確率 =(0.1、0.9)と予測されました。ですがどうしてこのよう な予測結果になるのか?どの特徴量が重要だったのでしょうか? - 性別:女性 - 年齢:21才 - 兄弟、配偶者の数:0 - 両親、子供の数:1 - 部屋の階級:3 - 乗船した港:Southampton - 乗船料金:
  44. 44. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 43 LIME タイタニックの生存予測のデータセットでのLIMEの結果例 乗船港がサウサンプトンである点、乗船料金が低い点が生存確率を下げる要因です。しかし、性 別が女性である点、同船兄弟がいない点、年齢が23歳以下である点が、生存確率の向上の要因で す。特に、性別が女性であるというほぼ1点の理由により、生存と予想されています。
  45. 45. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 44 SHAP SHAPは、局所的な説明が欲しいテストデータのサンプルにおいて、各特徴量を平均 値に変化させたときの推論結果の変化度合いから、そのサンプルでの特徴量の値が 平均値から離れていることの重要性を調べ、特徴量の寄与度を求めます。その際に ゲーム理論のShapley値(シャープレイ値) [22] の計算に基づいて各説明変数の推論 結果への寄与度を求めます 【手順】 1. 局所的な説明が欲しいテストデータのサンプル1つを決定 2. Shapley値(シャープレイ値)値の計算
  46. 46. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 45 SHAP タイタニックの生存予測のデータセットでのSHAPの結果例 ・SHAPの標準出力では読み取りにくいので、図を書きなおす(次ページ)
  47. 47. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 46 SHAP タイタニックの生存予測のデータセットでのLIMEの結果例 訓練データ全体の平均生存確率は0.38です。対してこの方は、性別が女性である点で生存確率が +0.31向上し、両親・子供の同船者数が1である点から生存確率が+0.16され、乗船料金が7.90ド ルと安いことから生存確率は-0.09されます。その他の特徴量は微小に関わり、その結果、生存確 率は0.90となっています。 全体平均 生存確率 0.38 性別:女性で+0.31、両親・子供:1人で+0.16 乗船料金:7.90で-0.09 0.90 推論結果 その他も少しは影響
  48. 48. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 47 Anchors LIME Anchors AnchorsはLIMEの著者らが続いて発表した手法です
  49. 49. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 48 Anchors 局所的な説明が欲しいテストデータのうち、その推論結果に判定されるために必要 な「ローカルな説明変数の集合領域」(Anchor)を求め、そのAnchorから局所的な 説明を求める手法。
  50. 50. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 49 Anchors LIMEの課題。テキストデータでの例。 2つの文章があり、その説明性をLIME で行うと、同じ“not”という単語が、 文脈によってPositiveに影響したり、 Negativeに影響したりする(二重否定 の文章になっているため)。 これは各単語レベルでlocalな線形モ デルを作成していることに起因する。 そこでAnchorは推論結果になるのに 「十分な特徴量の集合(Anchor)」 を求めそれを説明性と考える。
  51. 51. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 50 Anchors LIMEの課題。テキストデータでの例。 Anchorsはどの特徴量があれば、その 推論結果になるのに十分か(各特徴量 の値の領域集合=Anchor)を求め、そ こから説明を求める。 左図であれば、 “This movie is not bad. ” がPositiveに判定されるのに必要な特 徴量の集合は”not bad” だと判定する。
  52. 52. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 51 Anchors タイタニックの生存予測のデータセットでのAnchorsの結果例 性別が女性であること、乗船クラスが2(中位)であること、両親・子供の同船 者数が1であること、年齢が21~24歳であること、これらの特徴量があるため、 この人は生存と予測されます 注目
  53. 53. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 52 表形式データ:LIME、SHAP、Anchorsの感想 表形式データにおいて、これら3つを比べた際には、SHAPがおすすめです ●LIMEは距離を測る概念が出てくるので、距離指標の設定が面倒 ●LIMEの出力はそのまま確率値にならないので、説明しづらい ●理論的にLIMEはSHAPの特殊な形で、SHAPはLIMEを包含している ●Anchorsはライブラリの整備があまり整っていない(ように感じる) ●Anchorsは連続値を扱えないため、年齢などはビンに区切る必要がある 【結論】ストレートにSHAPが使いやすい。ただし、注意点。 SHAPのライブラリはそのままだとカテゴリカルデータを扱いづらい。
  54. 54. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 53 ネット上にあるLIMEとSHAPの実装例コードには間違っているものもあるので、 注意してください。 タイタニックデータであれば、乗船港などの「カテゴリカルデータ」を「数値 データ」にラベル変換したあと、「one-hot表現」にしてLIMEやSHAPで扱う必 要があります。ネット上の実装例の多くはカテゴリカルデータを順序データとし て誤って実装しています。またone-hot表現と通常の列の扱いを実装で区別する点 は注意が必要です。 性別 0 1 子供の数 2 1 乗船港 2 3 乗船港 B港 C港 乗船港A 乗船港B 乗船港C 0 1 0 0 0 1 one-hotとしてまとめて 実装する点に注意 ネット上にある コードの多い間違え 表形式データ:LIME、SHAP、Anchorsの感想
  55. 55. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 54 画像データ
  56. 56. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 55 Grad-CAM [23]:Gradient-weighted Class Activation Mapping 画像分類で、重要だったピクセルをヒートマップで表示する手法。手続きとしては、 推論結果が誤りだったと仮定し、その推論結果を変化させるために影響があるピク セルがどこなのかを求める。そこでCNNの最終畳み込み層のバックプロパゲーショ ン時のチャネルkの分類cに対するパラメータの損失勾配の平均(α 𝑘 𝑐 )と最終畳み込 み層の得られた特徴量マップ(𝐴𝑖,𝑗 𝑘 )の値を掛け算してヒートマップを求める。
  57. 57. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 56 Grad-CAM ImageNetで学習済みのVGG-19モデルで画像分類をする。坂本龍馬の 画像[24]で(モデルはPyTorchのデフォルトモデルを使用) VGG (ImageNet) 分類の結果????
  58. 58. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 57 ImageNetで学習済みのVGG-19モデルで画像分類をする。坂本龍馬の 画像で(モデルはPyTorchのデフォルトモデルを使用) VGG (ImageNet) 【結果】確率: 0.41で、 pedestal, plinth, footstalloutput Pedestal, plinth, footstallは日本語で、 台,脚,台座。どうして、Man、Personと 推定されないのか。 判定理由をGrad-CAMで可視化。 Grad-CAM
  59. 59. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 58 ImageNetで学習済みのVGG-19モデルで画像分類をする。坂本龍馬の 画像で(モデルはPyTorchのデフォルトモデルを使用) Grad-CAM Grad-CAMの結果を見ると、竜馬よりも背後に ある「教卓のようなもの」に強く反応している。 ヒートマップの赤くなっている部分が後ろの教 卓に集まっているので、「台,脚,台座」と判 定したと考えられる。 なお、そもそもImageNetにはMan、Personな ど、人物のクラスが存在しない。
  60. 60. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 59 LIMEは表形式データだけでなく、画像にも使用できる。ただしその場 合、perturbed dataは1ピクセルごとに作るのではなく、訓練データか らスーパーピクセルと呼ばれる画像の固まりに分ける(下の図におい て、黄色線で囲まれた固まり)。この状態でスーパーピクセルを変化 させ、推論結果への影響を求める。 LIME
  61. 61. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 60 LIME ImageNetで学習済みのVGG-19モデルで画像分類をする。坂本龍馬の 画像で(モデルはPyTorchのデフォルトモデルを使用) LIMEの結果を見ると、人物よりも背後にあ る「教卓のようなもの」に強く反応している。 左図の緑色部分にとくに着目して、「台,脚, 台座」と判定したと考えられ、推論結果がう まく説明される。
  62. 62. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 61 SHAPの画像版はスーパーピクセルではなく、ピクセルレベルで動作 SHAP 実行結果は画像内のエッジが強調されるば かりで、うまく説明性を得ることができな かった。 理由としては、画像分類において「推定結 果のラベルがかなり確度が高い」ケースで ないと、ピクセルレベルでの小さな変化が 推定結果に大きく影響し、様々なピクセル が重要になる(と予想。クラス数が多いモ デルだと確度を高く出しにくい?)
  63. 63. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 62 Anchorsの画像版はtodoのまま更新されておらず、整備されていな い? Anchors 注目
  64. 64. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 63 画像データ:Grad-CAM、LIME、SHAPの感想 画像データにおいて、これら3つを比べた際には、 Grad-CAMがおすすめ ●LIMEの画像説明性はハイパーパラメータが多くて、使用しづらい。 いかようにも結果が出せる・・・。 (とくに、いくつのスーパーピクセルを寄与度に計算するか設定など。左図 は1つに設定している) ●SHAPはあまり機能しなかった 【結論】ストレートにGrad-CAMが使いやすい。ただし、注意点。
  65. 65. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 64 画像データ:Grad-CAM、LIME、SHAPの感想 画像データにおいて、 Adversarial Examplesで改変。ノイズを入れると、判定結果は 猫になる。しかしGrad-CAMの結果はノイズには着目しない。Grad-CAMはあくまで、 その推論結果のラベルを変化させるのに寄与するピクセルを強調する。 (今回の場合はノイズよりも赤ピクセルを変える方が、catと判定される確率は減る) VGG (ImageNet) cat
  66. 66. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 65 画像データ:Grad-CAM、LIME、SHAPの感想 Grad-CAM系の手法は本当に説明性を与えているのか、もう少し慎重に考えよう、という 論文もある[25]。論文ではどれが良くてどれがダメまで言っていないが、著者らとは別のブ ログではGuided系はエッジに引っ張られやすいから、普通のGrad-CAMが無難ともある[26]
  67. 67. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 66 日本語テキスト(tf-idf)
  68. 68. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 67 LIME tf-idfでベクトル化して文書分類し、その推論結果をLIMEで説明する。LIMEでテキ ストデータを扱う場合、 perturbedデータは各単語をランダムに除いたテキスト データを作成される。その後、線形モデルを構築して、各単語の係数から推論結果 に対する各単語の寄与度を求める。 今回、分類対象の文書はlivedoor ニュースコーパス(9クラス)[27]を使用した。 訓練データは4,421文書、検証データは1,473 文書、テストデータは1,473 文書。 Juman++v2 [28]で単語を分かち書きした。使用データとして、タイトルは省き、文 書の先頭から128単語(正確にはサブワード)のみを使用した(128単語以上の部分 は切り捨てる。実際の文書の1/5くらいの長さとなる)。 機械学習モデルはtf-idfでベクトル化→LSAで次元圧縮→非線形SVM(正解率81%)。
  69. 69. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 68 LIME 試合、放送、プロなどの単語に着目し、sports-watchに、正しく分類 日本語テキストデータのtf-idfでの機械学習推論結果をLIMEで説明 注目
  70. 70. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 69 LIME ケア、美容、ヘアなどの単語に着目し、peachy(ふわふわ女子系チャネル )に誤分類 (正解は家電) 日本語テキストデータのtf-idfでの機械学習推論結果をLIMEで説明 注目
  71. 71. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 70 日本語テキスト(tf-idf):LIMEの感想 時間が足りず、SHAPとAnchorsまで実装できなかった ただ、LIMEでもまずまず機能し、どの単語が重要だったのかが分かる気がし ている。 【結論】LIMEはまずまず機能しそう。今後、SHAPやAnchorsの検討へ
  72. 72. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 71 日本語テキスト(BERT)
  73. 73. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 72 BERT[29]による文書系AIの取り組み BERTとは:自然言語処理のディープラーニングモデルです 詳細は拙著をご覧ください、実装しながら解説しています PyTorchによる発展ディープラーニング 第1章:画像分類と転移学習(VGG) 第2章:物体検出(SSD) 第3章:セマンティックセグメンテーション(PSPNet) 第4章:姿勢推定(OpenPose) 第5章:GANによる画像生成(DCGAN、Self-Attention GAN) 第6章:GANによる異常検知(AnoGAN、Efficient GAN) 第7章:自然言語処理による感情分析(Transformer) 第8章:自然言語処理による感情分析(BERT) 第9章:動画分類(3DCNN、ECO) https://www.amazon.co.jp/dp/4839970254
  74. 74. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 73 BERTによる文書系AIの取り組み BERTのAttentionを可視化(全multi-headの平均) ラベルはsports-watchと正しく判定され、強く着目している単語は、“女子プロゴル ファー”や“ゴルフ”など。
  75. 75. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 74 BERTによる文書系AIの取り組み BERTのAttentionを可視化(全multi-headの平均) その他の実行例。ドライヤーの記事だが、「家電チャネル」ではなく、「peachy (ふわふわ女子系チャネル)」に誤って分類。その理由をAttentionから確認すると、 とくに“美容“、”ブロー”、”!”などの単語に引っ張られたと考えられる。
  76. 76. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 75 BERTによる文書系AIの取り組みの感想 BERTによるAttentionを説明性に使用するのはまずまず機能しそうな気がし たが、人により判断は分かれそうではある。 ●「Attention is not Explanation」という論文 [30] も発表されており、 Attetionは説明性として十分か議論はある。 しかしこの論文のモデルはBiLSTMであって、Transformer型のモデルで はない。LSTMはAttentionがなくても動作するので、この論文で示してい る“Attentionに説明性能に疑問がある“という意見は、Transformerを利用 したBERTにも当てはまるとは、私は考えていないです ●ただし、BERTは入力できる文字数の制限があり使いづらい・・・
  77. 77. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 76 画像データ(MNIST) × influence
  78. 78. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 77 Influence[31] influcenceは、説明したいテストデータと最もよく似た訓練データを1つ探す手法。 説明したい推論したテストデータと類似性の高い訓練データを提示させる。 そこで、「とある訓練データ1つを抜いてモデルを学習させて推論すると、説明し たいテストデータの推論結果が最も変化する訓練データ」を求める。 実際に訓練データをleave-one-outした全パターンの学習モデルを用意して推論す るのは計算コスト的に非現実的なので、各訓練データが説明したいテストデータ の推論結果のlossの値にどれくらい寄与しているのかを求める。摂動論的アプ ローチであり、学習済みモデルパラメータ近傍での近似計算となる。 この計算式を影響関数(influence function)と呼ぶ(次ページへ)
  79. 79. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 7878 influenceの計算手法。以下の式を訓練データすべてについて計算して、最小(負 の最大)の訓練データを求めると、その訓練データはテストデータの損失を下げ るのに最も重要であり、テストデータと類似性が高いと考えられる。 z_testに対する損失を モデルパラメータで偏 微分。すなわち、 z_testの損失が減る誤 差逆伝搬時のパラメー タ更新ベクトルの方向 z_testに対する損失を、 とある訓練データzを 抜いたモデルと抜かな いモデルで推論した場 合の推論結果に対する 損失の変化量 とある訓練データzを含ま ない訓練済みモデルに、z を追加した場合のパラ メータの更新を摂動論で 計算した際の更新ベクト ルの方向 Influence
  80. 80. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 79 3層からなる簡単なCNNでMNISTのinfluenceを実行した結果。ヘシアン行列Hを 計算するためにパラメータの2階微分が必要であり、今回はPyTorchで実装 テスト画像 類似性が高いとされた訓練画像 推論を悪化させる訓練画像 Influence
  81. 81. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 80 ・influenceで抽出される、類似性の高い訓練データとは、その訓練データを学習 することで対象のテストデータの推論結果が良くなるものである。これは厳密に 計算されているわけではなく、近似的計算(摂動論)である点に注意 ・計算においてテストデータの損失値も必要なため、説明対象とするテストデー タの正解も必要 ・影響関数(influence function)の計算には、損失に対する訓練データのヘシア ン(損失をモデルパラメータで2階偏微分した数値の訓練データでの総和)の逆行 列が必要(H-1)。そのため、損失関数がモデルパラメータで2階微分できる必要 があり、木系のアルゴリズムなどでは使用できない、と私は思っている・・・ ・なおモデルの全パラメータでのヘシアン計算はコスト大なため、最後の全結合 層のみを使用している Influenceの感想
  82. 82. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 81 ・influenceは損失関数が明示的なディープラーニングとは相性が良く、BERTな ど自然言語処理モデルでも同様に、テストデータと類似する訓練データを求める ことができる。以前、発表したのでこちらをご覧ください Influenceの感想 https://www.slideshare.net/DeepLearningLab/bertaiaz ure?ref=https://dllab.connpass.com/event/144647/pre sentation/
  83. 83. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 82 (再掲)サマリー:説明性技術の調査と実装した感想 縦軸はデータ形式、横軸は説明性技術を示します。 〇はおススメ技術、△は実装してみて微妙に感じた技術、?は未実装、ーは基本的 には技術適用が不可能なケース、空欄はライブラリが未整備、をそれぞれ示します LIME SHAP Anchors Grad- CAM Attention influence 表形式データ △ 〇 △ ー ー ー 画像分類 △ △ 〇 ー 〇 日本語テキスト (tf-idf) 〇 ? ? ー ー ー 日本語テキスト (BERT) ー ー ー ー △ 〇
  84. 84. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. おわりに Section 04 83
  85. 85. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 84 「ISIDにおけるAI部門の位置づけと、製造業を中心とした事例の紹介」芝田 潤 画像診断や自然言語処理、時系列データ分析系を中心としたAIアルゴリズム開発プ ロジェクト事例とAI人材育成支援事例についてご紹介します。 「AIテクノロジー部の研究開発と製品開発事例」小川 雄太郎 LightGBMを製造業の流体シミュレーションの高速化に応用し、新たな手法を構築し た研究内容と、Azure DevOps、Azure MLサービスを利用し、両者を合わせること でMLOps的な体制を構築している事例について紹介します。 https://techplay.jp/event/758740 その他、ISIDのAIテクノロジーに 興味がある方はTechPlayにもぜひ ご参加ください。
  86. 86. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 85 これからのアナウンス 私たちと一緒に働いていただけるコンサルタント、エンジニアも募集中 以下サイトをご覧ください ●AIビジネスプロジェクトマネージャ https://www.isidgroup.com/u/job.phtml?job_code=532 ●データサイエンス・ビジネス開発エンジニア https://www.isidgroup.com/u/job.phtml?job_code=430 https://www.isidgroup.com/u/job.phtml?job_category_code=5&company_code=1
  87. 87. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 86 以上
  88. 88. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 87 引用文献とおすすめ資料 [1] QA4AIコンソーシアムのAIプロダクト品質保証ガイドライン(19年5月) http://www.qa4ai.jp/download/ [2] ガートナー、「先進テクノロジのハイプ・サイクル:2019年」を発表(2019年8月30日) https://www.gartner.com/jp/newsroom/press-releases/pr-20190830 [3 ] The Forrester New Wave™: Automation-Focused Machine Learning Solutions, Q2 2019 https://www.forrester.com/report/The+Forrester+New+Wave+AutomationFocused+Machine+Learning+Solutions+ Q2+2019/-/E-RES143845# https://www.edgeverve.com/wp-content/uploads/2019/05/The-Forrester-New-Wave_Automation_Focused- Machine-Learning-Solutions_Q2-2019.pdf [4]参考:Gartner IT Symposium/Xpo 2019、28F:投資家はあなたのデジタル戦略の夢を見るか https://gartner-em.jp/symposium/ [5] 参考:人工知能学会:浦本学会長の基調講演(19年6月) https://confit.atlas.jp/guide/event/jsai2019/session/1A01-01/tables?FgiqDDntph [6] 経団連 AI活用戦略 ~AI-Readyな社会の実現に向けて~(19年2月) http://www.keidanren.or.jp/policy/2019/013.htmlhttps://jpn.nec.com/press/201904/20190402_01.html [7]野村総合研究所、「NRIグループAI倫理ガイドライン」を策定 https://www.nri.com/jp/news/newsrelease/lst/2019/cc/1024_1
  89. 89. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 88 引用文献とおすすめ資料 [8] 機械学習の公平性への取り組み -Fairness-aware data miningを中心に-、神嶌 敏弘、産業技術総合研究所、人工知 能学会2019@新潟 https://www.jst.go.jp/crds/sympo/201906_JSAI/index.html [9] Playing with AI Fairness https://pair-code.github.io/what-if-tool/ai-fairness.html [10] AIのバイアス問題、求められる「公平」とは何 https://kaztaira.wordpress.com/2018/09/22/%EF%BD%81%EF%BD%89%E3%81%AE%E3%83%90%E3%82%A4%E3%8 2%A2%E3%82%B9%E5%95%8F%E9%A1%8C%E3%80%81%E6%B1%82%E3%82%81%E3%82%89%E3%82%8C%E3%82% 8B%E3%80%8C%E5%85%AC%E5%B9%B3%E3%80%8D%E3%81%A8%E3%81%AF%E4%BD%95/ [11] 公平性に配慮した学習とその理論的課題、福地一斗、理研AIP、IBIS2018@愛知 http://ibisml.org/ibis2018/files/2018/11/fukuchi.pdf [12] IBM:Introducing AI Fairness 360 https://www.ibm.com/blogs/research/2018/09/ai-fairness-360/ [13] 機械学習における解釈性、原、人工知能、2018.5。 https://jsai.ixsq.nii.ac.jp/ej/?action=repository_action_common_download&item_id=9217&item_no=1&attribute_id=2 2&file_no=1
  90. 90. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 89 引用文献とおすすめ資料 [14] Born Again Trees 。Breiman, L., & Shang, N. (1996). Born again trees. University of California, Berkeley, Berkeley, CA, Technical Report. [15] LIME。 Ribeiro, M. T., Singh, S., & Guestrin, C. (2016, August). Why should i trust you?: Explaining the predictions of any classifier. In Proceedings of the 22nd ACM SIGKDD international conference on knowledge discovery and data mining (pp. 1135-1144). ACM. [16] LIMEのGitHub。https://github.com/marcotcr/lime [17] SHAP。 Lundberg, S. M., & Lee, S. I. (2017). A unified approach to interpreting model predictions. In Advances in Neural Information Processing Systems (pp. 4765-4774). [18] SHAPのGitHub。 https://github.com/slundberg/shap [19] Interpreting your deep learning model by SHAP https://towardsdatascience.com/interpreting-your-deep-learning-model-by-shap-e69be2b47893 [20] Anchor。 Ribeiro, M. T., Singh, S., & Guestrin, C. (2018, April). Anchors: High-precision model-agnostic explanations. In Thirty-Second AAAI Conference on Artificial Intelligence. [21] AnchorのGitHub。 https://github.com/marcotcr/anchor [22] Interpreting your deep learning model by SHAP https://towardsdatascience.com/interpreting-your-deep-learning-model-by-shap-e69be2b47893
  91. 91. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 90 引用文献とおすすめ資料 [23] Grad-CAM。Selvaraju, R. R., Cogswell, M., Das, A., Vedantam, R., Parikh, D., & Batra, D. (2017). Grad-cam: Visual explanations from deep networks via gradient-based localization. In Proceedings of the IEEE International Conference on Computer Vision (pp. 618-626). [24] 坂本龍馬の画像を引用 http://barbarossa.red/ryoma-truth/ [25] Adebayo, J., Gilmer, J., Muelly, M., Goodfellow, I., Hardt, M., & Kim, B. (2018). Sanity checks for saliency maps. In Advances in Neural Information Processing Systems (pp. 9505-9515). [26] Guided Grad-CAM is Broken! Sanity Checks for Saliency Maps. https://glassboxmedicine.com/2019/10/12/guided-grad-cam-is-broken-sanity-checks-for-saliency-maps/ [27] livedoor ニュースコーパス https://www.rondhuit.com/download.html [28] Juman++v2 http://nlp.ist.i.kyoto-u.ac.jp/index.php?JUMAN++ [29] BERT。Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805. [30] Attention? Sarthak Jain, Byron C. Wallace. (2019). Attention is not Explanation. arXiv preprint arXiv:1902.10186.
  92. 92. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 91 [31] influence。 Koh, P. W., & Liang, P. (2017, August). Understanding black-box predictions via influence functions. In Proceedings of the 34th International Conference on Machine Learning-Volume 70 (pp. 1885-1894). JMLR. org. [32] 機械学習モデルの判断根拠の説明、原、第20回ステアラボ人工知能セミナー 、2018.12。 https://www.slideshare.net/SatoshiHara3/ss-126157179 [33]機械学習と解釈可能性、吉永、ソフトウェアジャパン2019。 https://speakerdeck.com/line_developers/machine-learning-and-interpretability
  93. 93. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 92 [34]深層学習の判断根拠を理解するための研究とその意義、久保、PRMU 2017熊本。 https://www.slideshare.net/takahirokubo7792/prmu-2017 [35] 2019年度 人工知能学会全国大会(第33回) 企画セッション「機械学習における説明可能性・公平性・安全性への 工学的取り組み」 https://www.jst.go.jp/crds/sympo/201906_JSAI/index.html
  94. 94. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 93 [36] Explainable AI in Industry (KDD 2019 Tutorial) https://www.slideshare.net/KrishnaramKenthapadi/explainable-ai-in-industry-kdd-2019- tutorial?utm_campaign=piqcy&utm_medium=email&utm_source=Revue%20newsletter
  95. 95. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 94 [36] Explainable AI in Industry (KDD 2019 Tutorial) https://www.slideshare.net/KrishnaramKenthapadi/explainable-ai-in-industry-kdd-2019- tutorial?utm_campaign=piqcy&utm_medium=email&utm_source=Revue%20newsletter
  96. 96. COPYRIGHT 2019 INFORMATION SERVICES INTERNATIONAL - DENTSU, LTD. ALL RIGHTS RESERVED. 95 CONFIDENTIAL 本文書(添付資料を含む)は、株式会社電通国際情報サービスが著作権その他の権利を有する営業秘密(含サプライヤー等第三者が権利を有するもの)です。 当社の許可なく複製し利用すること、また漏洩することは「著作権法」「不正競争防止法」によって禁じられております。 本資料内の社名・製品名は各社の登録商標です。

×