コンピュータビジョンの観点から見たAIの公平性

1. コンピュータビジョンの観点から⾒た AIの公平性 AI Fairness from a Perspective of Computer Vision ⼭⽥亮佑，美濃⼝宗尊，⽚岡裕雄（著者紹介はラストにあります） 1 http://xpaperchallenge.org/cv

2. 公平性 | Fairness 2 公平性 @weblio ・・・偏ることなく，全てを同等に扱うこと（さま）、主観を交えないこと（さま） Fairness @Oxford Dictionary --- the quality of treating people equally or in a way that is reasonable

3. 現実に起きた問題 3 Amazon’s “holy grail” recruiting tool was actually just biased against women https://qz.com/1419228/amazons-ai-powered-recruiting-tool-was-biased-against-women/ Maybe Microsoft’s Tay AI didn’t have a meltdown… https://medium.com/@thepathtochange/maybe-microsoft-s-tay-ai-didn-t-have-a-meltdown- 4291b910a37c Google's Artificial Intelligence Hate Speech Detector Is 'Racially Biased,' Study Finds https://www.forbes.com/sites/nicolemartin1/2019/08/13/googles-artificial-intelligence- hate-speech-detector-is-racially-biased/#1418e6d8326c 2020年現在のAI分野において，未だ「解決された」とは⾔い難い状況

4. 公平性のさらなる危険性 4 環境によっては誰もがマイノリティになり得る！研究者からエンドユーザまで例外なく！第3次AIブームを終わらせかねない⼈類共通課題 • 実利⽤にはFairnessの問題解決が必須 • ニーズがなければAI研究の価値が低迷する可能性 • 下⼿に発信すれば責任問題 AIの存続にも影響！？研究者による議論は必須！ • 問題を認知せずに利⽤してしまうことのリスク • AIの判断を鵜呑みにしてしまうことのリスク • 下⼿に運⽤すれば責任問題気づいた時にはもう遅い！？⼀般ユーザも議論すべき！研究者に迫る危険エンドユーザに迫る危険

5. コンピュータビジョン（CV）と公平性 5 CVにおける公平性とは？ ● ラベルミス・カテゴリごとのサンプル数の違いなどデータセット由来の偏り，もしくは識別・⽣成モデルの得意・不得意からくる ● 現在のCV分野の公平性研究は 1.画像識別, 2.画像⽣成, 3. データセットの３種に関わる問題に⼤別できる

6. データの「偏り」 6 偏り（不公平性）は容易に起こりうるアノテーションデータのバイアス画像収集 ● アノテータの偏り（国籍・性別・年齢） ● ラベルミス/コンセンサス ● 異なる主観 ● 視覚の個⼈差 ● 知識不⾜（未知カテゴリの名前付） ● 悪意のある攻撃 ● ... ● 収集者の偏り（国籍・性別・年齢） ● 権利関係 ● ⼊⼿の容易性 ● 画像選定の際の偏り ● ... 単⼀および複合要因

7. 深層学習モデルの「偏り」 7 データから「最適な特徴を⾃動で」学習モデルのバイアス単⼀および複合要因 ● 得意/多数サンプルのカテゴリを重視 ● 苦⼿/少数サンプルのカテゴリは無視する傾向 ● 関係性/間接的な特徴から学習 ○ ⼈間の着ている服 → e.g. 性別差 ○ 背後に映るシーン・物体 → e.g. ⼈種差 ● ... （良くも悪くも特徴を⾃動学習）

8. 当たり前に使⽤する道具は公平ではない？ 8 ImageNetの公平性問題 https://blog.paperspace.com/content/images/size/w2000/2019/04/ImageNet1.jpeg 性別・肌の⾊・年齢の側⾯でのバランスを調査カテゴリにより偏りがあることを確認今やスタンダードとなったImageNetだが，⾮商⽤利⽤のみに限定, データの偏りが原因で公平性の⾯でも議論されてる http://image-net.org/update-sep-17-2019 2020年現在，⼈に関連するラベルの画像が約半分削除された

9. 機械学習/CVと公平性の国際会議/WS 9 FAT* (2018 - 2020) -> FAccT (2021 - ) AIES (2018 - )https://facctconference.org/ https://facctconference.org/2019 【国際会議】 https://www.fatml.org/ 【国際ワークショップ】 https://www.aies-conference.com/2020/ https://sites.google.com/view/fatecv/home https://sites.google.com/view/f air-data-efficient-trusted- cv/home FAT / ML (2014 - 2018) FATE / CV (2019) fa.de.tr.cv (2020) CVと公平性のWSは後者２つ

10. ML分野における公平性 10 Fairness in MLの論⽂数 ● General Data Protection Regulation (GDPR)の施⾏を⽪切りにMachine Learningの公平性に関する論⽂が急激に増加 https://towardsdatascience.com/a-tutorial-on-fairness-in-machine-learning-3ff8ba1040cb

11. CV分野における公平性 11 Fairness in CV論⽂は2020年2⽉現在少数 ● 我々のリストアップした論⽂も数⼗本程度... ● ⼀⽅，CVPRʼ20のエリアにもなり (左下図)今後に期待 http://cvpr2020.thecvf.com/submission/main-conference/author-guidelines#call-for-papers 2020年，世界的にもまさにこれから議論されようとしている http://cvpr2020.thecvf.com/

12. 公平性と法令・問題・技術：近年の動向 12 国際会議 / 国際ワークショップ各社の動向と問題 Google Photos 不適切タグ付け問題法令 / 国策 / 声明など 2014 - 2018 2018 - 2020 2018 - 2019 2020 https://www.theguardian.com/tec hnology/2015/jul/01/google-sorry- racist-auto-tag-photo-app google.com 2015.06 2018.10 Amazon AI採⽤で⼥性不利傾向に https://qz.com/1419228/amazons-ai- powered-recruiting-tool-was-biased- against-women/ 2016.03 Microsoft Tay@Twitterでヘイトスピーチ https://en.wikipedia.org/wiki/Tay_(bot) 2020.01 Partnership on AI 公平性含む協⼒関係 https://www.partnershipon ai.org/pai-at-fat-star/ https://www.whitehouse.gov/wp- content/uploads/2020/01/Draft-OMB-Memo-on- Regulation-of-AI-1-7-19.pdf ⽶国・ホワイトハウス AI応⽤に関する声明を発表 https://sustainablejapan.jp/wp- content/uploads/2020/01/gdpr.jpg EU・GDPR General Data Protection Regulation http://ai-elsi.org/archives/888 ⽇本・⼈⼯知能学会 2020.02 Cloud vision API 性別ラベルを付与しない⽅向 https://www.businessinsider.com/google-cloud- vision-api-wont-tag-images-by-gender-2020-2

13. CVと公平性研究：現在⼤きく3種類 13 データ画像⽣成画像識別 ● データセット・画像識別・画像⽣成 # 詳細は論⽂紹介にて性差が⽣じる画像部を排除 ImageNetのラベル再調査所得に応じて認識精度が⾼くなる属性を操作して⽣成がどの程度成功するか？歩⾏者検出の⼈種差・年齢差・男⼥差を検証商⽤顔認識APIを⽤い属性間の認識率を調査識別の誤りを解析して偏りを明らかにデータセット間の偏りを⾒る研究 Auditing ImageNet

14. Agenda 14 ● 論⽂紹介 ● 基本1論⽂1ページで紹介 ● チュートリアル ● 公平性の⽂脈で使われるデータセット紹介 ● 公平性研究のためのツールなど ● メタサーベイ ● 勢⼒的に活動する世界の研究者・技術者を紹介 ● 各企業・研究機関・コミュニティの動向 ● 研究を始める⽅法

15. 論⽂紹介

16. Towards Fairer Datasets: Filtering and Balancing the Distribution of the People Subtree in the ImageNet Hierarchy 16 会議 : ACM FAT* 2020 著者 : Kaiyu Yang, Klint Qinami, Li Fei-Fei, Jia Deng, Olga Russakovsky ● ImageNetのグループによるより公平なデータセットに向けた解析 ● 特に⼈物に関する2,832カテゴリについてNon-safeと判断された1,593カテゴリ（約60万画像）を削除現状スタンダードなデータセットも公平性の⾯で問題に図はGender（男/⼥/不明），Skin Color（明/暗/中間），Ageごとに割合を⽰したグラフ。データセット内に偏りがあることがわかる

17. Auditing ImageNet: Towards a Model-driven Framework for Annotating Demographic Attributes of Large-Scale Image Datasets 17 会議 : CVPR 2019 Workshop 著者 : Chris Dulhanty, Alexander Wong ● 各データセットの男⼥⽐を⽐較 ● ImageNetのサブセットに対してラベル付けを実⾏ ○ ILSVRCの41.62%が⼥性，60歳以上は1.71%，15~29歳の男性は全体の27.11% ● さらに，男⼥の割合が多い画像カテゴリをランク付けデータセットのGender Biasを確認 https://github.com/cdulhanty/ImageNet-Demo-Audit ISLVRCʼ12（左）とImageNet ʻpersonʼ subset（右）の男⼥⽐をカウント顔検出の信頼度が0.9以上の顔についてラベルづけ

18. Does Object Recognition Work for Everyone? 18 会議 : CVPR 2019 Workshop 著者 : Terrance DeVries, Ishan Misra, Changhan Wang, Laurens van der Maaten ● 世帯収⼊のラベルが付与されているDollar Street Images datasetを⽤いて世帯収⼊別にオブジェクト認識精度をアノテーターにより評価 ● ⾼収⼊世帯と低収⼊世帯では，同クラスでも外観や背景が異なるため精度に差が⽣じる世帯収⼊別でオブジェクト認識の精度に差が⽣じる

19. Unbiased Look at Dataset Bias 19 会議 : CVPR 2011 著者 : Antonio Torralba, Alexei A. Efros ● 画像データは偏り（e.g. 物体が中央に映りがち）を多く含みがちであると指摘 ● 例として，各データに含まれるcar/personの識別及び検出をデータセットをクロスして学習・テストできるかどうかを検証（e.g. VOCのcarを学習，ImageNetのcarを識別可能か） ○ 同じデータセット内のtrain/testでないと性能劣化があることを確認 ● Pascal VOC, ImageNet, SUN09など当時新しかったデータは⽐較的偏りが少なく，正しい⽅向性であると捉えられたデータセットの偏りに関する調査研究を⼤規模に⾏った（注：2011年当時の研究） ←少量の画像を⾒ただけでどのデータセットからサンプリングされたのかを正解できてしまうのでは？という問題提起 ←データセットを交差して⾃動⾞（car）を学習ImageNet でテストする場合には性能劣化が少ないが，Caltech101でテストする場合には他のデータの性能劣化が際⽴つ

20. Towards Fairness in Visual Recognition: Effective Strategies for Bias Mitigation 20 会議 : arXiv 1911:11834 著者 : Zeyu Wang, Klint Qinami, Yannis Karakozis, Kyle Genova, Prem Nair, Kenji Hata, Olga Russakovsky ● データセットの偏り（性別・⼈種・年齢）緩和⽅法を提案 ● ドメイン間に依存しない特徴量の学習⽅法を提案，偏り緩和⽅法のベースラインと⽐較しても⾼い精度を実現 ● 顔認識の問題（CelebA）に対して実験を⾏った公平性を担保した効果的な学習⽅法を提案した！（左）提案のDomainINDEPがベースラインよりも⾼い精度を⽰している。データはCIFAR-10S。（右）実環境に近づけるため、多少平⾏移動させたCIFARと32x32 ImageNetを使⽤。

21. Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representation 21 会議 : CVPR 2019 Workshop 著者 : Tianlu Wang, Jieyu Zhao, Mark Yatskar, Kai-Wei Chang, Vicente Ordonez ● 性別による偏りと物体の関係性を画像識別モデルが学習することは知られている ● 画像データセットから性別を排除することで公平な表現を獲得した男⼥の学習サンプル数を揃えてもダメ，性別を除外して学習提案法の概略図 Adversarial Gender Loss: 性別に関する識別を⾏う領域を⾒ないように学習 Task Specific Loss: それ以外の領域から画像識別を実⾏する

22. Unsupervised Domain Adaptation for Distance Metric Learning 22 会議 : CVPR 2019 Workshop / ICLR 2019 著者 : Kihyuk Sohn, Wenling Shang, Xiang Yu, Manmohan Chandraker ● 教師なしドメイン適応（UDA），ソースドメインはラベルあり，ターゲットドメインはラベルなしでクラスラベルは重なりがない ● Feature Transfer Network (FTN)を提案し，ソースとターゲットの特徴空間を調整する ● Non-parametric multi-class entropy minimization lossを⽤いて学習距離空間の学習は公平性に適⽤可能提案法の概略図ドメインを検証する誤差（ L_vrf），ドメイン⾃体を識別する誤差（L_sep），ドメイン間を混同させる誤差（ L_adv）を⽬的として学習

23. Discovering Fair Representations in the Data Domain 23 会議 : CVPR 2019 著者 : Novi Quadrianto, Viktoriia Sharmanska, Oliver Thomas ● センシティブ情報を排除して学習することを，元のデータから公正なデータへの変換タスクへと置き換えることで公平な表現を学習可能 ● センシティブ情報を性別としてCelebAデータセットに適⽤した場合、ネットワークは⽬と唇の領域を調整することで公平性を保つソースドメインからターゲットドメインへのマッピングを学習

24. SensitiveNets: Unlearning Undesired Information for Generating Agnostic Representations with Application to Face Recognition 24 会議 : CVPR 2019 Workshop 著者 : Aythami Morales, Julian Fierrez, Ruben Vera-Rodriguez ● 顔認識にて性能低下なくセンシティブな認識結果を出⼒する要因を特徴空間から取り除く ● SensitiveNets: Triplet（特徴空間の整備）/Sensitivity Detector（男⼥, ⼈種）により構成 ● データの偏りを提⾔するため，MegaFaceに追加ラベル付を実施 ● 性差や倫理的なラベルを検出して情報を排除しても顔認証の性能劣化は3- 4%のみと判明顔認識にてモデル/DBの側⾯からセンシティブな認識を排除 SensitiveNetsの構造：事前学習モデル（ Pre-trained model）による偏りをなくすため，Triplet Distanceに対して属性（男⼥）を検出してunfairnessを低減する Sensitivity Detectorの誤差も同時に考慮する

25. Age and gender bias in pedestrian detection algorithms 25 会議 : CVPR 2019 Workshop 著者 : Martim Brandao ● 歩⾏者検出器の検出精度において，年齢や性別による偏りはないか調査 ● INRIA Person Datasetに対し性別（男/⼥）と年齢（⼤⼈/⼦供）の追加ラベル付与 ○ データ⼊⼿HP: https://www.martimbrandao.com/pedestrian-detection-bias/ 歩⾏者DBの偏りが検出率の違いに結びついている現状，歩⾏者検出のためのデータセットで学習した検出器は⼥性/⼦供の⽅がエラー率が⾼いという問題を含む

26. Predictive Inequity in Object Detection 26 会議 : CVPR2019 Workshop 著者 : Benjamin Wilson, Judy Hoffman and Jamie Morgenstern ● 物体検出器が肌の⾊が違う歩⾏者に対して，公平に検出できるか調査 ● ⾞載カメラデータセットであるBDD100Kに，肌の⾊で注釈を付与 ● 標準の検出器ではFitzpatrickスキンタイプがより低い⼈の⽅が⾼精度に検出可能 ○ Fitzpatrickがより低い⼈ : 肌の⾊がより⽩い⼈ ○ Fitzpatrickがより⾼い⼈ : 肌の⾊がより⿊い⼈肌が⽩い⼈の⽅が⾼精度に検出可能という偏りが明らかに

27. ConvNets and ImageNet Beyond Accuracy: Understanding Mistakes and Uncovering Biases 27 会議 : ECCV 2018 著者 : Pierre Stock, Moustapha Cisse ● ImageNet事前学習済CNNによる失敗例を解析し，データの偏りを明らかにする研究 ● 事前学習モデルの出⼒を⼈物により解釈したところ半数以上が「理解できる」と回答 ● Adversarial Examplesにおいても同様に過⼩評価されていると結論づけた ImageNetの物体識別問題は思ってよりも「解けて」いる ImageNet pre-trained ResNet-101による識別: バイアスを多分に含んでいる？修正されたImageNet ValセットによるTop-1精度は22.69 -> 9.47まで低下した

28. Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification 28 会議 : ACM FAT* 2018 著者 : Joy Buolamwini, Timnit Gebru ● 顔認識システム（Microsoft, IBM, Face++）が⼈種により識別率が異なることをレポート ● 顔データセットに対し {Darker, Lighter} x {Male, Female}のラベル付けを⽤い/⾏い，顔認識システムにより精度の違いを検証⼈種や性別による顔認識率の不均衡を明らかにした！ ↑Adience, IJB-A, PPBのラベル割合を表⽰ ←ラベルごとの平均顔を表⽰

29. 29 会議 : FAT/ML 2018 著者 : Jakub Sliwinski, Martin Strobel, Yair Zick ● データの特性評価であるMonotone Influence Measures (MIM)の提案 ● ラベル付きデータセットとデータポイントを⼊⼒し，任意の特徴マップがクラス分類へどのように影響したかを評価 ● 図は幸せそうな顔の画像例で，ポジティブな影響は⻘，ネガティブな影響は⾚ ● このベクトルに従って画像をシフトすると提案⼿法は笑顔を強調するような発⽕分野に精通した学者以外にも直観的に説明可能な評価 Axiomatic Characterization of Data-Driven Influence Measures for Classification

30. 30 会議 : FAT/ML 2018 著者 : Hee Jung Ryu, Margaret Mitchell and Hartwig Adam ● Face Attribute Detectionにおいて，学習前に⼈⼝統計情報 (性別や⼈種) を学習しておくことで、精度の保持または向上するアプローチ ● 潜在に含まれるユーザの、人口統計学的なプライバシーを保持しつつ、良好な精度を獲得統計情報を利⽤したFace Attribute Detection InclusiveFaceNet: Improving Face Attribute Detection with Race and Gender Diversity

31. Faceless Person Recognition: Privacy Implications in Social Media 31 会議 : ECCV 2016 著者 : Seong Joon Oh, Rodrigo Benenson, Mario Fritz, Bernt Schiele ● 顔認識の秘匿化：推論時の顔にモザイクをかけた状態で認識ができるか ● PIPAデータセット（PhotoAlbumの顔画像）を⽤い上記シナリオを実⾏ ● Blur > Black > Whiteの順で精度が良い（Visible 90%に対してBlurは約 85%くらい） ● Domain Shiftの有無/で⼤きく精度は変わる（ドメインが異なる顔認識は 20〜30%くらい）プライバシーのみでなく，公平性にも有効か？学習時はモザイクなし，テスト時はモザイクありで⼈物認証はどの程度できるのか？ブラーの他にも⿊/⽩塗りつぶしを実施

32. Automated Facial Trait Judgment and Election Outcome Prediction: Social Dimensions of Face 32 会議 : ICCV 2015 著者 : Jungseock Joo, Francis F. Steen, Song-Chun Zhu ● 顔画像から各パラメータや当落などを推定する ● 具体的には顔画像を⼊⼒として下記の2種類を推定 ○ Governor（知事; 67.9%で正答）かSenator（上院議員; 65.5%で正答）か？ ○ Democrats（⺠主党） vs. Republicans（共和党）を男性（62.6%）⼥性（ 60.1%）で認識選挙の⾏⽅はAIが予測？（結果からそれはできそうにないが読み物として⾯⽩い）注：この論⽂が差別を助⻑したいわけではないと思われます（念のため） ←図1は2016年⼤統領選挙から，顔画像のみ（!?）から各候補者のステータスを推定，知事or上院議員，⺠主党or共和党も予測

33. 33 会議 : TIFS 2012 著者 : Brendan F. Klare,Mark J. Burge,Joshua C. Klontz,Richard W. Vorder Bruegge, Anil K. Jain ● 顔認識アルゴリズムにおいてバイアスを軽減するための⼿法 ● ⼈物画像においてサンプリング，PCAなどを施し，バイアスによる特徴量を軽減？ ● 6つの顔認識アルゴリズム（商⽤：3つ，学習不可：2つ，学習可：1つ）において検証 ○ ⼥性・⿊⾊⼈種・特定の年齢層においては⼀貫して認識精度が⾼い Face Recognition Performance: Role of Demographic Information 法執⾏機関などにおける顔認証システムにおいて識別精度が向上

34. 34 会議 : Science 2019 著者 : Ziad Obermeyer, Brain Powers, Christine Vogeli, Sendhil Mullainathan ● 病状の重度さの判断に医療⽀出費を⽤いた ● 医療⽀出費は，収⼊に依存し，収⼊は⼈種に依存していたため不公平な判断 ○ ⼈種によっては重度な病状でも⾼度な処⽅を受けることが少ない約1億の⽶国⼈に影響した医療判断アルゴリズム Dissing racial bias in an algorithm used to manage the health of populations

35. VizWiz-Priv: A Dataset for Recognizing the Presence and Purpose of Private Visual Information in Images Taken by Blind People 35 会議 : CVPR 2019 Workshop 著者 : Danna Gurari, Qing Li, Chi Lin, Yinan Zhao, Anhong Guo, Abigale Stangl, Jeffrey P. Bigham ● 視覚障がい者が⾃ら撮影した画像データセットを構築 ● データセット内に個⼈情報（⼈物画像，クレジットカードなど）が含まれる画像が10%程度存在することを確認 ● データセットはこちら（https://vizwiz.org/）から⼊⼿可能視覚障がい者のSNSへのアップロードの危険性を⽰唆

36. Implications of Computer Vision Driven Assistive Technologies Towards Individuals with Visual Impairment 36 会議 : CVPR 2019 Workshop 著者 : Linda Wang, Alexander Wong ● 視覚障がい者に対してComputer Vision⽀援による影響（プラスとマイナス）を検討 ○ プラス：物体検知や顔認証によって視覚障がい者の⾃⽴や⾃律性の向上を援助 ■ Seen AI，Lookoutなどのコミュニケーションツールの発達 ■ ナビゲーションシステムの登場 ○ マイナス：視覚障がい者に対する偏⾒や個⼈情報の流出が懸念 ■ 視覚障がい者に関する情報の保守が困難データベースの偏りや個⼈情報保護が軽減する仕組みが重要

37. Dermatologist-level classification of skin cancer with deep neural networks 37 会議 : Nature, 2017 著者 : Andre Esteva, Brett Kuprel, Roberto A. Novoa, Justin Ko, Susan M. Swetter, Helen M. Blau, Sebastian Thrun ● メラノーマをDNN（GoogLeNet Inception v3）により検出，⽪膚科専⾨医の診断と⽐較 ● しかしBuolamwiniら（Gender Shades）の指摘によると肌の⾊，厚み，⽑量などのラベルがないと誤診断してしまう可能性もある専⾨医と同等の診断能⼒を持つが，偏りをさらに無くしたい

38. Using deep learning and Google Street View to estimate the demographic makeup of neighborhoods across the United States 38 会議 : PNAS 2017 著者 : Timnit Gebru, Jonathan Krause, Yilun Wang, Duyun Chen, Jia Deng, Erez Lieberman Aiden, Li Fei-Fei ● Google Street Viewを⽤い⽶国の200都市から50M枚の画像を収集，22M 台の⾞種を識別 ● ⾞種から推測される属性情報との関連で選挙の投票傾向を予測 ○ ⽶国の9割以上の家庭は⾞を保有，さらに⾞種と投票傾向には相関有選挙の投票結果をGoogle Street View画像から予測（1）ストリートビューから画像を収集（2）DPMにより⾞両の位置を特定（3）全2,657種類の⾞種を識別（4）メーカー/モデル/製造年など属性情報を抽出

39. Detecting Bias with Generative Counterfactual Face Attribute Augmentation 39 会議 : CVPR 2019 Workshop 著者 : Emily Denton, Ben Hutchinson, Margaret Mitchell, Timnit Gebru ● CelebAデータセットを学習することで笑顔識別器を構築 ● PG-GANにより属性により顔画像の編集ができる⽣成器を構築 ● 上記の識別器や⽣成器により属性ごとの偏りを明らかにする GANによる⽣成を⽤いて顔属性ごとの偏りを明らかにした顔画像を部分的に編集（図は髪を追加）して特徴に変更が⽣じるかを検証，性差などは無関係に顔認識を⾏いたい

40. Towards Standardization of Data Licenses: The Montreal Data License 40 会議 : CVPR 2019 Workshop 著者 : Misha Benjamin, Paul Gagnon, Negar Rostamzadeh, Chris Pal, Yoshua Bengio, Alex Shee ● データセットのライセンスを標準化する取り組みであるMontreal Data License（MDL）について説明した論⽂である ● MDLはこちら（ https://www.montrealdatalicense.com/en ）から参照可能であり、⼿順に従って項⽬を選択すれば「データの種類」や「使⽤の範囲」などが明記されたライセンスを発⾏可能 AI/ML分野のデータセットライセンスを明確にすることで透明性だけでなく，公平にデータが⽤意されているかも判断 MDLのwebpageから参照論⽂中では「データは現代の⽯油と⾔われる」という⾔及もある⼀⽅で、「⽯油ほどは標準化されていない」というところから問題意識がスタートする

41. Democratisation of Usable Machine Learning in Computer Vision 41 会議 : CVPR 2019 Workshop 著者 : Raymond Bond, Ansgar Koene, Alan Dix, Jennifer Boger, Maurice Mulvenna, Mykola Galushka, Bethany Waterhouse-Bradley, Fiona Browne, Hui Wang and Alexander Wong ● MLのツールを使⽤することに対する⻑所や短所、機械，脅威をSWOT分析 ● 知識のないユーザでも安全に利⽤できるアプリケーションが必要 ● データサイエンスにおけるリテラシー基準を提案「⼤きな⼒には⼤きな責任が伴う」

42. One-network Adversarial Fairness 42 会議 : AAAI 2019 著者 : Tameem Adel, Isabel Valera, Zoubin Ghahramani, Adrian Weller ● 公平性と正確性のトレードオフを定量化し、両者を最⼤化するためのモデルを提案 ● タスクを解く最終層とセンシティブ情報を予測する最終層の２つに分離 ● センシティブ情報を予測可能＝特徴量にセンシティブ情報が含まれている場合は，Lossを増加させるような勾配を伝播させることでセンシティブ情報を削減し、Fairnessなネットワークモデルを実現シンプルなネットワーク構造でFairnessを実現

43. チュートリアル

44. チュートリアル 44 データセットとライブラリデータセット ● 年齢や性別，肌の⾊にフォーカスした顔写真データセット ● 再犯率を調査したデータセット ● ImageNetに新たなラベルを付与したデータセット ● 成⼈の年収を調査したデータセットライブラリ ● IBM開発のAIの公平性を調査・軽減するライブラリ ○ AI Fairness 360 ○ Watson OpenScale

45. データセット（1/8） 45 Adience Dataset ● 年齢と性別認識のための顔写真データセット ● 様々なポーズや照明下で撮影された写真をFlickrから収集 ● Creative Commons (CC)で構成データセット概要 ● 画像数 : 26,580枚 ● 年齢ラベル : 8個 (0-2, 4-6, 8-13, 15-20, 25-32, 38-43, 48-53, 60-) ● 性別ラベル : あり https://talhassner.github.io/home/projects/Adience/Adience- data.html#agegender

46. データセット（2/8） 46 IJB Face Challenges ● 顔認識に関するチャレンジ (現在はIJB-C) ● 識別，検出，クラスタリングなどの8つのチャレンジ ● The IARPA Janus Benchmark-A face challenge (IJB-A) ● The IARPA Janus Benchmark-A face challenge (IJB-B) ○ 顔画像 : 67,000枚 ○ 顔動画 : 7,000個 ○ 顔以外の画像 : 10,000枚 ● The IARPA Janus Benchmark-C face challenge (IJB-C) ○ 顔画像 : 138,000枚 ○ 顔動画 : 11,000個 ○ 顔以外の画像 : 10,000枚 https://www.nist.gov/programs-projects/face-challenges

47. データセット（3/8） 47 Pilot Parliaments Benchmark (PPB) ● 性別や肌の⾊の偏りを考慮した顔認識⽤データセット ○ IJB-Aなどの従来データセットではlighter-skinnedに偏っていると指摘データセット概要 ● 1,270⼈，様々な⼈種の画像 ○ African (Rwanda, Senegal, South Africa) ○ European (Iceland, Finland, Sweden)

48. データセット（4/8） 48 Auditing ImageNet ● ImageNetのサブセットに対して追加ラベル (年齢と性別) ○ ILSVRC2012 ○ ImageNetに含まれる“Person”カテゴリ ● ⾃動アノテーション ○ FaceBoxes networkによる顔検出 ○ Deep EXpectation (DEX)による年齢・性別推定

49. データセット（5/8） 49 APPA-REAL Database ● APPA : real and apparent age ● 顔認識のデータセット，年齢と性別がラベルづけされている ● 実際年齢と，⼈間によって投票された⾒た⽬の年齢のラベルデータセット概要 ● 画像数 : 7,591枚 ● 年齢ラベル ● ⾒かけの年齢ラベル ○ 投票数 : 約250,000票 ○ 平均 : 約38票 http://chalearnlap.cvc.uab.es/dataset/26/description/

50. データセット（6/8） 50 COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) ● 再犯予測データセット，名前や⼈種，年齢，⺟語などのラベルが付与されている ● フロリダ州ブロワード郡の10,000⼈以上の刑事被告⼈ ○ ⽩⾊⼈種よりも⿊⾊⼈種の⽅が再犯リスクが⾼いと誤識別以下，Kaggleより https://www.kaggle.com/danofer/compass

51. データセット（7/8） 51 UCI Adult ● 成⼈における年収が50万ドルを超えるかどうかを予測するデータセット ○ 50万ドル超え : 24% ○ 超えていない : 76% ● 1994年の国税調査に基づいて，40,000⼈以上の年収や年齢，⼈種，週当たりの労働時間，学歴などのラベルが付与データセット概要 ● train : 32,561 ● test : 16,281 ● 計48,842 instances https://archive.ics.uci.edu/ml/datasets/Adult?ref=datanews.io

52. データセット（8/8） 52 Diversity in Faces (DiF) ● IBMが構築した顔画像データセット ● SNS (Flickr)から収集したYFCC100Mが基 ● 深層学習による顔認識の多様化に寄与データセット概要 ● 画像数 : 100万枚 ● 顔に関する10種類の注釈 ○ 頭⻑、⿐の⻑さ、額の⾼さなどの顔に関する客観的尺度 ○ ⼈間による年齢や性別の予測値

53. IBM AI Fairness 360 / Watson OpenScale 53 モデルに潜むバイアスを排除するライブラリ 2つのライブラリを連動して使⽤することでより効果的にバイアスを軽減可能 ● AI Fairness 360 ○ 学習モデル作成のプロセスで使⽤ ○ 開発者向け ● OpenScale ○ デプロイ済みモデル内に潜むバイアスを検出 ○ ビジネス向け https://developer.ibm.com/jp/2019/12/20/ibm-watson-openscale-and-ai-fairness-360- two-new-ai-analysis-tools-that-work-great-together/

54. IBM AI Fairness 360 54 モデルに潜むバイアスを識別、調査、軽減 ● データサイエンティスト向けオープンライブラリ ● python実装 ○ レポジトリ : https://github.com/IBM/AIF360 ○ API Docks : https://aif360.readthedocs.io/en/latest/ ● 特徴 ○ 70以上もの公平性を⽰す指標 ○ 10のバイアス緩和アルゴリズム ○ データセットとモデルのバイアスを調査，軽減 ● 参考 ○ tutorials : https://aif360.mybluemix.net/resources# ○ Web Demo : https://aif360.mybluemix.net/data

55. IBM Watson OpenScale 55 視覚的かつ直観的にAIモデルの性能を説明 ● 企業向けにAI実装を⼤規模に運⽤、⾃動化、分析するライブラリ ● ビジネスオーナーでも利⽤可能 ○ コーディング要らずのプラットフォーム ● 参考 ○ https://www.ibm.com/jp-ja/cloud/watson-openscale ○ https://developer.ibm.com/technologies/artificial-intelligence/series/

56. メタサーベイ

57. メタサーベイ？？ 57 ● 世界の「公平性研究・技術」の動向まとめ ● 国際ワークショップ開催の流れ ● 各機関の研究体制構築 ● 注⽬研究者 ● いかに研究を開始するか？ ● いかにアイディアを発想するか？という部分にフォーカス

58. AI分野における公平性 58 ● 国際ワークショップ開催 ● 機械学習の公平性を検討するFAT/MLが2014発⾜ ● S. Barocas⽒ M. Hardt⽒が初回企画者 ○ 機械学習研究者としても第⼀⼈者 ○ NeurIPSのチュートリアルも担当 https://mrtz.org/nips17/ 初回オーガナイザ初回ワークショップでは後述の Cynthia Dwork⽒を始め公平性研究の第⼀⼈者たちが招待講演を⾏なった https://www.fatml.org/schedule/2014

59. AI分野における公平性 59 ● 国際ワークショップ開催までの流れ ● 開催までの流れはこちらを参照 ○ https://www.fatml.org/schedule/2014/page/scope-2014 ● 時はAIが流⾏り出した2014年 ● 公平性, 説明責任, 透明性（FAT）は分野横断 ○ 当時，FATを扱う特定の学会がない状態だった ● ホワイトハウスの声明も影響 ○ https://obamawhitehouse.archives.gov/sites/default/files/docs/big_data_privacy_report_may_1_2014.pdf

60. 各機関の研究体制構築（1/6） 60 ● Microsoft Research ● FATEFairness, Accountability, Transparency and Ethicsグループが存在 ● 効率や公平性のトレードオフを⾒極めて信頼できるAIに技術を⾼める ● ACM FAT*にもGender Shadesなど論⽂投稿 https://www.microsoft.com/en-us/research/blog/microsoft-research-to-present-latest-findings-on-fairness-in-socio-technical-systems-at-fat-2019/ https://www.microsoft.com/en-us/research/group/fate/

61. 各機関の研究体制構築（2/6） 61 ● Google ● Google翻訳・Google Photsなどリリースしたシステムから， unfairnessに気づくことで早期に研究開始 ● Security, Privacy and Abuse Preventionといった研究チームが存在 ○ Goodfellow⽒（元Google）も過去に所属するなどかなり激強研究メンバーで活動 ○ Social scientists・Humanistsなどの専⾨家もチームに参加 ● 研究の⼀例 ○ Measuring bias ○ Building fair ML models and datasets ○ Techniques for mitigation ○ Understanding users & society https://developers.google.com/machine-learning/fairness-overview https://ai.google/responsibilities/responsible-ai-practices/?category=fairness Google翻訳に対する性別バイアスの軽減

62. 各機関の研究体制構築（3/6） 62 DeepMind ● Ethics & SocietyといったFairness について研究するチームが存在 ● Princeton Univ.と提携してWorkShopを開催 ● Women in Machine LarningやAfrican Deep Learning Indabaなどのコミュニティに資⾦提供世界的に著名な経済学の教授らをアドバイザーとして加えて，公共政策などの社会的な背景も加味しながら研究を促進 https://deepmind.com/safety-and-ethics

63. 各機関の研究体制構築（4/6） 63 ● Amazon ● 資⾦提供型の研究を実施 ○ Amazon and NSF Collaborate to Accelerate Fairness in AI Research ○ Amazonと⼀体となり問題を解決する戦略 ○ https://developer.amazon.com/ja/blogs/alexa/post/d9a995d4-943a-456b-9527- 848f437b1a8c/amazon-and-nsf-collaborate-to-accelerate-fairness-in-ai-research Amazon’s “holy grail” recruiting tool was actually just biased against women（再掲） https://qz.com/1419228/amazons-ai-powered-recruiting-tool-was-biased-against-women/ 採⽤AIの件もあり，いち早く問題に気付いた

64. 各機関の研究体制構築（5/6） 64 MIT Media Lab. ● Joy Buolamwini⽒を中⼼に体制を構築 ● Algorithmic Justice League ○ コミュニティが⼀体となってアルゴリズムバイアスからくる不公平性をなくすために尽⼒ ○ https://www.ajlunited.org/ ● Civic Media Groupに所属 ○ Ethan Zuckerman率いる ○ ⺠衆とメディアの⼒を活⽤するという⽬的のグループ ○ 個⼈ではなし得ない⼤きな⼒をうまく利⽤しコミュニティを形成することに知⾒がある（のではないか） https://civic.mit.edu/

65. 各機関の研究体制構築（6/6） 65 ● Harvard Univ. ● Cynthia Dwork⽒ (Harvard Univ. & Microsoft Research) ● Salil Vadhan⽒ (Harvard Univ.) ○ 2010年頃に公平性に関する研究を開始!? ○ 代表論⽂ ■ Fairness Through Awareness (2012): 引⽤数808 ■ Differential privacy: A survey of results (2008): 引⽤数5,576 ■ Boosting and differential privacy (2010): 引⽤数464 ● なぜに早々に研究を開始できたか？ ■ 複数分野に精通していることが理由か？ ■ 例としてDwork⽒はHarvard CSの教授でありながらLaw Schoolにも所属がある（さらにMSRにも所属がある） https://datascience.harvard.edu/people/cynthia-dwork http://people.seas.harvard.edu/~salil/index.html

66. 注⽬研究者（1/5） 66 ● CVの公平性分野における第⼀⼈者 ● Timnit Gebru⽒ (Google AI) ○ Black in AIの共同設⽴者 ○ スタンフォード⼤SVL (Fei-Fei Lab.)出⾝ ○ 代表論⽂ ■ Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (ACM FAT* 2018) ■ Datasheets for Datasets (FAT/ML 2018) ■ Model Cards for Model Reporting (ACM FAT* 2019) http://ai.stanford.edu/~tgebru/ Google Mapの画像を収集，⾞両特定から⼈⼝解析を⾏うという研究でも知られている [T. Gebru+, PNAS 2017]

67. 注⽬研究者（2/5） 67 ● 顔認識システムに潜む不公平性を指摘 ● Joy Buolamwini⽒ (MIT Media Lab.) ○ Algorithmic Justice League設⽴者 ● アルゴリズムのバイアスと戦う ○ 代表論⽂ ● Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (ACM FAT* 2018) ○ その他 ● TED Talk: https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bi as_in_algorithms/up-next https://www.media.mit.edu/people/joyab/overview/

68. 注⽬研究者（3/5） 68 ● Stanford/Princeton Univ.の注⽬研究者 ● Olga Russakovsky⽒, Jia Deng⽒, Fei-Fei Li⽒ ○ ImageNetを構築し, 2020年公平性について議論 ○ スタンフォード⼤SVL (Fei-Fei Lab.) ■ ImageNet構築，ILSVRC運営等 ■ Russakovsky⽒, Deng⽒は現在プリンストン⼤ ○ 代表的な共著論⽂ ■ ImageNet Large Scale Visual Recognition Challenge (IJCV 2015) ■ Towards fairer datasets: Filtering and balancing the distribution of the people subtree in the imagenet hierarchy (ACM FAT* 2020) https://www.cs.princeton.edu/~olgarus/ http://vision.stanford.edu/people.html https://www.cs.princeton.edu/~jiadeng/

69. 注⽬研究者（4/5） 69 ● Google AIの注⽬研究者 ● Moustapha Cisse⽒ ○ Head of GoogleAI in Accra, Ghana ○ 代表論⽂ ○ ConvNets and ImageNet Beyond Accuracy: Understanding Mistakes and Uncovering Biases (ECCV 2018) http://moustaphacisse.com/

70. 注⽬研究者（5/5） 70 ● Univ. of Virginiaの注⽬研究者 ● Vicente Ordonez Roman⽒ ○ Vision, Languageの両側⾯から公平性について研究 ○ 代表論⽂ ■ Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representation (ICCV 2019) http://vicenteordonez.com/

71. 研究を始めるには？（1/4） 71 ● 既存データに対し追加アノテーション ● 属性 (男⼥/年齢/肌の⾊)などを追加している ● 既存のモデルを試して認識率の⽐較 ● 例：Pedestrian Detection Bias, Auditing ImageNet ○ Age and gender bias in pedestrian detection algorithms (CVPR 2019 Workshop) ○ Auditing ImageNet: Towards a Model-driven Framework for Annotating Demographic Attributes of Large-scale Image Datasets (CVPR 2019 Workshop) https://www.martimbrandao.com/pedestrian-detection-bias/ INRIA Person Detectionに追加ラベルを付与，著者ページにて公開 [M. Brandao, CVPR 2019 WS]

72. 研究を始めるには？（2/4） 72 ● データから偏りを省く ● インスタンス数の不均衡を解消 ● 画像収集・ラベル⾃体を付け直す場合も ● 例：Towards Fairer Datasets, Balanced Datasets Are Not Enough ○ Towards Fairer Datasets: Filtering and Balancing the Distribution of the People Subtree in the ImageNet Hierarchy (ACM FAT* 2020) ○ Balanced Datasets Are Not Enough: Estimating and Mitigating Gender Bias in Deep Image Representation (CVPR 2019 WS / ICCV 2019)

73. 研究を始めるには？（3/4） 73 ● 特徴空間を調整して不公平性を解消 ● 距離学習など ● 例：SensitiveNets, Unsupervised Domain Adaptation ○ SensitiveNets: Unlearning Undesired Information for Generating Agnostic Representations with Application to Face Recognition (CVPR 2019 WS) ○ Unsupervised Domain Adaptation for Distance Metric Learning (CVPR 2019 WS / ICLR 2019)

74. 研究を始めるには？（4/4） 74 ● モデルの出⼒を解析して考察 ● 既存システム解析，定性評価など ● 例：Gender Shades, ConvNets and ImageNet Beyond Accuracy ○ Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification (ACM FAT* 2018) ○ ConvNets and ImageNet Beyond Accuracy: Understanding Mistakes and Uncovering Biases (ECCV 2018)

75. 研究コミュニティ⾃体も公平性を検討？ 75 ● 研究者⼈⼝を増やそう！コミュニティで研究しよう！ ● ⼥性コミュニティ ○ Women in ML https://wimlworkshop.org/ ○ Women in CV https://wicvworkshop.github.io/CVPR2019/index.html ● ⿊⾊⼈種コミュニティ ○ Black in AI https://blackinai.github.io/ ● ラテンアメリカコミュニティ ○ khipu.ai https://khipu.ai/ ● AI⼈材育成組織 ○ AI4ALL http://ai-4-all.org/ ● 直近のアフリカ開催の学会 ○ ICLRʼ20 in Addis Ababa, Ethiopia https://iclr.cc/Conferences/2020 ○ アフリカでの学会開催が少ないため

76. 研究コミュニティ⾃体も公平性を検討？ 76 ● ACM FAT*の取り組み ● 英語⾮ネイティブも投稿：英語に関するコメントは避け，⾔語を理由に落とさない ○ もし⾔語が問題の場合は丁寧にコメント！ ○ Proof-readingやNative English Speakerは禁句 ● （噂だが）採択論⽂/参加者/講演者の⼈種や性別などのバランスが適切かどうかを判断している ● 2021年から国際会議名はFAccTに変更 ○ FAT (太ってる)からFAccT (事実; FACT)へ ○ 公平性の国際会議なだけに，差別⽤語と捉えかねない表現を正した？

77. まとめ 77 ● CVの公平性は絶対に取り組むべき課題 ● CVはいわば「⾒た⽬」で判断してしまう ● 差別を助⻑しないために研究を始めよう！ ○ ⼈間の歴史を鑑みるに, 公平性研究の究極的な解決はないのかもしれない ○ しかし，取り組まなければ差別の低減もできない！

78. 関連資料 78 ● Computer Vision meets Fairness: https://visualai.princeton.edu/slides/Fairness_CVPR2018.pdf ● Fairness-Aware Data Mining: http://www.kamishima.net/archive/fadm.pdf ● 公平性を保証したAI/機械学習アルゴリズムの最新理論: https://www.slideshare.net/kazutofukuchi/ai-197738033 ● Leveraging GANs for fairness evaluations: http://ganocracy.csail.mit.edu/slides/Denton_GANocracy.pdf ● Fairness in Machine Learning: https://mrtz.org/nips17

79. 研究協⼒者募集・著者紹介

80. cvpaper.challenge: CV分野の研究コミュニティ 80

81. CVと公平性に関する研究協⼒者募集！ 81 ● 研究協⼒者募集： ● CV x FATEの枠組みで研究を開始！ ○ ご興味のある⽅はぜひ！（その他CV分野について広く研究） ● CVやAI以外の分野のディスカッションも！ ○ 法学・社会学などの分野からのご意⾒もお待ちしてます！ ● 情報共有⼤歓迎： ● ⽇本・世界の状況を共有！ ● FATEのサーベイ！ ○ 勉強会も実施しましょう！多くの意⾒に基づいて公平に議論しましょう！ # 2020年2⽉現在，CV研究者のみで議論しており，公平性が担保できているとは⾔いづらい状況ですコンタクト: cvpaper.challenge[at]gmail.com http://xpaperchallenge.org/cv/recruit.html

82. ⼭⽥亮佑(やまだりょうすけ) ● Twitter：https://twitter.com/FragileGoodwill ● 東京電機⼤学知能機械システム研究室 B4 ● ⻑崎県南島原市出⾝ ● ⼩学⽣：サッカー（国体強化選⼿），中学⽣：バスケ，⾼校：テニス（シングル⻑崎県ベスト32） ● 最近はアコースティックギターに挑戦【研究テーマや興味がある研究】 ● 研究テーマ：ファッションスタイル解析，三次元点群 ● 興味のある研究：動画認識，敵対的サンプル【将来の夢】 5年後：同世代のAI研究者代表 10年後：⽇本が誇るAI研究者 15年後：世界トップクラスのAI研究者【影響をうけた漫画】 ● スラムダンク，キングダム【最後に⼀⾔】世界的に影響を与えることのできる研究者(AIスター)になります！

83. • 研究テーマ：画像・動画認識，⼈物⾏動認識・予測，物体検出，交通予防安全，⾔語&視覚，⼤規模DB構築，数式ドリブンDB⽣成 • 最近の興味：FATE • 主要論⽂：CVPRx2, ICRAx3, BMVC, ACCV等 MyPage/SNS HP: http://hirokatsukataoka.net/ Twitter: @HirokatuKataoka • 産業技術総合研究所（CVRG/AI Center/AL Lab.）研究員（2016, Apr. ~ 現在) • 東京電機⼤学訪問研究員（2016, Apr. ~ 現在） • cvpaper.challenge 主宰（2015, May~），nlpaper.challenge HQ（2018, Dec.~）, robotpaper.challenge（2019, Jul. ~） • 茨城県笠間市出⾝, 芝浦⼯⼤（ʼ05-ʼ09）, 慶應義塾⼤学（ʼ09-ʼ14）, 東京⼤（ʼ14 - ʼ15），⻑距離⾛（フルマラソンBest 3ʼ30），⽔泳（茨城県5位），野球（⾼校~ ⼤学; 海外選抜メンバー），⽝と遊ぶこと • ひとこと：根っからのチャレンジャーです！ • cvpaper.challenge: 研究分野のトレンドを把握しトレンドを創り出せる研究コミュニティにする • xpaper.challenge: 分野横断的に研究連携する枠組みを構築することが⽬標⽚岡裕雄（かたおかひろかつ）【研究テーマや研究の興味】【ひとこと，⽬標】研究コミュニティを強くする！

コンピュータビジョンの観点から見たAIの公平性

cvpaper. challenge

コンピュータビジョンの観点から見たAIの公平性