Kazuto Fukuchi, profile picture
Uploaded byKazuto Fukuchi
PDF, PPTX1,497 views

公平性を保証したAI/機械学習
アルゴリズムの最新理論

https://www.slideshare.net/kazutofukuchi/ai-197863181 フォントの問題を修正しました！ 2019.11.26 第38回AIセミナー「機械学習／人工知能の公平性」

Embed presentation

Download as PDF, PPTX
公平性を保証したAI/機械学習
 アルゴリズムの最新理論 2019.11.26 第38回AIセミナー「機械学習／人工知能の公平性」 福地 一斗 筑波大学 / 理研IAIP fukuchi@cs.tsukuba.ac.jp
自己紹介 • 名前: 福地 一斗 (Fukuchi Kazuto) • 所属: 筑波大学 システム情報系 助教 • 経歴 • 2018/03 筑波大学 システム情報工学専攻科 博士後期課程 修了 • 2018/04-2019/08 理研AIP 特別研究員 • 2019/09-現在 筑波大学 システム情報系 助教 • 2019/11-現在 理研AIP 客員研究員 • 研究興味: • 機械学習における公平性，プライバシーの理論面 • 数理統計，特に，汎関数推定
機械学習界隈での公平性の注目 ACM FAT* 国際会議 ACM FAT* 2018-19 AAAI/ACM AIES 2018-19 国際ワークショップ FATML 2014-18 招待講演 •ICML2017(L. Sweeney) •NIPS2017 (K. Crawford) •KDD2017 (C. Dwork) •KDD2018 (J. M. Wing) AI for Social Good 2018-19 Challenges and Opportunities for AI in Financial Services 2018 AI Ethics WS 2018
はじめに • 神嶌先生の公演 • 公平な機械学習の基礎的な部分 • 本公演 • 公平な機械学習の最近の研究成果・トピック
今日の内容 • 分類，回帰における公平性の保証方法 • 表現学習における公平性の保証方法 • 個人公平性下における学習理論 • バンディット問題における公平性
今日含まない内容 • 公平性を保証したクラスタリング • 公平性を保証したランキング • 因果を元にした公平性 • 機械学習アルゴリズムの透明性や説明可能性
公平な学習に関する研究
分類学習の仕組み ラベル付きデータ 学習アルゴリズム 分類器 f
分類学習の仕組み 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ
分類学習の仕組み 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ なるべく当たるよう
 f を選択したい
分類学習の仕組み 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ f による分類誤差が
 最小になるようにする
公平な分類学習の仕組み 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ なるべく
 当たるように f を選択 公平な f を選択
公平な分類学習の仕組み 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ 公平な f とは？ f による分類誤差が
 最小になるようにする
設定 • 簡単のために教師あり分類問題のみを考える •           学歴，職歴，資格など •           性別，人種，宗教，政治志向，年齢など •           予測したいもの (e.g., 採否) •           アルゴリズムによって予測されたラベル 入力 X ラベル Y 予測ラベル ̂Y別の入力 X S = 男性 S = 女性 入力 X ラベル Y センシティブ属性 S 予測ラベル ̂Y 学習
公平性基準 • 様々な公平性基準 • Demographic parity • Equalized odds [Hardt+16] • Calibration [Pleiss+17] • Individual fairness [Dwork+12]
Demographic parity • センシティブ属性で条件づけられた予測ラベルの分布が一致 • 分布ではなく予測精度/偽陽性/偽陰性の一致を目指すもの もあり Demographic parity ℙ{ ̂Y ∈ 𝒜|S = s} = ℙ{ ̂Y ∈ 𝒜|S = s′} 任意の𝒜, s, s′について 採用 非採用 採用 非採用 男性 女性 = ̂Y|S = 男性 ̂Y|S = 女性
Equalized odds [Hardt+16] •  と を一致させるように学習できる • Demographic parityではできない Equalized odds ℙ{ ̂Y ∈ 𝒜|Y = y, S = s} = ℙ{ ̂Y ∈ 𝒜|Y = y, S = s′} 任意の𝒜, y, s, s′について Y ̂Y 採用 非採用男性 採用 非採用女性 真の採用分布 学習 採用 非採用 採用 非採用 公平 = 学習の結果変化した部分 (緑の部分)の一致
Calibration [Pleiss+17] • である確率の予測値を とする • である予測が のみによって決まるように制約 Y = 1 ̂p Y = 1 ̂p Calibration ℙ{Y = 1| ̂p = p, S = s} = p 任意のp, sについて 男性 採用 非採用 p ̂p = p|S = 男性
Individual fairness [Dwork+12] • 性別以外全く同じ人がいれば採否も同じにするべき • 似たような人は似た結果を受け取るべき • 確率的予測関数 : • Lipschitz property 任意のx, x′について D( f(x), f(x′)) ≤ d(x, x′) ≈ ⟹ f : 𝒳 → Δ(𝒴) 結果の分布間の 距離
分類・回帰における公平性
公平な分類学習の仕組み 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ 公平性基準を達成 f による分類誤差が
 最小になるようにする
公平な学習の基本戦略 • 最適化問題として定式化 • 罰則・制約を設けることで公平性を制御 minf Err(f ) + ηUnfair(f ) 罰則ベース minf Err(f ) sub to Unfair(f ) ≤ η 制約ベース
Reduction Approach [Agarwal+18] • 確率的な分類器 を学習 • は分類器 上の分布 • Reduction • 学習問題をコストセンシティブ学習の系列に置き換え Q Q f minQ 𝔼f∼Qℙ{f(X) ≠ Y} sub to M𝔼f∼Q[μ(f )] ≤ c 最適化問題 公平性基準を有限個の制約で表現 例 DP) 𝔼{f(X)|S = 0} = 𝔼{f(X)} 𝔼{f(X)|S = 1} = 𝔼{f(X)}
Reduction Approach [Agarwal+18] minQ 𝔼f∼Qℙ{f(X) ≠ Y} sub to M𝔼f∼Q[μ(f )] ≤ c 元の最適化問題 maxλ∈ℝK +,∥λ∥≤B minQ 𝔼f∼Qℙ{f(X) ≠ Y} + λ⊤ (M𝔼f∼Q[μ(f )] − c) 制約無し最適化問題 ラグランジュ乗数 交互最適化によって鞍点を探索
コストセンシティブ学習 • 予測の重みが違う • ラベルがポジティブ/ネガティブか • サンプル毎 • 例）疾患推定 • 疾患がないのに間違うよりも疾患があるのに間違うことの 方が問題 minf ∑ n i=1 (h(Xi)C1 i + (1 − h(Xi))C0 i ) コストセンシティブ学習
Reduction Approach: Implication • 与えられたラグランジュ乗数 のもとで分布 の最小化 • コストセンシティブ学習で書き換えられる λ Q はここの期待値μ
Reduction Approach: Algorithm を最適化Q を最適化λ Cost-sensitive学習
Fair Regression: Quantitative Definitions and Reduction-based Algorithms [Agarwal+19] • 回帰における公平性を扱えるように拡張 • Demographic parityか 全てのグループの損失が一定以 下 という公平性制約が扱える 連続変数の密度分布の一致は難しい 離散化してビンを当てる
 分類問題に書き換え
Representation Learning 学習アルゴリズム 表現器 g( )= ラベル付きデータ z f( )=A氏 z 分類器 z 表現データ 学習アルゴリズム
Fair Representation [Zafar+13] • センシティブ属性に依存しないような表現の獲得 g( ) g( ) z
Fair Representation [Zafar+13] • センシティブ属性に依存しないような表現の獲得 g( ) g( ) z
Inherent Tradeoffs in Learning Fair Representations [Zhao+19] • Fair Reperesentationから分類器を作った時に公平性が どうなるか解析 g( ) g( ) z f( )=A氏 z 分類器 ここまでは公平 これは公平？
Invariant feature • Fair representationと同じ考え • 特定の要素（センシティブ属性の変動）に依存しないよう な特徴量を求めたい g( ) g( ) z
敵対的学習を使った手法[Xie+16] • DPを元にした公平性= • 表現からセンシティブ属性が識別できない • 実際にセンシティブ属性を識別するモデルを作る • このモデルの識別精度が悪くなるように学習 g( )= f( )=A氏 d( )=黒人z z z 表現器 分類器 識別器 分類器はなるべく
 当たるように 識別器はなるべく
 外れるように
実験結果 [Xie+16] 公平性Random guessと同等しか
 センシティブ属性を予測できない 提案手法（右端）の予測精度が高い
VAEとInformation bottleneckを
 元にした方法[Moyer+18] • 敵対的学習の問題：学習が遅い! • Variational Auto Encoder (VAE)を元に効率的な学習 minf Likelihood(f(X), Y) + ηI(f(X), S) 最適化問題 VAEのテクニックを使って上記の問題を近似しながら解く
公平性の学習理論
公平な分類学習の仕組み 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ
汎化性能 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ 訓練データ テストデータ
汎化性能 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ 訓練データ テストデータ テストデータでの分類性能は？ 訓練データで
 当たるように学習
汎化誤差/公平性 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ 訓練データ テストデータ (テストデータでの誤差) - (訓練データでの誤差) (テストデータでの不公平性) - (訓練データでの不公平性) 汎化誤差 汎化公平性
Group fairnessの学習理論
Learning Non-Discriminatory Predictors [Woodworth+18] • Equalized-oddsを保証するためのアルゴリズム [Hardt+ICML 16] • スコアベースの分類器を学習 • スコア0以上 <=> • ROCが一致するようにスコアの閾値を調節 • このアルゴリズムはsuboptimal • post-hocでは1/2エラーだが
 Equalized-odds制約を満たすエラーが小さい 分類器が存在する問題が作れる ̂Y = 1
Learning Non-Discriminatory Predictors : Algorithm + Analysis • アルゴリズム概要： • データセットを半分に分ける • 片方を使いEqualized-odds制約を科した学習を行う • もう片方を使いpost-hocで制約を満たすようにする maxy,s (VC(ℱ) + ln(1/δ))/(nPy,s) 汎化誤差 maxy,s ln(1/δ)/(nPy,s) 公平性誤差
Learning Non-Discriminatory Predictors : Algorithm + Analysis • アルゴリズム概要： • データセットを半分に分ける • 片方を使いEqualized-odds制約を科した学習を行う • もう片方を使いpost-hocで制約を満たすようにする maxy,s (VC(ℱ) + ln(1/δ))/(nPy,s) 汎化誤差 maxy,s ln(1/δ)/(nPy,s) 公平性誤差 一番データが少ない のサンプル数(y, s) 汎化誤差はVC次元に 依存 公平性はVC次元に
 非依存
Training Well-Generalizing Classifiers for Fairness Metrics and Other Data- Dependent Constraints [Cotter+19] • [Woodworth+18]のさらなる一般化 • 目的関数が分類誤差 • 制約が公平性 • Reductionと似た戦略でアルゴリズムを構築 • ただし[Woodworth+18]と同様の戦略も使う • データセットを2つに分けて目的関数と制約を別々に評価 minθ 𝔼[ℓ0(X, θ)] sub to 𝔼[ℓi(X, θ)] ≤ 0 対象とする問題
Training Well-Generalizing Classifiers for Fairness Metrics and Other Data- Dependent Constraints: Analysis • : 最適化手法で生じる誤差 • : 制約数 • : 分類器の複雑さ ϵ m Rn(ℱ) ϵ + Rn(ℱ) + ln(1/δ)/n 目的関数の汎化誤差 (m ln(1/ϵ) + ln(m/δ))/n 制約の汎化誤差
Training Well-Generalizing Classifiers for Fairness Metrics and Other Data- Dependent Constraints: Analysis ϵ + Rn(ℱ) + ln(1/δ)/n 目的関数の汎化誤差 (m ln(1/ϵ) + ln(m/δ))/n 制約の汎化誤差 汎化誤差は複雑さに 依存 公平性は制約数のみに 依存 • : 最適化手法で生じる誤差 • : 制約数 • : 分類器の複雑さ ϵ m Rn(ℱ)
Individual fairnessの学習理論
Probably Approximately Metric-Fair Learning [Rothblum+18] • である確率を返す分類器 を学習 • ゴール: • 上記の制約のもと真のラベルと の 損失を最小化 ̂Y = 1 h : 𝒳 → [0,1] h ℓ0 ℙx,x′{|h(x) − h(x′)| > d(x, x′) + γ} ≤ α -個人公平性制約(γ, α)
Probably Approximately Metric-Fair Learning : Algorithm + Analysis maxi,j max(0,|h(x) − h(x′)| − d(xi, xj)) ≤ γ 学習時の制約 公平性違反に罰則 ならばアルゴリズムは誤差 の -公平な分類器 を出力する． m = O(poly(1/ϵα,1/ϵγ,1/ϵ)) ϵ (α + ϵα, γ + ϵγ) h サンプル複雑度 近似的な公平性がLearnableで
 あることを証明 暗号的なone-way関数の存在下では完全な公平性は指数的計算時間が必要
公平なバンディット問題/強化学習
 /オンライン学習
バンディット問題 • 逐次意思決定問題 • 目的 • 累積報酬 の最大化 • が与えられた時 を 選択 • ∑ T t=1 r(t) x(t) 1 , . . . , x(t) K i r(t) = fi(x(t) i ) バンディット問題 オンライン推薦などの応用 個人化広告推薦 Web記事推薦 SNS友人推薦 ユーザ情報 x(t) 広告 i(t) フィードバックr(t)
Fair bandit [Joseph+16] • 報酬の大きさ = その人の能力の高さ • 能力が高い人以外を優先的に選んではいけない πi(t) > πj(t) only if fi(x(t) i ) > fj(x(t) j ) 能力主義的公平性 A B C D E fi(x(t) i )
Fair bandit: Algorithm • 信頼区間が1番平均が高い人に連なる集団から一様にとる トップ集団 から一様サンプル
Fair bandit: Regret • 通常/文脈付きバンディットでのレグレット解析 • 理想的な報酬からどれだけ報酬を取り逃がしたか K3 T ln(Tk/δ) 通常バンディットのレグレット T4/5 K6/5 d3/5 ∨ k3 ln(k/δ) 線形文脈付きバンディットのレグレット が知られており も証明Ω( T) Ω( K3 ln(1/δ)) ほぼタイトな
 バウンド 通常は TKd ln(T)
Calibrated Fairness in Bandits [Liu+17] • 個人公平性制約を満たしCalibration違反を最小にする πi(t) ≠ ℙ{i = arg maxj rj} Calibration違反 D(π(t) i , π(t) j ) ≤ ϵ1D(ri, rj) + ϵ2 個人公平性制約
Calibrated Fairness in Bandits: AlgorithmThompson samplingを元の下 アルゴリズム 事後平均を最大にするのではなく 事後分布からサンプル下報酬を最大に 腕を選んだ回数が少ない
 場合は一様サンプル 個人公平性の保証 Calibration違反
 を少なく
Calibrated Fairness in Bandits: AlgorithmThompson samplingを元の下 アルゴリズム 事後平均を最大にするのではなく 事後分布からサンプル下報酬を最大に 腕を選んだ回数が少ない
 場合は一様サンプル 個人公平性の保証 Calibration違反
 を少なく (KT)2/3 Calibration違反のレグレット 確率 で1 − δ D(π(t) i , π(t) j ) ≤ 2D(ri, rj) + ϵ2 個人公平性制約
Online Learning with an Unknown Fairness Metric [Gillen+18] • 線形文脈付きバンディット問題+個人公平性制約 • 距離函数を知らない • 代わりにフィードバックに距離情報が含まれる |πi(t) − πj(t)| ≤ d(x(t) i , x(t) j ) 個人公平性制約 ユーザ情報x(t) i 広告分布π(t) フィードバックr(t) 距離オラクルO(t) 制約違反している
 ペアを返す 実際には ぐらいの
 違反を許す ϵ
Online Learning with an Unknown Fairness Metric: Algorithm • 報酬分布の推定と距離の推定が得られればあとはLP • 報酬分布の推定 • から通常の線形バンディットと同時ように推定 • 距離の推定 • 距離オラクルから推定 r(t) maxπ∈ΔK ∑ K i=1 riπi sub to|πi − πj | ≤ dij 解くべきLP 報酬最大 公平性制約
Online Learning with an Unknown Fairness Metric: Regret + Fairness • Fairnessは公平性制約を違反した回数 • まとめると: が に比べある程度小さいなら • Regret: • Fairness: K, d T d T ln(T/δ) K2 d2 ln(TKd) K2 d2 ln(kdT/ϵ) + K3 ϵT + d T ln(T/δ) Regret K2 d2 ln(d/ϵ) Fairness で に関 してはほぼ最適 ϵ = 1/K3 T T
強化学習 • 強化学習 • 目的 • 割引報酬 の最大化∑ ∞ t=τ γt−τ r(t) 状態s(t) 行動a(t) フィードバックr(t) 行動によって状態遷移 状態によって報酬分布が変わる
Fairness in Reinforcement Learning [Jabbari+17] • 強化学習において[Joseph+16]と同様な公平性制約 • 結果 • Exactな公平性を達成するには指数的試行が必要 • 最適なポリシーが得られるまでに十分なステップ数は • 割引率 については指数的でこれが最適 • 他の項に関しては多項式 ϵ 1/(1 − γ) πi(t) > πj(t) only if fi(s(t) i ) > fj(s(t) j ) 能力主義的公平性
公平なバンディット問題/強化学習
 /オンライン学習: まとめ • バンディット問題/強化学習/オンライン学習 • 逐次意思決定問題における報酬最大化 • 公平なバンディット問題/強化学習/オンライン学習 • 逐次意思決定問題 + 選択確率に公平性制約 • 様々な設定での理論解析
最近話題のトピック
Delayed Effect [Liu+18] • 学習とテストの間に時間的隔たりがある • その間にサンプルの分布が変化する • Demographic parityの正当性 (入試) • 貧困層の学生を取らないことで将来貧困が拡大することの防止 • DP, EOの制約をつけた時予測時の性能はどうなるか? 時刻 データ収集+学習 予測 サンプルの分布が変化
Human in the Loop • 現実的には学習は1回では終わらない • システムをアップデートし続ける • 以前に行った意思決定が学習データに影響する f
公平性を装う技術 • 本当は不公平であるのにかかわらず世間には公平に見せか ける • 不公平なモデル から 公平な説明 が生成できる [Aivodji+19] • 不公平なモデル から 公平なラベルづけデータセット を 生成できる [Fukuchi+20] f これは不公平 説明 ベンチマークデータ これは公平
まとめ • 公平性の最新研究を紹介 • 今日の内容 • 分類，回帰における公平性の保証方法 • Reduction approach • 表現学習における公平性の保証方法 • Fairな表現，Invariant Feature • 公平性下における学習理論 • バンディット問題における公平性 • その他話題のトピック
References 1 • [Hardt+16] Moritz Hardt, Eric Price, and Nathan Srebro. Equality of Opportunity in Supervised Learning. In: NeurIPS, pp. 3315-3323, 2016. https://arxiv.org/abs/1610.02413 • [Pleiss+17] Geoff Pleiss, Manish Raghavan, Felix Wu, Jon Kleinberg, and Kilian Q. Weinberger. On Fairness and Calibration. In: NeurIPS, pp. 5680-5689, 2017. https://arxiv.org/ abs/1709.02012 • [Dwork+12] Cynthia Dwork, Moritz Hardt, Toniann Pitassi, Omer Reingold, Rich Zemel. Fairness Through Awareness. In: the 3rd innovations in theoretical computer science conference, pp. 214-226, 2012. https://arxiv.org/abs/ 1104.3913
References 2 • [Agarwal+18] Alekh Agarwal, Alina Beygelzimer, Miroslav Dudík, John Langford, and Hanna Wallach. A Reductions Approach to Fair Classification. In: ICML, PMLR 80, pp. 60-69, 2018. https://arxiv.org/abs/1803.02453 • [Agarwal+19] Alekh Agarwal, Miroslav Dudík, and Zhiwei Steven Wu. Fair Regression: Quantitative Definitions and Reduction-based Algorithms. In: ICML, PMLR 97, pp. 120-129, 2019. https://arxiv.org/abs/1905.12843 • [Zafar+13] Rich Zemel, Yu Wu, Kevin Swersky, Toni Pitassi, and Cynthia Dwork. Learning Fair Representations. In: ICML, PMLR 28, pp. 325-333, 2013.
References 3 • [Zhao+19] Han Zhao, Geoffrey J. Gordon. Inherent Tradeoffs in Learning Fair Representations. In: NeurIPS, 2019, to appear. https://arxiv.org/abs/1906.08386 • [Xie+16] Qizhe Xie, Zihang Dai, Yulun Du, Eduard Hovy, Graham Neubig. Controllable Invariance through Adversarial Feature Learning. In: NeurIPS, pp. 585-596, 2016. https://arxiv.org/abs/1705.11122 • [Moyer+18] Daniel Moyer, Shuyang Gao, Rob Brekelmans, Greg Ver Steeg, and Aram Galstyan. Invariant Representations without Adversarial Training. In: NeurIPS, pp. 9084-9893, 2018. https://arxiv.org/abs/1805.09458
References 4 • [Woodworth+18] Blake Woodworth, Suriya Gunasekar, Mesrob I. Ohannessian, Nathan Srebro. Learning Non-Discriminatory Predictors. In: COLT, pp. 1920-1953, 2017. https://arxiv.org/abs/ 1702.06081 • [Cotter+19] Andrew Cotter, Maya Gupta, Heinrich Jiang, Nathan Srebro, Karthik Sridharan, Serena Wang, Blake Woodworth, Seungil You. Training Well-Generalizing Classifiers for Fairness Metrics and Other Data-Dependent Constraints. In: ICML, PMLR 97, pp. 1397-1405, 2019. https:// arxiv.org/abs/1807.00028 • [Rothblum+18] Guy N. Rothblum, Gal Yona. Probably Approximately Metric-Fair Learning. In: ICML, PMLR 80, pp. 5680-5688, 2018. https://arxiv.org/abs/1803.03242
References 5 • [Joseph+16] Matthew Joseph, Michael Kearns, Jamie Morgenstern, Aaron Roth. Fairness in Learning: Classic and Contextual Bandits. In: NeurIPS, pp. 325-333, 2016. • [Liu+17] Yang Liu, Goran Radanovic, Christos Dimitrakakis, Debmalya Mandal, David C. Parkes. Calibrated Fairness in Bandits. In: 4th Workshop on Fairness, Accountability, and Transparency in Machine Learning (FATML), 2017. https://arxiv.org/abs/1707.01875 • [Gillen+18] Stephen Gillen, Christopher Jung, Michael Kearns, Aaron Roth. Online Learning with an Unknown Fairness Metric. In: NeurIPS, pp. 2600-2609, 2018. https:// arxiv.org/abs/1802.06936
References 6 • [Jabbari+17] Shahin Jabbari, Matthew Joseph, Michael Kearns, Jamie Morgenstern, Aaron Roth. Fairness in Reinforcement Learning. In: ICML, PMLR 70, pp. 1617-1626, 2017. https://arxiv.org/abs/1611.03071 • [Liu+18] Lydia T. Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt. Delayed Impact of Fair Machine Learning. In: ICML, PMLR 80, pp. 3150-3158, 2018. https://arxiv.org/abs/ 1803.04383 • [Aivodji+19] Ulrich Aïvodji, Hiromi Arai, Olivier Fortineau, Sébastien Gambs, Satoshi Hara, Alain Tapp. Fairwashing: the risk of rationalization. In: ICML, 2019. https://arxiv.org/abs/1901.09749 • [Fukuchi+20] Kazuto Fukuchi, Satoshi Hara, Takanori Maehara. Faking Fairness via Stealthily Biased Sampling. In: AAAI, Special Track on AI for Social Impact (AISI), 2020, to appear. https://arxiv.org/abs/ 1901.08291
ICML2019 & NeurIPS2019 papers
Training Well-Generalizing Classifiers for Fairness Metrics and Other Data- Dependent Constraints [Cotter+ICML 19] • https://arxiv.org/abs/1807.00028 • データ依存制約の汎化性能の解析 • [Woodworth+COLT 18]の拡張 • [Agarwal+ICML 18]を元に解析
Fairness without Harm: Decoupled Classifiers with Preference Guarantees [Ustun+ICML 19] • http://proceedings.mlr.press/v97/ustun19a • Preference-basedな公平性を保証 • rationalityとenvy-freenessを目指した学習手法 • [Zafar+ICML 18]の後続 • [Dwork+ICML'18]の拡張
Fairness risk measures [Williamson+ICML'19] • https://arxiv.org/abs/1901.08665 • subgroupを考慮した新しいFairness scoreを与える • 持つべき公理を定義してそこからスコアを求める • その定義のもと学習アルゴリズムを与える • [Zafar+WWW 18], [Dwork+ICML 18], [Donini+NeurIPS 18]の後続
On the Long-term Impact of Algorithmic Decision Policies: Effort Unfairness and Feature Segregation through Social Learning [Heidari+ICML 19] • https://arxiv.org/abs/1903.01209 • effortを導入して，努力した量に対する報酬の違いによっ て公平性を定義
Obtaining fairness using optimal transport theory [Barrio+ICML 19] • https://arxiv.org/abs/1806.03195 • Wassserstain distanceを使ってDisparete Impact scoreを拡張 • 最適な(approximately) Fairなデータ分布を求めるアルゴ リズムを開発 • [Feldman+KDD 15]の後続
Fair Regression: Quantitative Definitions and Reduction-based Algorithms [Agarwal+ ICML19] • https://arxiv.org/abs/1905.12843 • 回帰における公平性 • リプシッツ関数を予測する問題 • Demographic parityか 全てのグループの損失が一定以 下 が公平性制約 • 自身の[Agrawal+ICML 18]の後続
Differentially Private Fair Learning [Jagielski+ICML 19] • https://arxiv.org/abs/1812.02696 • 差分プライバシーと同時にEqualized oddsを保証する方 法を開発 • Reduction approach [Agrawal+ICML 18]と同様な方法 で公平性の保証を行う
Fairness-Aware Learning for Continuous Attributes and Treatments [Mary+ICML 19] • http://proceedings.mlr.press/v97/mary19a • 回帰への対応や連続センシティブ属性への対応 • 独立性のmeasureとして機能する指標HGRを使う • 他の指標は独立かそうでないかしかわからない
The implicit fairness criterion of unconstrained learning [Liu+ICML 19] • https://arxiv.org/abs/1808.10013 • 制約を設けないリスク最小化がCalibrationを達成する最 も良い方法であることを証明
Flexibly Fair Representation Learning by Disentanglement [Creager+ICML 19] • https://arxiv.org/abs/1906.02589 • Fairなセンシティブ属性の分布変化にadaptiveな表現学習 の方法の開発 • VAEを元にした手法
Learning Optimal Fair Policies [Nabi+ICML 19] • https://arxiv.org/abs/1809.02244 • causalベースの公平性定義 • 逐次意思決定における公平性 • 最適な意思決定指針とそれを推定するアルゴリズムの開発 • 自身の[Nabi+AAAI 18]の拡張
Toward Controlling Discrimination in Online Ad Auctions [Celis+ICML 19] • https://arxiv.org/abs/1901.10450 • Ad allocationにおける不公平に対処 • Fair coverageを達成するように制約 • revenueの制約付きnon-convex最適化を行うが，fact convergenceを証明
Stable and Fair Classification [Huang+ICML 19] • https://arxiv.org/abs/1902.07823 • Regularized ERMに公平性制約 or 公平性正則化を入れ た時のstabilityを解析
Noise-tolerant fair classification [Lamy+NeurIPS 19] • https://arxiv.org/abs/1901.10837 • センシティブ属性にノイズが入っている場合における学習 アルゴリズム • ノイズを考慮してより強い制約を科す • 差分プライベートなセンシティブ属性を使った学習として みたときの解析もあり
The Fairness of Risk Scores Beyond Classification: Bipartite Ranking and the xAUC Metric [Kallus+NeurIPS 19] • https://arxiv.org/abs/1902.05826 • スコアベースのランキング予測問題における公平性 • 新しく定義したxAUCの一致性によって公平性を定義
Policy Learning for Fairness in Ranking [Singh+NeurIPS 19] • https://arxiv.org/abs/1902.04056 • 文章セットとそのrelevance scoreが与えられる • その上で公平性に配慮しつつutilityを最大にする確率的ラ ンキングを求める
Average Individual Fairness: Algorithms, Generalization and Experiments [Kearns+NeurIPS 19] • https://arxiv.org/abs/1905.10607 • 同一個人に複数の2値ラベルがデータとして与えられる • ラベルはiidに複数の関数が生成され，別にiidに生成され た個人に関数を適応する形でえらえる • ゴールは誤差最小となる関数の分布を得ること • この設定上で関数の分布に対して平均的な個人公平性を与 えて • その学習アルゴリズムとサンプル複雑度を求めている
Paradoxes in Fair Machine Learning [Goelz+NeurIPS 19] • https://papers.nips.cc/paper/9043-paradoxes-in- fair-machine-learning • 複数のbucketがあってそれにリソース配置する問題にお いてequalized odds制約を課す • 制約下における最適配置を求めた • [Hardt+ICML 16]の後続
Leveraging Labeled and Unlabeled Data for Consistent Fair Binary Classification [Chzhen+NeurIPS 19] • https://arxiv.org/abs/1906.05082 • Equal opportunity制約下でのsemi-supervised learning • consistencyの証明 • AsymptoticにEqual opportunityの達成と同時に最適 分類器に収束
Near Neighbor: Who is the Fairest of Them All? [Har-Peled+NeurIPS 19] • https://arxiv.org/abs/1906.02640 • Fair nearest neighbor問題 • 半径r内の点をuniformにサンプルする問題 • 計算量の解析など
Inherent Tradeoffs in Learning Fair Representations [Zhao+NeurIPS 19] • https://arxiv.org/abs/1906.08386 • [Zemel+ICML 13のFair Reperesentationから分類器を 作った時に公平性がどうなるか解析 • またutility-fairness trade-offも解析
Exploring Algorithmic Fairness in Robust Graph Covering Problems [Rahmattalabi+NeurIPS 19] • https://papers.nips.cc/paper/9707-exploring- algorithmic-fairness-in-robust-graph-covering- problems • Robust graph cover問題における公平性 • ノードがグループで分かれている • 少なくともW個の同一グループのノードを選択する必要が ある • 公平性制約によるcoverの悪さの解析やNP-Hardなので近 似アルゴリズムを開発

More Related Content

PDF
機械学習モデルのハイパパラメータ最適化
bygree_tech
 
PDF
アンサンブル木モデル解釈のためのモデル簡略化法
bySatoshi Hara
 
PDF
グラフィカル Lasso を用いた異常検知
byYuya Takashina
 
PDF
機械学習の理論と実践
byPreferred Networks
 
PDF
PRML Chapter 14
byMasahito Ohue
 
PDF
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
byDeep Learning JP
 
PDF
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
byPreferred Networks
 
PDF
混合モデルとEMアルゴリズム(PRML第９章）
byTakao Yamanaka
 
機械学習モデルのハイパパラメータ最適化
bygree_tech
 
アンサンブル木モデル解釈のためのモデル簡略化法
bySatoshi Hara
 
グラフィカル Lasso を用いた異常検知
byYuya Takashina
 
機械学習の理論と実践
byPreferred Networks
 
PRML Chapter 14
byMasahito Ohue
 
[DL輪読会]Wasserstein GAN/Towards Principled Methods for Training Generative Adv...
byDeep Learning JP
 
明治大学講演資料「機械学習と自動ハイパーパラメタ最適化」 佐野正太郎
byPreferred Networks
 
混合モデルとEMアルゴリズム(PRML第９章）
byTakao Yamanaka
 

What's hot

PDF
ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning
byPreferred Networks
 
PPTX
【DL輪読会】Dropout Reduces Underfitting
byDeep Learning JP
 
PPTX
DNNの曖昧性に関する研究動向
byNaoki Matsunaga
 
KEY
アンサンブル学習
byHidekazu Tanaka
 
PPTX
ベイズ統計学の概論的紹介
byNaoki Hayashi
 
PDF
Active Learning 入門
byShuyo Nakatani
 
PDF
[DL輪読会]Control as Inferenceと発展
byDeep Learning JP
 
PDF
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
byPreferred Networks
 
PDF
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
byDeep Learning JP
 
PDF
[DL輪読会]Temporal Abstraction in NeurIPS2019
byDeep Learning JP
 
PDF
形態素解析の過去・現在・未来
byPreferred Networks
 
PDF
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
byDeep Learning JP
 
PDF
GAN（と強化学習との関係）
byMasahiro Suzuki
 
PDF
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
bySSII
 
PDF
多様な強化学習の概念と課題認識
by佑 甲野
 
PDF
POMDP下での強化学習の基礎と応用
byYasunori Ozaki
 
PPTX
強化学習1章
byhiroki yamaoka
 
PDF
TensorFlowで逆強化学習
byMitsuhisa Ohta
 
PDF
[DL輪読会]Deep Learning 第15章 表現学習
byDeep Learning JP
 
PPTX
Maximum Entropy IRL（最大エントロピー逆強化学習）とその発展系について
byYusuke Nakata
 
ゼロから始める深層強化学習（NLP2018講演資料）/ Introduction of Deep Reinforcement Learning
byPreferred Networks
 
【DL輪読会】Dropout Reduces Underfitting
byDeep Learning JP
 
DNNの曖昧性に関する研究動向
byNaoki Matsunaga
 
アンサンブル学習
byHidekazu Tanaka
 
ベイズ統計学の概論的紹介
byNaoki Hayashi
 
Active Learning 入門
byShuyo Nakatani
 
[DL輪読会]Control as Inferenceと発展
byDeep Learning JP
 
Kaggle Happywhaleコンペ優勝解法でのOptuna使用事例 - 2022/12/10 Optuna Meetup #2
byPreferred Networks
 
【DL輪読会】マルチエージェント強化学習における近年の 協調的方策学習アルゴリズムの発展
byDeep Learning JP
 
[DL輪読会]Temporal Abstraction in NeurIPS2019
byDeep Learning JP
 
形態素解析の過去・現在・未来
byPreferred Networks
 
[DL輪読会]Decision Transformer: Reinforcement Learning via Sequence Modeling
byDeep Learning JP
 
GAN（と強化学習との関係）
byMasahiro Suzuki
 
SSII2021 [TS2] 深層強化学習 〜 強化学習の基礎から応用まで 〜
bySSII
 
多様な強化学習の概念と課題認識
by佑 甲野
 
POMDP下での強化学習の基礎と応用
byYasunori Ozaki
 
強化学習1章
byhiroki yamaoka
 
TensorFlowで逆強化学習
byMitsuhisa Ohta
 
[DL輪読会]Deep Learning 第15章 表現学習
byDeep Learning JP
 
Maximum Entropy IRL（最大エントロピー逆強化学習）とその発展系について
byYusuke Nakata
 

Similar to 公平性を保証したAI/機械学習
アルゴリズムの最新理論

PDF
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
byTaiji Suzuki
 
PPTX
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
byharmonylab
 
PDF
統計的因果推論 勉強用　isseing333
byIssei Kurahashi
 
PDF
PRML輪読#1
bymatsuolab
 
PDF
整数計画法に基づく説明可能性な機械学習へのアプローチ
byKentaro Kanamori
 
PDF
「統計的学習理論」第1章
byKota Matsui
 
PDF
20170422 数学カフェ Part2
byKenta Oono
 
PPTX
Prml 1.3～1.6 ver3
byToshihiko Iio
 
PDF
PRML輪読#4
bymatsuolab
 
PDF
SGD+α: 確率的勾配降下法の現在と未来
byHidekazu Oiwa
 
PPTX
PRML Chapter 5
byMasahito Ohue
 
PDF
[Dl輪読会]introduction of reinforcement learning
byDeep Learning JP
 
PDF
[読会]Long tail learning via logit adjustment
byshima o
 
PDF
東京都市大学 データ解析入門 7 回帰分析とモデル選択 2
byhirokazutanaka
 
PPTX
Optimization Approaches for Counterfactual Risk Minimization with Continuous ...
byKenshi Abe
 
PDF
Datamining 4th adaboost
bysesejun
 
PPTX
数理最適化と機械学習の 融合アプローチ -分類と新しい枠組み-（改訂版）
byMIKIOKUBO3
 
PDF
3.4
byshow you
 
PDF
20170422 数学カフェ Part1
byKenta Oono
 
KEY
LS for Reinforcement Learning
byimlschedules
 
統計的学習理論チュートリアル: 基礎から応用まで (Ibis2012)
byTaiji Suzuki
 
MASTERING ATARI WITH DISCRETE WORLD MODELS (DreamerV2)
byharmonylab
 
統計的因果推論 勉強用　isseing333
byIssei Kurahashi
 
PRML輪読#1
bymatsuolab
 
整数計画法に基づく説明可能性な機械学習へのアプローチ
byKentaro Kanamori
 
「統計的学習理論」第1章
byKota Matsui
 
20170422 数学カフェ Part2
byKenta Oono
 
Prml 1.3～1.6 ver3
byToshihiko Iio
 
PRML輪読#4
bymatsuolab
 
SGD+α: 確率的勾配降下法の現在と未来
byHidekazu Oiwa
 
PRML Chapter 5
byMasahito Ohue
 
[Dl輪読会]introduction of reinforcement learning
byDeep Learning JP
 
[読会]Long tail learning via logit adjustment
byshima o
 
東京都市大学 データ解析入門 7 回帰分析とモデル選択 2
byhirokazutanaka
 
Optimization Approaches for Counterfactual Risk Minimization with Continuous ...
byKenshi Abe
 
Datamining 4th adaboost
bysesejun
 
数理最適化と機械学習の 融合アプローチ -分類と新しい枠組み-（改訂版）
byMIKIOKUBO3
 
3.4
byshow you
 
20170422 数学カフェ Part1
byKenta Oono
 
LS for Reinforcement Learning
byimlschedules
 

Recently uploaded

PDF
エンジニアが選ぶべきAIエディタ ＆ Antigravity 活用例@ウェビナー「触ってみてどうだった？Google Antigravity 既存IDEと...
byNorihiroSunada
 
PDF
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #2
byTasuku Takahashi
 
PDF
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #1
byTasuku Takahashi
 
PPTX
楽々ナレッジベース「楽ナレ」３種比較 - Dify / AWS S3 Vector / Google File Search Tool
byKiyohide Yamaguchi
 
PDF
流行りに乗っかるClaris FileMaker 〜AI関連機能の紹介〜 by 合同会社イボルブ
byEvolve LLC.
 
PDF
20251210_MultiDevinForEnterprise on Devin 1st Anniv Meetup
byMasaki Yamakawa
 
エンジニアが選ぶべきAIエディタ ＆ Antigravity 活用例@ウェビナー「触ってみてどうだった？Google Antigravity 既存IDEと...
byNorihiroSunada
 
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #2
byTasuku Takahashi
 
Machine Tests Benchmark Suite. Explain github.com/alexziskind1/machine_tests #1
byTasuku Takahashi
 
楽々ナレッジベース「楽ナレ」３種比較 - Dify / AWS S3 Vector / Google File Search Tool
byKiyohide Yamaguchi
 
流行りに乗っかるClaris FileMaker 〜AI関連機能の紹介〜 by 合同会社イボルブ
byEvolve LLC.
 
20251210_MultiDevinForEnterprise on Devin 1st Anniv Meetup
byMasaki Yamakawa
 

公平性を保証したAI/機械学習
アルゴリズムの最新理論

  • 1.
  • 2.
    自己紹介 • 名前: 福地一斗 (Fukuchi Kazuto) • 所属: 筑波大学 システム情報系 助教 • 経歴 • 2018/03 筑波大学 システム情報工学専攻科 博士後期課程 修了 • 2018/04-2019/08 理研AIP 特別研究員 • 2019/09-現在 筑波大学 システム情報系 助教 • 2019/11-現在 理研AIP 客員研究員 • 研究興味: • 機械学習における公平性，プライバシーの理論面 • 数理統計，特に，汎関数推定
  • 3.
    機械学習界隈での公平性の注目 ACM FAT* 国際会議 ACM FAT*2018-19 AAAI/ACM AIES 2018-19 国際ワークショップ FATML 2014-18 招待講演 •ICML2017(L. Sweeney) •NIPS2017 (K. Crawford) •KDD2017 (C. Dwork) •KDD2018 (J. M. Wing) AI for Social Good 2018-19 Challenges and Opportunities for AI in Financial Services 2018 AI Ethics WS 2018
  • 4.
    はじめに • 神嶌先生の公演 • 公平な機械学習の基礎的な部分 •本公演 • 公平な機械学習の最近の研究成果・トピック
  • 5.
    今日の内容 • 分類，回帰における公平性の保証方法 • 表現学習における公平性の保証方法 •個人公平性下における学習理論 • バンディット問題における公平性
  • 6.
    今日含まない内容 • 公平性を保証したクラスタリング • 公平性を保証したランキング •因果を元にした公平性 • 機械学習アルゴリズムの透明性や説明可能性
  • 7.
  • 8.
  • 9.
  • 10.
  • 11.
  • 12.
  • 13.
  • 14.
    設定 • 簡単のために教師あり分類問題のみを考える •           学歴，職歴，資格など •          性別，人種，宗教，政治志向，年齢など •           予測したいもの (e.g., 採否) •           アルゴリズムによって予測されたラベル 入力 X ラベル Y 予測ラベル ̂Y別の入力 X S = 男性 S = 女性 入力 X ラベル Y センシティブ属性 S 予測ラベル ̂Y 学習
  • 15.
    公平性基準 • 様々な公平性基準 • Demographicparity • Equalized odds [Hardt+16] • Calibration [Pleiss+17] • Individual fairness [Dwork+12]
  • 16.
    Demographic parity • センシティブ属性で条件づけられた予測ラベルの分布が一致 •分布ではなく予測精度/偽陽性/偽陰性の一致を目指すもの もあり Demographic parity ℙ{ ̂Y ∈ 𝒜|S = s} = ℙ{ ̂Y ∈ 𝒜|S = s′} 任意の𝒜, s, s′について 採用 非採用 採用 非採用 男性 女性 = ̂Y|S = 男性 ̂Y|S = 女性
  • 17.
    Equalized odds [Hardt+16] • と を一致させるように学習できる • Demographic parityではできない Equalized odds ℙ{ ̂Y ∈ 𝒜|Y = y, S = s} = ℙ{ ̂Y ∈ 𝒜|Y = y, S = s′} 任意の𝒜, y, s, s′について Y ̂Y 採用 非採用男性 採用 非採用女性 真の採用分布 学習 採用 非採用 採用 非採用 公平 = 学習の結果変化した部分 (緑の部分)の一致
  • 18.
    Calibration [Pleiss+17] • である確率の予測値をとする • である予測が のみによって決まるように制約 Y = 1 ̂p Y = 1 ̂p Calibration ℙ{Y = 1| ̂p = p, S = s} = p 任意のp, sについて 男性 採用 非採用 p ̂p = p|S = 男性
  • 19.
    Individual fairness [Dwork+12] •性別以外全く同じ人がいれば採否も同じにするべき • 似たような人は似た結果を受け取るべき • 確率的予測関数 : • Lipschitz property 任意のx, x′について D( f(x), f(x′)) ≤ d(x, x′) ≈ ⟹ f : 𝒳 → Δ(𝒴) 結果の分布間の 距離
  • 20.
  • 21.
  • 22.
    公平な学習の基本戦略 • 最適化問題として定式化 • 罰則・制約を設けることで公平性を制御 minfErr(f ) + ηUnfair(f ) 罰則ベース minf Err(f ) sub to Unfair(f ) ≤ η 制約ベース
  • 23.
    Reduction Approach [Agarwal+18] •確率的な分類器 を学習 • は分類器 上の分布 • Reduction • 学習問題をコストセンシティブ学習の系列に置き換え Q Q f minQ 𝔼f∼Qℙ{f(X) ≠ Y} sub to M𝔼f∼Q[μ(f )] ≤ c 最適化問題 公平性基準を有限個の制約で表現 例 DP) 𝔼{f(X)|S = 0} = 𝔼{f(X)} 𝔼{f(X)|S = 1} = 𝔼{f(X)}
  • 24.
    Reduction Approach [Agarwal+18] minQ𝔼f∼Qℙ{f(X) ≠ Y} sub to M𝔼f∼Q[μ(f )] ≤ c 元の最適化問題 maxλ∈ℝK +,∥λ∥≤B minQ 𝔼f∼Qℙ{f(X) ≠ Y} + λ⊤ (M𝔼f∼Q[μ(f )] − c) 制約無し最適化問題 ラグランジュ乗数 交互最適化によって鞍点を探索
  • 25.
    コストセンシティブ学習 • 予測の重みが違う • ラベルがポジティブ/ネガティブか •サンプル毎 • 例）疾患推定 • 疾患がないのに間違うよりも疾患があるのに間違うことの 方が問題 minf ∑ n i=1 (h(Xi)C1 i + (1 − h(Xi))C0 i ) コストセンシティブ学習
  • 26.
    Reduction Approach: Implication •与えられたラグランジュ乗数 のもとで分布 の最小化 • コストセンシティブ学習で書き換えられる λ Q はここの期待値μ
  • 27.
  • 28.
    Fair Regression: QuantitativeDefinitions and Reduction-based Algorithms [Agarwal+19] • 回帰における公平性を扱えるように拡張 • Demographic parityか 全てのグループの損失が一定以 下 という公平性制約が扱える 連続変数の密度分布の一致は難しい 離散化してビンを当てる
 分類問題に書き換え
  • 29.
    Representation Learning 学習アルゴリズム 表現器 g()= ラベル付きデータ z f( )=A氏 z 分類器 z 表現データ 学習アルゴリズム
  • 30.
    Fair Representation [Zafar+13] •センシティブ属性に依存しないような表現の獲得 g( ) g( ) z
  • 31.
    Fair Representation [Zafar+13] •センシティブ属性に依存しないような表現の獲得 g( ) g( ) z
  • 32.
    Inherent Tradeoffs inLearning Fair Representations [Zhao+19] • Fair Reperesentationから分類器を作った時に公平性が どうなるか解析 g( ) g( ) z f( )=A氏 z 分類器 ここまでは公平 これは公平？
  • 33.
    Invariant feature • Fairrepresentationと同じ考え • 特定の要素（センシティブ属性の変動）に依存しないよう な特徴量を求めたい g( ) g( ) z
  • 34.
    敵対的学習を使った手法[Xie+16] • DPを元にした公平性= • 表現からセンシティブ属性が識別できない •実際にセンシティブ属性を識別するモデルを作る • このモデルの識別精度が悪くなるように学習 g( )= f( )=A氏 d( )=黒人z z z 表現器 分類器 識別器 分類器はなるべく
 当たるように 識別器はなるべく
 外れるように
  • 35.
  • 36.
    VAEとInformation bottleneckを
 元にした方法[Moyer+18] • 敵対的学習の問題：学習が遅い! •Variational Auto Encoder (VAE)を元に効率的な学習 minf Likelihood(f(X), Y) + ηI(f(X), S) 最適化問題 VAEのテクニックを使って上記の問題を近似しながら解く
  • 37.
  • 38.
  • 39.
  • 40.
  • 41.
    汎化誤差/公平性 学習アルゴリズム 分類器 f( )=A氏 ラベル付きデータ 訓練データ テストデータ (テストデータでの誤差)- (訓練データでの誤差) (テストデータでの不公平性) - (訓練データでの不公平性) 汎化誤差 汎化公平性
  • 42.
  • 43.
    Learning Non-Discriminatory Predictors [Woodworth+18] •Equalized-oddsを保証するためのアルゴリズム [Hardt+ICML 16] • スコアベースの分類器を学習 • スコア0以上 <=> • ROCが一致するようにスコアの閾値を調節 • このアルゴリズムはsuboptimal • post-hocでは1/2エラーだが
 Equalized-odds制約を満たすエラーが小さい 分類器が存在する問題が作れる ̂Y = 1
  • 44.
    Learning Non-Discriminatory Predictors: Algorithm + Analysis • アルゴリズム概要： • データセットを半分に分ける • 片方を使いEqualized-odds制約を科した学習を行う • もう片方を使いpost-hocで制約を満たすようにする maxy,s (VC(ℱ) + ln(1/δ))/(nPy,s) 汎化誤差 maxy,s ln(1/δ)/(nPy,s) 公平性誤差
  • 45.
    Learning Non-Discriminatory Predictors: Algorithm + Analysis • アルゴリズム概要： • データセットを半分に分ける • 片方を使いEqualized-odds制約を科した学習を行う • もう片方を使いpost-hocで制約を満たすようにする maxy,s (VC(ℱ) + ln(1/δ))/(nPy,s) 汎化誤差 maxy,s ln(1/δ)/(nPy,s) 公平性誤差 一番データが少ない のサンプル数(y, s) 汎化誤差はVC次元に 依存 公平性はVC次元に
 非依存
  • 46.
    Training Well-Generalizing Classifiersfor Fairness Metrics and Other Data- Dependent Constraints [Cotter+19] • [Woodworth+18]のさらなる一般化 • 目的関数が分類誤差 • 制約が公平性 • Reductionと似た戦略でアルゴリズムを構築 • ただし[Woodworth+18]と同様の戦略も使う • データセットを2つに分けて目的関数と制約を別々に評価 minθ 𝔼[ℓ0(X, θ)] sub to 𝔼[ℓi(X, θ)] ≤ 0 対象とする問題
  • 47.
    Training Well-Generalizing Classifiersfor Fairness Metrics and Other Data- Dependent Constraints: Analysis • : 最適化手法で生じる誤差 • : 制約数 • : 分類器の複雑さ ϵ m Rn(ℱ) ϵ + Rn(ℱ) + ln(1/δ)/n 目的関数の汎化誤差 (m ln(1/ϵ) + ln(m/δ))/n 制約の汎化誤差
  • 48.
    Training Well-Generalizing Classifiersfor Fairness Metrics and Other Data- Dependent Constraints: Analysis ϵ + Rn(ℱ) + ln(1/δ)/n 目的関数の汎化誤差 (m ln(1/ϵ) + ln(m/δ))/n 制約の汎化誤差 汎化誤差は複雑さに 依存 公平性は制約数のみに 依存 • : 最適化手法で生じる誤差 • : 制約数 • : 分類器の複雑さ ϵ m Rn(ℱ)
  • 49.
  • 50.
    Probably Approximately Metric-Fair Learning[Rothblum+18] • である確率を返す分類器 を学習 • ゴール: • 上記の制約のもと真のラベルと の 損失を最小化 ̂Y = 1 h : 𝒳 → [0,1] h ℓ0 ℙx,x′{|h(x) − h(x′)| > d(x, x′) + γ} ≤ α -個人公平性制約(γ, α)
  • 51.
    Probably Approximately Metric-Fair Learning: Algorithm + Analysis maxi,j max(0,|h(x) − h(x′)| − d(xi, xj)) ≤ γ 学習時の制約 公平性違反に罰則 ならばアルゴリズムは誤差 の -公平な分類器 を出力する． m = O(poly(1/ϵα,1/ϵγ,1/ϵ)) ϵ (α + ϵα, γ + ϵγ) h サンプル複雑度 近似的な公平性がLearnableで
 あることを証明 暗号的なone-way関数の存在下では完全な公平性は指数的計算時間が必要
  • 52.
  • 53.
    バンディット問題 • 逐次意思決定問題 • 目的 •累積報酬 の最大化 • が与えられた時 を 選択 • ∑ T t=1 r(t) x(t) 1 , . . . , x(t) K i r(t) = fi(x(t) i ) バンディット問題 オンライン推薦などの応用 個人化広告推薦 Web記事推薦 SNS友人推薦 ユーザ情報 x(t) 広告 i(t) フィードバックr(t)
  • 54.
    Fair bandit [Joseph+16] •報酬の大きさ = その人の能力の高さ • 能力が高い人以外を優先的に選んではいけない πi(t) > πj(t) only if fi(x(t) i ) > fj(x(t) j ) 能力主義的公平性 A B C D E fi(x(t) i )
  • 55.
    Fair bandit: Algorithm •信頼区間が1番平均が高い人に連なる集団から一様にとる トップ集団 から一様サンプル
  • 56.
    Fair bandit: Regret •通常/文脈付きバンディットでのレグレット解析 • 理想的な報酬からどれだけ報酬を取り逃がしたか K3 T ln(Tk/δ) 通常バンディットのレグレット T4/5 K6/5 d3/5 ∨ k3 ln(k/δ) 線形文脈付きバンディットのレグレット が知られており も証明Ω( T) Ω( K3 ln(1/δ)) ほぼタイトな
 バウンド 通常は TKd ln(T)
  • 57.
    Calibrated Fairness inBandits [Liu+17] • 個人公平性制約を満たしCalibration違反を最小にする πi(t) ≠ ℙ{i = arg maxj rj} Calibration違反 D(π(t) i , π(t) j ) ≤ ϵ1D(ri, rj) + ϵ2 個人公平性制約
  • 58.
    Calibrated Fairness inBandits: AlgorithmThompson samplingを元の下 アルゴリズム 事後平均を最大にするのではなく 事後分布からサンプル下報酬を最大に 腕を選んだ回数が少ない
 場合は一様サンプル 個人公平性の保証 Calibration違反
 を少なく
  • 59.
    Calibrated Fairness inBandits: AlgorithmThompson samplingを元の下 アルゴリズム 事後平均を最大にするのではなく 事後分布からサンプル下報酬を最大に 腕を選んだ回数が少ない
 場合は一様サンプル 個人公平性の保証 Calibration違反
 を少なく (KT)2/3 Calibration違反のレグレット 確率 で1 − δ D(π(t) i , π(t) j ) ≤ 2D(ri, rj) + ϵ2 個人公平性制約
  • 60.
    Online Learning withan Unknown Fairness Metric [Gillen+18] • 線形文脈付きバンディット問題+個人公平性制約 • 距離函数を知らない • 代わりにフィードバックに距離情報が含まれる |πi(t) − πj(t)| ≤ d(x(t) i , x(t) j ) 個人公平性制約 ユーザ情報x(t) i 広告分布π(t) フィードバックr(t) 距離オラクルO(t) 制約違反している
 ペアを返す 実際には ぐらいの
 違反を許す ϵ
  • 61.
    Online Learning withan Unknown Fairness Metric: Algorithm • 報酬分布の推定と距離の推定が得られればあとはLP • 報酬分布の推定 • から通常の線形バンディットと同時ように推定 • 距離の推定 • 距離オラクルから推定 r(t) maxπ∈ΔK ∑ K i=1 riπi sub to|πi − πj | ≤ dij 解くべきLP 報酬最大 公平性制約
  • 62.
    Online Learning withan Unknown Fairness Metric: Regret + Fairness • Fairnessは公平性制約を違反した回数 • まとめると: が に比べある程度小さいなら • Regret: • Fairness: K, d T d T ln(T/δ) K2 d2 ln(TKd) K2 d2 ln(kdT/ϵ) + K3 ϵT + d T ln(T/δ) Regret K2 d2 ln(d/ϵ) Fairness で に関 してはほぼ最適 ϵ = 1/K3 T T
  • 63.
    強化学習 • 強化学習 • 目的 •割引報酬 の最大化∑ ∞ t=τ γt−τ r(t) 状態s(t) 行動a(t) フィードバックr(t) 行動によって状態遷移 状態によって報酬分布が変わる
  • 64.
    Fairness in ReinforcementLearning [Jabbari+17] • 強化学習において[Joseph+16]と同様な公平性制約 • 結果 • Exactな公平性を達成するには指数的試行が必要 • 最適なポリシーが得られるまでに十分なステップ数は • 割引率 については指数的でこれが最適 • 他の項に関しては多項式 ϵ 1/(1 − γ) πi(t) > πj(t) only if fi(s(t) i ) > fj(s(t) j ) 能力主義的公平性
  • 65.
    公平なバンディット問題/強化学習
 /オンライン学習: まとめ • バンディット問題/強化学習/オンライン学習 •逐次意思決定問題における報酬最大化 • 公平なバンディット問題/強化学習/オンライン学習 • 逐次意思決定問題 + 選択確率に公平性制約 • 様々な設定での理論解析
  • 66.
  • 67.
    Delayed Effect [Liu+18] •学習とテストの間に時間的隔たりがある • その間にサンプルの分布が変化する • Demographic parityの正当性 (入試) • 貧困層の学生を取らないことで将来貧困が拡大することの防止 • DP, EOの制約をつけた時予測時の性能はどうなるか? 時刻 データ収集+学習 予測 サンプルの分布が変化
  • 68.
    Human in theLoop • 現実的には学習は1回では終わらない • システムをアップデートし続ける • 以前に行った意思決定が学習データに影響する f
  • 69.
    公平性を装う技術 • 本当は不公平であるのにかかわらず世間には公平に見せか ける • 不公平なモデルから 公平な説明 が生成できる [Aivodji+19] • 不公平なモデル から 公平なラベルづけデータセット を 生成できる [Fukuchi+20] f これは不公平 説明 ベンチマークデータ これは公平
  • 70.
    まとめ • 公平性の最新研究を紹介 • 今日の内容 •分類，回帰における公平性の保証方法 • Reduction approach • 表現学習における公平性の保証方法 • Fairな表現，Invariant Feature • 公平性下における学習理論 • バンディット問題における公平性 • その他話題のトピック
  • 71.
    References 1 • [Hardt+16]Moritz Hardt, Eric Price, and Nathan Srebro. Equality of Opportunity in Supervised Learning. In: NeurIPS, pp. 3315-3323, 2016. https://arxiv.org/abs/1610.02413 • [Pleiss+17] Geoff Pleiss, Manish Raghavan, Felix Wu, Jon Kleinberg, and Kilian Q. Weinberger. On Fairness and Calibration. In: NeurIPS, pp. 5680-5689, 2017. https://arxiv.org/ abs/1709.02012 • [Dwork+12] Cynthia Dwork, Moritz Hardt, Toniann Pitassi, Omer Reingold, Rich Zemel. Fairness Through Awareness. In: the 3rd innovations in theoretical computer science conference, pp. 214-226, 2012. https://arxiv.org/abs/ 1104.3913
  • 72.
    References 2 • [Agarwal+18]Alekh Agarwal, Alina Beygelzimer, Miroslav Dudík, John Langford, and Hanna Wallach. A Reductions Approach to Fair Classification. In: ICML, PMLR 80, pp. 60-69, 2018. https://arxiv.org/abs/1803.02453 • [Agarwal+19] Alekh Agarwal, Miroslav Dudík, and Zhiwei Steven Wu. Fair Regression: Quantitative Definitions and Reduction-based Algorithms. In: ICML, PMLR 97, pp. 120-129, 2019. https://arxiv.org/abs/1905.12843 • [Zafar+13] Rich Zemel, Yu Wu, Kevin Swersky, Toni Pitassi, and Cynthia Dwork. Learning Fair Representations. In: ICML, PMLR 28, pp. 325-333, 2013.
  • 73.
    References 3 • [Zhao+19]Han Zhao, Geoffrey J. Gordon. Inherent Tradeoffs in Learning Fair Representations. In: NeurIPS, 2019, to appear. https://arxiv.org/abs/1906.08386 • [Xie+16] Qizhe Xie, Zihang Dai, Yulun Du, Eduard Hovy, Graham Neubig. Controllable Invariance through Adversarial Feature Learning. In: NeurIPS, pp. 585-596, 2016. https://arxiv.org/abs/1705.11122 • [Moyer+18] Daniel Moyer, Shuyang Gao, Rob Brekelmans, Greg Ver Steeg, and Aram Galstyan. Invariant Representations without Adversarial Training. In: NeurIPS, pp. 9084-9893, 2018. https://arxiv.org/abs/1805.09458
  • 74.
    References 4 • [Woodworth+18]Blake Woodworth, Suriya Gunasekar, Mesrob I. Ohannessian, Nathan Srebro. Learning Non-Discriminatory Predictors. In: COLT, pp. 1920-1953, 2017. https://arxiv.org/abs/ 1702.06081 • [Cotter+19] Andrew Cotter, Maya Gupta, Heinrich Jiang, Nathan Srebro, Karthik Sridharan, Serena Wang, Blake Woodworth, Seungil You. Training Well-Generalizing Classifiers for Fairness Metrics and Other Data-Dependent Constraints. In: ICML, PMLR 97, pp. 1397-1405, 2019. https:// arxiv.org/abs/1807.00028 • [Rothblum+18] Guy N. Rothblum, Gal Yona. Probably Approximately Metric-Fair Learning. In: ICML, PMLR 80, pp. 5680-5688, 2018. https://arxiv.org/abs/1803.03242
  • 75.
    References 5 • [Joseph+16]Matthew Joseph, Michael Kearns, Jamie Morgenstern, Aaron Roth. Fairness in Learning: Classic and Contextual Bandits. In: NeurIPS, pp. 325-333, 2016. • [Liu+17] Yang Liu, Goran Radanovic, Christos Dimitrakakis, Debmalya Mandal, David C. Parkes. Calibrated Fairness in Bandits. In: 4th Workshop on Fairness, Accountability, and Transparency in Machine Learning (FATML), 2017. https://arxiv.org/abs/1707.01875 • [Gillen+18] Stephen Gillen, Christopher Jung, Michael Kearns, Aaron Roth. Online Learning with an Unknown Fairness Metric. In: NeurIPS, pp. 2600-2609, 2018. https:// arxiv.org/abs/1802.06936
  • 76.
    References 6 • [Jabbari+17]Shahin Jabbari, Matthew Joseph, Michael Kearns, Jamie Morgenstern, Aaron Roth. Fairness in Reinforcement Learning. In: ICML, PMLR 70, pp. 1617-1626, 2017. https://arxiv.org/abs/1611.03071 • [Liu+18] Lydia T. Liu, Sarah Dean, Esther Rolf, Max Simchowitz, Moritz Hardt. Delayed Impact of Fair Machine Learning. In: ICML, PMLR 80, pp. 3150-3158, 2018. https://arxiv.org/abs/ 1803.04383 • [Aivodji+19] Ulrich Aïvodji, Hiromi Arai, Olivier Fortineau, Sébastien Gambs, Satoshi Hara, Alain Tapp. Fairwashing: the risk of rationalization. In: ICML, 2019. https://arxiv.org/abs/1901.09749 • [Fukuchi+20] Kazuto Fukuchi, Satoshi Hara, Takanori Maehara. Faking Fairness via Stealthily Biased Sampling. In: AAAI, Special Track on AI for Social Impact (AISI), 2020, to appear. https://arxiv.org/abs/ 1901.08291
  • 77.
  • 78.
    Training Well-Generalizing Classifiersfor Fairness Metrics and Other Data- Dependent Constraints [Cotter+ICML 19] • https://arxiv.org/abs/1807.00028 • データ依存制約の汎化性能の解析 • [Woodworth+COLT 18]の拡張 • [Agarwal+ICML 18]を元に解析
  • 79.
    Fairness without Harm:Decoupled Classifiers with Preference Guarantees [Ustun+ICML 19] • http://proceedings.mlr.press/v97/ustun19a • Preference-basedな公平性を保証 • rationalityとenvy-freenessを目指した学習手法 • [Zafar+ICML 18]の後続 • [Dwork+ICML'18]の拡張
  • 80.
    Fairness risk measures [Williamson+ICML'19] •https://arxiv.org/abs/1901.08665 • subgroupを考慮した新しいFairness scoreを与える • 持つべき公理を定義してそこからスコアを求める • その定義のもと学習アルゴリズムを与える • [Zafar+WWW 18], [Dwork+ICML 18], [Donini+NeurIPS 18]の後続
  • 81.
    On the Long-termImpact of Algorithmic Decision Policies: Effort Unfairness and Feature Segregation through Social Learning [Heidari+ICML 19] • https://arxiv.org/abs/1903.01209 • effortを導入して，努力した量に対する報酬の違いによっ て公平性を定義
  • 82.
    Obtaining fairness usingoptimal transport theory [Barrio+ICML 19] • https://arxiv.org/abs/1806.03195 • Wassserstain distanceを使ってDisparete Impact scoreを拡張 • 最適な(approximately) Fairなデータ分布を求めるアルゴ リズムを開発 • [Feldman+KDD 15]の後続
  • 83.
    Fair Regression: QuantitativeDefinitions and Reduction-based Algorithms [Agarwal+ ICML19] • https://arxiv.org/abs/1905.12843 • 回帰における公平性 • リプシッツ関数を予測する問題 • Demographic parityか 全てのグループの損失が一定以 下 が公平性制約 • 自身の[Agrawal+ICML 18]の後続
  • 84.
    Differentially Private FairLearning [Jagielski+ICML 19] • https://arxiv.org/abs/1812.02696 • 差分プライバシーと同時にEqualized oddsを保証する方 法を開発 • Reduction approach [Agrawal+ICML 18]と同様な方法 で公平性の保証を行う
  • 85.
    Fairness-Aware Learning forContinuous Attributes and Treatments [Mary+ICML 19] • http://proceedings.mlr.press/v97/mary19a • 回帰への対応や連続センシティブ属性への対応 • 独立性のmeasureとして機能する指標HGRを使う • 他の指標は独立かそうでないかしかわからない
  • 86.
    The implicit fairnesscriterion of unconstrained learning [Liu+ICML 19] • https://arxiv.org/abs/1808.10013 • 制約を設けないリスク最小化がCalibrationを達成する最 も良い方法であることを証明
  • 87.
    Flexibly Fair RepresentationLearning by Disentanglement [Creager+ICML 19] • https://arxiv.org/abs/1906.02589 • Fairなセンシティブ属性の分布変化にadaptiveな表現学習 の方法の開発 • VAEを元にした手法
  • 88.
    Learning Optimal FairPolicies [Nabi+ICML 19] • https://arxiv.org/abs/1809.02244 • causalベースの公平性定義 • 逐次意思決定における公平性 • 最適な意思決定指針とそれを推定するアルゴリズムの開発 • 自身の[Nabi+AAAI 18]の拡張
  • 89.
    Toward Controlling Discriminationin Online Ad Auctions [Celis+ICML 19] • https://arxiv.org/abs/1901.10450 • Ad allocationにおける不公平に対処 • Fair coverageを達成するように制約 • revenueの制約付きnon-convex最適化を行うが，fact convergenceを証明
  • 90.
    Stable and FairClassification [Huang+ICML 19] • https://arxiv.org/abs/1902.07823 • Regularized ERMに公平性制約 or 公平性正則化を入れ た時のstabilityを解析
  • 91.
    Noise-tolerant fair classification [Lamy+NeurIPS19] • https://arxiv.org/abs/1901.10837 • センシティブ属性にノイズが入っている場合における学習 アルゴリズム • ノイズを考慮してより強い制約を科す • 差分プライベートなセンシティブ属性を使った学習として みたときの解析もあり
  • 92.
    The Fairness ofRisk Scores Beyond Classification: Bipartite Ranking and the xAUC Metric [Kallus+NeurIPS 19] • https://arxiv.org/abs/1902.05826 • スコアベースのランキング予測問題における公平性 • 新しく定義したxAUCの一致性によって公平性を定義
  • 93.
    Policy Learning forFairness in Ranking [Singh+NeurIPS 19] • https://arxiv.org/abs/1902.04056 • 文章セットとそのrelevance scoreが与えられる • その上で公平性に配慮しつつutilityを最大にする確率的ラ ンキングを求める
  • 94.
    Average Individual Fairness:Algorithms, Generalization and Experiments [Kearns+NeurIPS 19] • https://arxiv.org/abs/1905.10607 • 同一個人に複数の2値ラベルがデータとして与えられる • ラベルはiidに複数の関数が生成され，別にiidに生成され た個人に関数を適応する形でえらえる • ゴールは誤差最小となる関数の分布を得ること • この設定上で関数の分布に対して平均的な個人公平性を与 えて • その学習アルゴリズムとサンプル複雑度を求めている
  • 95.
    Paradoxes in FairMachine Learning [Goelz+NeurIPS 19] • https://papers.nips.cc/paper/9043-paradoxes-in- fair-machine-learning • 複数のbucketがあってそれにリソース配置する問題にお いてequalized odds制約を課す • 制約下における最適配置を求めた • [Hardt+ICML 16]の後続
  • 96.
    Leveraging Labeled andUnlabeled Data for Consistent Fair Binary Classification [Chzhen+NeurIPS 19] • https://arxiv.org/abs/1906.05082 • Equal opportunity制約下でのsemi-supervised learning • consistencyの証明 • AsymptoticにEqual opportunityの達成と同時に最適 分類器に収束
  • 97.
    Near Neighbor: Whois the Fairest of Them All? [Har-Peled+NeurIPS 19] • https://arxiv.org/abs/1906.02640 • Fair nearest neighbor問題 • 半径r内の点をuniformにサンプルする問題 • 計算量の解析など
  • 98.
    Inherent Tradeoffs inLearning Fair Representations [Zhao+NeurIPS 19] • https://arxiv.org/abs/1906.08386 • [Zemel+ICML 13のFair Reperesentationから分類器を 作った時に公平性がどうなるか解析 • またutility-fairness trade-offも解析
  • 99.
    Exploring Algorithmic Fairnessin Robust Graph Covering Problems [Rahmattalabi+NeurIPS 19] • https://papers.nips.cc/paper/9707-exploring- algorithmic-fairness-in-robust-graph-covering- problems • Robust graph cover問題における公平性 • ノードがグループで分かれている • 少なくともW個の同一グループのノードを選択する必要が ある • 公平性制約によるcoverの悪さの解析やNP-Hardなので近 似アルゴリズムを開発