The presentation describes the AI bias with adversarial learning.
It includes the AI Fairness 360 open source by IBM.
I presented this paper in the natural language processing lab as an undergraduate research assistant.
(July 9th, 2019)
2. - 인구통계학적 집단에 대한 편견이 훈련 데이터에 존재할 때, 이에 따라 훈련된 모델 또한 편견이 포함된다.
- Protected group를 modeling하려는 adversary와 model을 예측하려는 predictor를 동시에 학습시켜,
편견을 완화시키고자 한다.
- Measurements for Fairness:
> Demographic Parity
> Equality of Odds
> Equality of Opportunity
X
data
Y
predict
Z
Protected
attribute
predictor
Adversary
Adversarial Debiasing
6. AI Fairness 360 (AIF360)
AI Fairness 360 (AIF 360)
> 인공지능 기술의 활용 과정에서 등장할 수 있는 편향성을 시정하기 위해 IBM에서 이를 open source 형태로 발표.
https://github.com/IBM/AIF360
- Dataset과 model에서의 “편향성(bias)”을 완화하기 위한 알고리즘과 평가지표에 대한 설명
- Tutorial과 demo notebook 공개
7. AI Fairness 360 (AIF360)
https://arxiv.org/pdf/1810.01943.pdf
8. AI Fairness 360 (AIF360)
Algorithm Method
pre-processing
:데이터 자체의 편향성 문제
Re-weighing
(Kamiran&Calders, 2012)
Optimized pre-processing
(Calmon et al.,2017)
Learning fair
representation(LFR)
(Zemel et al.,2013)
Disparate import remover
(Feldman et al.,2015)
In-processing
: 특정 feature의 가중치로 인해
생성된 모델의 편향성 문제
Adversarial Debiasing
(Zhang et al.,2018)
Prejudice remover
(Kamishima et al.,2012)
Post-processing
: Test dataset자체의 편향성 문제
Equalized odds post-
processing (Hardt et al.,2016)
Calibrated eq. odds
postprocessing (Pleiss et al.,2017)
Reject Option classification
(Kamiran et al.,2012)
pre-processing
In-processing
Post-processing
9. Adversarial Debiasing (in-processing)
: 예측 정확도를 최대화하고 동시에 예측으로부터 protected attribute를 결정할 수 있는 Adversary’s ability를 감소시키는 classifier를 학습한다.
즉, adversary가 이용할 수 있는 집단 간 차별 정보(privileged group & unprivileged group)를 예측에 전달할 수 없기 때문에 공정한 classifier가 된다.
Adult / Census Income Dataset
In-processing _ Adversarial Debiasing
10. - Income이 >$50K인지를 예측하는 데이터셋
- 해당 모델에 대해 “Equality of Odds”를 강화하고자 한다.
- Protected Attribute: Sex
- Privileged Group: Male / Unprivileged Group: Female
In-processing _ Adversarial Debiasing
11. - Epoch: 50
- Batch_size: 128
- Plain model: without debias / model: with debias
In-processing _ Adversarial Debiasing
12. Statistical Parity Difference
= Pr(Unprivileged group) – Pr(privileged group)
Fairness는 -0.1~0.1의 값으로 평가된다.
Equal Opportunity Difference
= true positive rate
value < 0 , privileged group의 이익 / value > 0, unprivileged group의 이익
Fairness는 -0.1~0.1의 값으로 평가된다.
Average Odds Difference
= (false positive rate + true positive rate) / 2
value < 0, privileged group의 이익 / value > 0, unprivileged group의 이익
Fairness는 -0.1~0.1의 값으로 평가된다.
Disparate Impact
= Pr(Unprivileged group) / Pr(privileged group)
value < 1 , privileged group의 이익 / value > 1, unprivileged group의 이익
Fairness는 0.8~1.2의 값으로 평가된다.
Theil Index
= generalized entrop
각각의 data에 대한 inequality을 의미한다.
Perfect fairness = 0 (value 값이 낮을수록 fairness / 높을수록 problematic)
In-processing _ Adversarial Debiasing
14. Pre-processing _ Reweighing
The German credit dataset
> Protected attribute: AGE
> algorithm: Reweighing (pre-processing)
(protected attribute에 따라 편향성을 줄이도록 데이터셋을 변형시킨다.)
Privileged group이 training dataset에서 17%의 positive한 결과를 갖는다.
즉, 이러한 bias한 결과를 완화해야한다.
15. The German credit dataset
> Protected attribute: AGE
> algorithm: Reweighing (pre-processing)
(protected attribute에 따라 편향성을 줄이도록 데이터셋을 변형시킨다.)
Re-weighing model (pre-processing) 모델을 학습한 결과,
이전의 편향성이 0으로 줄어든 것을 확인할 수 있다.
Re-weighing model: classification이전에 fairness를 확인하기 위해 feature들의 조합(group, label)에 가중치를 부여한다.
Pre-processing _ Reweighing
16. Post-processing _ calibrate eq odds postprocessing
The Adult / Census Income dataset
> Protected attribute: Sex
> algorithm: Calibrated_eq_odds postprocessing (post-processing)
Logistic
regression
17. The Adult / Census Income dataset
> Protected attribute: Sex
> algorithm: Calibrated_eq_odds postprocessing (post-processing)
Post-processing
Post-processing _ calibrate eq odds postprocessing
18. The Adult / Census Income dataset
> Protected attribute: Sex
> algorithm: Calibrated_eq_odds postprocessing (post-processing)
Post-processing _ calibrate eq odds postprocessing