의사 결정을 내리는 알고리즘을 '공정'하다라고 인식하게 하는 요소가 무엇인지에 대해 연구한 논문입니다.

1. 나한테 우호적인 알고리즘이 공평하다?!
Factors In
fl
uencing Perceived Fairness in Algorithmic Decision-Making: Algorithm
Outcomes, Development Procedures, and Individual Differences
+CHI2
0
- Ruotong Wang, F. Maxwell Harper∗ , Haiyi Zhu
/김민주

2. Intro
Q1. 알고리즘을 디자인함에 있어 고려해야할 요소는 무엇일까?
정확성? 신속성? 공정성?
Q2. 사용자는 알고리즘을 어느정도로 이해하고 있나?
그렇다면 알고리즘을 신뢰하는가?
Q3. 알고리즘은 사용자에게 어느정도로 설명가능해야하는가?
어느정도로 사용자에게 오픈되어 있어야하나?
Fully Transparent?
원리를 알고 쓰나? 모르나?

3. Background
‘Fairness’를 고려하는 알고리즘을 디자인하려 노력하지만
…
Fair-algorithm에 대한 사용자의 인식에 대해서는 연구 부족
- 공정성에 대한 사람들의 인식은 복잡미묘
- 같은 알고리즘이어도 이해관계자마다 ‘공정성’에 대한 개념 상이함
- 실제로 fairness가 사용자에게 어떤 식으로 인식되는지
- 사람들이 fairness를 인식함에 있어 영향을 미치는 요소들은 무엇인지
그래서 본 연구에서는…
그래서 본 연구에서는…
- 공정성 개념을 갖춘 예측 모델 구축, 공정성과 정확도의 반비례 관계 등…
사용자의 맥락을 고려하는 연구는 부재
- 인간은 ‘algorithm aversion’의 특성에 따라, 기계의 사소한 실수에도 민감
하기 때문에 대부분 기계가 정확해도 인간을 더 신뢰하는 편임.
- 인간의 fariness를 측정할 때는 authority를, 기계는 ef
fi
ciency/objectivity.

4. Hypothesis
가설1 <Effects of Algorithm Outcomes
>
:개인에게 Favorable/Unfavborable한 결과 or 집단 간의 Biased/Unbiased Treatments는 알고리듬 의
사 결정에 대한 공정성을 인식함에 있어서 어떻게 영향을 미치는가?
a) 사용자에게 이익적인 결과가 나올수록 사람들은 해당 알고리즘이 fair하다고 생각한다.
b) 특정 그룹(성별, 인종)에 대해 편향적이지 않은 알고리즘일수록 fair하다고 생각한다.
c) 알고리즘 의사 결정의 상황에서, favorable 결과가 특정 그룹에 편향되지 않는 것보다 공정성에
대한 인식에 있어 큰 영향을 미친다.
가설3 <Effects of Individual Differences
>
: 개인의 차이(성별, 연령, 인종, 교육수준)가 알고리즘 의사 결정에 대한 공정성을 인식함에 있어서
어떻게 영향을 미치는가?
a) 높은 수준의 교육을 받은 사람들은 낮은 수준의 교육을 받은 사람들보다 알고리즘을 더 공정하
게 인식할 것이다.
b) 컴퓨터 사용 능력이 높은 사람들은 컴퓨터 사용 능력이 낮은 사람들보다 알고리즘을 더 공정하
게 인식할 것이다
.
c) 일반적으로 알고리듬 편견으로부터 이익을 얻는 인구 통계 그룹(젊은이, 백인, 남성)의 사람들은
알고리듬 의사결정이 다른 인구통계 그룹(노인, 비백인, 여성)의 사람들보다 더 공정하다고 인식
할 것이다.
가설2 <Effects of Algorithm Development Procedures
>
:알고리듬 생성 및 실행에 대한 다른 접근 방식은 알고리듬 의사 결정에 대한 공정성을 인식함에 있
어서 어떻게 영향을 미치는가
?
a) 사용자는 알고리즘 의사 결정 과정이 투명한 경우에 그렇지 않은 경우보다 더 공정하게 인식한
다.
b) 사용자는 인간의 개입이 첨가된 알고리즘 의사 결정 과정은 그렇지 않은 경우보다 더 공정하게
인식한다.

5. Experiement
대상: HIT > 80%인 Amazon MTurk workers 579명
실험: Master(HIT에 대한 정확도가 높아 엘리트라고 여겨지는)자격을 부여하기
에 해당 worker가 적합한지에 대한 의사결정을 내리는 알고리즘

6. Experiement
가설1
Effects of Algorithm
Outcomes
가설
2
Effects of Algorithm
Development Procedures
가설
3
Effects of
Individual Differences

7. Results
가설1 <Effects of Algorithm Outcomes
>
:개인에게 Favorable/Unfavborable한 결과 or 집단 간의 Biased/Unbiased Treatments는 알고리듬 의
사 결정에 대한 공정성을 인식함에 있어서 어떻게 영향을 미치는가?
a) 사용자에게 이익적인 결과가 나올수록 사람들은 해당 알고리즘이 fair하다고 생각한다. —>
O
b) 특정 그룹(성별, 인종)에 대해 편향적이지 않은 알고리즘일수록 fair하다고 생각한다. —>
O
c) 알고리즘 의사 결정의 상황에서, favorable 결과가 특정 그룹에 편향되지 않는 것보다 공정성에
대한 인식에 있어 큰 영향을 미친다. —> O
a)
b)

8. Results
가설2 <Effects of Algorithm Development Procedures
>
:알고리듬 생성 및 실행에 대한 다른 접근 방식은 알고리듬 의사 결정에 대한 공정성을 인식함에 있
어서 어떻게 영향을 미치는가
?
a) 사용자는 알고리즘 의사 결정 과정이 투명한 경우에 그렇지 않은 경우보다 더 공정하게 인식한
다. —> Not supported
!
b) 사용자는 인간의 개입이 첨가된 알고리즘 의사 결정 과정은 그렇지 않은 경우보다 더 공정하게
인식한다. —> Not supported!
Different procedures
Interaction effect
btw procedures and outcomes
Design
Transparency
Outsorced team이 알고리즘을 구축한 경우,
편향된 알고리즘의 Fairness에 대한
부정적 영향력이 더 강해짐
High Transparency는 편향된 알고리즘의
Fairness에 대한 부정적 영향력이 강해짐

9. Results
가설3 <Effects of Individual Differences
>
: 개인의 차이(성별, 연령, 인종, 교육수준)가 알고리즘 의사 결정에 대한 공정성을 인식함에 있어서
어떻게 영향을 미치는가?
a) 높은 수준의 교육을 받은 사람들은 낮은 수준의 교육을 받은 사람들보다 알고리즘을 더 공정하
게 인식할 것이다. —> Not supported
!
b) 컴퓨터 사용 능력이 높은 사람들은 컴퓨터 사용 능력이 낮은 사람들보다 알고리즘을 더 공정하
게 인식할 것이다. —> supported
!
c) 일반적으로 알고리듬 편견으로부터 이익을 얻는 인구 통계 그룹(젊은이, 백인, 남성)의 사람들은
알고리듬 의사결정이 다른 인구통계 그룹(노인, 비백인, 여성)의 사람들보다 더 공정하다고 인식
할 것이다. —> Not supported!
여성의 경우 Unfavroable
outcome이면 알고리즘이
less-fair하다고 반응
교육 수준이 낮을수록
Unfavroable outcome이면
알고리즘 less-fair하게 인식
교육수준이 높으면 영향 無
컴퓨터 능력이 부족할수록
알고리즘이 less-fair하다
고 인식

10. What’s interesting
: 자신에게 unfavorable outcome 줄 것 같은 알고리즘에 대해서 ‘덜’ 공정하다고
인식하는 사람들은 ‘fail’ self-expectation을 가진 사람들임. 즉, 신뢰하지 않아서
기대도 낮은 경우.
“The process as you all described is de
fi
nitely not fair. Being a woman over 54 years of age, puts me at at least 2 disadvantages
with this system.”
Algorithm
Outcomes
Development
Procedures
Individual
Differences
: 오류율 등을 제시해 알고리즘이 공정하다고 어필하는 것과 사용자가 받아들이
는 것과는 별개의 문제임. 알고리즘 모델에 대한 사용자의 ‘결과 선호 편향성’을
고려해서 알고리즘 공정성을 평가해야 함
.
: Interactive tool을 통해 알고리즘에 대한 이해도를 높이면, 공정성에 대한 다양
한 시각 제시하며 알고리즘에 대한 공감 유도 가능함.
: 인간의 개입이 들어갈수록 알고리즘이 Fair해진다고 생각하면서 반면에 인간
의 개입이 잠재적 Bias 야기할 수도 있다고 생각.
: 컴퓨터 사용 능력이 낮은 사람들이 알고리즘에 대해 낮은 공정성 인식을 가짐.
더불어 낮은 교육 수준 역시 공정성 인식을 악화시키는 요인.
“[The process] should have some human oversight to increase its fairness.”
“I think it is somewhat fair because there is no human error from an Ama- zon employee.”
: 너무 transparent하면 알고리즘이 더 fair해져야한다고 생각하게 해 오히려
현재의 fairness rating에는 악영향을 끼침.
: 하지만 결론적으로, 개발 과정에서의 영향력에 대해서는 아직 분명하게 정의할
수 없음. Outcome이 갖는 영향력이 더 큼.
: 알고리즘 결과가 자신의 이익뿐만 아니라 타인에게 영향을 미칠 수 있음을 교
육을 통해 확산시켜야 함.

11. Think about…
공정성을 갖춘 알고리즘은 ‘산술적’으로만 완벽하다고 되는 것이 아니라…
‘공정성’을 받아들이는 사용자의 심리적 맥락을 고려해야 함.
알고리즘 작동 원리/논리 등을 다 오픈한(Too transparent) 알고리즘은
오히려 사용자에게 신뢰감을 저하시키는 요소일 수 있음 (Algorithm aversion
)
—> ‘decision making’을 하는 알고리즘에 인간적인 요소를 넣는 것 중요.
애초에 ‘공정성’이라는 개념이 인간의 눈으로 바라보는 개념?
기계의 눈에서 공정하다는 것은 계산된 숫자 그대로를 의미하지 않을까
?
‘Decision making’ 자체가 객관적인 사실을 있는 그대로 받아들이기 보다는
주관적인 판단을 내려야하는 상황이므로 필연적으로 ‘불공정함’을 느끼게 할
수밖에 없지 않나…
—> 모두에게 공정은 불가능하므로, 그래서 ‘수치적’으로 공정성을 강조하기보
다는 ‘알고리즘’이 ‘인간적’임을 느끼게 해 공정함에 대해 덜예민하게 받아들이
도록 설계 고려…?

12. 감사합니다
Factors Influencing Perceived Fairness in Algorithmic Decision-Making:
Algorithm Outcomes, Development Procedures, and Individual Differences