Modeling Assumptions Clash with the Real World : Transparency, Equity, and Community Challenges for Student Assignment Algorithms
1. Modeling Assumptions
Clash with the Real World
: Transparency, Equity, and Community
Challenges for Student Assignment Algorithms
+ CHI 2021
- Samantha Robertson, Tonya Nguyen, Niloufar Salehi (UC Berkeley)
/ 김소담
석사 과정 김소담
20/05/2021
2. Table of Contents
1 Why This Paper
2 Background
3 Method
4 Findings
5 Takeaway
3. 3
01 Why this paper
•알고리즘이 아닌 알고리즘 경험과 Social Implication
•통제된 변수와 실험 환경이 아닌 “리얼 월드”와 마주하는 연구란? …
•사회의 중대한 문제에 알고리즘이 어디까지 관여할 수 있을까?
알고리즘 도입
알고리즘이 추정한 이상적 현실
쉽지 않다..복잡 현실
인간이 추구하는 가치
모두를 충족하는 방향으로 해결하기에 벅찬 지역 사회의 문제
충돌, 상황 악화
4. •오랜 기간동안 동네와 학교가 인종적으로 분리됨
•2011년, 샌프란시스코 포함 미국의 여러 학군이 알고리즘
을 도입하여 공립 초등학교에 학생을 배정함
•알고리즘 디자이너는; 다양성, 투명성, 교육 기회에의 형평
성 등 지역 사회가 추구하는 기조와 가치를 반영하여 설계
함
알고리즘의 실패
•그러나…2018년, 알고리즘 배정을 중지하고 재설계를 결정
왜? 1) 많은 학교의 인종 다양성 오히려 저하
2) 불분명하고 예측할 수 없는 결과, 과정때문에 부모
들의 불만 폭발
4
02 Background
샌프란시스코 아이들을 위한 초등학교 배정 알고리즘, 현실에서 작동 실패
5. 5
02 Background
연구 질문
1. 정책 결정자와 알고리즘 설계자가 학생 배정 알고리즘으로 추구하려한 가치는 무엇인가?
2. 그 가치들이 현실에서 충족되지 못한 이유는 무엇인가? - 부모들의 경험을 중심으로
School District Values based on modeling assumptions
Clash with the constraints of the real world
6. 6
03 Method
Value Sensitive Design methodology로 문헌/질적/양적 조사 진행
지역 사회 / San Francisco Unified School District 정책 관련 문헌 자료 조사
Conceptual Investigation
RQ2. 시스템이 실제로 작동한 양상
RQ1. 시스템이 설계된 의도
Mixed -method Empirical investigation
•질적 데이터 : 알고리즘과 마주한 부모들의 경험 수집
1) 부모 13그룹과 반구조화 인터뷰
2) 소셜 미디어 상의 온라임 담론 : r/sanfrancisco subreddit 내 12개의 thread - 678 posts
•양적 데이터 : 4,594명 학생의 초등학교 지원 / 입학 데이터(2017) + 초등학생 평균 성적 데이터
(지원한 선호 학교 순위, 배정 결과, 입학 결과, 거주 지역, 인종, 우선순위를 부여하는 취약 지역
CTIP1 거주 여부)
•새로운 기술을 디자인할 때, 이해당사자들이 추구하는 가치를 탐구하는 방법론
•보통 (1)Conceptual stage (2)Empirical investigation (3)Technical investigation으로 진행
7. 7
04 Findings
교육 불평등 문제 해결을 위해 40여년 간 다양한 학생 배정 시스템 활용,
시스템이 추구하는 가치와 목표는 일관적이었음
RQ1. 정책 결정자와 알고리즘 설계자가 학생 배정 알고리즘으로 추구하려한 가치는 무엇인가?
•인종 분리와 취약 계층 학생 불균형
배정 현상 타파
•학생들에게 교육 기회 평등하게 제
공
•모든 과정에서의 투명성
목표
•투명성, 예측가능성, 간단함(설명 가능함)
•평등과 다양성
•전체 교육의 질 향상
•커뮤니티의 지속가능성
가치
•네 가지 가치를 데이터 분류 코드로 사용
•각 가치가 현실과 어떻게 충돌했는지 세 가지 측면에서 분석함
-Promises and Properties
-Modeling Assumptions
-Real World Challenges
8. 8
04 Findings
다양성과 기회의 평등을 추구하는 알고리즘은…
RQ1. 정책 결정자와 알고리즘 설계자가 학생 배정 알고리즘으로 추구하려한 가치는 무엇인가?
입학을 선호하는 학교 순위 제출 (학교 수 제한 없음)
예비 초등학생
학교의 우선순위 (수요>공급일때만 작동)
: 1) 재학생의 형제
2) 취약 지역 학생 (CTIP1 area = 표준 시험 퍼포먼스가 낮은 학교가 속한)
“모두가 만족하는 최적의 배정 결과”
선호를 조작하는 편법이 통하지 않음
9. 9
04 Findings
왜 실패했는가?
: 알고리즘이 추정한 깔끔하고 아름다운 abstract한 버전의 현실 모델은
복잡하고 여러 사회정치적 문제들이 엮인 현실과 일치하지 않았다
RQ2. 그 가치들이 현실에서 충족되지 못한 이유는 무엇인가? - 부모들의 경험을 중심으로
•알고리즘의 현실 추정(모델링) : 이해당사자인 가족들이 어떻게 행동하고 무엇을 얻으려
할 지 지나치게 단순화, 이상화
•많은 가족들이 직면하는, 특히 사회경제적인 불평등으로 인한 복잡한 장애물들을 간과함
•선호하는 학교를 결정하기 위한 정보 획득의 비용을 과소평가
•알고리즘의 설명가능성과 예측가능성을 과대평가
전략적 편법 행위가 팽배함
상호 신뢰의 부족
높은 스트레스
좌절
10. 10
04 Findings
의도한 가치와 현실 작동에서의 충돌을 분석함
RQ2. 그 가치들이 현실에서 충족되지 못한 이유는 무엇인가? - 부모들의 경험을 중심으로
•Promises and Properties : 알고리즘이 각 가치와 관련해 가진 이론적 가능성과 특성
•Modeling Assumptions : 위의 가능성에 기반한 알고리즘의 현실 추정
•Real World Challenges : 현실에서 마주한 문제
11. 11
04 Findings
“마치 복권 같아요” : 시스템의 투명성에 대한 신뢰 무너짐
RQ2. 그 가치들이 현실에서 충족되지 못한 이유는 무엇인가? - 부모들의 경험을 중심으로
•투명성, 예측가능성, 간단함(설명 가능함)
•평등과 다양성
•전체 교육의 질 향상
•커뮤니티의 지속가능성
•학교 배정 알고리즘에 대한 연관성 높은, 명확한, 일관된 정보를 찾는 데 어려움을 겪음
-너무 많은 프로그램과 기회… 정보 획득의 비용(시간, 돈)이 아주 큼
-온라인 상의 학교 정보는 모여있지 않고, 학교마다 제공하는 정보가 다름
•배정 결과를 예측할 수 없기에, (특히 privileged) 부모들끼리 편법에 대한 정보를 공유하고
도움을 요청
•아무도 알고리즘이 어떻게 작동하는 지 확실히 이해하지 못한다고 느낌
현실
12. 12
04 Findings
불평등은 지속된다 : 기회의 평등 결과의 평등
RQ2. 그 가치들이 현실에서 충족되지 못한 이유는 무엇인가? - 부모들의 경험을 중심으로
•투명성, 예측가능성, 간단함(설명 가능함)
•평등과 다양성
•전체 교육의 질 향상
•커뮤니티의 지속가능성
현실
•취약 지역 학생들은 선호 1순위로 배정될 확률이 아주 높다
•그러나, 선호 순위 목록부터 인종, 소득에 의해 분리됨
•알고리즘은 기회를 보장해주지만 그 기회를 붙잡을 수 있는 조건은 마련해주지 않음
•CTIP1 지역 학생(유색인종, 저소득)들은 평균 성적이 월등히 낮은 학교에 진학함
13. 13
04 Findings
RQ2. 그 가치들이 현실에서 충족되지 못한 이유는 무엇인가? - 부모들의 경험을 중심으로
•투명성, 예측가능성, 간단함(설명 가능함)
•평등과 다양성
•전체 교육의 질 향상
•커뮤니티의 지속가능성
현실
•취약 지역 학생들은 선호 1순위로 배정될 확률이 아주 높다
•그러나, 선호 순위 목록부터 인종, 소득에 의해 분리됨
•알고리즘은 기회를 보장해주지만 그 기회를 붙잡을 수 있는 조건은 마련해주지 않음
•결국 CTIP1 지역 학생(유색인종, 저소득)들은 평균 성적이 월등히 낮은 학교에 진학함
불평등은 지속된다 : 기회의 평등 결과의 평등
45%
57.2%
취약 계층 학생이 입학한 학교의 초3 평균 영문학 기대 점수 달성 여부
14. 14
04 Discussion
알고리즘 리디자인 : 네 가지 Design Implication 제시
•연관성이 높고 접근 가능한 정보의 제공
•알고리즘 목표를 커뮤니티의 목표와 가깝게 하기
•이해당사자(부모)의 요구와 제약을 다시 고려하기
•적절하고 신뢰할 수 있는 이의 신청 절차 마련
15. 15
06 Takeaway
1) 기술과 사회적 이슈에 대한 HCI적인 접근
2) 알고리즘 효용에 대한 검증은 설계 시 추구한 원칙과 가치를 기준으로 진행할 수 있다
3) 그 가치의 평가가 가능한 질적/양적 데이터를 생각해보기
4) 사회경제적 privileged가 아닌 곳을 향하는 기술 연구가 가져야 할 자세와 관점
—> 신림동의 1인 가구 리빙랩 연구…
