by Michael A. Madio, Luke Stark, Jennifer Wortman Vaughan, Hanna Wallach

1. Co-Designing Checklists to Understand
Organizational Challenges and
Opportunities around Fairness in AI
#CHI202
0
#Michael A. Madio, Luke Stark, Jennifer Wortman Vaughan, Hanna Wallac
h
#김민주

2. Why this paper
“공정한 AI는 어떻게 디자인 해야 할까?”
• “Factors In
fl
uencing Perceived Fairness in Algorithmic Decision-Making: Algorithm
Outcomes, Development Procedures, and Individual Di
ff
erences”에 따르면, Outcome,
Transparency, Human-intervention 등이 사람들이 AI를 공정하다고 ‘인식’하는 지에 영향 미침
• 그렇다면, 공정한 AI를 만들기 위해서는 어떤 것들을 고려하면서 디자인 해야 할까?
• 현업에서는 공정한 AI를 만들기 위해 어떤 방식으로 노력해왔는지
• 실제로는 디자인 함에 있어서 어떤 애로사항들을 겪고 있는지
“편향적인 AI는 양산되기 쉬우므로, 공정한 AI에 대한 지속적인 연구 필요”

3. Intro
“ 공정한 AI 윤리 체크리스트는 어떻게 구성되어야 하는가?”
• 기존의 AI 체크리스트는 특정 도메인/영역에 한정적임
• 실무자들의 의견이 반영되어 AI 윤리 체크리스트가 설계되는 경우는 드묾
• 다른 도메인에 기존의 체크리스트를 일괄적으로 도입하면 남용될 가능성이 높음
✓RQ1: AI 공정성 문제를 파악하고 해결하기 위한 실무자들의 현재 프로세스
는 무엇인가?
✓RQ2: AI 공정성 체크리스트와 관련해서 실무자들이 겪고 있는 애로사항이
무엇인가?
✓RQ3: 실무자들은 AI 공정성 체크리스트가 조직 내에서 어떻게 구현될 수 있
다고 보는가?
본 연구에서는…
“AI 윤리 체크리스트가 어떤식으로 설계되어야 할 지에 대해 탐구”

4. Method
• 12개의 회사에 근무중인 48명의 실무자 대상
• 반복적인 공동 설계 프로세스를 진행해, ‘AI 공정성 체크리스트’ 수립.
반구조화 인터뷰 Co-design 워크숍
체크리스트 디자인
• 60~90분동안 비디오 채팅을 통해 진행
• 질문은,
• 실무자들이 AI 공정성 문제에 대해 어떻게 인식하고 해결하려고 했는지
• 실무자들의 AI 공정성 체크리스트에대한 니즈 발굴

5. Method
• 12개의 회사에 근무중인 48명의 실무자 대상
• 반복적인 공동 설계 프로세스를 진행해, ‘AI 공정성 체크리스트’ 수립.
반구조화 인터뷰 Co-design 워크숍
체크리스트 디자인
• 기존의 AI 공정성 체크리스트와 선행연구를 바탕으로 초안 설계
• AI의 개발부터 배포까지의 6단계를 고려해 체크리스트 설계
• 구상 -> 정의 -> 프로토타입 -> 구축 -> 배포 -> 고도화
• 다양한 이해 관계자들의 니즈와 애로사항을 고려하여 작성

6. Method
• 12개의 회사에 근무중인 48명의 실무자 대상
• 반복적인 공동 설계 프로세스를 진행해, ‘AI 공정성 체크리스트’ 수립.
반구조화 인터뷰 Co-design 워크숍
체크리스트 디자인
• 38명을 대상으로 co-design 워크숍을 두 차례 진행
• 1차 워크숍은 19명의 참가자를 대상으로 8개로 진행
• 2차 워크숍은 21명의 참가자를 대상으로 19개로 진행
• 각 워크숍은 90분 동안 진행됐으며, 체크리스트에 대한 피드백을 도출
• 1차 워크숍은 체크리스트를 구현하는 시나리오를 도출
• 2차 워크숍은 시나리오 기반으로 참가자를 조사할 스토리보드 생성

7. Findings
• Ad-hoc process
• 조직의 reputation을 위해서도 공정한 AI를 고안하려고 하긴 하지만… 현실은 주
로 공정성에 대해 고민하는 ‘열정적인 개인몫’처럼 여겨짐.
• 공정성을 평가하고 문제를 수정할 수 있는 체계적인 Tool/system 부재.
• 실무자 개개인의 우연한 발견과 해결로 이루어짐.
• 사회문화적-구조적 장벽
• 경쟁에서 뒤쳐지지 않기 위해 빠른 생산성을 내야하는 현실적 한계
• 공정성/윤리를 고려하느라 너무 많은 시간과 비용을 들일 수 없는 분위기
• 공정한 AI를 만들고자 나섰다가, 오히려 개인은 커리어적으로 손해만 볼 수도
“아직까지는 공정한 AI를 만드는 것은 개인의 몫에 좌우되는 편 ”
“회사는 궁극적으로 효율/생산성을 원하니, 우리도 따를 수 밖에… ”
범조직 차원에서의 공정한 AI 설계에 대한 의식적인 인센티브 부족

8. Findings
• 공정한 AI 구축이 더이상 개인의 몫이 아니라 체계적인 인프라를 통해 달성됨
• 조직화된 인프라
• 평소 일어나기 쉬운 공정성 관련 실수들을 방지하는 역할
• 잘못된 경우인지 인지하지 못한 채로 발생하던 불공정한 유즈케이스들의 감소
• 공정성 체크리스트를 의무화함으로써, 모든 개인이 따르게 될 것임
• Work
fl
ow와 일치하는 체크리스트
• 몇몇 체크리스트는 기존의 워크플로우에 통합하기 어려움
• 다양한 이해 관계자들이 모여 있을수록 의견 수렴하기 어려움
Ex) AI 공정성 체크리스트 2.4: 다양한 데모그라픽을 포함하는 이해관계자 구성원과 각 도메인별 전문가 그리
고 팀원 등을 모두 포함해 과 다양한 관점에서의 시스템 아키텍처, 데이터 세트, 공정성 기준, 잠재적 공정성 위
협 요인들을 고려해야 한다.
“워크 플로우와 일치하는 공식화된 프로세스 만들기”
하지만 일괄적으로 적용되는 체크리스트가
공정성 보장을 지나치게 단순화 시킬 수 있다는 우려도 있음

9. Findings
“ 실무자들의 상황과 워크플로우에 맞게 Customizing 필요함”
• Tailored or Customized 체크리스트
• AI 시스템 구축 중 해당 단계에 따라 체크리스트를 유연하게 적용할 수 있어야 함
• AI 공정성 체크리스트를 준수하는 노력이 KPI(주요 성과 지표)와도 연동되어야 함
• 공정성을 준수하고 있는지를 사용자가 체감하는 것은 어려움
• 공정성 준수 노력을 수량화 하는 노력이 필요함
• 그리고, 어느 부분에서는 공정성이 부족한지를 파악할 수 있어야 함
• 자칫 technosolutionism에 빠지지 않게 유의해야함
“ 조직의 목표와 우선순위에도 부합해야함”

10. Discussion
“다양한 배경의 이해관계자들이 참여하다보니 명확한 기준 부재”
• AI 시스템 개발 과정에는 다양한 이해 관계자들이 개입하는데, 각 이해 관계자들
이 동등한 파워 or 영향력을 가지지 못할 수 있음
• 불평등한 영향력은 AI 시스템이 공정하지 못하게 설계되도록 이끌 수 있음
• 여전히 다양한 이해 관계자들의 피드백을 어떻게 통합시킬지에 대해 불확실함
Ex) 정책 예측 시스템을 설계할 때, 주 사용자인 경찰에게 피드백을 요청하지만 정작 시스템에 의해 가장 많
은 영향을 받을 수 있는 지역사회 구성원은 배제될 수 있음. 이런 경우, 지역 사회 구성원을 참여 시켜도 이
들의 피드백을 어떤 식으로 공정하게 반영시킬 수 있을 지에 대한 가이드라인 부족함.
• 이해 관계자들의 분야/기술 영역/역할 등의 영향으로 인해서, 조직문화/목표/우
선순위 등이 다양화 되었음
Ex) 스타트업의 경우 AI 체크리스트가 유용하다는 사실을 알아도, SW 개발에서 공식적인 프로세스로 차지
하지 못함. 대기업의 경우 이미 공식적인 프로세스가 있지만, 제품에 초점을 맞춘 프로세스이지 실무자의 요
구는 반영되지 않고 있음.
• 통제할 수 없는 데이터에 대한 공정성 문제를 확인해야하는 상황 or 이미 서비스
가 고객에게 배포된 후 공정성 기준을 모니터링 하는 것에 대한 의문을 가짐

11. Discussion
“AI 공정성 체크리스트의 구축 시 고려 요인과 역할”
• AI 공정성 체크리스트를 준수한다는 것은, 프로세스의 복잡화 즉 생산성 저하를
의미함. (기존에도 보안성/접근성/프라이버시 등을 준수하면서 생산적 구속을 받
던 것과 비슷한 의미)
• ‘좋은 긴장감’의 측면에서 AI 공정성 체크리스트 준수는, AI 공정성에 대한 공개
적 논의 및 비판적인 대화를 유도하며, 소비자들이 공정성에 대한 목소리를 더
가질 수 있음
• 하지만, 지나치게 단순화된 체크리스트를 따르게 하는 것은 실무자들이 기존의
규정을 준수하게 함으로써 오히려 잘못된 행동을 유도하고 techno-
solutionism 경향을 강화시킬 수 있음
• 그러므로, AI fairness checklist는 조직 문화의 지원을 받으며, 그렇지 않은 경
우에는 실무자들이 수정할 수 있도록 유연하게 설계되어야 함

12. Summary
“조직적 인프라를 구축하되 유연성을 갖게 하여,
실제 실무자들의 AI 공정성 체크리스트 준수를 활성화”
• 실제 현업에 종사하는 실무자들을 바탕으로 공정한 AI 시스템 구축에 있어 어려
운 점이 무엇인지, 현실의 한계가 무엇인지에 대해 전반적으로 파악한 연구
• 임시적으로 진행되오던 AI 공정성 체크 절차를 공식화 할 수 있는 가능성 발견
• How에 대한 제시
• 공정성 고려하는 프로세스스는 기존 팀의 워크플로우에 맞춰 조정되어야 함
• 공정성에 대한 고민이 기업 내 조직 문화의 지원을 받아야 함
• 체크리스트는 팀에서 맞춤화해 사용할 수 있어야 함
• 기업 내 조직의 목표와 우선순위를 반영해 구성되어야 함
“공정한 시스템이 갖춰야할 factor를 제시한다기 보다는,
그런 AI 시스템을 만들기 위해 실무자들이 따라야하는
규칙을 만드는 가이드라인에 대한 제언
…
어떤 특성의 AI 시스템은 성별/나이는 제거한다 등의
구체적인 경우에서 고려할 factor에 대해 더 깊게 파보면 좋을 듯”