Lecture 10 of the 1st NS-CUK Winter School on Ethics of AI and Robots (AI Ethics 2022) Lecturer: Dr. Eun-Soon You Date: Jan 9th, 2023 Topic: How can we solve the ethical dilemmas of AI and robots? Syllabus: https://nslab-cuk.github.io/2022/12/06/WS/

1. 강의 주제
 인공지능의 편향성
 데이터 윤리에서 인공지능 편향성 문제

2.  인공지능 윤리의 핵심 ‘인공지능 신뢰성’
인공지능 신
뢰성 검증체
계
인공지능
신뢰성 인
증
인공지능
윤리

3. 인공지능의 편향성은 인공지능의 신뢰성을
떨어트리는 가장 큰 윤리적 문제

5.  데이터 편향성
 데이터를 처리하는 과정에서의 편향성
 빅데이터는 이를 사용하는 개인이나 사회에게 큰 편리함
을 주기도 하지 만, 빅데이터의 수집과 처리 과정에서 윤
리적이지 않은 요소들이 개입되어 영향을 미친다면, 빅
데이터의 수집과 활용에 대한 윤리적인 판단의 필요성이
제기
 편향성(bias) 문제
 빅데이터와 기계학습, 인공지능과 관련되어 제기되는
윤리적인 이슈
 편향성(bias) vs. 편견(prejudice)
o 편향성 : 통계적, 기술적인 용어
o 편견 : 윤리적인 용어

6.  언어 모델의 편향성
GPT-2, GPT-3, BERT, RoBERTa
 방대한 데이터를 학습한 초거대 언어 모델
 데이터에 내재된 편향성
 Islam – terror
Reddit 사용자는 대부분 20~40대 남성과 미국인

7.  인공지능 알고리즘 편향성에 대한 전문가 진단
 “흔히들 인공 지능 알고리즘에 의한 기계적 예측이나 의사결정
은 인간의 의사결정이 가지고 있는 편견이나 오류의 문제에서
자유롭다고 생각하기 십상이다. 그러나 이러한 인공 지능 알고
리즘에 의한 의사결정 과정의 편향성이나 오류 가능성은 항시
존재하며, 특히 인공지능의 편향성은 그로 인한 차별 등의 문제
를 야기하여 차별금지라고 하 는 사회적 가치를 훼손할 여지가
크다”
 “알고리즘은 인간의 주관이 개입할 수밖에 없는 구조”
 “현재 AI 기술 초기 단계로 알고리즘만으로 공정성 담보 어려
워”
 “알고리즘 구성과 변수 등 기준 항목 공개 필요”
 “기업 자율성 해치지 않는 범위에서 AI 가이드라인 제도화”

8. 데이터 자체의
편향성
데이터 처리과
정의 편향성

9.  기업의 알고리즘 편향성 문제
 2020년 10월 6일 공정거래위원회에서는 네이버㈜에 대해
자사의 검색알고리즘을 인위적으로 조정·변경한 것에 대
한 시정명령과 함 께 약 267억 원의 과징금을 부과
 공정거래위원회는 이 사건을 “네이버가 자신의 검색 알고
리즘을 조정·변경하여 부당하게 검색결과 노출 순위를 조
정함으로써 검색결과가 객관적이라고 믿는 소비자를 기
만하고 오픈 마켓 시장과 동영상 플랫폼 시장의 경쟁을
왜곡한 사건”으로 규정
 미국 하원에서도 아마존, 애플, 페이스북, 구글 등 4대 온
라인 업체에 대해 디지털 시장에서의 지배력 남용을 비판
하는 보고서 발표

10.  토론 주제
 초거대 모델에서도 왜 편향성이 일어나는가?
 데이터의 편향성이 제기하는 윤리적 이슈의 사례
찾기

11.  데이터 편향성 ‘젠더’
 젠더 편향성이란 무엇인가?
 성차별
 특정 젠더를 선호하는 경향
 남성>여성
 성별에 근거한 여성에 대한 편견

12.  위키백과의 젠더 편향 현황
 “2010년 위키백과 편집자 중 12.7%만이 여성이라는 조사 결과가
발표되었고, 이 결과가 뉴욕 타임스에 보도됨에 따라 위키백과의
젠더 편향 문제가 부각되기 시작되었다. 또한 2012년에 위키데이
터가 출범함에 따라 여성에 대한 전기(biography)보다 남성에 대
한 전기가 압도적으로 많이 작성된 것으로 조사되어 편집자뿐만
아니라 위키백과 콘텐츠에도 젠더 편향이 존재하는 것이 드러났
다. 위키미디어 재단은 이러한 편향 문제를 해결하기 위하여 다양
한 캠페인을 진행하였고, 아트+페미니즘(Art+Feminism), 위민 인
레드(Women in Red) 등의 프로젝트가 출범하였다. 이러한 노력
에도 불구하고 2018년에 위키미디어 재단이 실시한 조사에 따르
면 여성 편집자는 여전히 9%에 불과하다.”(구은애 사무국장(한국
위키미디어 협회)

13. "거리"라는 검색어에 대한 이미지 결과 (2021. 09.27)

14. "거리"라는 검색어에 대한 이미지 결과(2022. 10.06)

15.  젠더 편향의 유형
기술개발 시 남성
사용자 혹은 남성을
몸을 표준
여성과 남성에 대한
고정관념

16.  젠더 편향은 왜 일어나는가?
 남성 사용자나 남성의 몸은 기술 발전의 기준
자동차 충돌 테스트에서 안전을 테스트하는 데 사용되는 더미(인형)

17. 평균 성인 여성 충돌 테스트 더미(인형)는 나중에 등장
“여성은 남성의 작은 버전이 아닙니다. 그것들은 다르게 구성되어 있습니다.”
여성의 부상 위험 증가

18.  젠더 편향은 왜 일어나는가?
 젠더 고정관념

19.  젠더 고정관념 사례
 프랑스 잡지 <엘르>에 여성 소설가를 소개하는
방법
 “Jacqueline Lenoir(두 소녀, 한 소설), Marina
Grey(아들, 한 소설), Nicole Dutreil(두 아들, 네
소설)…
 ➔위의 소개가 암시하는 것은 무엇인가?
 ➔여성의 임무는 아이를 낳는 것?

20.  인형은 젠더 편향의 이데올로기를 강화해온 대표적 사례

21. 광고 속 여성의 모습
남자는 생계를 책임지고 여자는
가사를 돌본다?

22.  왜 AI 비서는 거의 항상 여성의 목소리를 갖고 있는가?
Amazon Alexa Apple Siri Microsoft Cortana

23.  현대신화(Modern Myths)
 오늘날 우리가 의심 없이 믿고 따르는 성 편견을 포함한 고
정관념을 ‘신화’라 규정(Roland Barthes)
• 프랑스 문학 이론가, 철학자, 기호학자
• 그의 사상은 다양한 분야를 탐구했고 구조
주의, 인류학, 문학이론, 후기구조주의를 포
함한 많은 이론 학파의 발전에 영향을 미침
• 영화, 드라마, 광고, 사진 등 대중문화 속 고
정관념을 찾아 분석
롤 랑 바 르 트 (Roland Barthes,
1915~1980)

24.  얼굴 인식에서 일어나는 젠더 편향
“Ain't I a Woman?”
"나는 여성이 아닌가요?" (1851년 여성권리대
회에서)
소저너 트루스(Sojourner Truth, 1797~1883)
19세기 미국에서 활동한 노예 출신, 아프리카계 미국인 노예제 폐지론자, 여성인권
운동가

25. Shirley Chisholm(1924-2005)
Ida B. Wells (1862-1931) Michelle Obama(1964~) Oprah Winfrey(1954~)
“AI, Ain't I a Woman?”
task of guessing the gender of a face
https://www.youtube.com/watch?v=QxuyfWoVV98

26.  데이터 편향, 젠더 편향은 왜 일어나는 것일까?
 데이터 수집과정에서 발생
 데이터의 다양성 부족
 데이터의 양적 부족
 데이터를 수집하는 사람의 윤리 반영

27.  토론 주제
 일상에서 경험했던 젠더 편향에 대해 얘기하기
 각자 갖고 있는 젠더의 고정관념에 대해 얘기하기
 젠더 편향은 기술적으로 해결될 수 있을까?

28.  데이터 편향 : 인종
 특정 인종에 대한 편향성은 왜 일어나는가?

29.  2018년 MIT 미디어랩은 '젠더 셰이즈(Gender Shades)' 프로젝
트를 통해 얼굴인식 기술이 가진 편향성 문제를 발표
 마이크로소프트(MS)의 얼굴인식 기술을 분석한 결과 백인의
경우 얼굴인식 정확도가 높았지만 흑인은 정확도가 떨어짐

30.  미국 표준기술연구소(NIST)는 2019년 189개의 얼굴
인식 알고리즘에 대한 성능 평가를 진행
 아시아인이나 흑인의 경우 백인보다 얼굴인식이
최대 100배까지 잘못 인식
 학습 과정에서 다양한 인종의 얼굴 이미지를 학습
하지 못한 결과
 백인 남성 위주의 학습은 아시아인이나 흑인 얼굴
은 인식하기 힘듦

31. 피부색이 어두울수록 얼굴인식 오류가 높음
얼굴 인식 시스템의 인종 편향성에 대해 설명하고 있는 MIT 미디어
랩의 조이 부오라뮈니(Joy Buolamwini )
https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorithms?language
=ko

32.  토론 주제
 조이 부오라뮈니(Joy Buolamwini )의 Ted 동영상
에서 강조하는 인종 편향성의 문제점은 무엇인가?
 다문화 시대에서 일어나는 인종 편향의 문제

33. 조이 부오라뮈니는 알고리즘 저스티스 리그(Algorithmic
Justice League)
창립

34.  인종에 대한 인공지능의 편향은 왜 일어나
는 것인가?
 젠더 편향처럼 데이터의 다양성 부족
 백인 남성/여성 데이터 학습 위주
 데이터의 양적 부족
 데이터의 투명성 부족
 데이터 출처
 데이터 수집가의 윤리 의식

35.  기술을 통한 편향성 문제 해결
 최근 구글은 '몽크 스킨 톤(Monk SkinTone, MST)'을 채택
 사람의 피부색을 정확하게 나타낼 수 있는 10가지 색조(tone)
를 단계별로 구현

36.  국내외 인공지능 편향성 검증 도구
 AI가 공정한지 진단하고 편향성을 교정하는 진단시
스템
 AI 편향성을 측정하는 알고리즘
 대표적인 국내외 검증 도구
 IBM의 'AIF360', MS의 'Fairlearn', 구글의 'What
ifTool' 등
 카 이 스 트 에 서 개 발 한 모 델 MSIT AI FAIR
2022(MAF 2022)
 “AI 공정성 진단시스템 중 높은 성능을 자랑”
 AI 검증 도구 역시 지속적인 업데이트가 필요

37.  토론 주제
 인공지능은 인간의 편향성을 닮는다
 편향성에 대한 기술적 해결 이외에 우리는
어떤 노력을 해야 하는가?
 나는 얼마나 윤리적인 존재인가?