8차시

1. 강의 주제
 인공지능의 편향성
 데이터의 편향성
 인종 편향성

2.  데이터 편향 : 인종
 특정 인종에 대한 편향성은 왜 일어나는가?

3.  2018년 MIT 미디어랩은 '젠더 셰이즈(Gender Shades)' 프로젝
트를 통해 얼굴인식 기술이 가진 편향성 문제를 발표
 마이크로소프트(MS)의 얼굴인식 기술을 분석한 결과 백인의
경우 얼굴인식 정확도가 높았지만 흑인은 정확도가 떨어짐

4. 피부색이 어두울수록 얼굴인식 오류가 높음
얼굴 인식 시스템의 인종 편향성에 대해 설명하고 있는 MIT 미디어
랩의 조이 부오라뮈니(Joy Buolamwini )
https://www.ted.com/talks/joy_buolamwini_how_i_m_fighting_bias_in_algorith
ms?language=ko

5. 조이 부오라뮈니는 알고리즘 저스티스 리그(Algorithmic
Justice League)
창립

6.  인종에 대한 인공지능의 편향은 왜 일어나
는 것인가?
 젠더 편향처럼 데이터의 다양성 부족
 백인 남성/여성 데이터 학습 위주
 데이터의 양적 부족
 데이터의 투명성 부족
 데이터 출처
 데이터 수집가의 윤리 의식

7. 강의 주제
 인공지능의 투명성(transparency)
 설명 가능한 인공지능(eXplainable AI (XAI))

8. 편향성 투명성
인공지능의 신뢰성

9.  인공지능의 투명성(transparency)
AI 면접관은 왜 나를 떨어트렸을까?

10. 구글 딥마인드는 알파고가 이세돌 9단을 어떻게 이겼는지 그 과
정을 이해했을까?

11.  왜 추천 시스템은 나에게 이 상품을 추천했을까?

12.  네이버 인공지능 기반 추천 시스템 소개글
 “에어스(AiRS, AI Recommender System)는 네이버가 자
체 연구개발한 인공지능 기반 추천 시스템입니다…에어스
의 기술은 크게 두 가지를 바탕에 두고 있습니다. 협력 필
터(CF, Collaborative Filtering)기술과 인공 신경망 기반
의 품질 모델(QM, Quality Model)입니다. 비슷한 관심
분야를 가진 사람들이 본 콘텐츠를 추천하는 협력 필터
기술은 우선 이용자들이 콘텐츠를 소비하는 패턴을 분석
합니다. 그리고 비슷한 관심 분야를 가진 이용자를 묶어냅
니다. 이 과정을 통해 나와 비슷한 관심사를 가진 사람들
이 많이 본 콘텐츠를 먼저 선별해서 보여줍니다.”
과연 우리는 네이버에 어디까지 그 내용을 공개하라고
요구할 수 있을까?

13. 인공지능 내부에서 일어나는 의사 결정 과정은 불투명
블랙박스 방식의 딥러닝 기술의 문제점

14.  인공지능은 왜 투명하지 않을까?
 2020년 3월 포브스가 발표한 기고문『더욱 투명한 인공지능을
향해』
 설명할 수 없는 알고리듬
 학습 데이터세트의 가시성 부족
 데이터를 어디서 모았고 어떻게 정제했으며 어떤 특징을 사
용했는지 알 수 없는 경우
 데이터 선택 방법의 가시성 부족
 전체 학습 데이터에서 어떤 데이터를 선택적으로 사용했는
지 알 수 없는 경우
 학습 데이터세트 안에 존재하는 편향에 대해 제대로 파악하지
못하는 경우
 모델 버전의 가시성 부족
 모델을 지속적으로 개선하고 있는 경우, 전에는 잘되던 시스
템이 지금은 잘 안될 때 모델의 어느 부분이 달라졌는지 정
확히 모르는 경우

15.  설명 가능한 인공지능의 개념
 인공지능의 행위와 의사결정을 인간이 이해할 수 있는 방
식으로 그 과정을 해석하거나 결과에 도달한 이유를 알
수 있도록 도와주는 기술
• 기존 인공지능
- 95% 확률로 고양이입니다.
• 설명 가능한 AI
- 털, 수염이 존재하고…모양을 가지고 있
으며…95% 확률로 고양이입니다.

16.  토론
 수능 시험 대신 인공지능이 학점을 예측해서 부여한다
면?
 https://www.youtube.com/watch?v=LlDAYy34dKY

17.  인공지능 투명성 문제를 어떻게 해결할 수 있을까?
• 설명 가능하고 해석 가능한 인공지능 기술 제공
• 은닉 기능을 개발하지 않으며 위험에 대한 적극
적 예측 노력
인공지능 개발자
• 위험 관련 정보를 이용자와 공유
• 사회적 영향 평가 결과를 기술 개발 및 서비스 설
계에 반영
인공지능 공급자
• 특정 서비스 과정에 대한 설명을 개발자나 공급
자에게 요구할 권리가 있음
• 공개적이고 투명성이 확보된 기술을 사용
인공지능 이용자

18.  “케일렙, 에이바가 어떻게 작동하는지 설명해달라는 것을 이
해해. 그러나 미안하지만, 내가 그렇게 할 수 있을 거라고 생
각하지 않아” (영화<엑스마키나> 중에서)
영화 <엑스마키나>를 통해 본 인공지능의 투명성 문제

19.  데 우 스 엑 스 마 키 나 (deus ex
machina)
 라틴어로 ‘기계에 의한 신’ or
‘기계장치에서 나온 신’을 의
미
 고대 그리스극에서 자주 사용
하던 극작술
 초자연적인 힘(신)을 이용하여
극의 긴박한 국면을 타개하고,
이를 결말로 이끌어가는 기법

20. 줄거리
유능한 프로그래머 칼렙은 치열한 경쟁 끝에 인
공지능 분야의 천재 개발자 네이든의 새로운 프
로젝트에 참여하게 된다. 외부엔 알려지지 않은
그의 비밀 연구소로 초대받은 ‘칼렙’은 그 곳에서
네이든이 창조한 매혹적인 A.I. ‘에이바’를 만나게
된다. 칼렙의 임무는 에이바의 인격과 감정이 진
짜인지 아니면 프로그래밍 된 것인지를 밝히는
튜링 테스트를 진행하는 것. 즉, 에이바와 만나
대화를 나누고 에이바에게 자의식이 있는지 없
는지를 살펴보는 일이다. 그러나 점점 에이바도
그녀의 창조자 네이든도 그리고 자신의 존재조
차 믿을 수 없게 되고 모든 것을 의심하게 되는
데…

21. 칼렙
네이든
에이바 쿄코

22.  3차 테스트

23. • 인공지능 제작 과정을 몰래 해킹한 셀럽
• 네이든의 잔혹한 행위를 목격
• 자유를 원했던 인공지능들

24.  질문 1.
 칼렙은 에이바가 분명 인공지능 로봇임을 알고 있으면서도
어떻게 그녀에게 감정을 느낄 수 있었을까?

25.  질문2.
칼렙을 유혹하도록 프로그
래밍 된 것일까?
자의식(자유의지)에 의한 선
택이었을까?(자유의지에 의
해 칼렙을 유혹한 것일까?)
VS.

26.  질문3.
 그럼에도 불구하고…에이바에의 행동이 순수히 프로그래밍
된 결과였을까?