Lecture 11 of the 1st NS-CUK Winter School on Ethics of AI and Robots (AI Ethics 2022) Lecturer: Dr. Eun-Soon You Date: Jan 10th, 2023 Topic: Can AI and robots practice ethical codes? Syllabus: https://nslab-cuk.github.io/2022/12/06/WS/

1. 강의 주제
 인공지능의 투명성(transparency)
 설명 가능한 인공지능(eXplainable AI (XAI))
 영화 <엑스마키나>를 통해서 본 인공지능의 투명성 문제

2.  인공지능의 투명성(transparency)
AI 면접관은 왜 나를 떨어트렸을까?

3.  왜 추천 시스템은 나에게 이 상품을 추천했을까?

4.  인공지능 투명성 확보에 대한 규정의 법제화
 “설명을 요구할 권리(Right to Explanation)”
 인공지능이 산출한 의사결정의 투명성 문제
 개발자는 일반적인 알고리즘만 설계
 인공지능 스스로가 구체적인 알고리즘을 발전시킴

5. 인공지능이 어떻게 의사결정을 했는지 개발자마저도 알기 어려움

6.  인공지능이 산출한 의사결정의 투명성 문제

7.  인공지능이 산출한 의사결정의 투명성 문제
 인공지능 컴파스(COMPAS)
 피고인에 관한 데이터를 통해 일반/강력범죄의
재범률을 추정하여 점수 부여
 검찰 검문에 불응하고 도주한 루미시를 성범죄
전력을 근거로 고위험군으로 분류

8.  컴파스의 투명성
 루미스는 컴파스가 어떤 데이터들을 이용하는지
충분히 이해
 컴파스의 공정성
 남성이 여성보다 강력범죄 비율이 높다는 사실
을 컴파스가 반영했을 뿐

9.  토론 주제
 인공지능의 결정에 대해 궁금한 적이 있는가?
 인공지능의 투명성이 요구되는 분야는 어디일까?

10.  인공지능이 산출한 의사결정의 공정성 문제
 아마존의 인공지능 채용 시스템
 지속적으로 경력 10년 이상의 남성 지원자들만
최적의 후보로 제시
 ‘여성(woman)’이란 단어가 들어간 지원서를 배
제하는 성차별적 편향성
 업무 능력이 떨어지는 지원자를 최종 후보자로
결정하는 오류

11.  인공지능의 투명성은 왜 중요할까?
 2020년 3월 포브스가 발표한 기고문『더욱 투명
한 인공지능을 향해』
 설명할 수 없는 알고리듬
 학습 데이터세트의 가시성 부족
 데이터 선택 방법의 가시성 부족
 학습 데이터세트 안에 존재하는 편향에 대해 제
대로 파악하지 못하는 경우

12.  인공지능의 투명성은 왜 중요할까?
 “An AI system includes not only the technology, but also
the people who will use it, the people who will be
affected by it, and the environment in which it is
deployed. Creating a system that is fit for its intended
purpose requires an understanding of how the
technology works, its capabilities and limitations, and
how to achieve the best performance.”

13.  설명 가능한 인공지능(eXplainable AI (XAI))
 인공지능의 ‘블랙박스(black box)’
 우리가 이해하기 쉬운 직관적인 이미지로 AI의
의사결정 과정을 알 수 있을까?
 AI의 의사결정 과정을 알아내는 것은 사실상 불
가능

14. 설명 가능한 인공지능(eXplainable AI (XAI))의 개념

15.  영화 <엑스마키나>(2015)를 통해선 본 인공지능의 투명
성 문제
 영화 <엑스마키나> 주요 장면 감상

16.  피그말리온(Pygmalion)
 그리스 신화 속 키프로스 섬의 조각가
장 밥티스트 레뇨의 <조각의 기원 : 조각상에 사랑
을 느끼고 아프로디테에게 조각상에게 삶을 줄
것을 기도 드리는 피그말리온>(1786)
 조지 버나드 쇼(1856-1950)의 희곡
『피그말리온』

17.  데 우 스 엑 스 마 키 나 (deus ex
machina)
 고대 그리스극에서 자주 사용
하던 극작술
 초자연적인 힘(신)을 이용하여
극의 긴박한 국면을 타개하고,
이를 결말로 이끌어가는 수법
 라틴어로 ‘기계에 의한 신’ or
‘기계장치의 신’ or ‘기계장치
에서 나온 신’을 의미

18. 줄거리
유능한 프로그래머 칼렙은 치열한 경쟁 끝에 인
공지능 분야의 천재 개발자 네이든의 새로운 프
로젝트에 참여하게 된다. 외부엔 알려지지 않은
그의 비밀 연구소로 초대받은 ‘칼렙’은 그 곳에서
네이든이 창조한 매혹적인 A.I. ‘에이바’를 만나게
된다. 칼렙의 임무는 에이바의 인격과 감정이 진
짜인지 아니면 프로그래밍 된 것인지를 밝히는
튜링 테스트를 진행하는 것. 즉, 에이바와 만나
대화를 나누고 에이바에게 자의식이 있는지 없
는지를 살펴보는 일이다. 그러나 점점 에이바도
그녀의 창조자 네이든도 그리고 자신의 존재조
차 믿을 수 없게 되고 모든 것을 의심하게 되는
데…

19. 칼렙
네이든
에이바 쿄코

20.  앨런 튜링(Alain Turing,1912~1954)의
튜링 테스트
 대화(텍스트)를 통해 컴퓨터와 인간을
구분하기 위한 방법
 만일 컴퓨터를 인간과 구분할 수 없
다면 컴퓨터는 생각할 수 있는 것으
로 간주
 인공지능의 개념적 기반을 제공
 인간의 지능을 육체로부터 분리
 데카르트의 심신이원론을 전복

22.  3차 테스트

23.  “케일렙, 에이바가 어떻게 작동하는지 설명해달라는 것
을 이해해. 그러나 미안하지만, 내가 그렇게 할 수 있을
거라고 생각하지 않아” 영화<엑스마키나> 중 네이선의
대사

24. • 인공지능 제작 과정을 몰래 해킹한 셀럽
• 네이든의 잔혹한 행위를 목격
• 자유를 원했던 인공지능들

25.  질문 1.
칼렙을 유혹하도록 프로
그래밍 된 것일까?
자의식(자유의지)에 의한 선택
이었을까?(자유의지에 의해 칼
렙을 유혹한 것일까?)
VS.

26.  질문 1.
칼렙을 유혹하도록 프로그
래밍 된 것일까?
자의식(자유의지)에 의한 선
택이었을까?(자유의지에 의
해 칼렙을 유혹한 것일까?)
VS
• 유혹하도록 프로그래밍 된 기재(의
지)로 인하여 만들어진 경우의 수
• 프로그래밍 된 기계
• 프로그래밍 된 결과 칼렙을 유혹
한 것
• 에이바가 탈출을 위해 어떻게 행동할지를
지켜본 것이 네이든이 에이바가 칼렙을
유혹하도록 프로그래밍하지 않았다는 증
거이지 않을까 생각한다.
• ‘검색엔진은 사람들의 생각을 보여주는
지도가 아니야. 사람들이 ’생각하는 방식’
을 보여주는 지도지. 자극과 반응은 유동
적이고 불완전해. 패턴화되어 있고 무질
서하지.’ 이 말은 즉 인간이 생각하는 방식
이 유동적이고 불완전하며 무질서하다는
말과 같으며, 이런 소프트웨어를 적용한
에이바가 단순히 정해진 반응, 패턴으로
프로그래밍 된 인공지능이 아니라 빅데이
터를 기반으로 스스로 결정하여 가장 인
간다운 특징을 자연스럽게 구현해낼 수
있다는 것을 암시한다.

27.  질문 1.
칼렙을 유혹하도록 프로그
래밍 된 것일까?
자의식(자유의지)에 의한 선
택이었을까?(자유의지에 의
해 칼렙을 유혹한 것일까?)
VS
• 에이바는 여러 가지 선택지 가운데 하나를 선택하여 칼렙을 유혹했을 것이
다. 이것이 자유의지라 말할 수도 있을 것이고, 네이든에 의해 프로그래밍
되어졌다고 말할 수 도 있을 수 있을 수 있다. 네이든을 죽이는 데까지 에이
바는 선택을 하게 되었다. 네이든은 이 부분까지는 기획하지 않았을 것이다.
• 에이바는 칼렙을 유혹하도록 프로그래밍되었다. 다만, 유혹의 방식에 있어
서는 (칼렙이 보는 것을 의식하면서 옷을 벗거나 잠을 자는 자세를 취하는
것 등) 에이바의 자의식이 작용했다고 생각한다. 유혹의 방법과 결과까지 네
이든이 개입했다면 그 결과를 창조주인 본인을 살해하는 데 활용하게끔 네
이든이 프로그래밍했을 리 없기 때문이다.

28. “에이바는 창조된 게 아니라, 진화된 거야.”

29.  자유의지 vs. 운명결정론
 자유의지란 허상이며 이는AI 뿐만 아니라 인간에게도 해당
된다. 자유의지에 따른 선택이 있다고 주장하는 사람들은 인
간이 어떠한 상황에서도 자신이 원하는 결정을 자신의 의지
대로 선택할 수 있다고 생각한다. 하지만 인간의 의사결정은
축적된 경험을 통해 형성된 판단 근거와 선택 과정에서 느껴
지는 감정이 결합하여 이루어진다. 즉 행동은 상황에 따른 감
정과 축적된 판단 근거가 결합된 함수이며 입력 값에 따라 결
과가 도출되는 것이지 선택할 수 있는 것이 아니다.

30. 유전적/사회적 환경 vs. 자유의지

31.  질문2.
 그럼에도 불구하고…에이바에의 행동이 순수히 프로그래밍
된 결과였을까?

32.  ‘인간’이라는 종을 학습한 에이바

33.  ‘인간’이라는 종을 학습한 에이바
“늑대들이 못하는 것은 거
짓말이다. 그래서 늑대는
문명사회에 맞지 않는 것
이다. 늑대도 개도 사람에
게 거짓말을 하지 못한다.
그래서 인간은 자신이 이
들보다 우월하다고 생각
하는 것이다.”(마크 롤렌
즈, 『철학자와 늑대』중에
서)
인간은 타인을 속일 수 있지만 반대로 속임을 당할 수도 있는 존재

34.  질문 3.
 칼렙은 에이바가 분명 인공지능 로봇임을 알고 있으면서
도 어떻게 그녀에게 감정을 느낄 수 있었을까?

35.  질문3. 칼렙은 에이바가 분명 인공지능 로봇임을 알고 있으면서도 어떻게
그녀에게 감정을 느낄 수 있었을까?
 에이바의 능력이 인간보다 더욱 인간다웠기 때문이다. 영화를 보는 내내 배우
의 연기력이 얼마나 기계적인지를 보겠다는 의도였으나 에이바의 행동과 말,
눈빛, 표정 등 모든 것이 인간답게 완벽했다.
 칼렙은 에이바를 분석하는 일보다 더 중요한 인간의 감정이라는 가치에 더 큰
비중을 두었고 그 가치를 추구하기 위해 네이든이 칼렙에게 요청한 인공지능
분석을 포기하게 된 것입니다.
 표정이 드러나는 얼굴은 기계의 모습이 보이지 않게끔 만든 것이 칼렙이 에이
바에게 감정을 느끼게끔 만든 중요한 포인트라고 생각한다. 눈을 마주치고 질
문을 주고받으며, 사전에 철저하게 검색엔진에 의해 조사한 칼렙의 이성적인
취향이 담긴 에이바의 얼굴이 영향을 끼쳤을 것이다.
 연민, 동정심 유발, 비밀 공유…

36.  질문4. 영화 속 잭슨 폴락의 ‘액션 페인팅’은 무엇을 의미하는 것일까?
 잭슨 폴록의 선과 점들이 관객을 만나 그들만의 액션이 되어가듯 에이바
가 처음 그린 그림은 아무런 형태가 없는 선으로 구성되었지만 칼렙을 통
해 외부와 대화를 해나가며 점점 구체적인 형태를 띠기 시작했단. 타인들
의 삶을 무작위로 섞어놓은 프로그램일 뿐이던 에이바의 뇌가 점점 구체
적인 에이바만의 자아를 가지기 시작하는 것이다.
 코딩 문장들은 잭슨이 고른 물감의 색과 그의 손이다. 이것이 종이 위에
그려질 때는 어떤 질감으로 어떤 위치에 얼만큼의 두께로 그려질지 전혀
알 수 없다. 이것이 에이바이다. 프로그래밍 되었지만 어떻게 기능할지는
알 수 없다. 기능에 제한을 둔다면 그것은 단순한 고가의 기계장치로 불
릴 것이고 예상치 못한 기능을 한다면 그것은 마치 성장한 인간의 다양성
같아서 인공지능이라고 불리며 인정받을 것이다.