Lecture 08 of the 1st NS-CUK Winter School on Ethics of AI and Robots (AI Ethics 2022) Lecturer: Dr. Eun-Soon You Date: Jan 3rd, 2023 Topic: Why is AI ethics needed? Syllabus: https://nslab-cuk.github.io/2022/12/06/WS/

1. 강의 주제
 로봇도 윤리를 실천할 수 있는가?
 인공적 도덕 행위자(Artificial Moral Agent, AMA)
 AMA 구현을 위한 대표적인 윤리 이론
 칸트의 의무주의
 벤담의 공리주의
 AMA 구현 방식
 상향식(Top-down)
 하향식(Bottom-up)

2.  웬델 월러치(Wendell Wallach)와 콜린
알렌(Colin Allen) 『왜 로봇의 도덕인
가』)
 인공적 도덕 행위자(Artificial Moral
Agent, AMA)
 특정 상황에서 윤리적 판단을 할
수 있는 인공지능 로봇
 ‘인공적 도덕 행위자’ 개발의 당위성
 로봇과 인공지능의 의사 결정이
가져올 위험
 인공지능의 도덕성 문제를 해결할
수 있는 계기 마련
로봇도 윤리를 실천할 수 있는가?

3.  인공적 도덕 행위자(AMA) 구현을 위한 대표적인 윤리 이론
로봇도 윤리를 실천할 수 있는가?
칸트
의무주의
벤담
공리주의

4.  칸트의 정언명령
임마누엘 칸트(Immanuel
Kant, 1724-1804)
• 임마누엘 칸트
• 독일 관념철학의 기반을 확립
• 인식론을 대표
• 대표 저서 『순수이성 비판』
• 칸트의 정언명령
• 목적과 관계없는 필연적 명령
• 윤리적 법칙
• 칸트는 정언명령과 가언 명령을
구분
• 가언 명령은 목적에 도달하기
위한 수단

5.  칸트의 정언명령의 핵심 개념
 “인간은 자신의 목적으로서 존재하며 임의로 사
용되는 존재가 아니다. 인간을 단순한 수단으로만
다루지 마라. 인간을 동시에 언제나 목적으로 다
루도록 행동하라.”
 “네 의지의 준칙이 보편적 입법 원리에 타당하도
록 행동하라”
 도덕의 무조건성
 인간이면 누구나 무조건적으로 따라야 할 당위
법칙
 행위를 평가할 때 결과가 아닌 동기를 중시
 정언명령에 따른 행위만이 도덕적 행동

6. 칸트의 윤리에 의하면 동정심으로 누군가를 도왔다면
그것은 도덕적이지 않다(가언명령)
➔동기가 중요
내 마음과 관계없이 선한 행위의 동기는 그 행위가 옳
기 때문에 즉, 의무로서 행해야 하는 것이다(정언명령).

7.  토론 주제
 칸트의 정언명령과 가언명령의 예를 찾아보기
 로봇은 무조건적 선의지를 실천할 수 있을까?

8.  제레미 벤담의 공리주의
제 레 미 벤 담 (Jeremy
Bentham, 1748-1832)
• 제레미 벤담
• 영국의 법학자, 철학자
• 최대 다수의 최대 행복을 추구
하는 공리주의
• 행복은 쾌락, 불행은 고통
• 개인의 차원이 아닌 공중적
쾌락주의를 지향
• 많은 사람이 행복을 느끼면
그것이 옳은 것
• 동기 보다는 결과를 중요시
• 이익을 위해서는 어떤
것이든 도구로 사용 가
능

9.  존 스튜어트 밀의 질적 공리주의
 “만족한 돼지보다 불만족한 소크라테스가 낫다.”
 단 한 사람만이 다른 의견을 가지고 있다 해도 그 한 사람에
게 침묵을 강요할 권리는 없다.
(John Stuart Mill, 1806-1873)
영국의 사회학자, 철학자

10. 벤담의 공리주의 칸트의 의무론
옳고 그름의 기
준
• 결과주의
• 행동의 결과에 따라 옳고 그름
을 판단
• 동기에 의해 옳고 그름을 판
단
• 좋은 동기로부터 나온 행동만
이 옳은 것
도덕적 행동 최대 다수의 최대 행복 • 선의지에서 나온 행동
결과와 동기 • 결과는 동기를 정당화
• 최대다수의 최대 행복을 위해
서는 동기는 중요하지 않다.
• 결과는 동기를 정당화 할 수
없다.
• 결과가 좋더라도 수단이 비도
덕적이면 용납될 수 없다.

11.  토론 주제
 쾌락을 객관적으로 계산하는 것이 가능한가?
 물질적 쾌락 vs. 정신적 쾌락
 양적 쾌락 vs. 질적 쾌락

12.  트롤리 딜레마
 칸트의 정언명령(의무주의 도덕) vs. 벤담의 공리주의
• 브레이크가 고장 난 트롤리 기차가 달리고
있다. 레일 위에는 5명의 인부가 일을 하
고 있는데, 트롤리가 이대로 달린다면 5명
은 반드시 죽게 될 것이다. 한 가지 방법은
레일변환기로 트롤리의 방향을 바꾸는 것
뿐이다. 그런데 다른 레일 위에는 1명의
인부가 있다. 당신은 트롤리의 방향을 바
꿀 것인가?
• 5명을 구하기 위해 1명을 희생시킨다.(공
리주의)
• 5명을 구하기 위해 1명을 희생해서는 안
된다.

13.  토론 주제
 트롤리 딜레마에 대한 칸트의 입장과 벤담의 공리주의 입장
에 대해 이야기 하기
 칸트의 윤리를 기반으로 인공적 도덕 행위자를 구현하면 어
떤 선택이 옳은 것인가?
 벤담의 공리주의를 기반으로 인공적 도덕 행위자를 설계하
면 어떤 선택이 옳은 것인가?

14.  인공적 도덕 행위자(AMA) 구현 방식
로봇도 윤리를 실천할 수 있는가?
하향식(top-down) 상향식(bottom-up)
• 특정 윤리 이론을 선택하여 윤리
체계를 프로그래밍하는 것
-칸트(Kant)의 의무주의
-벤담(Bentham)의 ‘최대다수의 최
대행복’이라는 공리주의 원칙
-‘생명은 소중하다’라는 큰 원칙을
프로그래밍 해주고 로봇 스스로 판
단하게 하는 것(셀머 브링스요드
(Selmer Bringsjord)
•어린 아이가 발달 단계를 거치면
서 도덕적 추론을 배워나가듯이 윤
리와 도덕을 학습시키는 것

15.  하향식(top-down) 윤리 학습
 윤리를 알고리즘으로 구성하여 사고체계를 제공
하는 방식
 윤리적 사고가 단일한 하나의 원리 안에서 알고
리즘으로 구성 될 수 있다고 간주
 논리 기반 접근법에 전적으로 의존
 가장 큰 문제점은 알고리즘으로 구성할 도덕 가
치들에 대한 수치적 계산
 각각의 도덕적 공리에 대한 우선순위와 적합도를
계산해야 한다는 부담이 발생

16.  하향식(top-down)의 대표적 사례
• 아이작 아시모프(Issac Asimov)의 로봇 3원칙
-제 0원칙 : 로봇은 인류가 위험에 처하도록 해
서는 안 된다.
-제1원칙: 로봇은 인간에게 해를 끼쳐서는 안
되며, 위험에 처한 인간을 방관해서도 안 된다.
-제2원칙: 1원칙에 위배되지 않는 한, 로봇은 인
간의 명령에 복종해야만 한다.
-제3원칙: 제1원칙과 제2원칙에 위배되지 않는
한, 로봇은 자기 자신을 보호해야만 한다.

17.  상향식(bottom-up) 윤리 학습
 행위 자의 내재적인 가치를 함양하는 데 초점이 맞춰지기
때문에 행동의 인과적 결정 요인을 반영
 사회적 규범을 습득하는 방식과 유사하게 단계적으로 도
덕 문제 들을 해결
 학습 과정에서 제공된 정보와 경험들이 중요
 예측 불가능성의 문제
 모든 경우의 수를 경험할 수 없음

18. 미국의 ‘나이트 스코프’라는 기업에서 개발
한 경비용 로봇이 아이의 발을 다치게 하는
사고를 일으킴
• 인간 관계에서 존재하는 ‘실수’와
‘용서’를 로봇에게도 적용할 수 있
을까?
• 로봇의 실수에 대한 책임을 로봇에
게 물을 것인가? 아니면 로봇의 소
유주에게 물을 것인가?
• 인간은 로봇의 실수를 용서할 수 있
는가?
상향식(bottom-up) 방식의 문제점

19.  하향식(Top-down) 방식의 문제점
 영화 <아이, 로봇>의 합리적 연산
 생존율에 따른 결정
 “여러 사람이 위험에 빠졌을 때 생존율이 가장 높은 사
람을 구하라”

20.  토론 주제
 로봇 윤리와 인간의 윤리가 충돌했을 때 어떻게 해결해
야 할 것인가?
 예를 들어 영화 <아이, 로봇>에서 처럼 생존율에 따라야
하는 로봇의 윤리와 아이를 먼저 구해야 한다는 인간의
윤리가 충돌했을 경우

21.  기타 인공적 도덕 행위자(AMA)를 구현하는 방식
 하이브리드 방식
 상향식 윤리 방식과 하향식 윤리 방식을 접목
 논리 기반 접근법
 상향식 윤리 방식과 유사
 사례 기반 접근법
 하향식 윤리 방식과 유사
 다중 행위자 접근법

22.  토론 주제
 인간도 결정을 내리기 어려운 복잡한 상황에서 과연 로봇
의 결정을 옳은 것이라고 생각할 수 있을까?
 만약 로봇이 프로그래밍 된 윤리적 지침에 따라 행동한다
하더라도 그 행동의 결과가 인간에게 해가 될 가능성은 없
는가?

23.  2016년 미국 인공지능 학회에서 인공지능 윤리를 주제로 한
워크숍
 Benjamin Kuipers, "Human-like Morality and Ethics for
Robots", in: AAAI-16 Workshop on AI, Ethics and
Society, 2016.
 주목할 만한 논문
 조너선 하이트(Jonatham Haidt)의 ‘사회적 직관주의
모델’에 기반한 로봇의 도덕과 윤리 소개
o 배려/피해. 고정성/부정. 충성심/배신, 권위/전복, 고
귀함/추함, 자유/압제

24.  토론 주제
 만일 로봇이 아래 그림과 같은 상황을 발견했을 때 로봇은
어떤 상황인지 정확하게 인지할 수 있을까?

25.  윤리적 로봇 유형
 제임스 무어(James H. Moor)의 4가지 유형의 윤리적 로봇
 윤리적 영향을 미치는 에이전트(Ethical impact agent(1)
 암시적 윤리 에이전트Implicit ethical agents(2)
 명시적 윤리 에이전트Explicit ethical agents(3)
 완전한 윤리 에이전트Full ethical agents(4)

26.  윤리적 영향을 미치는 에이전트(Ethical impact agent) 사례
 인간에게 윤리적 영향을 미치는 로봇이나 기계
 카타르의 낙타 경주 로봇 기수
 낙타 경주는 아랍 국가의 전통적인 스포츠
o 어린 소년이 기수

27.  왜 낙타 경주에 로봇 기수가 등장했는가?
 2004년 이전까지만 해도 이들 낙타경주에는 주로 어린
소년들(인신매매를 통해 팔려온 경우가 대부분이었다.)이
기수로 활약했다. 기수의 몸무게가 가벼울수록 낙타의 기
록이 좋아지기에 낙타 주인들은 아이들에게 소량의 식사
만을 제공했고 결국 깡마른 소년들이 카타르의 땡볕 밑
에서 낙타몰이를 하는 모습이 오랜 세월 지속됐다. 2003
년 말, 카타르의 이런 참혹한 실태가 서방세계에 대대적
으로 알려지자 카타르 정부는 전세계의 비난을 받게 된
다. 카타르 정부는 결국 소년 대신 기수로 활약할 수 있는
로봇을 제작하도록 하였다.
 로봇이 기수로 활약하게 되면서 아이들의 인신매매와 아
동 학대 문제로 인한 윤리적 비판을 벗어나게 된다.

28.  토론 주제
카타르의 로봇 기수처럼 인간의 윤리적 문
제를 해결해준 로봇이나 기계의 사례를 찾
아 보기

29.  암시적 윤리 에이전트(Implicit ethical agents) 사례
 비윤리적인 결과를 방지하기 위해 행동을 제한하도록
설계된 기계
비행기의 자동 조종 장치

30.  명시적 윤리 에이전트(Explicit ethical agents)
 프로그래머가 명시적으로 공식화한 윤리적 규칙에 따라
스스로 윤리적 결정을 내리는 에이전트
 인공 도덕 에이전트(AMA)

31.  토론 주제
 명시적 윤리 에이전트의 사례 찾아보기
 만일 로봇이 참여한 수술에서 의료 사고가 났을
경우 그 책임은 누구에게 있는가?

32.  완전한 윤리 에이전트(Full ethical agents)
 인간과 동일한 수준의 윤리적 판단을 가진 에
이전트는 아직 존재하지 않음
 인간의 개입이 필요 없는 완전한 윤리 에이전
트를 개발해야 하는가?

33.  로봇의 윤리를 정리하며…
 루이스 멈퍼드(Lewis mumford)는 『기계의 신화』에서 “거대
기계(Megamachine)"라는 개념을 제시
 진정한 기계는 차가운 금속으로 만들어져 계기판과 점멸등
이 장착된 덩어리 즉, 물질기계가 아니라 인간사회 자체라며
최초의 기계는 ‘인간사회’라고 주장
 인간이 모든 것을 자신의 발 아래에 두고 절대적인 ‘신’처럼
군림하고자 하는 권력에 집착하는 한, 기계와 인간을 구별하
는 경계가 사라지고 기계 스스로 자유의지를 갖게 된다면 인
간과 기계의 갈등은 필연적으로 폭발할 수밖에 없음

34.  하지만 로봇은 인간을 닮아간다(1)
• 인간과 로봇의 대립
• 인간이 자신의 권위와 통치를 정당화하기 위한 ‘열등한’
타자의 필요성에서 기인
• 미셸 푸코(Michel Foucault)의 『지식의 고고학』
• 타자가 차이를 동일시하거나 아니면 무화 시키는 것
• 전자를 위해서는 지식이, 후자를 위해서는 무력이
동원
• ‘같은 영토 안의 타자’
• 기계에 대한 인간의 경계와 두려움
• 로봇이 인간만이 가질 수 있는 그러나 인간 스스로 잃어
버린 ‘인간성’을 선취
• 자유의지, 사랑, 사유능력, 영혼, 꿈…

35.  하지만 로봇은 인간을 닮아간다(2)
 로봇의 윤리는 로봇에게 강제로 입력된 윤리코드로 해결
될 수 있을까?
 『사피엔스의 미래』(스티븐 핑커, 알랭 드 보통 외 2명 저)
• 인류는 진보는 물질적 근거로 판단 할 수 없음
• 과학적 데이터로는 환원되지 않는 인간정신의 복잡성이
존재
• 인간과 로봇의 평화로운 공존
• 로봇(인공지능)이 인간의 수단이나 도구를 넘어 인간과 공
존하게 될 새로운 ‘타자’들이자 ‘동반 종들(companion
species)'로서의 인정

36. 4주차 과제
 테드 창(Ted Chiang)의 소설 『소프트웨어 객체의
생애주기(The Lifecycle of Software Objects)』(2010)
읽어 오기
 줄거리
 작품 속 소프트웨어인 디지언트(digient)의 개발
과정과 성장 과정과 인간이 그것을 교육하는 방
식에 주목

37. Ted Chiang(1967~)
테드 창 『소프트웨어 객체의 생애 주기』(2010)