6차시

1. 강의 주제
 윤리적 인공지능(로봇) 구현을 위한 기술
 윤리와 도덕의 개념
 상향식(Bottom-up)
 하향식(Top-down)
 AMA 구현(하향식)을 위한 대표적인 윤리 이론
 칸트의 의무주의
 벤담의 공리주의
 테드 창(Ted Chiang)의 소설 『소프트웨어 객체의 생애주
기(The Lifecycle of Software Objects)』(2010) 속 상향식
사례

2. 최초의 윤리학, 아리스토텔레스의 『니코마코스 윤리학』
라파엘로(Sanzio Raffaello), <아테네 학당>(1510~1511)

3. 최초의 윤리학, 아리스토텔레스의 『니코마코스 윤리학』
• 행복은 인간이 추구하는 최고의
선(좋음)
• 윤리학의 주제는 개인 또는 일부
집단의 행복

4.  윤리란 무엇인가?
 윤리(ethics) vs. 도덕(morals)
 윤리적 규범이 반드시 도덕적이지 않음(도덕적일 필요는 없음)
 “나는 지하철 역에서 무거운 짐을 들고 힘겹게 계단을 올라가시는 할머
니를 도와 드렸다.”
 “나는 어린이 보호구역에서 통행 속도를 30km 이내로 줄였다”
도덕 윤리
공통점 • 오랜 세월 경험과 학습을 통해 체화된 것
차이점 • 주변 환경에 의해 형성
• 옳고 그름에 대한 견해를 형성
• 개인적 행동의 관습과 원칙
- ‘도덕적’
- ‘양심을 따른다’
• 강제성이 약함(법적 처벌 x)
• 사회적 행동 관습과 범례를 지칭
- ‘윤리적’
- 사회적 질서 유지를 위한 법
- 특정 집단 내에서 허용되는 행위
나 올바른 행동(Ex) 직업 윤리)
• 보편적 정의나 신조와는 관계 없
음
• 강제성이 강함(법적 처벌)

5. • 도덕과 윤리 간의 충돌
• 소포클레스( Sophocles, BC496~BC406)의 희곡 『안티고네(Antigone)』(BC441)
오이디푸스와 안티고네 안티고네와 폴리네이케스
혈육(오빠)의 장례를 치러야 하는 가족의 법(도덕) vs 반역자의 장례를 금지하는 국가의 법(윤리)

6. • 도덕과 윤리 간의 충돌
• 소포클레스( Sophocles, BC496~BC406)의 희곡 『안티고네(Antigone)』
(BC441)
• 줄거리
 안티고네는 오이디푸스 왕의 딸이다. 아버지이자 왕인 오이디푸스가
스스로 눈을 찔러 실명한 채로 떠돌아 다니게 되고, 두 오빠 폴리네
이케스와 에테오클레스가 왕권을 놓고 다투다 모두 죽는다. 그리하
여 안티고네의 삼촌인 크레온이 왕이 된다. 크레온은 애국자인 에테
오클레스만 성대히 장례를 치러주고 반역자 폴리네이케스의 시체는
들에 그냥 버려두어 야생동물들에게 먹히게 하라는 포고를 내린다.
안티고네는 혈육의 정에 이끌려 크레온의 명령을 어기고 들에 버려
진 폴리네이케스의 시체를 몰래 묻어준다. 이 사실을 안 크레온은
안티고네를 소굴에 가둔다. 안티고네를 연모하던 크레온 왕의 아
들 하이몬도 안테고네를 따라 죽기로 결심하는데 크레온은 아들이
죽게 된 것에 놀라서 안티고네가 갇혀 있는 소굴로 달려간다. 하이
몬은 아버지를 보자 격분하여 칼로 찌르려고 하고 크레온은 도망친
다. 하이몬은 자살하고 이 사실을 안 크레온왕의 아내 에우리디케도
침대에서 자살한다.

7.  사진 작가 케빈 카터(Kevin Carter)의 <수단의 굶주린 소녀>

8.  토론 주제
 『안티고네(Antigone)』의 결정에 대해 어떻게 생각
하는가?
 국가의 법률(윤리)이 우선인가?
 가족의 장례를 치르는 것(도덕)이 우선인가?
 사진 작가 케빈 카터의 사건에 대해 각자 의견 이야
기 하기

9.  웬델 월러치(Wendell Wallach)와 콜린
알렌(Colin Allen) 『왜 로봇의 도덕인
가』)
 인공적 도덕 행위자(Artificial Moral
Agent, AMA)
 특정 상황에서 윤리적 판단을 할
수 있는 인공지능 로봇
로봇도 윤리를 실천할 수 있는가?

10.  인공적 도덕 행위자(AMA) 구현 방식
로봇도 윤리를 실천할 수 있는가?
상향식(bottom-up) 하향식(top-down)
• 어린 아이가 발달 단계를 거치면서 도
덕적 추론을 배워 나가듯이 윤리와 도덕
을 학습시키는 것
• 인간이 사회적 규범을 습득하는 방식
과 유사하게 단계적으로 도덕 문제 들을
해결
• 학습 과정에서 제공된 정보와 경험들
이 중요
• 예측 불가능성의 문제
- 모든 경우의 수를 경험할 수 없음
• Riedl, M. O., & Harrison, B. (2016,
March). Using stories to teach
human values to artificial agents. In
Workshops at the Thirtieth AAAI
Conference on Artificial Intelligence.
• 윤리적 사고가 단일한 하나의 원리 안
에서 알고리즘으로 구성 될 수 있다고 간
주
• 특정 윤리 이론을 선택하여 윤리체계를
프로그래밍하는 것
-칸트(Kant)의 ‘의무주의(정언명령)’
-벤담(Bentham)의 ‘최대다수의 최대행복’
이라는 ‘공리주의 원칙’
• 서로 다른 윤리 이론들 간의 충돌
- 칸트  벤담
• 각각의 도덕적 공리에 대한 우선순위
와 적합도를 계산해야 한다는 부담이
발생
- 영화 <아이, 로봇>에서 생존율 계산

11.  토론 주제
 만일 로봇이 아래 그림과 같은 상황을 발견했을 때 로봇
은 어떤 상황인지 정확하게 인지할 수 있을까?

12.  아이작 아시모프의 로봇 윤리 3원칙
 인간에 대한 로봇의 원칙
 로봇이 인간에게 위험한 존재가 되지 않도록 준수해야 할 원칙
사이언스 픽션 소설가
아이작 아시모프(Issac
Asimov)(1920~1992)
 아이작 아시모프의 대표작
 SF 대하소설 파운데이션(Foundation) 시리즈
 로봇 시리즈
 단편 『나는 로봇이야(I, Robot)』 (1950)
 『200년을 산 사나이 』(1976)
 『여명의 로봇』(1983)
 『로봇과 제국』(1985)

13.  영화 <아이, 로봇>의 구조 로봇의 윤리 실현 방식은?
 상향식? 하향식?
 생존율에 따른 결정
 “여러 사람이 위험에 빠졌을 때 생존율이 가장 높은 사
람을 구하라”

14.  인공적 도덕 행위자(AMA)(하향식) 구현을 위한 대표적인 윤
리 이론
로봇도 윤리를 실천할 수 있는가?
칸트
의무주의
벤담
공리주의

15.  칸트의 의무주의(정언명령)
임마누엘 칸트(Immanuel
Kant, 1724-1804)
• 임마누엘 칸트
• 독일 관념철학의 기반을 확립
• 인식론을 대표
• 대표 저서 『순수이성 비판』
• 칸트의 정언명령
• 목적과 관계없는 필연적 명령
• 칸트는 정언명령과 가언 명령을
구분
• 가언 명령은 목적에 도달하기
위한 수단

16. 칸트의 윤리에 의하면 동정심으로 누군가를 도왔다면
그것은 도덕적이지 않다(가언명령)
동기가 중요
내 마음과 관계없이 선한 행위의 동기는 그 행위가 옳
기 때문에 즉, 의무로서 행해야 하는 것이다(정언명령).

17.  칸트의 정언명령의 핵심
 “인간은 자신의 목적으로서 존재하며 임의로 사
용되는 존재가 아니다. 인간을 단순한 수단으로만
다루지 마라. 인간을 동시에 언제나 목적으로 다
루도록 행동하라.”
 “네 의지의 준칙이 보편적 입법 원리에 타당하도
록 행동하라”
 도덕의 무조건성
 인간이면 누구나 무조건적으로 따라야 할 당위
법칙
 행위를 평가할 때 결과가 아닌 동기를 중시
 정언명령에 따른 행위만이 도덕적 행동

18.  제레미 벤담의 공리주의
제 레 미 벤 담 (Jeremy
Bentham, 1748-1832)
• 제레미 벤담
• 영국의 법학자, 철학자
• 최대 다수의 최대 행복을 추구하
는 공리주의
• 행복은 쾌락, 불행은 고통
• 개인의 차원이 아닌 공중적
쾌락주의를 지향
• 많은 사람이 행복을 느끼면
그것이 옳은 것
• 동기 보다는 결과를 중요시
• 이익을 위해서는 어떤 것
이든 도구로 사용 가능

19. 벤담의 공리주의 칸트의 의무론
옳고 그름의 기준 • 결과주의
• 행동의 결과에 따라 옳고
그름을 판단
• 동기에 의해 옳고 그름을 판
단
• 좋은 동기로부터 나온 행동만
이 옳은 것
도덕적 행동 최대 다수의 최대 행복 • 선의지에서 나온 행동
결과와 동기 • 결과는 동기를 정당화
• 최대다수의 최대 행복을 위
해서는 동기는 중요하지 않
다.
• 결과는 동기를 정당화 할 수
없다.
• 결과가 좋더라도 수단이 비도
덕적이면 용납될 수 없다.

20. Ted Chiang(1967~)
테드 창의 소설 『소프트웨어 객체의 생애 주기』(2010)에서 묘
사된 로봇의 상향식 구현 방법
• 미국의 SF 소설 작가
• 브라운 대학교에서 물리학
과 컴퓨터 공학을 전공
• 주요 SF 문학상인 휴고상,
네뷸러상 수상
• 대 표 작 『 바 빌 론 의 탑 』
(1990), 『당신 인생의 이야기』
(1998). 『숨』(2019)

21.  테드 창(Ted Chiang)의 소설 『소프트웨어 객체의 생애주기
(The Lifecycle of Software Objects)』(2010)은 어떤 작품인가?
 SF계의 노벨상이라 불리는 휴고상 수상

22. 테드 창 『소프트웨어 객체의 생애 주기』(2010) 줄거리
"블루 감마"라는 한 게임 스타트업은 성장하는 애완 인공지능을 만든다. 이 애완 인공지능들을
"디지언트"라 부르는데, 말을 할 수 있고 동물의 생김새를 따른다. 인간과 비슷하게 천천히 성장
한다. 주인공인 애나는 동물원 사육사로 일하던 경험을 살려 블루 감마의 디지언트 교육을 맡는
다.
블루감마의 서비스는 출시 직후 큰 관심을 받는다. 하지만 얼마 지나지 않아 서비스 구매자들은
디지언트가 그들이 원하는 방식대로만 자라지 않는다는 사실을 깨닫는다. 사용자의 관심이 급
감하고, 수익성이 나빠진 사업 또한 끝이 보인다. 그러나 사육사 출신 "애나"와 디자이너 "데릭"
은 키우던 디지언트에 애착을 갖고, 그들을 꾸준히 키우기로 한다. 그러나…
애나와 데릭은 여러 방면으로 지원금을 받을 수 있는 방법을 찾는다.
그 중 하나는 "성인용 디지언트" 개발을 원하는 성인물 기업이었다. 그들은 디지언트에게 성적
인 요소를 부여하고, 100% 디지언트가 원하는 인간/디지언트와만 관계를 맺도록 할 것이라 말
한다. 만약 이 기능을 개발하도록 허락할 경우, 이주 비용을 지원해주겠다 한다. 그러나 애나는
디지언트가 성적으로 착취당할 수 있다 판단하여 거절 의사를 밝힌다. 디지언트가 성인 인간만
큼 성적인 경험이 풍부하지 않다는 것이 그 이유이다.
반면, 데릭은 그의 디지언트인 마르코와 폴로에게 그들의 의견을 묻는다. 이전에도 데릭에게 여
러 차례 독립시켜달라 말했던 그들이었기 때문이다.
시간이 지날수록 디지언트의 자유 의지가 높아진다. 말도 잘 못하던 아이에서 주체성을 지닌 청
소년까지 자라는 모습은 인간과 다를 바가 없다. 그들은 하나의 독립된 존재로 살고자 하며, 성
적인 존재가 되는 것에 불만이 없다.
데릭은 성인용 디지언트 개발사에게 개발 권한을 내주고, 그의 디지언트들이 원하는 삶을 살도
록 한다. 그렇다면 애나의 선택은…

23. • 상향식(Bottom-up) 학습 방법을 통해
소프트웨어 디지언트를 교육
• 상향식 학습에 따라 유아가 사회적 규
범을 습득하는 방식과 유사하게 단계
적으로 도덕 문제 들을 직면
• 디지언트들은 학습을 통해 성장

24.  작품 속 소프트웨어인 디지언트(digient)의 개발과 성장 과정
 Bottom-up 방식
 작품 속에서 직접 명칭은 사용하지 않지만 블루감마는 상
향식 학습 방법을 통 해 뉴로블라스트 계열의 인공생명체
를 육성
 블루감마 사가 제공하는 상향식 학습에 따라 유아가 사회
적 규범을 습득하는 방식과 유사하게 단계적으로 도덕 문
제 들을 직면하는 과정들로 이루어짐
 주인공 애나는 디지언트에게 잭스라는 이름을 지어주고 잭
스를 키우는 과정에서 자신이 제공할 수 있는 최대한의 경
험들을 통해 잭스가 이룰 성취들을 확인하고자 함

25.  “경험은 최고의 교사일 뿐만 아니라 유일한 교사이기도 하다. 잭스를 키
우면서 애나가 얻은 교훈이 하나 있다면 지름길 따위는 존재하지 않는다
는 사실이었다. 이 세상에서 이십 년에 걸쳐서 발생할 상식을 얻고 싶다
면 그 일에 이십 년을 들여야 한다. 이에 상응하는 자기 발견적 방법론을
그보다 더 짧은 시간 내에 조립할 방도는 없다. 경험은 알고리즘적으로
압축할 수 없기 때문이다.”
 일정량의 자료들을 주입하고 알고리즘을 계산해 결정을 학 습하는 하향
식 학습방법을 통해 탄생하는 인공지능체가 인간과 교감할 수 있는 범 위
는 자신과 잭스의 교류와는 비교할 수 없을 것이라고 여긴다. 또한 단계적
인 교육환경을 조성하여 축적한 경험을 바탕으로 인지 능력을 발전시키는
것이 윤리적 일 뿐만 아니라 효율적일 것이라고 믿는다.
 애나의 이전 직업이 동물사육사였다는 점은 주어진 업무를 수행할 때뿐
만 아 니라 그녀가 개인적으로 디지언트를 대하는 태도에도 투영되어 있다.
디지언트 학습은 애완동물과 어린아이를 키울 때의 방법을 혼합적으로 사
용하는데 애나는 이 들을 애완동물에 더 가깝게 여긴다.

26.  소설은 상향식(bottom-up) 학습의 한계점을 어떻게 묘사하
고 있는가?
 인공생명의 발달 과정에서 상향식 학습이 지향하는 가치와 예
상되는 기대효과뿐만 아니라 한계점까지도 구체적으로 묘사
 경험을 통해 지식을 조성하는 상향식 학습방법의 최대 난제는
예측 불가능성
 상이한 환경에 따라 디지언트의 육성 결과를 예측하기 어렵다
는 것은 게임에 대한 수요가 줄어드는 것과 마찬가지의 결과를
도출
 디지언트 육성이 제공하는 난이도와 보상 사이의 균형점이 대
중의 요구수준에 부합하지 않기 때문에 이는 시장 실패로 직접
연결
 블루감마의 수익이 줄어들고 결국 폐업에 이르기 까지의 시장
보고를 각 장이 시작할 때마다 간략하게 기술함으로써 인공생
명 관련 기술이 발달한 사회에서 상향식 학습법의 시장수요가
확대될 수 없다는 전망을 지시