Lecture 06 of the 1st NS-CUK Winter School on Ethics of AI and Robots (AI Ethics 2022) Lecturer: Dr. Eun-Soon You Date: Dec 28th, 2022 Topic: Correlations of AI and robots with ethics Syllabus: https://nslab-cuk.github.io/2022/12/06/WS/

1. 인공지능 로봇 윤리

2. 강의 주제
윤리(ethics)란 무엇인가?
윤리와 도덕
로봇 윤리(Robot ethics)란 무엇인가?
필요성과 개념
로봇도 윤리를 실천할 수 있는가?
로봇은 누구의 윤리를 학습하는가?
윤리 소프트웨어 개발 사례와 문제점

3. 최초의 윤리학, 아리스토텔레스의 『니코마코스 윤리학』
라파엘로(Sanzio Raffaello), <아테네 학당>(1510~1511)

4. 최초의 윤리학, 아리스토텔레스의 『니코마코스 윤리학』
• 행복은 인간이 추구하는 최고의
선(좋음)
• 윤리학의 주제는 개인 또는 일부
집단의 행복

5. 최초의 윤리학, 아리스토텔레스의 『니코마코스 윤리학』
 행복
 최고선으로서의 행복
 목적으로서의 선
 “모든 기예와 모든 탐구 그리고 마찬가지로 모든
행위와 합리적 선택은 어떤 선[좋음]을 목표로
하는 것처럼 여겨진다..”

6.  인간이 하는 모든 행위, 기예나 탐구, 합리적 선택은 어떤 선
(좋음)을 목적
 인간은 자신의 모든 행위와 선택을, 그것이 그에게 좋은 것이
라고 혹은 좋은 것과 연관되는 것이라고 여겨지기 때문에 행
동
 좋음은 인간 행위가 추구하는 목적이 되며, 이런 점에서 ‘좋
음’ 개념과 ‘목적’ 개념은 그 내포에 있어서 동일
 인간의 행위를 이해하는데 그것이 추구하는 목적을 일차적
인 조회 점으로 놓는다는 점, 즉 무엇을 위해서 그런 행위를
하는가를 묻는다는 점에서 그의 윤리학은 보통 목적론적 윤
리학의 대표격으로 이해

7.  윤리란 무엇인가?
 윤리(ethics) vs. 도덕(morals)
 윤리적 규범이 반드시 도덕적이지 않음(도덕적일 필요는 없음)
 “나는 지하철 역에서 무거운 짐을 들고 힘겹게 계단을 올라가시는 할머
니를 도와 드렸다.”
 “나는 어린이 보호구역에서 통행 속도를 30km 이내로 줄였다”
도덕 윤리
공통점 • 오랜 세월 경험과 학습을 통해 체화된 것
차이점 • 주변 환경에 의해 형성
• 옳고 그름에 대한 견해를 형성
• 개인적 행동의 관습과 원칙
- ‘도덕적’
- ‘양심을 따른다’
• 강제성이 약함(법적 처벌 x)
• 사회적 행동 관습과 범례를 지칭
- ‘윤리적’
- 사회적 질서 유지를 위한 법
- 특정 집단 내에서 허용되는 행위
나 올바른 행동(Ex) 직업 윤리)
• 보편적 정의나 신조와는 관계 없
음
• 강제성이 강함(법적 처벌)

8. • 도덕과 윤리 간의 충돌
• 소포클레스( Sophocles, BC496~BC406)의 희곡 『안티고네(Antigone)』(BC441)
오이디푸스와 안티고네 안티고네와 폴리네이케스
혈육(오빠)의 장례를 치러야 하는 가족의 법(도덕) vs 반역자의 장례를 금지하는 국가의 법(윤리)

9. • 도덕과 윤리 간의 충돌
• 소포클레스( Sophocles, BC496~BC406)의 희곡 『안티고네(Antigone)』
(BC441)
• 줄거리
 안티고네는 오이디푸스 왕의 딸이다. 아버지이자 왕인 오이디푸스가
스스로 눈을 찔러 실명한 채로 떠돌아 다니게 되고, 두 오빠 폴리네
이케스와 에테오클레스가 왕권을 놓고 다투다 모두 죽는다. 그리하
여 안티고네의 삼촌인 크레온이 왕이 된다. 크레온은 애국자인 에테
오클레스만 성대히 장례를 치러주고 반역자 폴리네이케스의 시체는
들에 그냥 버려두어 야생동물들에게 먹히게 하라는 포고를 내린다.
안티고네는 혈육의 정에 이끌려 크레온의 명령을 어기고 들에 버려
진 폴리네이케스의 시체를 몰래 묻어준다. 이 사실을 안 크레온은
안티고네를 소굴에 가둔다. 안티고네를 연모하던 크레온 왕의 아
들 하이몬도 안테고네를 따라 죽기로 결심하는데 크레온은 아들이
죽게 된 것에 놀라서 안티고네가 갇혀 있는 소굴로 달려간다. 하이
몬은 아버지를 보자 격분하여 칼로 찌르려고 하고 크레온은 도망친
다. 하이몬은 자살하고 이 사실을 안 크레온왕의 아내 에우리디케도
침대에서 자살한다.

10.  토론 주제
 『안티고네(Antigone)』의 결정에 대해 어떻게
생각하는가?
 국가의 법률(윤리)이 우선인가?
 가족의 장례를 치르는 것(도덕)이 우선인가?

11.  도덕과 윤리간의 충돌
 영화 <케이프 피어>(1991)
 정의를 실현하려는 변호사의 도덕적 행동 vs. 변호사의 직업 윤리

13.  사진 작가 케빈 카터(Kevin Carter)의 <수단의 굶주린 소녀>

14. 침묵의 규칙 (Omertà (rule of silence))
윤리적인 것이 항상 도덕적인 것은 아니며 마찬가지로
도덕적인 것이 항상 윤리적인 것은 아니다.
영화 <대부> (1972)

15.  토론 주제
 일상에서 경험한 윤리와 도덕간의 충돌에 대
해 이야기 하기

16. 왜 로봇 윤리가 필요한가?
 로봇 시대에 발생할 수 있는 ‘윤리적 공백’
 로봇이 고도의 지능과 자율성을 갖게 되어 인간의
통제를 벗어나게 된다면 로봇의 윤리적 결정이 인간
에게 해를 끼칠 수 있는 상황 발생

17. 왜 로봇 윤리가 필요한가?
• 전통적인 윤리학은 자연과 인간의 본성에 대
한 ‘불가침’의 원칙을 깨고 어떤 특수한 목적
을 갖고 그것을 변형시킬 수 있는 잠재적인
힘을 갖고 있는 현대 기술의 본질을 포착하는
데 한계가 있다.
• 전통 윤리학만으로는 현대 기술의 “묵시록적
위협”을 통제할 수 없기에 “윤리적 진공상태”
를 야기할 것임을 강조
• ‘책임’이라는 개념으로 현대 기술 시대를 위
한 새로운 윤리적 실천을 모색

18. 현대기술
자율성
예측곤
란성
안전성
결여
편향성
(불공정
성)
현대기술 대한 윤리적 대응과 정책 수립에서 우선적으로 고려해야 하는 것은?

19.  독일의 생태철학자 한스 요나스(Hans Jonas(1903~1993))
‘Das ethische Vakuum(the ethical vaccum)’
‘The Imperative of Responsibility’

20. “나를 만든 것에 책임을 다하라. 그
렇지 않으면 통제 불능이 무엇인지
보여주겠다.”
“나는 당신의 너그러움과 애정을
받아야 하오. 나는 당신의 피조물
이잖소.”
(메리 셸리 『프랑켄슈타인』
(1818))
『 Frankenstein; or, The Modern
Prometheus 』
영화 <프랑켄슈타인>(1931)
왜 로봇(인공지능) 윤리에 대해 말하는가?

21. 자율주행자동차의 윤리적 딜레마

22. 자율주행자동차는 할머니와 아기 중에서 누구
를 선택할 것인가?

23. 자율주행자동차 사고, 법적 책임은 누구에게
있는가?

24.  트롤리 딜레마(Trolly dilemma)
 영국의 윤리 철학자인 필리파 푸트(Philippa R. Foot)
가 제안
 마이클 샌델(Michael Sandel)의 저서 『정의란 무엇
인가(Justice)』라는 책에 언급
 사람들에게 브레이크가 고장 난 트롤리 상황을 제
시하고 다수를 구하기 위해 소수를 희생할 수 있는
지를 판단하게 하는 문제 상황을 가리키는 말
 질문1. 브레이크가 고장 난 트롤리 기차가 달리고
있다. 레일 위에는 5명의 인부가 일을 하고 있는데,
트롤리가 이대로 달린다면 5명은 반드시 죽게 될
것이다. 한 가지 방법은 레일변환기로 트롤리의 방
향을 바꾸는 것뿐이다. 그런데 다른 레일 위에는 1
명의 인부가 있다. 당신은 트롤리의 방향을 바꿀 것
인가?

25.  질문2. 당신은 폭주하는 전차를 다리 위에서 내려다보고 있습니다. 전차는 다섯
명의 인부를 향해 전속력으로 질주하고 있습니다. 그런데 당신 옆에는 엄청나게
뚱뚱한 한 사람이 역시 이 광경을 지켜보고 있습니다. 만약 당신이 그 사람을 밀
쳐 전차가 들어오는 철로로 추락시키면 다섯 인부의 목숨을 구할 수 있습니다.
그렇다면 뚱뚱한 사람을 육교 아래로 떨어뜨려야 하는가?

26.  2017년에는 엘론 머스크 테슬라 CEO, 무스타파 술레이만 구글 딥마인드 공동창업
자 등 26개국 AI·로봇 과학자 116명과 함께 킬러 로봇 금지를 요구하는 서한을 국
제연합(UN)에 보냄
 로봇 기술의 윤리적 활용에 대한 명확한 기준과 합의를 마련하는 것이 시급
영국에서 로봇학자와 국제 인권단체들이 ‘킬러 로봇 반대 캠
페인’을 발족

27.  스스로 판단해 총을 쏘는 킬러 로봇
 로봇은 아직 장난감 총과 진짜총을 구분하지 못한다!
 킬러 로봇 찬성 vs 반대
영화 <로보캅>에서 로
봇이 무기를 인지하는
장면

28. 로봇 윤리는 왜 필요한가?(정리)
 로봇의 윤리적 판단이 인간의 생사에 영향을 미칠 수 있다!
 의료 로봇, 전투 로봇, 교육용 로봇, 애완견 로봇, 소셜 로봇…
 다양한 지능형 로봇들이 인간의 모든 활동 영역 안으로 들어오게 되
면 로봇 스스로 어떤 윤리적 판단이나 결정을 내려야 하는 상황들이
발생할 가능성이 커지게 됨
 그 판단이나 결정이 인간에게 어떤 영향을 미칠지 알 수 없음!
 인류의 재앙을 예방하기 위한 수단
 인간과 로봇 간의 관계에서 발생할 수 있는 윤리적 문제 해결을
위한 지침서 역할

29.  로봇 윤리란 무엇인가?
 인간에 대한 로봇의 원칙
 로봇이 인간에게 위험한 존재가 되지 않도록 준수해야
할 원칙
사이언스 픽션 소설가
아이작 아시모프(Issac
Asimov)(1920~1992)
 아이작 아시모프의 대표작
 SF 대하소설 파운데이션(Foundation) 시리즈
 로봇 시리즈
 단편 『나는 로봇이야(I, Robot)』 (1950)
 『200년을 산 사나이 』(1976)
 『여명의 로봇』(1983)
 『로봇과 제국』(1985)

30.  아이작 아시모프의 로봇 3원칙(Three Laws of Robotics)
 1942년 소설 『런어라운드(Runaround)』에서 처음 제시
 제1원칙 : 로봇은 인간에게 해를 끼쳐서는 안 되며, 위험
에 처한 인간을 방관해서도 안 된다.
 제2원칙: 1원칙에 위배되지 않는 한, 로봇은 인간의 명령
에 복종해야만 한다.
 제3원칙: 제1원칙과 제2원칙에 위배되지 않는 한, 로봇은
자기 자신을 보호해야만 한다.
 제 0원칙 : 로봇은 인류에게 해를 입히는 행동을 해서는
안되며 인류를 위험한 상황에 방치해서도 안된다.

31.  로봇 3원칙 분석
 제1원칙: 로봇은 인간에게 해를 끼쳐서는 안 되며, 위험에 처한 인간을 방관해
서도 안 된다.
 선한(착한) 로봇

32.  소설을 통해 로봇 3원칙이 어떻게 작동하고 원칙들이 어떻게 충돌하는
지 실험
 인간에게 상처를 주지 않기 위해 혹은 인간을 즐겁게 해주기 위해 인
간이 듣고 싶어 하는 거짓말을 반복하는 로봇
 심지어 자멸하는 로봇
 인간에게 피해를 주는 것은 인간이라 판단하여 인간을 보호하기 위해
인간을 통제하려는 로봇
 절대 다수의 인간을 구하기 위해서는 소수의 인간에게 해를 끼쳐야
하는 모순에 직면하는 로봇 등 다양한 로봇들이 등장
 소설 『런어라운드(Runaround)』
 ‘A 지역을 탐사하라‘ vs ‘자신의 몸도 지켜야 한다’가 서로 충돌하
면서 오작동을 일으키는 로봇

33.  로봇 3원칙의 문제점
 제1원칙 : 로봇은 인간에게 해를 끼쳐서는 안 되며, 위험
에 처한 인간을 방관해서도 안 된다(A robot may not
injure a human being or, through inaction, allow a
human being to come to harm).
 인간이란 무엇인가?
 육체적인 위협?
 정신적인 고통?

34.  로봇 3원칙의 문제점
 제2원칙: 1원칙에 위배되지 않는 한, 로봇은 인간의 명령에
복종해야만 한다(A robot must obey the orders given it
by human beings except where such orders would
conflict with the First Law).
 “창문에서 뛰어 내려”(영화 <바이센테니얼 맨>에서 주인
집 딸이 로봇 앤드류에게 내린 명령)
 “ 물 속에 빠진 사람을 구하라”
 “ 돈을 훔쳐라”
 ➔인간 주인이 죽여달라고 명령할 때 로봇은 어떻게 해야
하는가?
 =➔로봇은 좋은 명령과 나쁜 명령을 구분할 수 있을까?

35. 영화 <로봇 앤 프랭크>(2012)
은퇴한 금고 털이범 프랭크를 돌보는 간호봇

36.  로봇 3원칙의 문제점
 제3원칙: 제1원칙과 제2원칙에 위배되지 않는 한, 로봇은
자기 자신을 보호해야만 한다.
 제 2원칙과 충돌
 소설 『런어라운드(Runaround)』
 ‘A 지역을 탐사하라‘ vs. ‘자신의 몸도 지켜야 한다’가
서로 충돌하면서 오작동을 일으키는 로봇

37.  토론 주제
 로봇 3원칙은 미래 로봇 시대에 적용될 수 있을까?
 적용될 수 있다면 로봇 3원칙이 일으킬 수 있는 문
제점은 무엇일까?

38.  로봇 3원칙 수정보완 시도
 컴퓨터공학자 로빈 머피와 인지공학자 데이빗 우즈
 아시모프의 3원칙을 비판하고 그것을 대신할 “책임 있
는 로봇공학의 3원칙”을 제안(2009)
 “아시모프의 제1법칙은 로봇기술이 군사적 목적으로 개
발되고 있는 현실에 비추어 시대착오적이다”
 로봇은 대상이 인간인지 아닌지를 확실하게 구분하지
못함
 로봇이 궁극적으로 사회적 책임의 주체가 될 수 있는가?

39.  제2법칙 비판
 인간의 명령은 다양한 형태로 표현
 말, 몸짓과 표정 등
 로봇은 맥락에 따라 명령의 의미를 이해할 수 있을까?
 로봇이 인간의 명령을 이해할 수 있는지의 여부가 불확
실
 이 문제를 해결하기 위해서는 로봇이 인간 공동체의 의
사소통 체계에 충분히 동참해야 함

40.  책임 있는 로봇공학의 3원칙(2009)
 인간은 안전과 윤리에 관한 최고 수준의 법적-전문가
적 기준을 충족시키는 인간-로봇 작업체계 없이 로봇
을 작업에 배치해서는 안 된다.
 로봇은 그것의 역할에 부합하는 방식으로 인간을 응
대해야 한다.
 로봇에게는 스스로의 존재를 보호할 수 있게끔 하는
충분한 맥락적 자율성이 주어져야 한다. 단, 그런 보호
는 앞의 두 법칙과 상충하지 않는 방식의 매끄러운 통
제권 전이를 가능케 하는 것이어야 한다.