1. 강의 주제
아이작 아시모프의 로봇 윤리 3원칙
정의와 한계
생활 속 윤리적 에이전트
윤리적 로봇 유형
2. 아이작 아시모프의 로봇 윤리 3원칙
인간에 대한 로봇의 원칙
로봇이 인간에게 위험한 존재가 되지 않도록 준수해야 할 원칙
사이언스 픽션 소설가
아이작 아시모프(Issac
Asimov)(1920~1992)
아이작 아시모프의 대표작
SF 대하소설 파운데이션(Foundation) 시리즈
로봇 시리즈
단편 『나는 로봇이야(I, Robot)』 (1950)
『200년을 산 사나이 』(1976)
『여명의 로봇』(1983)
『로봇과 제국』(1985)
3. 아이작 아시모프의 로봇 3원칙(Three Laws of Robotics)
1942년 소설 『런어라운드(Runaround)』에서 처음 제시
제1원칙 : 로봇은 인간에게 해를 끼쳐서는 안 되며, 위험
에 처한 인간을 방관해서도 안 된다.
제2원칙: 1원칙에 위배되지 않는 한, 로봇은 인간의 명령
에 복종해야만 한다.
제3원칙: 제1원칙과 제2원칙에 위배되지 않는 한, 로봇은
자기 자신을 보호해야만 한다.
제 0원칙 : 로봇은 인류에게 해를 입히는 행동을 해서는
안되며 인류를 위험한 상황에 방치해서도 안된다.
4. 소설을 통해 로봇 3원칙이 어떻게 작동하고 원칙들이 어떻게 충돌하는
지 실험
인간에게 상처를 주지 않기 위해 혹은 인간을 즐겁게 해주기 위해 인
간이 듣고 싶어 하는 거짓말을 반복하는 로봇
심지어 자멸하는 로봇
인간에게 피해를 주는 것은 인간이라 판단하여 인간을 보호하기 위해
인간을 통제하려는 로봇
절대 다수의 인간을 구하기 위해서는 소수의 인간에게 해를 끼쳐야
하는 모순에 직면하는 로봇 등 다양한 로봇들이 등장
소설 『런어라운드(Runaround)』
‘A 지역을 탐사하라‘ vs ‘자신의 몸도 지켜야 한다’가 서로 충돌하
면서 오작동을 일으키는 로봇
5. 로봇 3원칙 다시 읽기
로봇 3원칙의 한계
제1원칙 : 로봇은 인간에게 해를 끼쳐서는 안 되며, 위험
에 처한 인간을 방관해서도 안 된다(A robot may not
injure a human being or, through inaction, allow a
human being to come to harm).
인간이란 무엇인가?
육체적인 위협?
정신적인 고통?
6. 로봇 3원칙의 한계
제2원칙: 1원칙에 위배되지 않는 한, 로봇은 인간의 명령에
복종해야만 한다(A robot must obey the orders given it
by human beings except where such orders would
conflict with the First Law).
“창문에서 뛰어 내려”(영화 <바이센테니얼 맨>에서 주인
집 딸이 로봇 앤드류에게 내린 명령)
“ 물 속에 빠진 사람을 구하라”
“ 돈을 훔쳐라”
인간 주인이 죽여달라고 명령할 때 로봇은 어떻게 해야
하는가?
로봇은 좋은 명령과 나쁜 명령을 구분할 수 있을까?
8. 컴퓨터 공학자 로빈 머피(Robin Murphy)와 인지공학자
데이빗 우즈(David Woods)의 아시모프 3원칙 비판
“아시모프의 제1법칙은 로봇기술이 군사적 목적으로 개
발되고 있는 현실에 비추어 시대착오적이다”
로봇은 대상이 인간인지 아닌지를 확실하게 구분하지
못함
9. 하지만 현실에서는…로봇은 아직 장난감 총과 진짜총을 구분하지 못한다!
영화 <로보캅>에서
로봇이 무기를 인지
하는 장면
10. 제2법칙 비판
인간의 명령은 다양한 형태로 표현
말, 몸짓과 표정 등
로봇은 맥락에 따라 명령의 의미를 이해할 수 있을까?
로봇이 인간의 명령을 이해할 수 있는지의 여부가 불확
실
이 문제를 해결하기 위해서는 로봇이 인간 공동체의 의
사소통 체계에 충분히 동참해야 함
11. 영화 <아이,로봇>을 통해 본 로봇 윤리 3원칙
영화 감상
인공지능형 로봇이 대중적으로 보
급된 2035년. 로봇공학 전문가이자
로봇3원칙을 제정한 레닝 박사가
고층 건물 아래에서 죽은 채 발견
된다. 조사원들은 자살이라고 추정
하지만 사건 담당자인 스푸너 형사
는 살인사건으로 보고 범인으로 로
봇을 의심한다. 반면, 심리학자 캘
빈은 모든 로봇에는 인간을 보호하
라는 ‘로봇3원칙’이란 안전장치가
내장되어 있기에 인간을 죽일 수
없다고 반박한다.
12. •“생존율이 낮더라도 여자아이
를 먼저 구했어야 했어. 로봇은
단순한 고철덩어리야”
•로봇의 합리적 선택은 옳은 것
일까?
• 로봇 3원칙의 한계
•제 1원칙 : 로봇은 인간에게
해를 끼쳐서는 안 되며, 위험
에 처한 인간을 방관해서도
안 된다.
•제 1원칙을 위해 제 2원칙
을 위반
영화 <아이, 로봇>에서 로봇은 생존 확
률을 스스로 판단, 주인공의 지시를 어
긴 채 여자 어린이가 아닌 주인공 스푸
너를 구조
13. 자유 의지를 가진 로봇 ‘써니’ vs 인공지능 감시체계 비키
비키는 인간을 보호하기 위해 가장 바람직한 방법은 인간을
통제하는 것이라고 판단하고 반란을 일으킴
제1원칙을 위해 인간을 통제하는 모순에 빠짐
14. 현실에서의 로봇 윤리 정의
• 로봇 공학자 지안마르토 베루지오
(Gianmarco Veruggio)가 2002년 ‘로봇
윤리(Roboethics)’라는 용어를 처음 사
용
• “로봇 공학이 인간의 삶에 적용될 때 나
타날 수 있는 윤리적 문제를 다루는 것
이며 로봇기술의 긍정적 확산을 위해
우리가 지금 무엇을 해야 하는지 논의
하는 것이다”
15. 로봇 윤리의 개념 확대
인간에 대한 로봇의 윤리 뿐만 아니라 로봇을 설계하고
그것을 사용하는 사람들의 윤리도 포함
로봇 안에 프로그램된 ‘모럴 코드(moral code)’까지 포
함시키자는 주장 제기 (키스 애브니(Keith Abney))
기업들의 기계학습 알고리즘은 기업의 이익을 위해 설
계된 것
16. 토론
로봇 윤리 원칙이 적용된 윤리적 로봇이 실생활 안으로 들
어올 때 어떤 장점이 있을까?
또한 어떤 문제점이 있을까?
17. 윤리적 로봇 유형
제임스 무어(James H. Moor)의 4가지 유형의 윤리적 로봇
윤리적 영향을 미치는 에이전트(Ethical impact agent(1))
암시적 윤리 에이전트(Implicit ethical agents(2))
명시적 윤리 에이전트(Explicit ethical agents(3))
완전한 윤리 에이전트(Full ethical agents(4))
18. 프랜시스 베이컨
기술만능주의
도구적 기능에만 몰두
기술의 어원 ‘테크네(Techne)’
“다른 것들을 한데 모아 엮고 새로운 것을 창조하며
이질적인 것들을 융합시키는 실천”
o 인간을 이해하고 세계를 인식하는 양식
데카르트
인간중심주의 세계관
정복적 자연관
19. 윤리적 영향을 미치는 에이전트(Ethical impact agent) 사례
인간에게 윤리적 영향을 미치는 로봇이나 기계
카타르의 낙타 경주 로봇 기수
낙타 경주는 아랍 국가의 전통적인 스포츠
o 어린 소년이 기수
20. 왜 낙타 경주에 로봇 기수가 등장했는가?
2004년 이전까지만 해도 이들 낙타경주에는 주로 어린
소년들(인신매매를 통해 팔려온 경우가 대부분이었다.)이
기수로 활약했다. 기수의 몸무게가 가벼울수록 낙타의 기
록이 좋아지기에 낙타 주인들은 아이들에게 소량의 식사
만을 제공했고 결국 깡마른 소년들이 카타르의 땡볕 밑
에서 낙타몰이를 하는 모습이 오랜 세월 지속됐다. 2003
년 말, 카타르의 이런 참혹한 실태가 서방세계에 대대적
으로 알려지자 카타르 정부는 전세계의 비난을 받게 된
다. 카타르 정부는 결국 소년 대신 기수로 활약할 수 있는
로봇을 제작하도록 하였다.
로봇이 기수로 활약하게 되면서 아이들의 인신매매와 아
동 학대 문제로 인한 윤리적 비판을 벗어나게 된다.
21. 암시적 윤리 에이전트(Implicit ethical agents) 사례
비윤리적인 결과를 방지하기 위해 행동을 제한하도록
설계된 기계
비행기의 자동 조종 장치
22. 명시적 윤리 에이전트(Explicit ethical agents)
프로그래머가 명시적으로 공식화한 윤리적 규칙에 따라
스스로 윤리적 결정을 내리는 에이전트
인공 도덕 에이전트(AMA)
23. 완전한 윤리 에이전트(Full ethical agents)
인간과 동일한 수준의 윤리적 판단을 가진 에
이전트는 아직 존재하지 않음
24. 토론
완전한 윤리 에이전트의 개발은 가능할까?
완전한 윤리 에이전트를 만드는 것에 동의하는가?
