인공지능과 딥러닝에 대한 소개
•
18 likes•6,669 views
마츠오 유타카 교수의 "인공지능은 인간을 뛰어넘을까"의 번역서 "인공지능과 딥러닝"의 내용을 중심으로 관련 정보 정리
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 인공지능과 딥러닝에 대한 소개
Similar to 인공지능과 딥러닝에 대한 소개 (20)
More from Young-Min kang
More from Young-Min kang (12)
인공지능과 딥러닝에 대한 소개
- 1. 인공지능이란 무엇인가? ‘인공지능과 딥러닝’에서 다룬 내용을 중심으로 인공지능이란 무엇인가? ‘인공지능과 딥러닝’에서 다룬 내용을 중심으로 인공지능이란 무엇인가? 1 요약/보충 강영민(동명대학교) 인공지능과 딥러닝, 동아 엠엔비 원서: 人工知能は人間を越えるか -松尾豊 (東京大)
- 2. 인공지능이란 무엇인가 1.인공지능의 확산 – 인공지능은 인류를 멸망시킬 것인가?
- 3. 인공지능이란 무엇인가 인간을 뛰어넘기 시작한 인공지능 인간 vs 기계의 대결 장기, 체스, 그리고 바둑(2016년 알파고) • 인간을 이기는 컴퓨터 프로그램의 등장 상식을 겨루는 퀴즈 대결 • 2011년 IBM Watson • Jeopardy에서 인간 경쟁자를 물리치고 100만불 상금을 획득 Watson의 진보 의료분야에서의 Watson • 의학 논문을 통한 데이터 수집 • 다양한 의료정보 수집 • 질병진단 능력 확보 Chef Watson • 대량의 데이터를 바탕으로 레시피(recipe)를 자동으로 만들어 냄 Watson을 이용한 고객 응대 • 미쓰이스미토모 은행, 미즈호 은행 등 토우로보군(東ロボくん) 일본 대입시험 응시 (전국 센터 모의시험) • 일본내 581 개 사립대학의 80%에 해당하는 472개 대학에 합격 가능성이 80%이상인 A 성적을 얻음 IBM Watson on Jeopardy Show
- 4. 인공지능이란 무엇인가 자동차도 변하고 로봇도 변한다 자율 주행차량 다양한 연구가 진행 실용화와 상용화에 대한 기대가 높음 구글의 자율주행 자동차 극히 적은 사고 건수 자율 주행 차량은 인공지능인가? 도로의 상황을 판단하고 해야 할 일을 결정하는 일은 지능 로봇 소프트뱅크의 페퍼 • 감성 엔진 ( + 프랑스 Aldebaran Robotics) • 인간의 감정상태를 파악하고 이에 응대하는 로봇 • 200만원 정도의 가격 2015년 7월분 1,000대 사전예약 완판 로봇은 인공지능인가 로봇은 기계와 제어 • 기계의 측면에서 로봇은 인공지능이 아니다 • 로봇의 제어를 사람이 입력한 그대로가 아니라 자율적으로 판단하여 결정하면 이 부분이 인공지능 Pepper, Softbank
- 5. 인공지능이란 무엇인가 초고속 처리의 파괴력 인터넷 인공지능 기술의 보물창고 • 검색엔진 - 기계학습 기술이 많이 활용되고 있음 • 질이 낮은 페이지 분별 • 유해 콘텐츠 분별 • 적절한 페이지를 찾아내기 이메일 서비스 • 콘텐츠를 분류하는 기능이 필요 (classification) 인터넷 광고 • 웹페이지의 특정 위치에 대해 광고효과 분석 • 실시간 입찰경매 방식(real-time bidding)을 통해 광고 거래가 이뤄짐 • 밀리 세컨드 단위의 광고 거래 후 자동적으로 광고가 해당 위치에 노출 인터넷 기반 금융 거래 • 90% 이상의 주식 거래를 컴퓨터 프로그램이 수행 중 • 초단타 거래(high frequency trading) • 마이크로 세컨드 단위의 고속 거래 법률 분야 일본 UBIC • 소송시 증거열람 지원에 인공지능을 활용 • 준법률가(Paralegal)의 역할 수행 UBIC e-Discovery Service
- 6. 인공지능이란 무엇인가 인공지능은 SF 작가가 되나? 작가 호시 신이치로(星新一)의 플래시 픽션을 흉내내기 인공지능을 통해 호시가 남긴 1,000개 정도의 단편 데이터를 바탕으로 문장 생성 마쓰오의 예상 • “언젠가 그럴듯한 조합을 시행착오를 통해 개선하면 호시 신이치의 작품과 같은 것을 보게 될 지 모른다.” 그것이 실제로 일어났습니다. 2016년 호시 신이치 문학상 • 공립 하코다테 미라이(函館未来) 대학 마쓰바라 진(松原仁) 교수 • 인공지능으로 생성한 4 개 작품을 제출하여 1 편이 1차 전형을 통과 마쓰바라 진(松原仁)
- 7. 인공지능이란 무엇인가 세계 인공지능 연구 투자의 가속화 글로벌 기업의 대규모 AI 투자 Google • 2013년 딥러닝의 1인자 제프리 힌튼(Geoffrey E. Hinton) 교수의 DNN 리서치 인수 • 2014년 4억 달러로 딥마인드 테크놀로지스 인수 (CEO: Demis Hassabis) • AlphaGo Facebook • 2013년 인공지능 연구소 설립 (소장: Yann LeCun 교수) 바이두(百度) • 2014년 Institute of Deep Learning(ルル学习研究院) 설립 • 3억 달러 투입, • 소장: 앤드류 응(Andrew Ng) 교수 (기계학습 권위자) IBM • Watson의 사업화 • 10억 달러 (1조원) 투입 • 2,000명 규모의 사업 부문 신설 • 1억 달러 규모의 벤처 캐피털 운용 – Watson 어플리케이션 벤처 회사에 투자 Dwango (Dial-up Wide-Area Network Game Operation) • 2014년 드완고 인공지능연구소 설립 • 소장: 야마카와 히로시(山川宏) PFI • 2014년 빅데이터 관련 개발사 PFI(Preferred Infrastructure)가 설립한 Preferred Networks • 실세계 감지와 Deep-learning을 결합하여 인간 능력을 넘는 분석을 하고, IoT 기반으로 이러한 것들을 연결 • NTT가 2억엔 출자 Preferred Networks의 목표
- 8. 인공지능이란 무엇인가 일자리를 잃는 인간 (그리고 공포) 인간은 일자리를 잃을 것인가? 일시적으로 인간의 일자리를 빼앗을 가능성이 없지 않다 2014년 영국 딜로이트(Deloitte) 사의 전망 • 영국의 일자리 가운데 35%가 20년 이내 로봇으로 대체 • 일자리를 잃을 가능성은 연봉이 낮을수록 높음 옥스포드 대학의 연구 • IT 기술로 20년 이내에 미국내 직업 50% 정도가 사라질 것으로 예측 영화에 비친 인간을 대신하는 컴퓨터 2014년 트랜센던스(Transcendence) – 인간을 컴퓨터에 업로드 2014년 허(Her) – 운영체제와의 사랑, 그리고 운영체제의 바람(이것은… 창의적이다) 2015년 이미테이션 게임(Imitation game) – 앨런 튜링(Alan Turing)의 일생 1968년 스탠리 큐브릭(Stanley Kubrick)의 2001년 스페이스 오딧세이(2001: Space Odyssey) • HAL 9000 • 자유의지와 생존의지 1984년 터미네이터(Terminator) – 인공지능의 파괴적 능력에 대한 공포
- 9. 인공지능이란 무엇인가 인류 위기의 도래 – 기술적 특이점(Technological Singularity) 기계가 우리를 지배하게 되는 때는 언제인가? 특이점(singularity) • 레이 커즈와일(Ray Kurzweil)의 주장 • 인공지능이 자신보다 나은 인공지능을 만들기 시작하는 시점 • 커즈와일은 2045년으로 예측 아이언 맨 일런 머스크(Elon Musk) “인공지능을 상당히 신중하게 취급할 필요가 있다. 결과적으로 악마를 호출하기 때문이다.” 빌 게이츠(Bill Gates) “나도 인공지능을 걱정하는 부류에 있는 한 사람“ 윤리의 문제 부각 Google • DeepMind 인수하며 사내에 인공지능에 관한 윤리위원회 설치 일본 인공지능학회 • 2014년 윤리위원회 신설 우리는 결국 멸망할 것인가? Singularity is imminent?
- 10. 인공지능이란 무엇인가 2. 인공지능이란 무엇인가? – 전문가와 세상의 인식 차이
- 11. 인공지능이란 무엇인가 미완의 인공지능 인공지능은 아직까지 전혀 완성되어 있지 않다. 그러면 인공지능 세탁기는 무엇인가? • 인공지능에 대한 정의가 일치하지 않는다 우리가 걱정하는 인공지능 인간의 지능 원리를 해명하고 공학적으로 실현한 인공지능 그것은 세상 어디에도 없다. 우리가 아는 것이 많다 거대한 세상으로는 우주 물리학 작은 세상으로 소립자론 공학을 이용하여 자연을 개발 그러나 우리 뇌가 어떻게 동작하는지 아직 잘 모른다 우리는 왜 이런 방식으로 세계를 인식할까 우리는 어떻게 생각하고 행동하며 왜 그렇게 생각하고 행동할까 세계를 인식하는 것일까 우리가 인식하기에 세계가 존재할까 인공지능이라는 것은 우리가 세계를 인식하고 이해하는 지능의 모델을 찾는 것 • 그것은 아직 미완의 과제이다.
- 12. 인공지능이란 무엇인가 인공지능, ‘안 될 이유가 없다’ 인공지능은 불가능한 것인가? 아직 되지 않았다고 불가능한 것은 아니다. 그리고 “안 될 이유가 없다“ • 지능은 뇌의 기능이고 뇌는 전기 신호로 동작하는 회로이다. 전기회로는 계산을 수행한다 인간의 사고가 뇌의 전기 회로에 의해 이뤄진다면 • 우리가 만든 회로로 흉내내지 못 할 이유가 없다. 튜링(Turing) • 계산 가능한 것은 컴퓨터로 구현할 수 있다. • 튜링 기계(Turing machine) 마빈 민스키(Marvin Lee Minsky) – 인공지능의 개척자 디지털 영생을 꿈꾸다 • 자신을 컴퓨터 상에 재현함으로써 심리적 거부감 “인간은 그리 단순한 존재가 아니다“ 수학자 로저 펜로즈(Roger Penrose) – “뇌속의 양자 현상이 의식을 발생시킨다” • “황제의 새로운 마음＂ 철학자 휴버트 드레이퍼스(Hubert Lederer Dreyfus) – 인공지능 실현을 부정 • “컴퓨터는 무엇을 할 수 없는가“ 인간의 특수함은 입증된 것이 없다. 컴퓨터로 인간의 사고를 재현할 수 있다고 보는 것이 타당하다.
- 13. 인공지능이란 무엇인가 (도대체) 인공지능이란 무엇인가? 튜링 테스트 특별한 의미가 없다. 인공지능에 대한 일본의 전문가들이 내리는 정의 인공적으로 만들어진 지능을 가지는 실체, 또는 그것을 만들자고 함으로써 지능 자체를 연구하는 분야 • 나카지마 히데유키(中島秀之), 공립 하코다테(函館) 미래대학 교수 ‘지능을 가진 메커니즘’ 내지는 ‘마음을 가지는 메커니즘’ • 니시다 도요아키(西田豊明), 교토대학대학원 정보학연구과 교수 인공적으로 만든 지적인 행동을 하는 물건(시스템) • 미조구치 리이치로(溝口理一郎), 호쿠라쿠 첨단과학기술대학원대학 교수 인간의 두뇌 활동을 극한까지 모사하는 시스템 • 나가오 마코토(長尾真), 교토대 명예교수 인공적으로 만든 새로운 지능의 세계 • 호리 고이치(堀浩一), 도쿄대학 대학원 공학계연구과 교수 지능의 정의가 명확하지 않으므로 인공지능을 명확히 정의할 수 없다 • 아사다 미노루(浅田稔), 오사카대학 대학원 공학연구과 교수 궁극에는 인간과 구별이 되지 않는 인공적인 지능 • 마쓰바라 히토시(松原仁), 공립 하코다테(函館) 미래대학 교수 사람의 지적인 행동을 모방, 지원, 초월하기 위한 구성적 시스템 • 야마구치 다카히라(山口高平), 게이오 기주쿠(慶応義塾) 대학 이공학부 교수 공학적으로 만들어지는 지능이지만, 그 지능의 수준은 사람을 뛰어넘고 있는 것을 상상하고 있다 • 구리하라 사토시(栗原聰), 전기통신대학 대학원 정보시스템학 연구과 교수 마빈 민스키(Marvin Minsky) Artificial intelligence is the science of making machines do things that would require intelligence if done by men
- 14. 인공지능이란 무엇인가 인공지능과 로봇의 차이, 그리고 AI효과 일반인들은 인공지능을 로봇과 구별하지 않는 경우가 많다 로봇의 뇌가 인공지능 인공지능의 제어를 받아 움직이는 신체로서의 로봇 • 지능의 연구와 무관한 영역 인공지능이 꼭 신체를 필요로 하는 것도 아님 • 게임을 하는 인공지능 (예, AlphaGo) 인공지능의 부산물과 ‘인공지능 효과’ AI 연구의 부산물 – 음성인식, 문자식별, 자연어처리(번역), 게임(장기, 바둑), 검색엔진 AI 효과 • 많은 연구들이 구현 이전에는 인공지능이라 불렸지만, 구현 이후에는 인공지능이라 불리지 않는 현상 (원리를 알면 지능이 아니라고 여김) • 마빈 민스키(Marvin Minsky) 등의 연구자들의 주장: AI 효과 때문에 인공지능의 공헌이 낮게 평가되고 있다 인공지능 연구 로봇 연구 지능이란 뭔가 특별한 거야
- 15. 인공지능이란 무엇인가 인공지능에 대한 세상의 견해 ‘인공지능 청소기’는 ‘지능’을 갖고 있나? 무엇이 지능인가? 똑똑하게 행동하는 것… 지능의 정의 스튜어트 러셀(Stuart Russell), “에이전트 어프로치＂ • 행동이 현명해지면 오래 살 확률이 높아진다 • “입력에 따라 적절한 출력(행동)을 한다”가 지능의 유력한 정의 에이전트로서의 인공지능 단계 1 – 단순한 제어 프로그램 • 산업계의 마케팅 차원의 인공지능: 청소기, 세탁기, 면도기… • 실질적으로는 ‘제어공학‘이나 ‘시스템공학‘ 단계 2 – 고전적 인공지능 • 입력과 출력의 조합수가 극단적으로 많은 경우에 추론/탐색을 통해 적절한 판단하거나 지식베이스 활용 • 장기 프로그램, 청소 로봇 단계 3 – 기계학습을 받아들인 인공지능 • 검색엔진 내장, 빅데이터 바탕의 판단을 내리면서 기계학습 알고리즘 활용 단계 4 – 딥러닝(Deep Learning)을 받아들인 인공지능 • 입력값 자체를 학습함으로써 ‘특징 표현’을 학습하는 인공지능 • 특징 표현 학습에 대해서는 다시 다룰 것 Stuart Russell A definition of intelligence needs to be formal—a property of the system’s input, structure, and output—so that it can support analysis and synthesis. The Turing test does not meet this requirement
- 16. 인공지능이란 무엇인가 아르바이트, 사원, 과장, 관리자 4단계 인공지능의 역할 비유 많은 짐이 적재된 유통 창고에서 일하는 사람 단계 1 – 아르바이트 • 엄격한 룰에 따라 특정 크기 이상은 ‘대(大)‘로 표시된 구역으로 이동, 특정 크기 이상은 ‘소(小)’로 표시된 구역으로 이동, 나머지 물건은 ‘중(中)’으로 표시된 곳으로 옮기는 아르바이트생 단계 2 – 사원 • 사원으로서 배운 지식을 활용하여 크기뿐만이 아니라 ‘취급주의’ 태그가 붙은 물건을 조심스럽게 다루고, 화물의 아래위를 구분하여 적재하며, 골프가방으로 판단된 물건은 세워서 두며, 냉동 식품 등은 냉동고로 옮기는 일을 수행 단계 3 – 과장 • 대, 중, 소의 크기에 해당하는 몇 가지 샘플을 보여주면, 특별한 지시가 없어도 물건을 대, 중, 소로 구분할 수 있는 역량 단계 4 – 관리자 • 규칙을 스스로 만들어 내는 역할을 수행. 물건을 보고 구분 방법을 스스로 결정함.
- 17. 인공지능이란 무엇인가 강한 AI와 약한 AI 강한 AI 인공일반지능으로서의 강한 AI (Strong AI as Artificial General Intelligence) • 인간이 할 수 있는 어떤 지적 업무도 성공적으로 해낼 수 있는 가상의 기계 지능 마음에 대한 계산 이론으로서의 강한 AI (Strong AI as Computational Theory of Mind) • 인간의 마음이 결국 컴퓨터 프로그램이라는 철학적 입장 • 존 설(John Rogers Searle)이 붙인 이름 (그는 이런 입장에 반대) • “정확한 입력과 출력을 갖추고 적절하게 프로그램 된 컴퓨터는 인간이 마음을 가지는 것과 완전히 같은 의미로 마음을 가진다” • 인간의 지능원리를 해명하고 이를 공학적으로 구현하는 인공지능 연구 • 강한 AI를 연구하는 것 약한 AI 마음을 가질 필요는 없고 한정된 지능에 의해서 지적인 문제를 해결하는 것 John Searle은 ‘강한 AI’라는 철학적 입장을 부정하기 위해 ‘중국어 방’ 사고 실험 수행 • 중국어의 방 (John Searl의 사고 실험) • 중국어를 전혀 모르는 사람이 방 안에 있다. 중국어로 쓰인 질문이 방으로 들어온다. 중국어 질문 목록에 대응 하는 중국어 답변 목록이 준비되어 있을 경우 방안에 있는 사람은 대응하는 답변을 방 밖으로 내어 놓는다. 방 밖에서 중국어로 질문하는 사람은 방 안의 사람이 중국어를 완전히 이해하는 것으로 생각할 것이다. 하지만 방 안의 사람은 이 대화에서 어떤 의식도 지능도 가지고 있지 않다. 강한 AI란 존재하지 않는다.
- 18. 인공지능이란 무엇인가 보충 설명 - 정형화된 존 설(John Searle)의 논증 1984년 중국어의 방을 통해 하고 싶었던 이야기를 정식으로 정리하여 발표 Axioms • 1. 프로그램은 형식적이다 = 프로그램은 통사적(統辭的, Syntactic)이다 • 2. 마음은 정신적 내용은 갖는다 = 마음은 의미론적(Semantics)이다 • 3. 통사(syntax) 그 자체는 의미(semantics)를 이루는 데에 필수적이지도 않고 충분하지도 않다. • 중국어 방 사고 실험이 증명하고자 했던 바가 이 axiom 이러한 Axiom에 의한 결론 • 결론 1 • 프로그램은 마음을 이루는 데에 필수적이지도 충분하지도 않다. • 프로그램은 의미론적 요소가 없다. 프로그램은 통사구조(統辭構造)만 존재한다. 통사는 의미를 만드는데 불충분하다. 마음은 의미를 갖는다. 그러므로, 프로그램은 마음이 아니다. 다른 논의는 인간의 뇌가 프로그램을 실행하는 것인가를 다룸 추가 Axiom • 4. 뇌는 마음을 일으킨다. 이에 따른 존 설의 결론 • 결론 2 • 마음을 발생시킬 수 있는 시스템은 최소한 뇌와 같은 수준의 인과력(causal power)을 가져야 한다. • 결론 3 • 정신적 현상을 생산하는 인공물은 뇌의 특정한 인과력을 재현해야 한다. 그러나 형식 프로그램을 수행해서는 그럴 수 없다. (결론 1,2에서) • 결론 4 • 인간 두뇌가 정신 현상을 만드는 방식은 단지 컴퓨터 프로그램의 실행하는 것만일 수 없다. 반박 이와 같은 논리를 뇌 안의 뉴런과 언어이해력에 대해 적용할 경우 • 인간조차 언어를 정말 이해하고 있는지가 불분명 • 많은 학자들은 방 안의 사람은 중국어를 이해하지 못하지만 방 안의 사람과 방을 더한 총체는 중국어를 이해한다고 봐야 한다 주장 John Rogers Searle
- 19. 인공지능이란 무엇인가 3. ‘추론’과 ‘탐색’의 시대 – 제1차 AI 붐
- 20. 인공지능이란 무엇인가 봄과 겨울의 시대 AI 붐의 큰 파도 1차 붐 • 1950년대 후반에서 1960년대 • 추론과 탐색을 통해 특정한 문제 해결 • 1970년대 장남감 문제(toy problem)이 아닌 실제 문제 해결 역량 부족 드러남 2차 붐 • 1980년대 • 지식을 통해 지능을 구현하려는 시도. 전문가 시스템 등 • 지능을 구현하기 위한 지식의 규모가 방대함이 드러나 1990년대 후반 다시 겨울 3차 붐 • 빅데이터 시대에 퍼진 기계학습과 딥러닝이 파도 형성 • 상징적 사건(Watson, 장기전왕전, AlphaGo)으로 • 커즈와일의 특이점 이론 등으로 대중의 관심 집중 1960년대 1970년대 1980년대 1990년대 2000년대 2010년대 제1차 AI 붐 제2차 AI 붐 제3차 AI 붐 겨울 겨울 딥 러닝 기계학습 Watson 특이점 공포
- 21. 인공지능이란 무엇인가 인공지능 연구 평면도 1956 1970 1980 20151995 20101차 붐 (추론, 탐색) 2차 붐 (지식) 3차 붐 (기계학습, 특징표현 학습) 탐색미로 하노이계획 체스 장기 대화시스템의 연구 ELIZA SIRI bot CALO 프로젝트 Watson LOD(Linked Open Data) 태스크 온톨로지 시스템 온톨로지빅데이터 전문가 마이신 DENDRAL 웹 기계학습 신경망 웹-빅데이터 검색 엔진의 활용 통계적 자연어 처리 자율주행, 페퍼 구글의 고양이 인식 딥마인드 인수 바이두, 페이스북의 AI 연구소
- 22. 인공지능이란 무엇인가 ‘인공지능’이라는 단어의 탄생 1956년 다트머스 학회 학회의 명칭: Dartmouth Summer Research Project on Artificial Intelligence 인공지능이라는 용어가 처음으로 사용됨 조직위원장: 존 매카시(John McCarthy) 교수 확대 브레인 스토밍 세션에서의 매카시 교수 발언 • “우리는 1956년 뉴햄프셔 하노버의 다트머스 대학에서 2개월 동안 10명이 수행하는 인공지능 연구를 제안한다. 이 연구 는 학습의 모든 측면이나 지능의 다른 모든 특징이 원칙적으로 정확하게 기술될 수 있어 이를 흉내내는 컴퓨터를 만들 수 있다는 가정에 근거한다. 기계가 언어를 사용하고, 추상과 개념을 형성하고, 현재로서는 인간만 풀 수 있는 문제들을 해결 하고, 스스로를 개선할 수 있게 만드는 노력이 이루어질 것이다. 여름 동안 잘 선택된 과학자 그룹이 같이 노력하면 이러 한 문제들 한 두 가지에서 의미 있는 진전이 있을 것으로 생각한다.” John McCarthy (1927~2011) Marvin Minsky 1927~ Allan Newell 1927~1992 Herbert Simon 1916~2001 4인 모두 Turing상 수상 Simon 교수는 노벨 경제학상 수상
- 23. 인공지능이란 무엇인가 탐색트리로 미로를 풀다 1차 AI 붐 낙관적 전망으로 야심에 찬 연구 실행 핵심적 접근법: 추론과 탐색 기초적인 탐색기법: 깊이우선탐색, 너비우선탐색 • 주요연구: 더 좋은 탐색법을 찾기 (ex. Depth-first iterative-deepening) 미로문제 판단을 해야 하는 갈림길 (흰색) 혹은 막다른 곳(회색) AA BB CC DDEE FF GG HH II AA BB CC DDEE FF GG HH II 상태의 연결 start goal goal start start goal 탐색 트리 start AAEE CCBBFFGG II HH DD goal
- 24. 인공지능이란 무엇인가 하노이 탑 퍼즐 문제의 풀이 매번 이루어지는 행위는 문제의 상태를 바꾸는 것 퍼즐 문제 풀이도 탐색 트리로 가능하다. 퍼즐문제의 예: 하노이 탑 • 1883년 프랑스 수학자 에두아르 뤼카(Édouard Lucas) • 인도 베나레스에 있는 한 사원에는 세상의 중심을 나타내는 큰 돔(dome)이 있고 그 안에 세 개의 다이아몬드 바늘이 동판 위에 세워져 있습니다. 바늘의 높이는 1 큐빗이고 굵기는 벌의 몸통만 합니다. 바늘 가운데 하나에는 신이 64개의 순금 원판 을 끼워 놓았습니다. 가장 큰 원판이 바닥에 놓여 있고, 나머지 원판들이 점점 작아지며 꼭대기까지 쌓아 있습니다. 이것은 신 성한 브라흐마의 탑입니다. 브라흐마의 지시에 따라 승려들은 모든 원판을 다른 바늘로 옮기기 위해 밤낮 없이 차례로 제단 에 올라 규칙에 따라 원판을 하나씩 옮깁니다. 이 일이 끝날 때, 탑은 무너지고 세상은 종말을 맞이하게 됩니다. • 규칙: 어떤 원판도 자기보다 작은 원판 위에 올라갈 수 없다. 64개의 원판을 옮기는 데 필요한 동작 • 18,445,744,073,709,551,616 번 • 1초에 한 번씩 옮기면 5849억 4241만 7355년
- 25. 인공지능이란 무엇인가 로봇의 행동계획 탐색 트리를 이용한 행동 계획 Planning – 상태 혹은 조건을 액션을 통해 변경하여 목표 상태로 바꾸는 일 예 – 로봇에게 방에 있는 배터리를 가져오게 하는 일 • 방 밖에 있을 때 (condition) • 문을 열면 (action) • 문이 열린 상태가 된다 (result) • 문이 열린 상태일 때 (condition) • 실내로 이동 (action) • 방안에 있게 된다 (result) • STRIPS (Stanford Research Institute Problem Solver) • <Pre-condition / Action / Post-condition>을 통해 플래닝 • 1971년 리처드 파이크스(Richard Fikes)와 닐스 닐슨(Nils Nilsson)에 의해 개발된 자동화된 플래너 • 이후 이 플래너에 입력되는 형식 언어를 가리키는 말로 사용됨 SHRDLU 테리 위노그라드(Terry Winograd) 교수가 Planner라는 언어로 개발한 자연어 이해 프로그램 • 가상의 상자에 가득찬 블록을 다루는 기능을 수행 • 연구자들을 인공지능에 대한 낙관론으로 들뜨게 함 • 이내 더 복잡하고 모호한 현실적 상황에서 만족스럽지 못 한 행동으로 이내 낙관론이 사라짐 테리 위노그라드 교수의 제자 • 세르게이 브린(Sergey Brin), 래리 페이지(Larry Page) Terry Winograd
- 26. 인공지능이란 무엇인가 상대가 있어 방대한 조합이 된다 장기, 바둑 기본적으로 탐색이지만 상대가 있어 더 어려운 문제 목표를 향해 가는 경로를 방해하는 상대의 동작이 개입 • 복잡한 게임에서는 우악스러운 탐색(brute-force search, exhaustive search)이 불가능 탐색의 공간 오셀로: 1060 / 체스: 10120 / 장기: 10220 / 바둑: 10360 관측 가능한 우주 전체의 수소 원자 1080 이러한 게임을 다루는 일반적 탐색의 방법 현재의 상태를 평가하는 점수 모델을 만들고 이 점수를 좋게 만드는 수를 탐색 • 스스로는 점수를 최대화하는 수를 두고 • 상대는 점수를 최소화하는 수를 두는 방향으로 탐색 • Minimax 원리 • 최악의 경우(maximum loss)에 가능한 손실을 최소화하는 의사 결정 규칙 • i : 자신 / -i : 상대 • ai : 자신의 행동, a-i : 상대의 행동 • vi : 자신의 가치 함수
- 27. 인공지능이란 무엇인가 Minimax 탐색 나는 값을 최대화하고 상대는 최소화 한다. 4 수 앞을 보는 예시 동그라미는 나의 선택 네모는 상대의 선택 탐색 방법 • 1. 단말의 가치 평가 (볼 수 있는 트리의 단말) • 2. 직전의 수는 상대의 수이므로 가치를 최소화할 것으로 예측 • 3. 그 위의 노드는 나의 수 이므로 최대화하는 수 선택 • 4. 이전 노드는 상대의 노드로 최소화 • 5. 루트에서의 동작은 자식 가운데 가장 큰 노드 • 이것이 실제 수가 된다. 이기고 싶다고 무한대 값을 가진 (내가 이기는) 노드가 있는 쪽으로 탐색하면 안 됨 Minimax 탐색은 상대가 지능이 있다는 가정 • 상대가 두는 최선의 수를 막아 손실을 최소화하는 전략 Minimax search
- 28. 인공지능이란 무엇인가 보드게임 – 인공지능, 인간을 이기다 1997년 IBM 딥블루(DeepBlue) 게리 카스파로프(Garry Kasparov)를 꺾다 2012년 일본 장기전왕전(将棋 電王戦) – 본크라즈(ボンクラ ズ) 영세기성(永世棋聖) 요네나가 구니오(米長邦雄)를 꺾다 2016년 AlphaGo 이세돌을 꺾다 컴퓨터 프로그램은 어떻게 강해졌나 보다 좋은 특징이 발견되었다. • 반상의 상태를 입력으로 “수＂라는 출력을 내는 방법 학습 • 반상의 상태를 그대로 사용하지 않고 입력으로 좋은 특징을 알아나가고 있음 몬테카를로법으로 평가의 구조를 바꾸었다. • 특히 바둑에 적용 • 어떤 국면에 도달하면 수와 위치 관계에 의한 점수 매기기 중단 • 어떤 반상에 대한 평가 • 완전히 랜덤하게 계속 수를 두어 경기를 끝내어 봄 (플레이아웃) • 여러 가지 방법으로 랜덤한 수를 개선하는 방식도 존재 • 승률에 따라 상태를 평가하여 점수를 매김
- 29. 인공지능이란 무엇인가 기계학습의 태동 Perceptron 프랭크 로젠블랫(Frank Rosenblatt) 1957년 코넬대학 항공 연구실 • Mark I Perceptron • IBM 704 컴퓨터에서 시뮬레이션 된 뒤 • 하드웨어로 구현됨 20x20개의 황화 카드뮴 광센서를 단 400픽셀 카메라에 연결된 Mark I Perceptron
- 30. 인공지능이란 무엇인가 현실의 문제를 풀지 못하는 딜레마 – 1차 붐의 끝 1960대에 꽃 핀 인공지능 연구 낙관적 전망으로 활발한 연구 컴퓨터는 지능을 얻게 될 것처럼 보였음 냉정한 관찰 미로, 퍼즐, 장기와 바둑 = 명확히 정의된 룰 안에서 제한된 탐색 공간을 찾는 일 현실의 문제 – 인공지능이 수행하기 힘든 모호한 판단 마빈 민스키(Marvin Minsky)의 Perceptron에 대한 비판 Perceptron은 본질적으로 선형 구분 è XOR 문제를 풀지 못 함 세상은 쉽게 인공지능에 매료되었다가 쉽게 실망해 버렸음 • 하나의 퍼셉트론이 XOR을 풀지 못 하는 일이 그렇게 대단한 문제라고 할 수 있을까? • 신경회로망은 매우 복잡한 연결로 다중의 층을 가진 다수의 네트워크 1970년대 인공지능 1차 붐이 끝나고 정체기가 찾아 옴
- 31. 인공지능이란 무엇인가 민스키와 파퍼트(Papert)의 책, 그리고 겨울 Perceptrons: an introduction to computational geometry Marvin Minsky and Seymour Papert, 1969. 민스키와 로젠블랫 로젠블랫과 민스키는 유년기부터 알고 지낸 고교 1년 선후배 (Bronx High School of Science) 두 사람은 인공지능 분야에서 격렬한 논쟁의 중심적 인물 • 민스키의 수정된 책은 로젠블랫에 대한 헌사가 담겼지만 로젠블랫 사후에 출간됨. 책의 주요 내용 퍼셉트론에 대한 이론적 고찰 • 퍼셉트론에 대한 수학적 증명 • 퍼셉트론의 장점과 함께 알려지지 않았던 단점도 함께 보임 • XOR • 연결성 판단 책의 영향 이 책의 저자들이 보인 비관적 예측이 인공지능 연구의 잘못된 변화에 책임이 있다고 주장됨 이 책 이후 인공지능 연구는 소위 “심볼릭(symbolic)” 시스템에 집중되어 인공지능의 겨울을 초래했다는 주장 책에 대한 오해 오해: “민스키가 퍼셉트론의 XOR 한계를 지적했고, 이후 다층 퍼셉트론이 이 문제를 해결했다.” 원래 단일 뉴런으로는 적은 수의 논리 연산만 가능 / 모든 Boolean 연산이 가능한 McCulloch-Pitt 네트워크도 알려져 있었음 • 이는 로젠블랫의 책에도 언급되어 있었고 민스키의 책에도 언급된 사실 이 책에서 민스키가 실제로 보인 것 • 은닉층을 가진 3층 feed-forward 퍼셉트론에서 첫 번째 계층의 뉴런 가운데 최소한 하나는 모든 입력과 연결되어야만 한다 • 이것은 큰 규모의 네트워크를 만들기 위해 “국소적“ 뉴런을 사용하려던 당시의 노력에 타격을 준 것 connectedness
- 32. 인공지능이란 무엇인가 4. ‘지식’을 넣으면 똑똑해진다 – 제2차 AI 붐
- 33. 인공지능이란 무엇인가 컴퓨터와 대화하다 인공지능 연구의 재도약 – 1980년대 추론과 탐색이라는 단순한 규칙의 한계 인식 2차 AI 붐을 주도한 것은 “지식” • 의사 = 병에 관한 많은 지식 • 지식베이스 이런 방향에 영감을 준 1차 AI 붐 시절의 결과 1964년의 ELIZA • 대화형 시스템 • 지식은 존재하지 않고 입력 데이터에서 텍스트를 추출하여 주어진 규칙에 따라 대응하게 함 • 지적인 대화라고 할 수 없음 전문가 시스템 • 1970년대 초 스탠포드 대학의 마이신(MYCIN) • 질문에 답한 내용을 바탕으로 감염질환을 판단해 항생제 처방을 내리는 시스템 1960년대 에드워드 파이겐바움(Edward Albert Feigenbaum) • 미지의 유기 화합물을 특정하는 전문가 시스템 DENDRAL 개발 • Dendritic Algorithm • Heuristic-DENDRAL: performance • Meta-DENDRAL: learning • MYCIN, MOLGEN, MACSYMA, PROSPECTOR, XCON 등도 이 DENDRAL의 후손 Edward Feigenbaum The Father of Expert System DENDRAL 개발 당시 스탠포드 대학 교수, 이후 공군 연구소 1994. Turing 상 수상
- 34. 인공지능이란 무엇인가 전문가 시스템의 한계 지식의 수집 전문가로부터 지식을 청취하는 일의 복잡도 축적된 지식의 규모가 커질 경우 지식들 사이의 모순 발생 지식의 범위 한정된 범위 내의 지식은 축적이 용이 범위가 넓어지면 지식을 기술(description)하는 것 자체가 어려움 용어의 모호함 자연어 자체의 모호함 지식 도메인(domain)에 의존적인 의미 가장 어려운 지식은 상식 가장 어려운 지식은 상식 상식적 질문 식탁 옆에 의자는 몇 개? 4개 못이 몇 개나 있나? 가위 등이 걸린 걸 보면 10개 이상 식탁이 있나? 안 보이지만 분명히 있다
- 35. 인공지능이란 무엇인가 지식을 표현한다는 것 지식을 표현하는 방법 의미망(semantic network) • 인공지능 초창기부터 수행된 연구 • 개념은 노드(node)로 관계는 노드들 사이의 링크로 표현 (그래프 모델) 인간의 모든 지식을 표현하려고 했던 시도 Cyc 프로젝트 • 1984년 미국의 벤처 사업가 더글라스 레나트(Douglas Lenat)가 시작 • 아직도 진행중… • (#$isa #$BillClinton #$UnitedStatesPresident) • Bill Clinton belongs to the collection of U.S. President • (#$genls #$Tree-ThePlant #$Plant) • All trees are plants Commonsense Reasoning and Commonsense Knowledge in Artificial Intelligence, Ernest Davis and Gary Marcus, Communications of the ACM, 58(9): 92-103, 2015
- 36. 인공지능이란 무엇인가 온톨로지(ontology)를 이용한 지식 표현 온톨로지(ontology)에 대한 미조구치 리이치로(溝口理一郎) 교수의 정의 Towards Ontology Engineering, Technical Report AI-TR-96-1, I.S.I.R., Osaka University 철학적 의미는 “존재론 Theory of Existence” 인공지능에서는 “개념화의 명시적 표현 An explicit representation of conceptualization” 지식베이스 커뮤니티에서는 “인공 시스템을 구축하는 데에 필요한 어휘/개념의 이론” • A Theory of vocabulary/concepts used in building artificial system” 지식 표현의 문제 추이율(推移律, transitive law)의 성립 여부 • Is-a • 강영민 is-a 사람 ^ 사람 is-a 동물 è 강영민 is-a 동물 • 추이율 적용 가능 • Part-of • 강영민 part-of 한국인 ^ 한국인 part-of 지구인 è 강영민 part-of 지구인 • 추이율 적용 가능 • 큰머리 part-of 강영민 ^ 강영민 part-of 한국인 è 큰머리 part-of 한국인 • 추이율 적용할 수 없음 溝口理一郎 교수(JAIST) Ontology example
- 37. 인공지능이란 무엇인가 온톨로지(Ontology)와 데이터 Linked Data Applications: There is no One-Size-Fits-All Formula, Asuncion Gomez-Perez, The 9th Summer School on Ontology Engineering and Semantic Web, 2012
- 38. 인공지능이란 무엇인가 온톨로지의 무게 중량 온톨로지(heavyweight ontology) 지식을 기술하기 위한 방법에 대해 인간이 적극적으로 개입하여 정확한 상호관계를 찾는 것 철학적 고찰에 근거해 대상 세계를 적절하게 포착하는 것을 중시 경량 온톨로지(lightweight ontology) 컴퓨터에 데이터를 읽게 해서 자동으로 개념들 사이의 관계성을 찾는 것 정확하지 않아도 효용성만 있으면 된다는 입장 웹 마이닝, 데이터 마이닝 등과 잘 어울리는 입장 “Thesaurus vs ontology” in Why an ontological approach?, Oreste Signore, http://www.weblab.isti.cnr.it/talks/2009/iccu/slides.html#(1) http://www.ai-one.com/tag/lightweight-ontology/
- 39. 인공지능이란 무엇인가 IBM Watson 2011년 퀴즈쇼 Jeopardy에서 인간을 이기다 질의-응답 분야의 성과 주요 기술적 요소 • 위키피디아 데이터 활용 • 경량 온톨로지 활용 답을 찾는 방식 질문: 혼슈의 가장 서쪽에 위치한 이 지방은 1871년에 발족했다 답변: 야마구치 현 관점/정답후보 히로시마 야마구치 돗토리 주고쿠 오쿠타마 현의 범위에 드는가? O O O X X 조건(서쪽)에 일치? X O X O O 1871년과 연관? X O X O X 해당단어 링크 수 1300 500 200 150 10 종합점수 2% 92% 20% 6% 0% 질의응답 분야의 성과 Watson - 의료, 요리 토우로보군 - 일본 입시 시헙 응시 다양한 경량 온톨로지 응용
- 40. 인공지능이란 무엇인가 기계번역의 어려움 경량 온톨로지 질문에 아무리 답을 잘 한다고 해도 질문 자체를 이해하는 기술이 아님 의미를 이해하는 것의 어려움 기계 번역의 어려움 번역의 예 He saw a woman in the garden with a telescope. 가능한 번역 1. 그는 정원에서 망원경으로 한 여인을 보았다. 2. 그는 망원경으로 정원에 있는 한 여인을 보았다. 3. 그는 망원경을 가지고 정원에 있는 한 여인을 보았다. 가장 자연스러운 번역은 2번일 것 같지만, 반드시 그렇다고 할 수는 없다. • 자연스러운 번역을 하기 위해서 컴퓨터를 가르칠 수 있을까 • 어떤 지식을 입력해야 할까? Time flies like an arrow 시간을 화살처럼 날아간다. 시간 파리들은 어느 화살을 좋아한다. Time flies, Dwarf4r, http://dwarf4r.deviantart.com/art/Time-Flies-332901940 자연스러움과 당연함을 이해할 수 있는 지식을 모두 컴퓨터에 입력할 수 있을까
- 41. 인공지능이란 무엇인가 인공지능의 벽 – 프레임 문제(frame problem) 최초의 문제 제기: 존 매카시(John McCarthy)와 패트릭 헤이즈(Patric Hayes) (1969년) 철학자 대니얼 데닛(Daniel Dennett)이 설명한 방식 Mission: 동굴 속의 배터리를 꺼내어 오라 Robot1: 동굴에 들어가서 배터리를 찾았다. 배터리 위에는 폭탄이 있다. 미션을 완수한다. 가지고 나왔다. 터졌다. 죽었다. (바보다) 개선된 로봇을 만든다. Robot2: 목적의 수행과 함께 발생하는 부차적인 문제를 고려한다. 폭탄을 찾았다. 수레에 올리고 가지고 나가면 무슨 일이 벌어질지 고려한다. 벽의 색이 바뀔까. 천정이 무너질까. 타이어 펑크가 날까. 지진이 날까…. 그러다 time over. 터졌다. 죽었다. 목적을 수행하는 일과 관계없는 내용은 고려하지 않도록 개선 Robot3: 벽의 색이 바뀔지 생각할 필요가 있는가? 천정에 대해서 고민을 할까 말까? 관계 없는 일 이 너무 많아서… 죽었다. “관계 있는 지식만 활용한다”는 것의 어려움 “패스트 푸드 가게에서 햄버거를 사오시오“ • 인공지능에게는 패스트 푸드점을 제한하는 것, 햄버거를 제한하는 것, 결제 방법, 이동 방법, 법규 위반을 하지 않는 방법, 사고를 막는 법, 바가지를 쓰지 않는 법 등 생각할 것이 너무 많다.
- 42. 인공지능이란 무엇인가 Frame problem – John McCarthy의 설명 열고 닫을 수 있는 문과 켜고 끌 수 있는 전등이 있는 경우 문의 상태는 open / 등의 상태는 on으로 표현 시간에 의존적일 경우 open(t), on(t)와 같이 표현 문이 닫혀 있고, 불이 꺼진 상태에서 다음 상태에 문이 열려 있다면 !open(0) !on(0) True à open(1) • 문을 열 때 필요한 전제: 잠기지 않아야 함: !locked(0) à open(1) • 실제로는 행동이 가해져야 함: for all t, execute(t) ^ true à open(t+1) 그런데 알고 있는 상태를 표시한 3 개의 식이 다음 상태를 정확히 결정하는 데에 충분하지 않음 • !open(0), !on(0) … open(1), !on(1) • !open(0), !on(0) … open(1), on(1) 프레임 문제 어떤 조건이 바뀌는지를 나타내는 것만으로는 다른 조건이 바뀌지 않는다는 것을 나타내지 못 함 동작의 효과를 정확히 기술할 방법이 있는가? Frame axiom: “nothing else changes” 바뀌는 것만 기술 무엇이 바뀌는지만 기술하는 것은 충분하지 않다 Frame axiom이 필요
- 43. 인공지능이란 무엇인가 심볼 그라운딩 문제 심볼 그라운딩(Symbol grounding) 인지과학자 스테반 하나드(Stevan Harnard)가 1990년에 제기한 문제 단어가 가리키는 대상(referent)과 단어의 의미는 일치하지 않음 • 다음은 모두 동일한 대상을 가리키지만 의미가 같다고 할 수 없음 • Tony Blair • The prime minister of the UK during the year 2004 • Cherie Blair’s husband 단어의 정확한 의미가 무엇인지를 아는 것 • 규칙이 존재하고 계산 가능한 일인가? • 우리의 뇌는 어떤 규칙으로 이를 수행할까. • 규칙이 존재하기는 할까. 심볼 그라운딩은 “신체성”을 요구한다? (sensor) ‘컵’을 만져보지 않고 ‘컵’을 이해할 수 없다? 인지는 신체에서 얻어지는 것이다. Aaron Sloman, Univ. of Birmingham (심볼 그라운딩이 필요 없다는 입장)
- 44. 인공지능이란 무엇인가 그리고 2차 AI 붐의 끝 지식을 표현하여 입력하는 일 더 똑똑한 컴퓨터를 만들 수 있다 아주 똑똑한 컴퓨터를 만들기 위해 지식을 얼마나 넣어야 하는가 • 이것은 가능한 일일까 • 온톨로지 연구의 심오함 • 기계 번역의 어려움 • 프레임 문제와 심볼 그라운딩 문제 • 지식을 기술한다는 것은 불가능한 일이 아닌가 입력할 지식의 방대함에 질려버린 사람들 2차 AI 붐의 끝. 또 겨울 인공지능은 금지어 인공지능은 불가능한 것으로 취급 AI 연구에 장애가 된 사건들 1. 1966년 기계번역에 관한 ALPAC 보고서 “기계번역은 사람보다 비싸고 느리다” 2. 1969년 연결주의의 포기 Symbolic reasoning 쪽으로 연구 경향 이동 3. 1974년 Lighthill 보고서 영국의회의 질의에 대해 Lighthill 교수의 AI에 대한 부정적 의견 4. 70년대 DARPA 예산 삭감 미국방성에서 거의 무제한적 AI 지원을 하다가 1969년의 “mission-orient direct research”를 요구하는 법안의 통과로 예산 삭감 5. SUR debacle DARPA가 CMU의 speech understanding research에 실망 (수백만불 예산 취소) 이후 많은 음성 인식 시스템이 이 CMU의 기술에 기반하여 성공 6. 1987년 LISP 기계 시장의 붕괴 7. 90년대 전문가 시스템 퇴조 8. 일본 5세대 컴퓨터 프로젝트가 흐지부지 종결 5세대 컴퓨터 프로젝트에 일본 정부가 8.5억 달러 투입했지만 목표 달성 실패 난 AI 연구자사기꾼?
- 45. 인공지능이란 무엇인가 5 기계학습의 조용한 확대 – 제3차 AI 붐의 시작
- 46. 인공지능이란 무엇인가 데이터의 증가와 기계학습 제2차 AI 붐의 실패 원인 데이터의 부족 AI의 겨울에도 기계학습은 차근차근 성장 데이터의 폭발과 만나 기계학습의 가치 증대 • 1989년 Berners-Lee의 제안 (“web”이라는 단어가 처음 사용됨) • 1990년 웹 페이지의 등장 • 1993년 모자이크 등장 • 1998년 구글의 검색 엔진 • 웹 페이지의 텍스트를 다루기 위한 자연어 처리와 기계학습 연구 활성화 통계적 자연어 처리 급속 발전 통사론이나 의미론적 구조보다 확률적으로 좋은 번역 지향 추론이나 지식베이스와 다른 데이터를 확률적/통계적으로 분석 기계학습을 통해서 이를 구현 구글(Google) - 통계적 자연어 처리의 화신 창업: $100,000 창업(1998) 2015년: $517,170,000,000
- 47. 인공지능이란 무엇인가 학습한다는 것과 분류한다는 것 학습이란 무엇인가? 학습의 결과 – 분류 • 먹을 수 있는가 없는가 생물의 학습 • 생존의 확률을 높이기 위해 구분하는 능력을 얻는 것 인식과 판단의 기본은 YES/NO의 구분 이진 분류(binary classifier) 그러면 학습을 어떻게 하는가? 학습은 변화 입력과 출력이 있을 때 바람직하지 못 한 출력의 수를 줄이는 것 • 이렇게 줄이기 위해 시스템의 구성을 바꾸는 것이 학습 학습의 과정과 학습의 적용 학습의 과정은 오랜 시간이 걸린다 • 고양이라는 사물을 인식하기 위한 학습은 오래 걸린다. 학습을 적용하는 데에는 시간이 걸리지 않는다 • 고양이를 분류할 수 있는 사람은 고양이를 보는 순간 고양이로 분류할 수 있다.
- 48. 인공지능이란 무엇인가 지도학습과 비지도 학습 지도학습 입력과 올바른 출력이 세트로 제공되는 훈련 • 시스템의 출력과 올바른 출력을 비교 • 그 차이를 줄일 수 있도록 시스템을 조정 비지도 학습 입력 데이터만 존재하는 학습 • 데이터 속에서 일정한 패턴이나 룰(rule)을 추출 • 클러스터링, 빈출(frequent) 패턴 찾기 • 기저귀와 맥주를 함께 구매하는 경우가 많다 (상관 룰 추출) 분류 방법 분류 모델에 따라 다른 분류 결과가 나옴 • 최근접 이웃 방법 (Nearest neightbor) • 나이브 베이즈 (Naïve Bayes) • 결정트리 (Decision tree) • 서포트 벡터 머신(Support vector machine) • 신경망 (Neural networks) 학습 데이터 분류 방법 정치 경제 학술 이 데이터는 어디에 분류해야 하나
- 49. 인공지능이란 무엇인가 Naïve한 방법 최근접 이웃 가장 가까운 이웃의 분류 정보를 그대로 사용 지나치게 소박한 방법 Naïve Bayes 분류기 베이즈 정리를 적용한 간단한 확률론적 분류기 • “여당”이라는 단어는 정치 기사에 많다. • 전체 기사에서 ‘여당’이 나타날 확률: 정치기사의 ‘여당‘ 출현 확률 = 1:10 로 가정 • 전체 기사에서 ‘여당’이 나타날 확률: 학술기사의 ‘여당‘ 출현 확률 = 100:1로 가정 • “여당”이라는 단어가 포함된 기사 • 정치 카테고리 점수 log(10/1) 추가 • 학술 카테고리 점수 log(1/1000) 추가 How To Build a Naive Bayes Classifier https://bionicspirit.com/blog/2012/02/09/howto-build-naive-bayes-classifier.html
- 50. 인공지능이란 무엇인가 결정트리 각 속성이 포함되어 있는가 아닌가를 기반으로 분류 수행 질문에 따라 그룹을 나누어 가는 방식 문제점 • 애매한 조건을 다루기 힘들다 • 공간을 기울게 자를 수 없으므로 복잡한 문제에서 판단 정밀도 떨어진다 결정트리를 만드는 일 변수 종속변수 Y에 영향이 큰 독립변수 xi를 찾기 방법 • 지니 불순도 • 정보 획득량 • 분산감소 타이타닉 탑승자의 생존 판단, https://ko.wikipedia.org/wiki/결정트리_학습법
- 51. 인공지능이란 무엇인가 서포트 벡터 머신(SVM, SupportVector Machine) 최근까지 유행하던 기계학습 방법 자료 분석을 위한 지도학습 모델 주로 분류와 회귀분석을 위해 사용 이진 분류기로서 두 데이터를 구분하는 선이 양 측 데이터로부터 가장 큰 폭으로 떨어지도록 함 • 최대 마진 초평면(maximum-margin hyperplane) 선형 SVM 학습 데이터 (x데이터가 y로 분류 됨) 초평면 (w는 초평면의 법선) 서포트 벡터 (X+,X-) X+을 지나는 초평면 X-을 지나는 초평면 • 두 초평면의 마진(margin) = 2/||W||을 다음 제한 조건 내에서 최소화 • Yi = 1 à • Yi = -1 à 좋은 분류기이지만 데이터의 크기가 커지면 속도가 너무 느리다
- 52. 인공지능이란 무엇인가 신경회로망(Neural Network) 지금까지의 방법 우아한 접근법 신경회로망 동물의 신경 세포가 신호를 전달하고 처리하는 과정을 흉내 아래층 뉴런은 가중치에 의해 위층의 뉴런으로 연결 각각의 뉴런은 시그모이드(sigmoid) 함수를 거쳐 출력 생성 • 시그모이드 함수 • 임계치(threshold)에 의한 on/off를 수학적으로 취급하기 쉽게 한다 학습이란 바른 동작을 위한 시스템의 변화 • 무엇이 바뀔 수 있는가 • 가중치 (뉴런의 연결 강도) 최종 출력이 on/off 이진 분류기의 역학 학습된 신경망은 출력 노드 하나가 하는 기본적인 역할: 이진 분류 • 돈을 빌리는 사람의 경제 상황을 입력으로 받아서 상환 여부 판정 • 문서를 입력으로 받아 외설성 여부 판정 • 이미지를 입력으로 받아 조작 여부 판정 • 성적을 입력으로 받아 지원 대학 합격 여부 판정
- 53. 인공지능이란 무엇인가 뉴럴 네트워크로 필기체 인식하기 기계학습 분야의 주요 적용 분야 자연어 처리, 멀티미디어, 로봇 등 웹의 등장 이후 자연어 처리와 기계학습이 잘 어울려서 연구 견인 기계학습의 최근 돌파구 이미지 처리 분야 대표적인 분야 - 필기체 인식 대표적인 공용 데이터: MNIST • 28x28 pixel 이미지 (784-pixel) • 7만장의 이미지 연결의 개수 (은닉층이 100개라면) • 784x100 + 100x10 = 79,400 개의 가중치(연결) 대표적인 학습 방법 Backpropagation • 입력 이미지를 입력층에 대응 • 가중치를 곱해서 은닉층 출력 • 은닉층의 출력에 가중치 곱해 최종 출력 – 문자 판정 • 판정된 값이 틀리면 • 전체의 오차가 적어지는 방향으로 기울기를 판정 (미분) MNIST data 0 1 2 3 4 5 6 7 8 9 0.05 0.05 0.07 0.40 0.05 0.10 0.06 0.03 0.14 0.02
- 54. 인공지능이란 무엇인가 기계학습에 나타난 어려운 문제 입력 데이터 데이터의 feature(특징) 무엇을 feature로 할 것인가에 따라 학습의 결과가 달라짐 성별 주거지 신장 좋아하는 색 연수입 남 서울 168 검정 2500 남 부산 155 빨강 7000 남 경기 183 검정 12000 여 서울 175 노랑 4000 남 양산 174 초록 1800 여 창원 163 파랑 50000 이러한 데이터가 존재한다. 연소득을 예측하는 시스템을 만들 때 무엇으로 학습을 할 것인가? 입력 데이터로 사용할 것을 선택하는 것 = 특징 표현 특징표현이 학습의 질을 결정한다. 기계가 하기 힘들다. 특징표현은 사람이…
- 55. 인공지능이란 무엇인가 인공지능은 왜 실현되지 않았나 한계들 탐색과 추론은 지능을 구현하기에 역부족 지식을 넣어도 기계는 symbol grounding을 하기 힘들었다. 기계학습을 통해 기계가 스스로 깨닫게 하자 • 학습은 데이터가 필요하며 이 데이터는 “특징“을 표현한다. • 특징을 어떻게 잘 표현하는가… 특징설계(feature design)가 학습의 관건 • 기계가 특징을 설계할 수 없었다. • 기계는 스스로 학습할 수 없는가? 시니피에(signfié, 기의)와 시니피앙(signifiant, 기표) 심볼 그라운딩은 왜 안 되었나 • 데이터에서 특징을 꺼내고 이를 통해 개념(의미되는 것)을 획득한 뒤 스스로 기표를 부여하면 문제 자체가 존재하지 않음 • 컴퓨터는 특징을 파악할 능력이 없었다. 기계학습의 한계는 “특징을 파악하는 능력“의 부재에 있었다.
- 56. 인공지능이란 무엇인가 6. 정적을 깨는 ‘딥러닝’ – 제3차 AI 붐의 돌파구
- 57. 인공지능이란 무엇인가 새로운 시대를 개척한 딥러닝 2012년 ILSVRC(ImageNet Large Scale Visual Recognition Challege) 토론토 대학의 슈퍼비전(SuperVision) 압승 Team name Filename Error (5 guesses) Description SuperVision test-preds-141-146.2009-131-137-145-146.2011-145f. 0.15315 Using extra training data from ImageNet Fall 2011 release SuperVision test-preds-131-137-145-135-145f.txt 0.16422 Using only supplied training data ISI pred_FVs_wLACs_weighted.txt 0.26172 Weighted sum of scores from each classifier with SIFT+FV, LBP+FV, GIST+FV, and CSIFT+FV, respectively. ISI pred_FVs_weighted.txt 0.26602 Weighted sum of scores from classifiers using each FV. ISI pred_FVs_summed.txt 0.26646 Naive sum of scores from classifiers using each FV. ISI pred_FVs_wLACs_summed.txt 0.26952 Naive sum of scores from each classifier with SIFT+FV, LBP+FV, GIST+FV, and CSIFT+FV, respectively. Task 1 (분류) 무엇이 이런 차이를 가져 왔나? 모두들 기계학습… SuperVision 이외의 기법들: 기계학습에 사용하는 특징의 설계를 사람이 수행 - 오차율을 낮추기 위해 다양한 특징을 설계하는 노력 SuperVision: 학습에 사용되는 데이터의 특징을 스스로 파악 “Deep Learning” Geoffrey Hinton
- 58. 인공지능이란 무엇인가 딥러닝과 기타 기계학습의 차이 딥러닝(Deep learning)과 다른 기계학습의 차이 데이터를 바탕으로 컴퓨터가 스스로 특징을 만들어 냄 인공지능의 주요 성과 인공지능의 여명기에 몰려 있음 이후의 성과는 어떤 측면에서 “minor change” 딥러닝의 특징 표현 학습 • 혁신적인 도약 • 많은 사회적 논의가 거품 상태 • 거대 인터넷 기업들을 중심으로 보이지 않는 움직임 활발
- 59. 인공지능이란 무엇인가 오토인코더(auto-encoder) – 특징 표현을 학습하다 뉴럴 네트워크의 계층 계층이 많으면 자유도가 높아지며 표현할 수 있는 함수도 늘어난다 뉴럴 네트워크를 높게 높게 쌓아 보자 • 정밀도가 높아지지 않았다 • 오차의 역전파가 제대로 이뤄지지 않는다 딥러닝은 높이 쌓아서 성능을 높였다 한 층씩 계층마다 학습이 이뤄짐 오토인코더 사용 • 특징을 추출하는 역할 • Code = 입력의 특징 오토 인코더 입력과 정답을 같이 한다 은닉층에 무엇이 남을까 • 이것을 코드(code)라고 하자 • 그것은 특징이다. 지도학습에서 제시되는 정답 은닉층 입력층 출력층
- 60. 인공지능이란 무엇인가 전국의 날씨를 적은 양의 데이터로 표현하기 미션: 전국의 10개 도시의 온도를 정보를 받았다. A는 이 정보를 알지만 B에게 5개 지역만 알려줄 수 있다. B는 이 정보를 바탕으로 전국의 날씨를 추측해야 한다. 서울 10 인천 9 수원 8 성남 11 대전 12 광주 15 속초 3 부산 17 대구 16 포항 13 A가 아는 정보 서울 10 인천 9 수원 8 성남 11 대전 12 B에 알릴 정보 1안 전체적 특징을 표현하지 못 함. B가 전국 날씨 알 수 없음 서울 10 대전 12 광주 15 속초 3 부산 17 2안 1안보다 나음 이러한 정보를 만드는 것이 특징 설계 일부 특징을 모아서 더 좋은 특징을 만들면? 수도권 9.5 대전 12 광주 15 속초 3 영남 15.3 전체의 특징을 더 잘 표현하지 않을까? 이런 특징을 찾는 일을 컴퓨터가 수행하여 입력으로 사용하자는 입장
- 61. 인공지능이란 무엇인가 손글씨 문자의 정보량 오토인코더(auto-encoder) 입력 정보가 더 작은 규모의 은닉층을 통과한 뒤 출력으로 나간다 가중치는 복원 에러가 최소가 되도록 조정된다 이것은 앞서 전국 날씨를 추정하는 것과 같다 은닉층은 A에게서 B로 전달된 특징 정보 손글씨 문자 인식 입력층의 노드: 28x28 픽셀 (784) 은닉층의 노드 100 개로 가정 • 학습 과정에서 중복 정보들은 하나의 노드에 합쳐지는 등의 일이 이루어짐 • 이 정보가 출력층으로 전달될 것 • 이상적인 경우 이 정보에서 가중치가 곱해져 나오는 출력층은 입력과 동일 • 이 경우 은닉층은 입력 데이터를 적은 규모의 데이터로 잘 표현(representation) 학습의 목표 • 이 은닉층을 얻는 것 = 입력의 특징을 표현하는 방법을 배우는 것 • “표현 학습(representation learning)” – 제프리 힌튼(Geoffrey Hinton) 교수 • “특징 표현 학습” - 마츠오 유타카(松尾豊) 교수의 표현 Auto-encoder 주성분 분석과 유사 - 중요한 차원 찾기 - 낮은 차원으로 투영 다양한 노이즈 - 신뢰도 높은 주성분 얻을 수 있음 지도학습에서 제시되는 정답 은닉층 입력층 출력층
- 62. 인공지능이란 무엇인가 여러 계층을 “깊이” 탐구하다 딥러닝 오토인코더의 은닉층(표현)을 다음 단계의 입력으로 제공 • End-to-end learning 손 글씨 인식의 예 1단계: 은닉층 100 개로 가정했음 2단계: 입력층은 1단계의 은닉층에 대응되므로 100 개의 입력 • 2단계 은닉층이 20개인 경우 • 이 특징을 다시 20 개의 노드로 “압축(code)” 혹은 “표현(represent)” 하는 일 784 nodes 784 nodes 100 nodes 100 nodes 100 nodes 20 nodes
- 63. 인공지능이란 무엇인가 계층을 포개다 2층 입력 = 1층 은닉층 3층 입력 = 2층 은닉층 4층 입력 = 3층 은닉층
- 64. 인공지능이란 무엇인가 구글의 고양이 인식 추상화 단계 아래 층의 노드 = 단순한 기하적 특징 위로 올라갈 수록 복잡한 부품을 조합한 특징 스스로 개념(기의, signfié)을 만들어 나감 여기에 기표(signifiant)만 연결하면 됨 학습의 분류 지도 학습 비지도 학습 없던 개념을 만드는 일 = 비지도 학습 딥러닝은 비지도 학습을 지도학습의 방식으로 수행 • 정답은 각 단계별 출력층과 비교 (지도) • 각 단계의 실제 출력은 은닉층: 정답과 비교되지 않고, 무엇이 나올지 미리 알 수 없음 (비지도) 최종적으로 얻어진 정보 비지도 학습을 통해 얻은 “특징” 실제 분류기로 사용될 때 이 최종적인 “특징”은 레이블이 부여됨
- 65. 인공지능이란 무엇인가 정밀도를 높이는 방법, 그리고 인공지능의 실현 가능성 “강건한” 특징 데이터를 분류하는 데에 필요한 중요한 정보의 파악 어떻게 강건한 특징을 찾을 수 있는가 Noise • 입력에 노이즈를 더하는 것 • 노이즈에도 불구하고 찾아지는 특징이 “강건한” 특징 Drop-out • 신경망의 일부 뉴런을 때때로 사용하지 않도록 하는 것 • 이러한 훈련은 일부 특징에 과도한 의존을 막는다 • Regularization 기타 여러 가지 가혹한 환경 기본으로 돌아가기 딥러닝의 아이디어는 많은 연구자들이 비슷하게 고민하던 일 인공지능의 장벽 • 특징 표현의 어려움 • 여러 가지 우회로를 이용하려 했음 딥러닝의 시사점 • 아무리 어려워도 본질적인 문제를 해결해야 한다. • 그러한 방식으로 접근할 때 “지능이 프로그램으로 구현되지 않을 이유가 없다”