딥러닝 입문을 위한 기초적인 강좌

1. 딥 러닝에 다가가기
2017년 4월 29일
김 성 완
부산게임아카데미

2. 강사 소개
서강대학교 물리학과 졸업
부산대 대학원 지구과학과 박사 수료
부산게임아카데미 교수
영산대 가상현실 콘텐츠학과 겸임교수
NC 소프트 사내교육 강사
(주)미리내소프트웨어 개발이사
(주)스코넥 VR 기술 고문
미래기술에이원(주) 기술이사
인디라! 인디게임개발자모임 대표

3. 차 례
인공지능의 현재
인공지능의 역사
인공신경망은 무엇인가?
딥 러닝은 무엇인가?
인공지능이 가져올 미래
어떻게 공부할 것인가?

4. 인공지능의 현재

5. 인공지능
바둑에 도전하다

9. 무인 주차 관리 시스템

10. 인공지능 로봇 페퍼 (일본 소프트뱅크)

11. 중국의 바이두 이미지 검색

13. 바이두 딥 스피치

14. 얼굴 인식

15. 표정 인식

16. 헌법 재판관의 중립적 표정

17. 표정 + 나이 + 성별 인식

18. 영상 내 사물 인식

19. 이미지에 설명문 달기

20. 페이 페이 리 (스탠포드 대학 ImageNet)

21. Deep Visual-Semantic Alignments

23. 도로 상황 인식하기

24. 자율 주행 자동차 (구글)

25. 자율 주행 택시 (싱가포르)

26. 자율주행 우버 택시 (미국, 피츠버그) 시범 운행

29. 인공지능의 역사

30. 앨런 튜링 (1912~1954)
튜링 머신 (디지털 컴퓨터의 수학적 원형), 튜링 테스트(이미테이션 게임)
2차 대전 독일군 암호 해독

31. 튜링 머신 (디지털 컴퓨터의 수학적 원형)

32. 인공지능의 두가지 방법
기호주의 vs 연결주의

33. 기호주의 vs 연결주의
기호주의 : 수학적인 논리에 기반한 인공지능 구현
연결주의 : 생물의 신경망을 모방한 인공지능 구현

34. 프랭크 로젠블렛 (1928~1971) : 연결주의, 퍼셉트론

35. 프랭크 로젠블렛 : 생물의 신경 세포를 모방한다

36. 신경세포와 인공 신경망

37. 퍼셉트론 : 1957년 알고리즘 고안

39. 퍼셉트론 마크 1 (1960) : 인공신경망 컴퓨터
뉴욕타임즈: 걷고, 말하고, 보고, 쓰고, 번식하고… 스스로 존재를 의식할 수 있는 컴
퓨터를 향한 첫걸음

40. 퍼셉트론 실제 응용 : 남녀 사진 구분 학습
https://youtu.be/cNxadbrN_aI

41. 이미지 패턴 분류기 (선형 분리)

42. 마빈 민스키 (1927~2016) : 기호주의 인공지능의 개
척자

43. 퍼셉트론은 XOR 연산 불가능 (1969)을 증명

44. XOR 연산은 단순 선형 분리가 불가능 하다.

45. 연결주의의 몰락
퍼셉트론을 만든 프랭크 로젠블렛도 1971년 사망

46. 다층 퍼셉트론은 XOR 연산이 가능
하지만 중간에 있는 은닉층 때문에 학습시킬 방법이 없다.

47. 하지만 기호주의도 지나치게 낙관적이었다.
결국 인공지능 연구의 겨울이 왔다.

48. 다층 신경망의 학습 방법 발견

49. 인공신경망의 부활 (1990년대)
1980년대 중반에 다층 신경망 학습법으로 오류 역전파 알고리즘이 고안되었다.
Turbo-C로 길들이는 학습하는 기계 신경망 (1993)

50. 인공지능이 체스를 둔다.

51. IBM 딥블루 vs 개리 카스파로프 (1997)
기호주의 인공지능의 승리

52. 인공지능의 긴 겨울 (2000년대)
은닉층이 여러개인 심층 신경망의 학습이 어려움 : 오류 경사값 소멸 현상

53. IBM 인공지능 컴퓨터 왓슨

54. IBM Watson (2011) 제퍼디 퀴즈쇼 석권

55. 아이폰 시리 (2011) 등장 : 자연어 음성 인식 응답

58. Deep Learning의 대성공: 인공신경망 화려한 부활

59. 인공 신경망은 무엇인가?

60. 두뇌의 신경망을 흉내낸다.

61. 신경 세포를 모방

62. 활성함수 Activation Function
Sigmoid and Tanh

63. 딥 러닝 인기 활성 함수: ReLu (Rectified Linear Unit)

66. 다층 신경망 학습 방법 : 오류 역전파 알고리즘

67. 오류 역전파 알고리즘

68. 경사 하강법 (Gradient Descent)

69. 딥 러닝은 무엇인가?

70. 심층 신경망 DNN (Deep Neural Network)

71. MNIST (숫자 손글씨 데이터) (1998)

72. 얀 러쿤 Yann LeCun (페이스북 AI 수장)

73. 다양한 손글씨를 학습한다. (1998)

74. 이미지 인식에 뛰어난 인공 신경망 탄생

75. CNN (Convolutional Neural Network)

76. Convolution

77. Pooling

78. 특징 추출 ----> 분류

80. 자동차의 차종을 구분한다.

81. 얼굴을 인식한다.

82. 감독(지도) 학습 (Supervised Learning)

83. Deep Belief Net (2006)

84. 심층 신경망 학습 문제 해결

85. Autoencoder : 개별 층을 미리 학습 시킴

87. Dropout 알고리즘 : 과적합 현상 제거

88. 최대한 다양한 얼굴의 특징을 학습해야 한다.

89. 빅 데이터 (ImageNet)

90. GPU의 활약

91. GPU (Graphic Processing Unit)

92. Nvidia GPU 신제품 발표 (CEO 젠슨 황)

94. GPU를 많이 사용할수록 인공지능 오류 감소

95. DNN의 종류
CNN : Convolution Neural Network
RNN : Recurrent Neural Network
LSTM : Long Short Term Memory
GANs : Generative Adversarial networks

96. CNN (Convolution Neural Network)

97. RNN (Recurrent Neural Network)
시계열 데이터 처리에 적합

98. RNN : 입력과 출력 데이터 길이 가변적

99. RNN : 과거를 기억하는 효과

100. LSTM(Long Short Term Memory) : RNN의 일종

101. GAN (Generative Adversarial Networks)

102. Neural Network Playground
http://playground.tensorflow.org/

103. Topological Visualisation of a Convolutional Neural Network
http://terencebroad.com/nnvis.html

104. 인공지능이 가져올 미래

106. 요리사 로봇

108. “10년내 언어장벽 사라진다”···실시간 통역 이어폰 등장

109. 실시간 동시 통역기

110. 챗봇

111. 로봇 밀도 세계 1위 (2015)

112. 로봇 도입에 따른 2025년의 인건비 절감률 예측 세계 1위

114. 그럼 전문직은?

115. “가천대 길병원: 암 진단에 인공지능 ‘왓슨’ 적용”

117. 지방 대학병원들 앞다투어 IBM 인공지능 왓슨 도입

118. “의사란 직종은 변함없이 필요할 것이다.
다만! 그 기능을 담당하는 사람이 사라질
뿐이다.”
- 은퇴를 앞둔 익명의 의사

119. “로봇 vs 기자, 독자는 기사 차이 못 느꼈다” - 블로터

120. "인공지능(AI) 판사, 실제 재판 판결 80% 예측" - 조선비즈

121. 그럼 예술가들은?

122. 화가의 그림 스타일을 흉내낸다.

125. 렘브란트 풍의 그림

126. 음악을 작곡한다.

127. Jukedeck 인공지능 작곡 서비스

128. 인공지능과 게임

129. 데미스 하사비스
딥 마인드 CEO
알파고의 아버지

130. 테마 파크 (1994)

131. GDC 2001 (2001년 게임 개발자 회의, 산호세)

132. 블랙 & 화이트 (2001)

133. 블랙 & 화이트 (2001)

134. Republic: the Revolution (2003)

135. 딥 마인드 강화 학습 (목표만 주고 스스로 학습한다)
https://youtu.be/TmPfTpjtdgg

136. 딥 마인드 강화 학습, 스페이스 인베이더
https://youtu.be/W2CAghUiofY

137. 스타크래프트
알파고 다음으로 도전할 게
임

138. GTA5 안에서 자율 주행 자동차 학습

139. 어떻게 공부할 것인가?

140. 딥 러닝 툴로 바로 시작??

141. 한빛미디어 첫걸음 시리즈

142. 밑바닥부터 시작하는 딥러닝

143. 신경망 첫걸음

144. 인공 신경망 연구 과제 스터디 (중학교 3학년들)

145. 8x8 크기의 숫자 패턴 인식
64

146. Python 소스 코드 (1 / 2)
# numpy 라이브러리 불러오기(행렬계산 관련 도구들)
import numpy as np
# 시그모이드 함수 정의
def sigmoid(x):
return 1/(1+np.exp(-x))
# 시그모이드 함수의 도함수(미분) 정의
def Dsigmoid(x):
return x*(1-x)
#<패턴 입력>
# 입력 패턴(텍스트 파일로 만들고 불러옴)
a = np.loadtxt("learn_p.txt")
a = np.reshape(a, (30,64))
print('Learn Patterns')
print(a.shape)
# 우리가 기대하는 0부터 9까지의 숫자값을 목적패턴으로 지정
b = np.loadtxt("target_p.txt")
print('Target Patterns')
print(b.shape)
#<가중치 무작위 설정>
#난수 설정
np.random.seed(1)
# 연결가중치1
w0 = 2*np.random.random((64,15))-1
# 연결가중치2
w1 = 2*np.random.random((15,10))-1
#<학습과정 (60000번 반복)>
for iter in range(600000):
#입력층 지정(입력패턴이 처음 지정되는 층)
l0 = a
#은닉층 지정(입력 패턴이 가중치와 곱해져서 나온 값들이 은닉층에 지정됨)
l1 = sigmoid(np.dot(l0,w0))
#출력층 지정(다시 가중치와 곱해져서 나온 최종 값들이 출력층에 지정됨)
l2 = sigmoid(np.dot(l1,w1))

147. Python 소스코드 (2 / 2)
#<테스트하기>
# 시험 패턴 불러오기
test = np.loadtxt("test_p.txt")
test = np.reshape(test, (14,64))
#입력층에 패턴 입력
l0 = test
#은닉층 지정
l1 = sigmoid(np.dot(l0,w0))
#출력층 지정
l2 = sigmoid(np.dot(l1,w1))
#시험결과 출력
print ('Test Consequense')
print (l2)
#<오류역전파 알고리즘으로 가중치 변경하는 과정>
#목적패턴과 출력패턴과의 오차
l2_error = b - l2
#주기적으로 오류값 출력
if iter % 5000 == 0 :
print ("Error:")
print (l2_error)
#은닉층과 출력층 사이 가중치를 변경할 델타 값(미분 계산 들
어감)
l2_delta = l2_error * Dsigmoid(l2)
#은닉층에 지정된 값의 오차
l1_error = np.dot(l2_delta, w1.T)
#입력층과 은닉층 사이 가중치를 변경할 델타 값(미분 계산 들
어감)
l1_delta = l1_error * Dsigmoid(l1)
#연결 가중치를 각각 델타 값을 이용해 변경
w1 += np.dot(l1.T,l2_delta)
w0 += np.dot(l0.T,l1_delta)
#학습결과 출력
print ('nPractice Consequense')
print (l2)

148. 학습용 숫자 패턴과 학습 결과

149. 테스트용 숫자 패턴과 테스트 결과

150. 감사합니다