Deep Learning for AI (1)

1. 2018. 04. 12. 인공지능을 위한 딥러닝 프로그래밍 Machine Learning 의용전자연구실 박사과정 이동헌

2. Week3 Machine Learning (18. 04. 12. 13:00-17:00) Week4 Deep Learning (18. 05. 03. 13:00-17:00) Week5 AI in Medicine (18. 05. 10. 13:00-17:00) • Introduction to AI • Machine Learning Overview • Image Classification Pipeline • Loss functions and Optimization • Neural Network and Backpropagation • Training Neural Networks • Convolutional Neural Networks (CNNs) • CNNs Models • Applications of CNNs • Recurrent Neural Networks (RNNs) • Deep Learning in Practice • Applications in Medicine

3.  Introduction to AI  Machine Learning Overview  Image Classification Pipeline  Loss functions and Optimization

4. 출처: 구글 이미지

9. LeNet 1998년

10. Since 2006년

11. • 스탠포드대학과 구글이 16,000개의 컴퓨터 프로세스와 10억개 이상의 뉴럴네트워크 를 이용해서 유튜브 내 천만개 비디오 중에서 고양이를 인식. • 학습데이터가 없은 비지도학습(즉 컴퓨터에게 “이러한 이미지는 고양이다”라고 가르쳐주지 않음). • 그 결과 인간의 얼굴은 81.7%, 인간의 몸 76.7%, 고양이는 74.8%의 정확도로 인식함. 2012년 6월

12. http://image-net.org/

16. NAVER speech recognition 20% 개선 100% 10% 4% 1% 1990 2000 2010 Using Deep Learning According to Microsoft’s speech group: GMM WorderrorrateonSwitchboard Speech Recognition (Acoustic Modeling)

17. 17 • 공개 소프트웨어 (AI) • 공개 데이터 • 공개 논문 • 공개 경진대회 • 공동 프로젝트 • Open AI Promotion Community AI 기술 진보는 어떻게 오는가?

18. 18

20. 20 “인공지능이 가장 중요한 세상(AI-first world)에서 우리는 모든 제품을 다시 생각하고 있다. (we are rethinking all our products)” 순다르 피차이(구글 최고경영자) 2017.05.18

21. 21

22. 22

23. 23 AI in Healthcare 출처: 구글 이미지

24. 24

25. 25

26. 병원명 AI 시스템 개발 내용 Lunit과 Chest X-ray 폐암 조기진단 시스템 개발 협력 OBS Korea와 치과용 인공지능 시스템 개발 협력 AI 벤처기업과 심혈관 질환 조기 진단 시스템 개발 협력 VUNO와 폐암 CT 영상 분석 시스템 개발 협력 삼성 메디슨과 초음파를 이용한 유방암 조기 진단 시스템 개발 협력 인공지능 암 치료 개발 사업 추진 예정 암 진단을 위한 IBM Watson 도입 지능형 의료 안내 로봇 개발 국내 주요 병원 AI 기술 개발 현황 (2017년 기준)

27. 서울의대 예과 ‘의학 입문’ 수업 중 (2017년 11월)

28. 대한영상의학회 춘계학술대회 설문조사 결과 (2017년)

29. 대한영상의학회 춘계학술대회 설문조사 결과 (2017년)

30. AI will replace radiologists?

32. 의사의 탈숙련화(Deskilling)?

33. Reason 1. Humans will always maintain ultimate responsibility. Reason 2. Radiologists don’t just look at images. Reason 3. Productivity gains will drive demand. Why AI will not replace radiologists? Doctors? Doctors

34. 34

35. 35 우승팀의 딥러닝 모델 개요 (Andrew back, Harvard Univ.)

36. 36 https://www.snuh.org/main.do

37. 37 출처: 구글 이미지

38. Artificial Intelligence Machine Learning ANN PCA SVM Decision Tree Deep Learn- ing

39. 39 Q. What is learning? • 인간이 연속된 경험을 통해 배워가는 일련의 과정 - David Kolb • 기억(Memorization)하고 적응(Adaptation)하고, 이를 일반화(Generalization)하는 것 Q. Why machines need to learn? • 모든 것을 프로그래밍 할 수 없다. • 모든 상황을 커버할 수 있는 룰을 만드는 것은 불가능하다. • 알고리즘으로 정의하기 어려운 일들이 있다.

40. 40

41. 41

42. 42 머신러닝 과정 1. 데이터 수집 및 전처리 2. 특징 선택 및 추출 3. 알고리즘 선택 4. 학습 5. 평가

43. 43 Task : Classification 농어 연어

44. https://www.pinterest.co.uk/pin/53832158029479772/

45. https://www.pinterest.co.uk/pin/53832158029479772/

46. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가

48. 48 1. 데이터 수집 및 전처리 출처: 구글 이미지

49. 49 1. 데이터 수집 및 전처리 출처: 구글 이미지

52. 52 2. 특징 선택 및 추출

53. 53 2. 특징 선택 및 추출 • 특징(Feature) 종류? • 특징(Feature) 갯수? Length Lightness Width Number and shape of fins Position of the mouth … 생선의 특징 =

54. 54 2. 특징 선택 및 추출 ’길이’ 특징

55. 55 2. 특징 선택 및 추출 ’밝기’ 특징

56. 56 2. 특징 선택 및 추출 ’길이 & 밝기’ 특징

57. 57 • 전 세계 주요 국가의 100만명 당 연간 초콜릿 소비량과 노벨상 수상자 수와의 상 관관계 분석에 대한 결과를 발표 (NEJM, 2012). • 그 결과는 매우 강한 상관관계가 있음 (r=0.791; 통상 상관계수 r값이 0.7 이상이 면 매우 강한 상관관계를 나타냄). • 이 상관계수는 노벨위원회가 있는 스웨덴을 제외할 경우 0.862로 더 높아짐. 2. 특징 선택 및 추출 - 종류

58. 출처: 구글 이미지

59. 59 2. 특징 선택 및 추출 - 크기 e.g. • BMI = 키, 몸무게 (2D) • 건강상태 = 혈압, 나이, BMI (5D)

60. 60 2. 특징 선택 및 추출 • More features often makes better performance. • Too many features often causes poor generalization capability. → ‘Curse of Dimensionality’

63. 63 3. 알고리즘 선택

64. Classification3. 알고리즘 선택

65. Regression 3. 알고리즘 선택

68. Continuous value Categorical value (Binary, One-hot) e.g. Least Square Method e.g. Cross-entropy  Cost function (a.k.a Loss function) • 학습의 기준이 되는 함수를 정의 • Cost function이 최소화하는 방향으로 학습을 진행 (파라미터 변경) 4. 학습

69. 4. 학습  Hyperparameters (모델 학습을 위한 파라미터) • Learning rate • Regularization constant • Loss function • Weight Initialization strategy • Number of epochs • Batch size • (Number of layers) • (Nodes in hidden layer) • (Activation functions) …

70.  Optimization (파라미터 최적화) 4. 학습

71. 71 4. 학습

72. 72 Regressor Regression Regressor 4. 학습

73. 73 4. 학습 일반화 능력 훈련에 참여하지 않은 데이터에도 좋은 성능을 보임

74. 4. 학습  Bias: 학습한 모델과 Real World 모델과의 불일치 정도 → Bias를 줄이는 방법: 더 복잡한 모델을 선택  Variance: 학습한 모델에 대해서 데이터셋이 바뀔 때 성능의 변화량 → Variance를 줄이는 방법: 더 많은 데이터를 수집

75. 75 4. 학습  Regularization • Weight Decaying • Dropout  Cross-Validation • Leave-one-out • K-fold

76. 76 Weight Decaying4. 학습 Model:

77. 77 Weight Decaying4. 학습 Model: Cost function:

78. 78 Weight Decaying4. 학습 Model: Cost function: Cost function(일반식):

79. 79 Weight Decaying4. 학습 Cost function(일반식):

80. 4. 학습 Cross-Validation

81. Cross-Validation 4. 학습

82. 1.데이터 수집 및 전처리 2.특징 선택 및 추출 3.알고리즘 선택 4.학습 5.평가

84. 84 5. 평가 • Trained Model 을 Test dataset에 적용 Confusion Matrix • Accuracy = (TP + TN) / (TP + TN + FP + FN) • Sensitivity = TP / (FN + TP) • Specificity = TN / (TN + FP) • False positive rate = FP / (TN + FP) • Precision = TP / (TP + FP)

85. 85 5. 평가 Receiver Operating Characteristic (ROC) Curve

88. 88

89. 89

90. Challenges in Visual Recognition

91. 91

92. 92

93. 93

103. • K = 3 ? • K = 5 ?

106. x

111. 1. 데이터 수집 및 전처리 • CIFAR-10 2. 특징 선택 및 추출 • 원본 이미지 그대로 3. 알고리즘 선택 • NN Classifier • K-NN Classifier Summary 4. 학습 • Cross Validation 5. 평가 • N/A

121. Loss functions

122. Loss functions

123. Loss functions

124. Loss functions

125. Loss functions

126. Loss functions

127. Loss functions

128. Loss functions

129. Loss functions

130. Loss functions

131. Loss functions

132. Optimization Strategy #1: Random Search

133. Optimization

134. Optimization Strategy #2: Follow the slope In 1-dimension, In multi-dimension, gradient is the vector of (partial derivatives)

135. Optimization

136. Optimization

137. Optimization

138. Optimization

139. Optimization

140. Optimization

141. Optimization

142. Optimization

143. Optimization

144. Optimization

145. Optimization

146. Optimization

147. 1. 데이터 수집 및 전처리 • CIFAR-10 2. 특징 선택 및 추출 • 원본 이미지 그대로 3. 알고리즘 선택 • NN Classifier • K-NN Classifier • Linear Classifier Summary 4. 학습 • Cross Validation • Loss Function • Optimization  Gradient Descent  Mini-batch Gradient Descent 5. 평가 • N/A

148. Feature Engineering

150. 1. (p6) NVIDIA, “What’s the Difference Between Artificial Intelligence, Machine Learning, and Deep Learning?”, https://blogs.nvidia.com/blog/2016/07/29/whats-difference-artificial-intelligence-machine-learning-deep-learning-ai/ 2. (p8, p15, p18) Andrew L. Beam, machine learning and medicine, Deep Learning 101 - Part 1: History and Background, https://beamandrew.github.io/deeplearning/2017/02/23/deep_learning_101_part1.html 3. (p9) Yann’s Homepage, http://yann.lecun.com/exdb/lenet/ 4. (p11) The New York Times, “How Many Computers to Identify a Cat? 16,000”, https://www.nytimes.com/2012/06/26/technology/in-a-big-network-of-computers-evidence-of-machine- learning.html?_r=1&amp 5. (p12-14, p34-36, p87-110, p112-145, p149) Standford, CS231n, http://cs231n.stanford.edu/ 6. (p16) Machine Learning Tutorial 2015 (NAVER) 7. (p17) AIRI 400, “인공지능의 개요, 가치, 그리고 한계” (김진형 박사) 8. (p19) CBINSIGHTS, “From Virtual Nurses To Drug Discovery: 106 Artificial Intelligence Startups In Healthcare”, https://www.cbinsights.com/research/artificial-intelligence-startups-healthcare/ 9. (p20) NEWSIS 기사, 구글 CEO "AI시대 맞춰 모든 제품 다시 생각 중“, http://www.newsis.com/view/?id=NISX20170518_0014902945 10. (p21)Analytic Indai, “Infographic- Artificial Narrow Intelligence Vs. Artificial General Intelligence”, https://analyticsindiamag.com/artificial-narrow-vs-artificial-general/

151. 11. (p22) WEF expert panel interviews, press release, company website: A.T Kearney analysis 12. (p24) Machine Learning for Healthcare, MIT. Spring 2017, https://mlhc17mit.github.io/ 13. (p25) Medium, AI in Healthcare: Industry Landscape, https://techburst.io/ai-in-healthcare-industry-landscape- c433829b320c 14. (p27) 최윤섭의 Healthcare Innovation, “인공지능의 시대, 의사의 새로운 역할은”, http://www.yoonsupchoi.com/2018/01/03/ai-medicine-12/ 15. (p28-29) 최윤섭의 Healthcare Innovation, “인공지능은 의사를 대체하는가”, http://www.yoonsupchoi.com/2017/11/10/ai-medicine-9/ 16. (p30) Eric Topol Twitter, https://twitter.com/erictopol/status/931906798432350208 17. (p31) 동아일보, http://dimg.donga.com/wps/NEWS/IMAGE/2017/06/19/84945511.1.edit.jpg 18. (p32) 최윤섭의 Healthcare Innovation, “인공지능의 시대, 의사는 무엇으로 사는가”, http://www.yoonsupchoi.com/2017/12/29/ai-medicine-11/ 19. (p33) Medium, “Why AI will not replace radiologists” https://towardsdatascience.com/why-ai-will-not-replace- radiologists-c7736f2c7d80 20. (p39, p70, p148) AIRI 400, “Machine Learning 기초” (이광희 박사) 21. (p40) ciokorea 인터뷰, “데이빗 마이어에게 듣는 머신러닝과 네트워크와 보안”, http://www.ciokorea.com/news/34370 22. (p41) Data Science Central, https://www.datasciencecentral.com/profiles/blogs/types-of-machine-learning-algorithms- in-one-picture 23. (p42, p71-72) 모두의 연구소, “기계학습/머신러닝 기초”, http://www.whydsp.org/237

152. 24. (p43, p52, p54-56, p73) AIRI 400, 패턴인식-기계학습의 원리, 능력과 한계 (김진형 박사) 25. (p44-45) Pinterest, https://www.pinterest.co.uk/pin/53832158029479772/ 26. (p53) BRILLIANT, Feature Vector, https://brilliant.org/wiki/feature-vector/ 27. (p57) The NEJM, “Chocolate Consumption, Cognitive Function, and Nobel Laureates”, http://www.nejm.org/doi/pdf/10.1056/NEJMon1211064 28. (p59) tSL, the Science Life, “빅데이터: 큰 용량의 역습 – 차원의 저주”, http://thesciencelife.com/archives/1001 29. (p60) Random Musings’ blog, https://dmm613.wordpress.com/author/dmm613/ 30. (p63) Steemit, “A Tour of Machine Learning Algorithms”, https://steemit.com/science/@techforn10/a-tour-of-machine- learning-algorithms 31. (p64) • Deep Thoughts, “Demystifying deep”, https://devashishshankar.wordpress.com/2015/11/13/demystifying-deep- neural-networks/ • Brian Dolhansky, “Artificial Neural Networks: Linear Multiclass Classification (part3)”, http://briandolhansky.com/blog/2013/9/23/artificial-neural-nets-linear-multiclass-part-3 • Statistical Pattern Recognition Toolbox for Matlab, “Examples: Statistical Pattern Recognition Toolbox”, https://cmp.felk.cvut.cz/cmp/software/stprtool/examples.html#knnclass_example 32. (p65) Xu Cui’s blog, SVM regression with libsvm, http://www.alivelearn.net/?p=1083 33. (p70) • Sanghyukchun’s blog, Machine Learning 스터디 (7) Convex Optimization, http://sanghyukchun.github.io/63/ • Coursera, Machine Learning (Standford), https://ko.coursera.org/learn/machine-learning

153. 34. (p74) R,Pyrhon 분석과 프로그래밍(by R Friend), [R 기계학습] 과적합(Over-fitting), Bias-Variance Trade-off (Delimma), http://rfriend.tistory.com/189 35. (p76-79) 2nd Summer School on Deep Learning for Computer Vision Barcelona, https://www.slideshare.net/xavigiro/training-deep-networks-d1l5-2017-upc-deep-learning-for-computer-vision 36. (p80-81) Medium, “Train/Test Split and Cross Validation in Python”, https://towardsdatascience.com/train-test-split- and-cross-validation-in-python-80b61beca4b6 37. (p84-85) Ritchie Ng’s blog, “Evaluating a Classification Model”, https://www.ritchieng.com/machine-learning-evaluate- classification-model/ 38. (p86) “Getting Started with TensorFlow(2016), Giancarlo Zaccone, Packt” 39. (p103) WIKIPEDIA, “k-nearest neighbors algorithm”, https://ko.wikipedia.org/wiki/K%EC%B5%9C%EA%B7%BC%EC%A0%91_%EC%9D%B4%EC%9B%83_%EC%95%8C%EA%B 3%A0%EB%A6%AC%EC%A6%98 40. (p146) Deniz Yuret’s Homepage, “Alec Radford's animations for optimization algorithms”, http://www.denizyuret.com/2015/03/alec-radfords-animations-for.html

Deep Learning for AI (1)

Deep Learning for AI (1)

Recommended

More Related Content

What's hot

What's hot(20)

Similar to Deep Learning for AI (1)

Similar to Deep Learning for AI (1)(20)

More from Dongheon Lee

More from Dongheon Lee(9)

Deep Learning for AI (1)

Editor's Notes