Downloaded 35 times
![Weight : [ 𝑤", 𝑤#, 𝑤$ ]](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-32-320.jpg)
![Input vector:
Weight vector: [ 𝑤", 𝑤#, 𝑤$ ]
[ 𝑥", 𝑥#, 𝑥$ ]
Input 벡터와 가중치 벡터의 내적](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-33-320.jpg)
![𝑤J,J 𝑤J," 𝑤J,# 𝑤J,$
𝑤",J 𝑤"," 𝑤",# 𝑤",$
4 x 3 3 x 2
Weight vectors
𝑥J 𝑥"
2 x 4
= 1 x 4 행렬
[1 x 2] x [2 x 4]
x
activF(X 0 W1 +b1)](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-105-320.jpg)
![𝑤J,J 𝑤J," 𝑤J,#
𝑤",J 𝑤"," 𝑤",#
𝑤#,J 𝑤#," 𝑤#,#
𝑤$,J 𝑤$," 𝑤$,#
2 x 4 4 x 3 3 x 2
[1 x 4 행렬 ] x = [1 x 3 행렬 ]
Weight vectors activF(activF(X 0 W1 +b1) 0 W2 +b2)](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-106-320.jpg)
![2 x 4 3 x 2
[1 x 3 행렬 ]
Weight vectors
𝑤J,J 𝑤J,"
𝑤",J 𝑤","
𝑤#,J 𝑤#,"
= [1 x 2 행렬 ]x
4 x 3
activF(activF(activF(X 0 W1 +b1) 0 W2 +b2) 0 W3 +b3)](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-107-320.jpg)
![NEURAL NETWORKS ?
[1 x 8]
[8 x 9] [9 x 9] [9 x 9]
[9 x 4]
[8 x 15] [15 x 10]](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-108-320.jpg)
![어떤 loss 함수의 최솟값찾기
Gradient Descent
기울기 음수 기울기 양수
→ 오른쪽으로 이동 ← 왼쪽으로 이동
기울기 음수
→ 오른쪽으로 이동
기울기 0
정지
𝑤VWXYZ[X = 𝑤W[]^_V` − 𝛾 𝛻d 𝐿(𝑤)](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-113-320.jpg)
![𝑤VWXYZ[X = 𝑤W[]^_V` − 𝛾 𝛻d 𝐿(𝑤) Weight를 업데이트 해주면서
어떤 loss 함수의 진짜 최솟값 찾기
Gradient Descent
Learning Rate
한 걸음의 크기
Gradient
지금 w에서의 기울기](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-117-320.jpg)
![출처: 하용호님 발표
Vanishing Gradient
Back-prop에서 발생할 수 있는 문제
Layer가 많을수록 업데이트가 사라져간다
그래서 fitting이 잘 안 된다[underfitting]
Best choice: ReLU](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-120-320.jpg)
![𝑤VWXYZ[X = 𝑤W[]^_V` − 𝛾 𝛻d 𝐿(𝑤) Weight를 업데이트 해주면서
어떤 loss 함수의 진짜 최솟값 찾기
Gradient Descent
Learning Rate
한 걸음의 크기
Gradient
어느 방향
1.
2.](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-126-320.jpg)
![헷갈리기 쉬운 핵심용어들
• Epoch [이폭, 에픽]
• Mini-batch size
• Iteration
update →
… → update → …
update →
update →update →
이걸 m번 반복
반복 때마다 랜덤하게 섞는다
전체 데이터를 보는 걸 1바퀴라 했을 때, 몇 바퀴 돌 것인지 : m
하나의 mini-batch는 몇 개의 데이터로 이루어져있을지
대개 2의 제곱수: 16, 32, 64, …
전체 데이터 수와 mini-batch사이즈에 따라 자동으로 결정됨
=number of updates in 1 epoch
=number of mini-batches](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-129-320.jpg)
![딥러닝 모델 구축하기 [실습]
• Dataset & DataLoader
• Model
• Loss function
⚬ MSE, Cross-entropy, KL-divergence 등등
• Optimizer
⚬ SGD, AdaGrad, RMSProp, Adam 등등
• Training & Testing
출처: DeepBrick](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-135-320.jpg)
![Defense Model 2:
Convolutional VAE [conv_VAE]
28x28x1
28x28x10
14x14x16
7x7x28 128
256
20
128
256
7x7x16
14x14x10
28x28x6
28x28x1
Z_mu, Z_logvar
Sampled Epsilon
X. Yan et al., Attribute2Image: Conditional Image Generation from Visual Attributes. In ECCV, 2015.](https://image.slidesharecdn.com/nnfrombasicstopytorch-171109132539/85/Neural-Networks-Basics-with-PyTorch-154-320.jpg)
More Related Content
![Random Forest Intro [랜덤포레스트 설명]](https://cdn.slidesharecdn.com/ss_thumbnails/theforestslideshare-170924111713-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Neural Networks Basics with PyTorch
![Neural Network Intro [인공신경망 설명]](https://cdn.slidesharecdn.com/ss_thumbnails/neuralnetworkfinale-170924112506-thumbnail.jpg?width=640&height=640&fit=bounds)
![[GomGuard] 뉴런부터 YOLO 까지 - 딥러닝 전반에 대한 이야기](https://cdn.slidesharecdn.com/ss_thumbnails/part1mlp2cnn-slidesharev-180308015531-thumbnail.jpg?width=640&height=640&fit=bounds)
![Decision Tree Intro [의사결정나무]](https://cdn.slidesharecdn.com/ss_thumbnails/thetreeslideshare-170922160319-thumbnail.jpg?width=640&height=640&fit=bounds)
Neural Networks Basics with PyTorch
- 1. Y B IG T A , D A T A D E S I G N T E A M NEURAL NETWORKS SUNLOK KIM
- 2.
- 3.
- 4.
- 5. 어렸을 적 추억이 마음속에 남아있다
- 6.
- 7.
- 8. 기억은 연결 속에 JamesL. McGaugh, 2000
- 9.
- 10.
- 11.
- 12.
- 13. Hebbian Learning, 1949 Cellsthat fire together, wire together 두 개의 뉴런이 반복적이고 지속적으로 연달아 점화한다면, 두 뉴런 사이의 연결성은 강화된다
- 15. Threshold & Long-TermPotentiation, 20c
- 16.
- 17. Frank Rosenblatt 1928.7.11 ~1971.7.11 심리학자, Perceptron의 아버지
- 18.
- 19. Single Layer Perceptron,1957 출처: untitledtblog
- 20.
- 22. MARK 1 신경망을 이용한 학습이가능한 첫 컴퓨터
- 23.
- 24.
- 25. 나는 오늘 채플에결석하기로 했다
- 27. 내가 밀린 과제가있는가𝑥" : 𝑥# : 𝑥$ : 𝑡ℎ𝑟𝑒𝑠ℎ𝑜𝑙𝑑 : 나는 채플에 가는 성실한 학생이다 내 결석 횟수가 4번을 안 넘었겠지 나는 혹시 지금 늦잠을 잤는가
- 28. - 내가 밀린과제가 있는가 : Yes - 결석 횟수가 4번을 안 넘었겠지 : No - 나는 혹시 지금 늦잠을 잤는가 : Yes 𝑥" = 1 𝑥# = 0 𝑥$ = 1
- 29.
- 30. 핑계들 0중요도 >나는 성실한 학생이라는 양심
- 31. 내가 밀린 과제가있는가𝑥" : 𝑥# : 𝑥$ : 내 결석 횟수가 4번을 안 넘었겠지 나는 혹시 지금 늦잠을 잤는가 높은 중요도일수록 높은 가중치
- 32. Weight : [ 𝑤",𝑤#, 𝑤$ ]
- 33. Input vector: Weight vector:[ 𝑤", 𝑤#, 𝑤$ ] [ 𝑥", 𝑥#, 𝑥$ ] Input 벡터와 가중치 벡터의 내적
- 41.
- 42.
- 43.
- 44. - 밀린 과제가있는가 : No - 결석 횟수가 4번을 안 넘었겠지 : Yes - 나는 혹시 지금 늦잠을 잤는가 : No 𝑥" = 0 𝑥# = 1 𝑥$ = 0 순록의 양심으로는 역부족이었습니다0.45 > 0
- 46.
- 47. 제대로 된 순록의채플 결석 perceptron이라면 내적값이 0 이하가 되어 결석을 하지 않는다(=-1)는 결론이 나와야 합니다
- 48.
- 49.
- 50.
- 51. Marvin Minsky 1927.8.9 ~2016.1.24 초기 인공지능 발전을 주도한 아버지 초기 인공지능 발전을 주도한 장본인
- 52.
- 53. Marvin Minsky &Symbolic A.I. Artificial Intelligence 라는 말을 처음 만들어 낸 장본인 http://web.media.mit.edu/~minsky/papers/SymbolicVs.Connectionist.html
- 54. Frank Rosenblatt 1928.7.11 ~1971.7.11 심리학자, Perceptron의 아버지
- 55.
- 56. The Bronx HighSchool of Science
- 57.
- 58. 인공지능에 대한 학계와사회의 기대
- 59. 인공지능에 쏟아지는 어마어마한투자와 관심
- 60. 하지만 기대가 크면,실망도 큰 법
- 61.
- 62. Perceptrons Marvin Minsky &Seymour Papert, 1969 “ XOR 문제는 Perceptron으로 풀 수 없다 내가 수학적으로 증명했다 그러니깐 연구 이제 그만해라”
- 63. Single Layer Perceptron &the XOR problem A or B A and B A xor B
- 64.
- 65.
- 66.
- 67. XOR problem 돌파 부활의신호탄 David Rumelhart John Hopfield
- 68. Back propagation & MultiLayer Perceptron, 1984
- 69. Back propagation & MultiLayer Perceptron, 1984 MLP의 치명적 한계: 3층 이상 쌓으면 오히려 효율이 떨어진다
- 70.
- 71. 하지만 언제나 구원자가있습니다
- 72. Geoffrey Hinton 1947.12.6 ~현재 인지심리학자, 컴퓨터과학자 딥러닝의 창시자, 대부
- 73.
- 74. 2012 ILSVRC, ImagenetLarge ScaleVisual Recognition Challenge Deep Learning의 승리
- 75. 2012, Deep Learning의압도적 승리
- 76.
- 77.
- 78.
- 79.
- 80. Demis Hassabis 1976.7.27 ~현재 구글 딥마인드의 창업자 알파고의 아버지, 13세 체스 챔피언
- 81. 1992, One algorithmhypothesis
- 82. Visual Cortex &Auditory Cortex
- 83.
- 84.
- 85. 볼 때 들을까? 들을때 볼까?
- 86. 청각피질이 보는 법을배웠다
- 87. 영역 별로 기능이고정되어 있다기보다 각 영역에 주어지는 input 값에 의해 weight 값이 조정되며 학습하는 알고리즘
- 88.
- 89.
- 92.
- 93.
- 94.
- 95.
- 96.
- 97.
- 98.
- 99. Activation Functions Best choice:ReLU 𝛼 값을 따로정한다 또는 아예 파라미터화 𝛼 값을 uniform distribution에서 랜덤하게추출한다 𝛼 = 0 𝑓 𝑥 = < 0 (𝑥 < 0) 𝑥 (𝑥 ≥ 0) 𝑓 𝑥 = max (0, 𝑥) 𝑓 𝑥 = < 𝛼𝑥 (𝑥 < 0) 𝑥 (𝑥 ≥ 0) 𝑓 𝑥 = < 𝛼𝑥 (𝑥 < 0) 𝑥 (𝑥 ≥ 0) 𝛼 ~ 𝑈 𝑙, 𝑢 , 𝑙 < 𝑢, 𝑎𝑛𝑑 𝑙, 𝑢 ∈ [0,1)
- 100. 𝑤J,J 𝑤J," 𝑤J,#𝑤J,$ 𝑤",J 𝑤"," 𝑤",# 𝑤",$ 𝑤J,J 𝑤J," 𝑤J,# 𝑤",J 𝑤"," 𝑤",# 𝑤#,J 𝑤#," 𝑤#,# 𝑤$,J 𝑤$," 𝑤$,# 𝑤J,J 𝑤J," 𝑤",J 𝑤"," 𝑤#,J 𝑤#," 2 x 4 4 x 3 3 x 2 Weight vectors
- 101. 𝑤J,J 𝑤J," 𝑤J,#𝑤J,$ 𝑤",J 𝑤"," 𝑤",# 𝑤",$ 4 x 3 3 x 2 Weight vectors 𝑥J 𝑥" 2 x 4 x
- 102. 𝑤J,J 𝑤J," 𝑤J,#𝑤J,$ 𝑤",J 𝑤"," 𝑤",# 𝑤",$ 4 x 3 3 x 2 Weight vectors 𝑥J 𝑥" 2 x 4 x
- 103. 𝑤J,J 𝑤J," 𝑤J,#𝑤J,$ 𝑤",J 𝑤"," 𝑤",# 𝑤",$ 4 x 3 3 x 2 Weight vectors 𝑥J 𝑥" 2 x 4 x
- 104. 𝑤J,J 𝑤J," 𝑤J,#𝑤J,$ 𝑤",J 𝑤"," 𝑤",# 𝑤",$ 4 x 3 3 x 2 Weight vectors 𝑥J 𝑥" 2 x 4 x
- 105. 𝑤J,J 𝑤J," 𝑤J,#𝑤J,$ 𝑤",J 𝑤"," 𝑤",# 𝑤",$ 4 x 3 3 x 2 Weight vectors 𝑥J 𝑥" 2 x 4 = 1 x 4 행렬 [1 x 2] x [2 x 4] x activF(X 0 W1 +b1)
- 106. 𝑤J,J 𝑤J," 𝑤J,# 𝑤",J𝑤"," 𝑤",# 𝑤#,J 𝑤#," 𝑤#,# 𝑤$,J 𝑤$," 𝑤$,# 2 x 4 4 x 3 3 x 2 [1 x 4 행렬 ] x = [1 x 3 행렬 ] Weight vectors activF(activF(X 0 W1 +b1) 0 W2 +b2)
- 107. 2 x 43 x 2 [1 x 3 행렬 ] Weight vectors 𝑤J,J 𝑤J," 𝑤",J 𝑤"," 𝑤#,J 𝑤#," = [1 x 2 행렬 ]x 4 x 3 activF(activF(activF(X 0 W1 +b1) 0 W2 +b2) 0 W3 +b3)
- 108. NEURAL NETWORKS ? [1x 8] [8 x 9] [9 x 9] [9 x 9] [9 x 4] [8 x 15] [15 x 10]
- 109. Loss functions 우리가 배울때, 얼마나 틀렸는지를 알아야 합니다. 그래야 얼만큼 고칠지를 알 수 있습니다. 정답지랑 비교해서 얼마나 틀렸는지를 통해 학습을 진행합니다. 따라서 최대한 틀리지 않게 학습해야 합니다. = minimize the Loss = Optimization 결국 어떤함수의최솟값찾기
- 110. OPTIMIZATION 산에서 좋은 길을찾아 내려오기
- 111. 어떤 loss 함수의최솟값찾기 Gradient Descent
- 112. 어떤 loss 함수의최솟값찾기 Gradient Descent 기울기 음수 기울기 양수 → 오른쪽으로 이동 ← 왼쪽으로 이동 기울기 음수 → 오른쪽으로 이동 기울기 0 정지
- 113. 어떤 loss 함수의최솟값찾기 Gradient Descent 기울기 음수 기울기 양수 → 오른쪽으로 이동 ← 왼쪽으로 이동 기울기 음수 → 오른쪽으로 이동 기울기 0 정지 𝑤VWXYZ[X = 𝑤W[]^_V` − 𝛾 𝛻d 𝐿(𝑤)
- 114. 어떤 loss 함수의진짜최솟값찾기 Gradient Descent
- 115. 어떤 loss 함수의진짜최솟값찾기 Gradient Descent
- 116. 어떤 loss 함수의진짜최솟값찾기 Gradient Descent
- 117. 𝑤VWXYZ[X = 𝑤W[]^_V` − 𝛾 𝛻d 𝐿(𝑤) Weight를 업데이트 해주면서 어떤 loss 함수의 진짜 최솟값 찾기 Gradient Descent Learning Rate 한 걸음의 크기 Gradient 지금 w에서의 기울기
- 118. Weight를 업데이트 해주면서 어떤loss 함수의 진짜 최솟값 찾기 Gradient Descent 𝑤J,J 𝑤J," 𝑤J,# 𝑤J,$ 𝑤",J 𝑤"," 𝑤",# 𝑤",$ 𝑤J,J 𝑤J," 𝑤J,# 𝑤",J 𝑤"," 𝑤",# 𝑤#,J 𝑤#," 𝑤#,# 𝑤$,J 𝑤$," 𝑤$,# 𝑤J,J 𝑤J," 𝑤",J 𝑤"," 𝑤#,J 𝑤#," 이 많은 weight를? 기울기 언제 다 구하지?
- 119. Back propagation “뒤로 전달”이라는의미 사실상 미적분의 Chain Rule 출처: 하용호님 발표
- 120. 출처: 하용호님 발표 VanishingGradient Back-prop에서 발생할 수 있는 문제 Layer가 많을수록 업데이트가 사라져간다 그래서 fitting이 잘 안 된다[underfitting] Best choice: ReLU
- 121. Gradient Descent 전체 Data를다 본 후 loss를 구해서 Weight를 업데이트 해주면서 어떤 loss 함수의 진짜 최솟값 찾기 전체 데이터를 다 보고 1 걸음 간다 (update) 이걸 m번 반복 BATCH Gradient Descent
- 122. S T OC H A S T I C Gradient Descent Data 1개 본 후 loss를 구해서 Weight를 업데이트 해주면서 어떤 loss 함수의 진짜 최솟값 찾기 → update → → update → → update → → update → → update → → update → … → update → … 이걸 m번 반복 반복 때마다 랜덤하게 섞는다
- 123. M I NI B AT C H Gradient Descent Data B개 본 후 평균 loss를 구해서 Weight를 업데이트 해주면서 어떤 loss 함수의 진짜 최솟값 찾기 → update → … → update → … → update → → update →→ update → 이걸 m번 반복 반복 때마다 랜덤하게 섞는다 GPU !
- 124. S T OC H A S T I C Gradient Descent M I N I B AT C H Gradient Descent≅
- 125.
- 126. 𝑤VWXYZ[X = 𝑤W[]^_V` − 𝛾 𝛻d 𝐿(𝑤) Weight를 업데이트 해주면서 어떤 loss 함수의 진짜 최솟값 찾기 Gradient Descent Learning Rate 한 걸음의 크기 Gradient 어느 방향 1. 2.
- 127.
- 128.
- 129. 헷갈리기 쉬운 핵심용어들 •Epoch [이폭, 에픽] • Mini-batch size • Iteration update → … → update → … update → update →update → 이걸 m번 반복 반복 때마다 랜덤하게 섞는다 전체 데이터를 보는 걸 1바퀴라 했을 때, 몇 바퀴 돌 것인지 : m 하나의 mini-batch는 몇 개의 데이터로 이루어져있을지 대개 2의 제곱수: 16, 32, 64, … 전체 데이터 수와 mini-batch사이즈에 따라 자동으로 결정됨 =number of updates in 1 epoch =number of mini-batches
- 130. Dropout 각 mini-batch로 update할때마다 특정 뉴런들을 생략하고 update *대개 0.5
- 131. Hyperparameters • Learning rate •Epochs • Mini-batch size • Momentum • Decay rate • … xkcd.com
- 132. 딥러닝 모델 구축하기 •Dataset & DataLoader • Model • Loss function ⚬ MSE, Cross-entropy, KL-divergence 등등 • Optimizer ⚬ SGD, AdaGrad, RMSProp, Adam 등등 • Training & Testing 출처: DeepBrick
- 133.
- 135. 딥러닝 모델 구축하기[실습] • Dataset & DataLoader • Model • Loss function ⚬ MSE, Cross-entropy, KL-divergence 등등 • Optimizer ⚬ SGD, AdaGrad, RMSProp, Adam 등등 • Training & Testing 출처: DeepBrick
- 136.
- 137. The Pillars of DEEPLEARNING
- 138. CONVOLUTIONAL N E UR A L N E T W O R K R E C U R R E N T N E U R A L N E T W O R K
- 139.
- 140.
- 141. Categorization of theobject 계란말이? 치즈케익? 두부부침? 파인애플? CLASSIFICATION
- 142. 뭔가 여기 있는데,이 물체가 무엇일까? 계란말이 0.86 1. 무언가 있다는 사실 2. 이것이 무엇인지 DETECTION Identifying the object
- 143. How it usedto work: proposal to classification REGION PROPOSAL
- 144.
- 145. GENERATIVE M O DE L S
- 146.
- 147.
- 148.
- 149. What I'm doingthese days
- 150.
- 151.
- 152. Through the human eye Anderson& Winawer, 2005
- 153. iPodBoat Perturbation Through the machine’seye Adversarial Example or Attack
- 154. Defense Model 2: ConvolutionalVAE [conv_VAE] 28x28x1 28x28x10 14x14x16 7x7x28 128 256 20 128 256 7x7x16 14x14x10 28x28x6 28x28x1 Z_mu, Z_logvar Sampled Epsilon X. Yan et al., Attribute2Image: Conditional Image Generation from Visual Attributes. In ECCV, 2015.
- 155.
- 156.
- 157. Facebook - TensorFlowKR Community Lectures 초짜대학원생 시리즈 https://brunch.co.kr/@kakao-it http://kvfrans.com/ http://colah.github.io/ 모두를 위한 머신러닝/딥러닝 강의 http://cs231n.stanford.edu/ 3Blue1Brown 강의 Blogs TA K E AWAYS Sung Kim
- 159.