Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Upcoming SlideShare
4.representing data and engineering features
Next
Download to read offline and view in fullscreen.

14

Share

Download to read offline

해커에게 전해들은 머신러닝 #4

Download to read offline

한빛미디어 리얼타임 세미나 '해커에게 전해들은 머신러닝' 강의 자료(4/4)
http://www.hanbit.co.kr/store/education/edu_view.html?p_code=S4788493436

Related Books

Free with a 30 day trial from Scribd

See all

해커에게 전해들은 머신러닝 #4

  1. 1. 해커에게 전해들은 머신러닝-4 tensorflowkorea.wordpress.com/슬라이드-자료/ tensorflowkorea.wordpress.com/2016/10/29/해커에게-전해들은-머신러닝 github.com/rickiepark/ml-learn 2016. 11. Park Haesun(haesunrpark@gmail.com)
  2. 2. 콘볼루션
  3. 3. Fully Connected ... ⋅ 64 × 100 + [100]
  4. 4. ConvNet, CNN ... ... ... ... ⋅ 3 × 3 + [1]
  5. 5. ConvNet, CNN ... ... ... ... ⋅ 3 × 3 + [1] 특성 맵 (Feature Map)
  6. 6. 콘볼빙(Convolving)
  7. 7. 특성 맵(Feature Map) 특성 맵(3D) 커널, 필터(w)
  8. 8. Feed Forward
  9. 9. Convolution
  10. 10. Convolution 소프트맥스 함수
  11. 11. 스트라이드, 패딩
  12. 12. 스트라이드
  13. 13. 스트라이드 계산 𝑜 = 𝑖 − 𝑓 𝑠 + 1 = 4 − 3 1 + 1 = 2 입력(i): 4x4 필터(f): 3x3 스트라이드(s): 1
  14. 14. 스트라이드 계산 𝑜 = 𝑖 − 𝑓 𝑠 + 1 = 5 − 3 2 + 1 = 2 입력(i): 5x5 필터(f): 3x3 스트라이드(s): 2
  15. 15. 가로, 세로 스트라이드 𝑜 𝑤𝑖𝑑𝑡ℎ = 𝑖 𝑤𝑖𝑑𝑡ℎ − 𝑓𝑤𝑖𝑑𝑡ℎ 𝑠 𝑤𝑖𝑑𝑡ℎ + 1 𝑜ℎ𝑒𝑖𝑔ℎ𝑡 = 𝑖ℎ𝑒𝑖𝑔ℎ𝑡 − 𝑓ℎ𝑒𝑖𝑔ℎ𝑡 𝑠ℎ𝑒𝑖𝑔ℎ𝑡 + 1
  16. 16. 패딩
  17. 17. 패딩 계산 𝑜 = 𝑖 − 𝑓 + 2𝑝 𝑠 + 1 = 5 − 4 + 2 × 2 1 + 1 = 6 입력(i): 5x5 필터(f): 4x4 스트라이드(s): 1
  18. 18. 출력 크기를 알아야 하는 이유 가중치 파라메타의 크기를 정하기 위해 앞 레이어 유닛의 크기 X 현재 레이어 유닛의 크기
  19. 19. 텐서플로우에서는 패딩 크기, 스트라이드 크기  출력 크기 패딩 타입, 스트라이드 크기  출력 크기 (패딩 크기 자동 결정)
  20. 20. SAME 패딩 크기와 출력의 크기를 같게 함 tf.nn.conv2d(.., padding=‘SAME’, ..) 𝑜 = 𝑖 − 𝑓 + 2𝑝 𝑠 + 1 𝑖𝑓 𝑠 = 1, 𝑜 = 𝑖 − 𝑓 + 2𝑝 + 1 𝑝 = 𝑓 + 1 2 필터 크기가 짝수일 때 패딩이 좌우 비대칭 패딩이 필터의 절반 정도라 하프(Half) 패딩이라고도 부름 스트라이드가 1 일 때,
  21. 21. VALID 패딩 패딩이 없는 것 tf.nn.conv2d(.., padding=‘VALID’, ..) 𝑜 = 𝑖 − 𝑓 + 2𝑝 𝑠 + 1 = 𝑖 − 𝑓 𝑠 + 1 𝑖𝑓 𝑠 = 1, 𝑜 = 𝑖 − 𝑓 + 1 스트라이드가 1 일 때, 출력은 입력 크기에서 필터 크기를 빼고 1 을 더함
  22. 22. 렐루
  23. 23. 렐루 함수 𝑦 = 𝑥, 𝑖𝑓 𝑥 > 0 0, 𝑖𝑓 𝑥 < 0 𝑦 = max(0, 𝑥) ReLU, Rectifier Linear Unit
  24. 24. 텐서플로우에서는 시그모이드 함수 tf.nn.sigmoid() 소프트맥스 함수 tf.nn.softmax() 렐루 함수 tf.nn.relu()
  25. 25. 서브샘플링
  26. 26. Subsampling
  27. 27. Subsampling 보통 풀링(Pooling)이라고 부름 평균 풀링(Average Pooling), 맥스 풀링(Max Pooling) 데이터 압축의 효과
  28. 28. 풀링 가중치를 곱하거나 바이어스를 더하는 것이 없음 입력 맵에서 읽은 데이터를 재 가공함 보통 풀링 크기와 스트라이드 크기가 같음
  29. 29. 텐서플로우에서는 평균 풀링 함수 tf.nn.avg_pool(.., strides=.., ..) 맥스 풀링 함수 tf.nn.max_pool(.., strides=.., ..)
  30. 30. 평균 풀링 𝑜 = 𝑖 − 𝑓 𝑠 + 1 = 5 − 3 1 + 1 = 3
  31. 31. 맥스 풀링 𝑜 = 𝑖 − 𝑓 𝑠 + 1 = 5 − 3 1 + 1 = 3
  32. 32. 텐서 크기
  33. 33. 텐서플로우 tensorflow.org
  34. 34. 텐서플로우 tensorflow.org 1 Year
  35. 35. 텐서 ndarray Tensor 다차원 배열
  36. 36. 텐서플로우에 입력, 타겟 데이터 주입 텐서 입력의 크기가 정해지지 않음 입력의 크기가 정해지지 않음 데이터를 받을 그릇
  37. 37. 콘볼루션 크기 1617 × 8 × 8 × 1 → 3 × 3 , 𝑆𝐴𝑀𝐸, 32개 → 1617 × 8 × 8 × 32 → 2 × 2 , 𝑀𝑎𝑥𝑃𝑜𝑜𝑙 → 1617 × 4 × 4 × 32 → 1617 × 300 → 1617 × 10 ... ...
  38. 38. 콘볼루션 뉴럴 네트워크
  39. 39. 콘볼루션 1617 × 8 × 8 × 1 → 3 × 3 , 𝑆𝐴𝑀𝐸, 32개 → 1617 × 8 × 8 × 32
  40. 40. 풀링 1617 × 8 × 8 × 32 → 2 × 2 , 𝑀𝑎𝑥𝑃𝑜𝑜𝑙 → 1617 × 4 × 4 × 32
  41. 41. 완전 연결 레이어 1617 × 4 × 4 × 32 → 1617 × 512 → 1617 × 300 ...
  42. 42. 출력 레이어 1617 × 300 → 1617 × 10 ... ...
  43. 43. 비용 함수, 정확도 평균 계산을 위해 부 동소수점으로 변환 전체 훈련 데이터의 비용값 누적 더 조심스러운 학습속도 행방향으로 최대값을 가진 인덱스 추출
  44. 44. 학습 결과
  45. 45. 반복(epoch) 루프 실행할 연산을 리스트로 전달 플레이스홀더에 데이터 주입
  46. 46. 학습 결과
  47. 47. 감사합니다.
  • buster20

    Dec. 26, 2019
  • sansanai

    Oct. 11, 2019
  • sungchellhwang

    Dec. 21, 2018
  • huhjuang

    Apr. 27, 2018
  • KabJinKwon1

    Jan. 29, 2018
  • joobn

    Nov. 23, 2017
  • WonjuSeo

    Apr. 20, 2017
  • DaeJinAhn

    Mar. 30, 2017
  • jayuloy

    Mar. 29, 2017
  • ssusercfeaaf

    Mar. 29, 2017
  • DukeYang1

    Jan. 21, 2017
  • wall72

    Jan. 9, 2017
  • hyungminseol

    Jan. 1, 2017
  • choeungjin

    Nov. 18, 2016

한빛미디어 리얼타임 세미나 '해커에게 전해들은 머신러닝' 강의 자료(4/4) http://www.hanbit.co.kr/store/education/edu_view.html?p_code=S4788493436

Views

Total views

1,977

On Slideshare

0

From embeds

0

Number of embeds

113

Actions

Downloads

234

Shares

0

Comments

0

Likes

14

×