인공신경망의 역사와 개념에 대한 쉬운 설명입니다

1. Neural Network
yBigTa 9기 김현우 a.k.a 순록킴

4. 약간의 심리학

5. 어렸을 적 추억이 마음 속에 남아있다

6. 기억이 저장되는 장소?

8. Hippocampus 해마

9. 기억은 연결 속에 있다

10. James L. McGaugh, 2000

11. James L. McGaugh, 2000

12. 시간을 거슬러…

13. Warren McCulloch, 1943

14. with Walter Pitts

15. Donald Hebb, 1949

16. Hebbian Learning, 1949
Cells that fire together, wire together
두 개의 뉴런이 반복적이고 지속적으로
연달아 점화한다면,
두 뉴런 사이의 연결성은 강화된다

18. Threshold & Long-Term Potentiation, 20c

19. Connectionism 연결주의의 시작

20. Frank Rosenblatt, 1957
심리학자,
Perceptron의 아버지

21. The First Perceptron, 1957

22. Single Layer Perceptron, 1957
출처: untitledtblog

23. Mark 1 Perceptron

25. Mark 1, 신경망을 이용해 학습이 가능한 첫 컴퓨터

26. Perceptron의 개념

27. YCA1004-01-00

28. 나는 오늘 채플에 결석하기로 했다

30. 내가 밀린 과제가 있는가𝑥" :
𝑥# :
𝑥$ :
𝑡ℎ𝑟𝑒𝑠ℎ𝑜𝑙𝑑 : 나는 채플에 가는 성실한 학생이다
내 결석 횟수가 4번을 안 넘었겠지
나는 혹시 지금 늦잠을 잤는가

31. - 내가 밀린 과제가 있는가 : Yes
- 결석 횟수가 4번을 안 넘었겠지 : No
- 나는 혹시 지금 늦잠을 잤는가 : Yes
𝑥" = 1
𝑥# = 0
𝑥$ = 1

32. 중요도 (=가중치, Weight)

33. 핑계들 0 중요도 > 나는 성실한 학생이라는 양심

34. 높은 중요도일수록 높은 가중치
내가 밀린 과제가 있는가
결석 횟수가 4번을 안 넘었겠지
나는 혹시 지금 늦잠을 잤는가
𝑥" :
𝑥# :
𝑥$ :

35. Weight : [ 𝑤", 𝑤#, 𝑤$ ]

36. Input vector:
Weight vector: [ 𝑤", 𝑤#, 𝑤$ ]
[ 𝑥", 𝑥#, 𝑥$ ]
Input 벡터와 가중치 벡터의 내적

44. The First Perceptron, 1957
출처: untitledtblog

45. Activation function

46. Sign function

47. - 밀린 과제가 있는가 : No
- 결석 횟수가 4번을 안 넘었겠지 : Yes
- 나는 혹시 지금 늦잠을 잤는가 : No
𝑥" = 0
𝑥# = 1
𝑥$ = 0
현우의 양심으로는 역부족이었다0.45 > 0

49. 하지만 잘못된 결과값

50. 제대로 된 현우의 채플 결석 perceptron이라면
내적값이 0 이하가 되어
결석을 하지 않는다(=-1)는 결론이 나와야 한다.

51. Weight vector를 조정해야 한다

52. Weight vector의 조정

53. : learning rate
: 정답 값
: 지금 나온 값

54. : learning rate
: -1
: +1

55. 정답값과 결과값이 다른 경우
조정이 일어난다
정답값과 결과값이 같은 경우
0이 되어 조정되지 않는다

56. 따지고 보면
새로운 weight vector는
기존 weight vector에 input vector를 더하는 꼴

57. Multi-class perceptron

58. Single Class Perceptron
출처: untitledtblog

59. Multi-class perceptron

60. MIRA & SVM

61. 신경망 대박 조짐

62. Marvin Minsky , 인공지능의 아버지
초기 Artificial Intelligence
발전을 주도한 장본인

63. Symbolicism 기호주의
Artificial Intelligence 라는 말을
처음 만들어 낸 장본인
Alan
Turing
JohnVon
Neumann

64. Marvin Minsky & Symbolic A.I.
Artificial Intelligence 라는 말을
처음 만들어 낸 장본인

65. Frank Rosenblatt, 1957
심리학자,
Perceptron의 아버지

66. 사실은 고등학교 동기

67. The Bronx High School of Science

68. 두 명의 기둥

69. 인공지능에 대한 학계와 사회의 기대

70. 인공지능에 쏟아지는 어마어마한 투자와 관심

71. 하지만 기대가 크면 실망도 큰 법

72. 말라가는 물 웅덩이

73. Perceptrons
Marvin Minsky & Seymour Papert, 1969
“ XOR문제는
Perceptron으로 풀 수 없다
내가 수학적으로 증명했다
그러니깐 연구 이제 그만해라 ”

74. Single Layer Perceptron
& the XOR problem
A or B A and B A xor B

75. 신경망 바로 암흑기

76. 그리고 1971, Rosenblatt의 의문사

77. AI Winter

78. XOR problem 돌파, 부활의 신호탄

79. David Rumelhart & John Hopfield

80. Back propagation
& Multi Layer Perceptron, 1984

82. MLP의 치명적 한계:
3층 이상 쌓으면 오히려 효율이 떨어진다

83. 신경망 또다시 침체기

84. 하지만 언제나 구원자가 있다

85. 집념의 제프리 힌튼, RBM
Geoffrey
Hinton

86. 2006, Deep Learning의 가능성

87. 2012 ILSVRC, Imagenet Large ScaleVisual Recognition Challenge
Deep Learning의 승리

88. 2012, Deep Learning의 압도적 승리

89. 2013, Google에 합류

90. 2014, Google의 DeepMind 인수

91. 그리고 대망의 2016년

92. 그리고 대망의 2016년

93. Demis Hassabis

94. Yann Lecun

95. Andrew Ng: 응Andrew Ng

96. 1992, One algorithm hypothesis

97. Visual Cortex & Auditory Cortex

98. with Ferrets 담비

99. Switching
Visual inputs to A1

100. 볼 때 들을까?
들을 때 볼까?

101. 청각피질이 보는 법을 배웠다

102. 영역 별로 기능이 고정되어 있다기보다
각 영역에 주어지는 input 값에 의해
weight 값이 조정되며 학습하는 알고리즘

103. The Next AI

104. Seymour
Papert

105. Artificial
Natural

108. 감사합니다