Deep learning as_WaveExtractor

딥러닝의 인공지능 수단으로
서의 성격과 방향
이동윤

의도
• 기초적 개념인 유사도 거리의 이해
• 구성적 접근에 대한 옹호관점
• 그 관점 하에서 딥뉴럴넷 최종 2개층이 가지는
특수성에 대한 환기
• 최종 은닉층이 가지는 특수성과 가져야 할 바람
직한 특성에 대한 설명
• 바람직한 최종은닉층 출력을 돕는 수단으로서 현
재의 역전파 학습을 제외한 수단의 필요성 환기
• 그 측면에서 딥뉴럴넷들이 성공을 거둘 수 있었
던 원인을 설명하려는 첫 시도 (내용은 없고 도입
만.)
http://blog.kevinfream.com/2013/08/22/life-after-the-robots/
1. 인공지능이란?
- 여러 고려사항
- 회귀와 분류
2. 분류수행의 두가지 스타일
- 틀린걸 가르기
- 닮은걸 찾아내기
3. 닮은걸 찾아내는 도구로서의
딥러닝
4. 뉴럴넷의 역사
-다층 퍼셉트론
-다층 퍼셉트론의 한계와 딥러닝
5. 딥러닝 돌파구
-3가지 딥뉴럴넷
-딥뉴럴넷의 공통특징
5. 특징추출기의 강화방향
-결맞음
-패턴인식에서의 결맞음
-딥러닝에 있어서의 결맞음
-결맞음 계산법
6. 완전한 결맞음을 향하여

• 컴퓨터비젼
• 음성인식/합성
• 자연어이해
• 기타
http://blog.kevinfream.com/2013/08/22/life-after-the-robots/
- 회귀와 분류
딥러닝
-결맞음

여러 고려사항
- 회귀와 분류
딥러닝
-결맞음
직접 가르칠 것인가
Vs.
스스로 배우게 할 것인가
(비통계적학습 대 통계적-)
아는걸 다뤄 아는걸 내게
할 것인가
Vs.
모르는거에서 아는걸 내
게할것인가
(기호처리 대 인식)
도달할 목표를 제시할 것
인가
Vs.
스스로 개척해가게할 것
인가
(지도학습 대 비지도-)
명확히 판단을 하게할 것
인가
Vs.
가까운 추측만 하게할 것
인가
(분류 대 회귀)
인간의 추측에서 시작하
게 할 것인가
Vs.
스스로 개척하게할 것인
가
(모수적학습 대 비모수적-)
다른지를 따지게 할 것인
가
Vs.
닮았는지를 조사하게 할
것인가
(판별과 구성)
…

회귀와 분류
- 회귀와 분류
딥러닝
-결맞음
Q. 짜장면 먹을래 짬뽕 먹을래?
A. 짜장면은 약간 끌리고 짬뽕은 야~악간 끌려 (회귀)
A. 짬뽕이 짜장면보다 더 좋으니 짬뽕 먹을래 (분류)

분류수행의 두가지 스타일
- 회귀와 분류
딥러닝
-결맞음
1. 다른지에 중점
나와 가장 다른 건. 톰이니 난 톰과는 한 조가 되지 않을래
2. 닮은지에 중점
나와 가장 닮은 건. 제인이니 난 제인과 한 조가 될래
http://www.evolvingai.org/fooling

틀린걸 가르기
- 회귀와 분류
딥러닝
-결맞음
http://www.evolvingai.org/fooling
Q A

닮은걸 찾아내기
- 회귀와 분류
딥러닝
-결맞음
Cat face: https://wallpaperscraft.com/download/cat_face_happy_56740/2560x1440
?
Network: http://www.turingfinance.com/misconceptions-about-neural-networks/

회귀와 분류
- 회귀와 분류
딥러닝
-결맞음
.

다층 퍼셉트론
- 회귀와 분류
딥러닝
-결맞음
http://docs.opencv.org/modules/ml/doc/n
eural_networks.html

다층 퍼셉트론의 한계와 딥러닝
- 회귀와 분류
딥러닝
-결맞음
.
More is Better?

- 회귀와 분류
딥러닝
-결맞음

3가지 딥뉴럴넷
- 회귀와 분류
딥러닝
-결맞음
Deep Belief Net. Long Short-Term Memory
Convolutional Neural Net.

딥뉴럴넷의 공통특징
- 회귀와 분류
딥러닝
-결맞음
All successful deep neural net has …
… common part at those tail.
Technically speaking, just {generative classification}-wise tendency can induces the special interests
in this part. (together with Softmax judging way).

딥뉴럴넷의 공통특징
- 회귀와 분류
딥러닝
-결맞음
All successful deep neural net has …
… common part at those tail.
Improved part is here

결맞음
- 회귀와 분류
딥러닝
-결맞음
Coherent waves vs. Incoherent waves
Same
Be equal Not be equal

패턴인식에서의 결맞음
- 회귀와 분류
딥러닝
-결맞음
How can I know, How well-coherent two waves are?
Well Bad

패턴인식에서의 결맞음
- 회귀와 분류
딥러닝
-결맞음
This kind of problem can cover various cases.
How much coherent?
(Coherency  Similarity and Waves  Features)

딥러닝에 있어서의 결맞음
- 회귀와 분류
딥러닝
-결맞음
The final part of neural net checks coherency.
How much coherent?
(Coherency  Similarity and Waves  Features)

결맞음 계산법
- 회귀와 분류
딥러닝
-결맞음
Geometrical Understanding of Coherency

결맞음 계산법
- 회귀와 분류
딥러닝
-결맞음
Euclidean Distance vs. Cosine Distance

완전한 결맞음을 향하여
- 회귀와 분류
딥러닝
-결맞음
The competency for ‘good wave extractor’.

Deep learning as_WaveExtractor

More Related Content

Viewers also liked

Similar to Deep learning as_WaveExtractor

Deep learning as_WaveExtractor