Progressive Growing of GANs for Improved Quality, Stability, and Variation Re...태엽 김
Progressive Growing of GANs for Improved Quality, Stability, and Variation
Karras, Tero
Aila, Timo
Laine, Samuli
Lehtinen, Jaakko
모두의 연구소 GAN찮아 논문 리뷰 발표 자료
Face Feature Recognition System with Deep Belief Networks, for Korean/KIISE T...Mad Scientists
I submitted KIISE Thesis that <face>, 2014.
In this presentation, I present why I use deep learning to find facial features and what is limitation of before method.
신경망의 층이 늘어났을 때 (즉 신경망이 깊어졌을 때), 학습의 어려움을 해소하기 위해 제시된 선행학습 관점에서 DBN과 AE를 소개합니다. 또한 다른 접근법으로 문제를 해소하여 뒤 늦게 심층 신경망으로 간주되고 있는 CNN을 소개합니다.
DBN에 사용된 RBM, AE는 GAN과 더블어 비교사학습 방법을 이끄는 삼두마차입니다. CNN은 영상학습 분야의 단연 절대강자입니다.
Progressive Growing of GANs for Improved Quality, Stability, and Variation Re...태엽 김
Progressive Growing of GANs for Improved Quality, Stability, and Variation
Karras, Tero
Aila, Timo
Laine, Samuli
Lehtinen, Jaakko
모두의 연구소 GAN찮아 논문 리뷰 발표 자료
Face Feature Recognition System with Deep Belief Networks, for Korean/KIISE T...Mad Scientists
I submitted KIISE Thesis that <face>, 2014.
In this presentation, I present why I use deep learning to find facial features and what is limitation of before method.
신경망의 층이 늘어났을 때 (즉 신경망이 깊어졌을 때), 학습의 어려움을 해소하기 위해 제시된 선행학습 관점에서 DBN과 AE를 소개합니다. 또한 다른 접근법으로 문제를 해소하여 뒤 늦게 심층 신경망으로 간주되고 있는 CNN을 소개합니다.
DBN에 사용된 RBM, AE는 GAN과 더블어 비교사학습 방법을 이끄는 삼두마차입니다. CNN은 영상학습 분야의 단연 절대강자입니다.
[기초개념] Recurrent Neural Network (RNN) 소개Donghyeon Kim
* 시계열 데이터의 시간적 속성을 이용하는 RNN과 그 한계점을 극복하기 위한 LSTM, GRU 기법에 대해 기본적인 개념을 소개합니다.
* 광주과학기술원 인공지능 스터디 A-GIST 모임에서 발표했습니다.
* 발표 영상 (유튜브, 한국어): https://youtu.be/Dt2SCbKbKvs
One-stage Network(YOLO, SSD 등)의 문제점 예를 들어 근본적인 문제인 # of Hard positives(object) << # of Easy negatives(back ground) 또는 large object 와 small object 를 동시에 detect하는 경우 등과 같이 극단적인 Class 간 unbalance나 난이도에서 차이가 나는 문제가 동시에 존재함으로써 발생하는 문제를 해결하기 위하여 제시된 Focal loss를 class간 아주 극단적인 unbalance data에 대한 classification 문제(예를 들어 1:10이나 1:100)에 적용한 실험결과가 있어서 정리해봤습니다. 결과적으로 hyper parameter의 설정에 매우 민감하다는 실험결과와 잘만 활용할 경우, class간 unbalance를 해결하기 위한 data level의 sampling 방법이나 classifier level에서의 특별한 고려 없이 좋은 결과를 얻을 수 있다는 내용입니다.
2019년 4월 27일에 있었던 한국게임학회 인공지능분과 두번째 모임에 진행했던 <Tensorflow 2.0 튜토리얼 - RNN> 강연자료입니다.
RNN 을 처음 접하는 분들을 위해 RNN 의 기본 개념을 짚어보며, Google Colab Sample Code 를 통해 2.0 에서 RNN 을 사용하는 방법을 간단하게 살펴봅니다.
Energy based models and boltzmann machines - v2.0Soowan Lee
This is version 2.0 of my previous slides. (http://www.slideshare.net/blaswan/energy-based-models-and-boltzmann-machines)
Removed very simple recommendation example and Added feature extractor example referenced from Hinton's lecture.
InfoGAN: Interpretable Representation Learning by Information Maximizing Gene...홍배 김
InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
오사카 대학 박사과정인 Takato Horii군이 작성한 자료
데이터 생성 모델로 우수한 GAN을 이용하여 비지도학습을 통해
"알기쉬게" 이미지의 정보를 표현하는 특징량을 "간단하게"획득하기
* 특징이 서로 얽혀있는 Physical space에서 서로 독립적인 Eigen space로 변환하는 것과 같은 원리
[기초개념] Recurrent Neural Network (RNN) 소개Donghyeon Kim
* 시계열 데이터의 시간적 속성을 이용하는 RNN과 그 한계점을 극복하기 위한 LSTM, GRU 기법에 대해 기본적인 개념을 소개합니다.
* 광주과학기술원 인공지능 스터디 A-GIST 모임에서 발표했습니다.
* 발표 영상 (유튜브, 한국어): https://youtu.be/Dt2SCbKbKvs
One-stage Network(YOLO, SSD 등)의 문제점 예를 들어 근본적인 문제인 # of Hard positives(object) << # of Easy negatives(back ground) 또는 large object 와 small object 를 동시에 detect하는 경우 등과 같이 극단적인 Class 간 unbalance나 난이도에서 차이가 나는 문제가 동시에 존재함으로써 발생하는 문제를 해결하기 위하여 제시된 Focal loss를 class간 아주 극단적인 unbalance data에 대한 classification 문제(예를 들어 1:10이나 1:100)에 적용한 실험결과가 있어서 정리해봤습니다. 결과적으로 hyper parameter의 설정에 매우 민감하다는 실험결과와 잘만 활용할 경우, class간 unbalance를 해결하기 위한 data level의 sampling 방법이나 classifier level에서의 특별한 고려 없이 좋은 결과를 얻을 수 있다는 내용입니다.
2019년 4월 27일에 있었던 한국게임학회 인공지능분과 두번째 모임에 진행했던 <Tensorflow 2.0 튜토리얼 - RNN> 강연자료입니다.
RNN 을 처음 접하는 분들을 위해 RNN 의 기본 개념을 짚어보며, Google Colab Sample Code 를 통해 2.0 에서 RNN 을 사용하는 방법을 간단하게 살펴봅니다.
Energy based models and boltzmann machines - v2.0Soowan Lee
This is version 2.0 of my previous slides. (http://www.slideshare.net/blaswan/energy-based-models-and-boltzmann-machines)
Removed very simple recommendation example and Added feature extractor example referenced from Hinton's lecture.
InfoGAN: Interpretable Representation Learning by Information Maximizing Gene...홍배 김
InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets
오사카 대학 박사과정인 Takato Horii군이 작성한 자료
데이터 생성 모델로 우수한 GAN을 이용하여 비지도학습을 통해
"알기쉬게" 이미지의 정보를 표현하는 특징량을 "간단하게"획득하기
* 특징이 서로 얽혀있는 Physical space에서 서로 독립적인 Eigen space로 변환하는 것과 같은 원리
4. Dongmin Kim, 2018
Neural Network
사람의 신경망에서 영감을 얻어 이를 구현(꼭 똑같이 구현할 필요 없음)
각 뉴런 사이의 연결에 의하여 병렬적인 사고
각 연결은 상황에 맞게 조정됨
가지돌기
몸체
축삭돌기
축삭둔덕
가지돌기
•다른 신경으로부터 온 전기
신호가 모아짐(입력)
축삭둔덕
•일정 세기 이상이 되어야만
전기 신호 발생
축삭돌기
•전기 신호를 다른 신경으로
보냄(출력)
Input
Input
Output
Output
5. Dongmin Kim, 2018
Artificial Neuron
Input
Vector
(1xm)
X
Weight Matrix
(mxn)
(1xn)
Output
Vector
(1xn)
S
Activation
Function
6. Dongmin Kim, 2018
Activation Function
Linear Neuron Binary Threshold
Neuron
Rectified Linear
Unit(ReLU)
Leaky ReLU Sigmoid
간단하지만 활용성
제약
미분을 통한
가중치 수정 불가
0보다 작으면
미분을 통한
가중치 수정 불가
Exp연산이
비효율적
편의상 x=0 지점의 기울기를 1이라고 함
7. Dongmin Kim, 2018
Bias
편의상 뉴런에 있는 b라는 상수항 대신 입력이 1이고 b라는
가중치를 가진 입력이 있다고 표현
y
𝑥0 𝑥1
y
𝑥0 𝑥1 1
𝑤0 𝑤1
𝑤0
𝑤1
𝑏
19. Dongmin Kim, 2018
Single Neuron’s Limitations
스스로 특징을 찾아야 하며, 이를 통하여 학습할 수 있는 정보도 제한적임
단순하여 복잡한 데이터를 반영 못함(XOR 예시)
20. Dongmin Kim, 2018
Introducing the Hidden Layer
& Deep Neural Network
Deep Neural Network(DNN)은 여러 개의 Single Neuron을 계층적으로 쌓은 것임
다층 구조의 효과를 드러내기 위해서는 각 Neuron은 non-linear이어야 함
스스로 특성을 찾는 Deep Learning이고 학습할 수 있는 정보도 많아짐
복잡한 데이터를 반영할 수 있음
22. Dongmin Kim, 2018
Data Segmentation
Without model tuning
With model tuning
Training Set (70%) Test Set (30%)
Training Set (50%) Test Set (30%)
Validation
Set (20%)
32. Dongmin Kim, 2018
One-hot Vector
1개의 원소만 값이 1이고, 나머지 원소는 값이 0인 벡터
E.g. 0 – 4까지의 값을 가질 때, 3 → [0, 0, 1, 0, 0]
반대말: One-cold Vector, e.g. [1, 0, 1, 1, 1]
47. Dongmin Kim, 2018
Other Sequential Models
Gated Recurrent Unit(GRU) Differentiable Neural Computer(DNC)
48. Dongmin Kim, 2018
Review - Neural Network
사람의 신경망에서 영감을 얻어 이를 구현(꼭 똑같이 구현할 필요 없음)
각 뉴런 사이의 연결에 의하여 병렬적인 사고
각 연결은 상황에 맞게 조정됨
가지돌기
몸체
축삭돌기
축삭둔덕
가지돌기
•다른 신경으로부터 온 전기
신호가 모아짐(입력)
축삭둔덕
•일정 세기 이상이 되어야만
전기 신호 발생
축삭돌기
•전기 신호를 다른 신경으로
보냄(출력)
Input
Input
Output
Output
50. Dongmin Kim, 2018
Review - Introducing the Hidden Layer
& Deep Neural Network
Deep Neural Network(DNN)은 여러 개의 Single Neuron을 계층적으로 쌓은 것임
다층 구조의 효과를 드러내기 위해서는 각 Neuron은 non-linear이어야 함
스스로 특성을 찾는 Deep Learning이고 학습할 수 있는 정보도 많아짐
복잡한 데이터를 반영할 수 있음
51. Dongmin Kim, 2018
Review - Effectively dealing with Computer Vision(CV)
problems → Convolutional Neural Network(CNN)
DNN CNN