SlideShare a Scribd company logo

[GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기

•
•
D
Donghyeon Kim

Google Developers Group (GDG) DevFest Gwangju 2018 행사에서 발표한 자료입니다 * 1D 시계열 신호를 다루는 연구 분야에 어떻게 신경망 구조(특히 CNN)를 적용할 수 있는지 정리하고, * 1D 시계열 신호관련 연구분야에 딥러닝 관련 연구개발 주제를 살펴봅니다. * 2018. 11. 17. 토요일. GDG DevFest Gwangju 2018. @GIST

Technology
1 of 70
Download to read offline
김동현, GDG Gwangju Organizer dony.donkim@gmail.com Gwangju 나도 쓰고 싶다 딥러닝 II 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 2018
나도 쓰고 싶다, 딥러닝 II 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 이 발표에서는 이제 막 딥러닝에 입문하신 분들께 음성/ 이미지/영상 이외의 신호에 (1) 어떻게 신경망 구조를 적용할 수 있는지 (2) 어떤 연구개발 주제와 내용을 접목할 수 있는지 정리합니다. Gwangju
이런 분을 위해 준비한 Talk 입니다  머신러닝 및 딥러닝 관련 기초 강좌를 수강하거나 공부하신 분  TensorFlow를 이용해서 MNIST 분류 CNN 실습 해보신 분  이미지 기반 딥러닝 기법을 1-D 신호에 적용해보고 싶으신 분  1-D 신호에 딥러닝 구조 (특히 CNN) 적용 방법이 궁금하신 분 Gwangju
발표자 소개 소속 * Ph.D. Student Communications & Sensor Networks Lab. (CSNL), Gwangju Institute of Science and Technology (GIST). * GDG Gwangju Organizer * A-GIST (Artificial General Intelligence Study Team) 흥미/ 좋아하는 것들 생체 신호처리 (Biosignal processing) 기계학습/딥러닝 (Machine Learning/ Deep Learning) 사부작거리며 일벌리기하기 디스커션을 빙자한 술자리 Contact Info. https://sites.google.com/site/donydonkim dony.donkim@gmail.com dhkim518@gist.ac.kr 김동현 Donghyeon Kim 삽질을 바탕으로 커뮤니티에 기여할 수 있는 경로를 탐색 중입니다:)
여러분은 아마도… http://www.hankookilbo.com/News/Read/201602091271161001 https://www.inflearn.com/course/; 인프런, 모두를 위한 딥러닝 https://ko.coursera.org/learn/machine-learning
여러분은 아마도… http://neuralnetworksanddeeplearning.com/chap6.html http://solarisailab.com/archives/1308
여러분은 아마도… LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems. Szegedy, Christian, et al. (2015). "Going deeper with convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. He, Kaiming, et al. (2016). "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. + LeNet, AlexNet, GoogLeNet, VGGNet, ResNet
여러분은 아마도… t x(t) 1차원 시간열 신호 통신 신호, 센서 신호 (온도, 초음파, 압력 등), 에너지 신호 (전력량 등) 웨어러블 및 생체 신호 (뇌파, 심전도, 가속도, 각속도 등)
여러분은 아마도…  시간열 1-D 신호에는 딥러닝을 어떻게 사용하지?  특히 CNN(컨벌루션, 풀링)을 1-D 신호에 어떻게 적용하지?  이미지/영상 기반의 기법이나 연구 개발 주제들이 1-D 신호에도 적용 될수 있나?
그럼에도 불구하고 여러분은!
Part I. 1D 신호에 신경망 구조 적용하기 Part II. 1D 신호에 연구개발 주제 대입하기 그래서 이런 내용을 소개합니다
발표하는 저도 부족한 사람입니다... 디스커션 환영합니다:-) 잠깐, 오해하지 마세요
Part I. 시작합니다 1D 신호에 신경망 구조 적용하기 # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어
왜 신경망 구조를 탐구하나요?
왜 신경망 구조를 탐구하나요? 손가락을 베이다  반창고를 붙일까? 깁스를 할까? 신경망 모형에 따라 복잡도가 결정되고, overfitting 및 bias 문제와 연관 있습니다.
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
① 1 채널 곧바로 MLP 적용  시간 축 (time-domain) 또는 주파수 축 (frequency-domain) Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 신호 및 분류 문제 간단 예시 시간 축  심전도 펄스 5초로 쇼크/정상 판별하기  주식-주가 변동 예측 주파수 축  뇌파 (δ, θ, α, β, γ) 대역별 신호로 감정/수면상태 판별하기
① 1 채널 곧바로 MLP 적용  시간 축 (time-domain) 또는 주파수 축 (frequency-domain) Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기
① 1 채널 곧바로 MLP 적용  어플리케이션: 통신 - Signal detection in OFDM systems Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 Ye, H., Li, G. Y., & Juang, B. H. (2018). Power of deep learning for channel estimation and signal detection in OFDM systems. IEEE Wireless Communications Letters, 7(1), 114-117.
① 1 채널 곧바로 MLP 적용  어플리케이션: 통신 - PAPR reduction scheme for OFDM Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 Kim, M., Lee, W., & Cho, D. H. (2018). A Novel PAPR Reduction Scheme for OFDM System Based on Deep Learning. IEEE Communications Letters, 22(3), 510-513.
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
② 1 채널 곧바로 CNN 적용  1D Convolution Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
② 1 채널 곧바로 CNN 적용  1D Pooling Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
② 1 채널 곧바로 CNN 적용 Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
② 1 채널 곧바로 CNN 적용  어플리케이션: 의료헬스케어 - EEG Seizure Detection Acharya, U. R. et al., (2017). Deep convolutional neural network for the automated detection and diagnosis of seizure using EEG signals. Computers in biology and medicine. Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Convolution Max-pooling Fully connected layer
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
③ 1 채널 변환하고 CNN 적용  신호의 시간과 주파수 정보를 동시에 보고 싶다! Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD 0 0.5 1 1.5 2 2.5 3 3.5 4 -40 -20 0 20 40 Time (sec) x(t) Signal in time domain 0 10 20 30 40 50 60 70 0 2000 4000 6000 Frequency (Hz) X(f) Signal in frequency domain
③ 1 채널 변환하고 CNN 적용  신호의 시간과 주파수 정보를 동시에 보고 싶다!  TFD Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Time (sec) Frequency(Hz) Time-frequency distribution of signal 0 1 2 3 0 10 20 30 40 50 60 10 20 30 40 50 60 70 0 0.5 1 1.5 2 2.5 3 3.5 4 -40 -20 0 20 40 Time (sec) x(t) Signal in time domain 0 10 20 30 40 50 60 70 0 2000 4000 6000 Frequency (Hz) X(f) Signal in frequency domain
 어플리케이션: 통신 – Modulation Recognition ③ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Kong, S. H., Kim, M., Hoang, L. M., & Kim, E. (2018). Automatic LPI Radar Waveform Recognition Using CNN. IEEE Access, 6, 4207-4219.
 어플리케이션: 통신 IoT – Indoor Localization with Wi-Fi ③ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Wang, X. et al., (2017). CiFi: Deep convolutional neural networks for indoor localization with 5 GHz Wi-Fi. In Communications (ICC), 2017 IEEE International Conference on. IEEE. *이 연구는 단일채널도 아니고 TFD를 활용한 것도 아니지만 Image Construction 예제로 함께 봅시다!
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
④ 1 채널 변환하고 CNN 적용  주기성이 있는 1D 신호를 2D로 바꾸자 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat t x(t) …..
④ 1 채널 변환하고 CNN 적용  주기성이 있는 1D 신호를 2D로 바꾸자  vec2mat Keywords: 1 채널, CNN, 변환, 주기성, vec2mat t x(t) ….. …..
 어플리케이션: 에너지 – Smart Grid를 위한 전력량 분석 Zheng, Z. et al., (2018). Wide and Deep Convolutional Neural Networks for Electricity-Theft Detection to Secure Smart Grids. IEEE Transactions on Industrial Informatics, 14(4), 1606-1615. ④ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat
 어플리케이션: 통신 IoT – Wifi Hotspot 분류 Xu, C., (2017). Large-scale Wi-Fi hotspot classification via deep learning. In Proceedings of the 26th International Conference on World Wide Web Companion (pp. 857-858). International World Wide Web Conferences Steering Committee. ④ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
⑤ 다채널 곧바로 CNN 적용  격자형태로 배치된 다중 센서들이 신호를 취득한 경우 Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지 Sensor
⑤ 다채널 곧바로 CNN 적용  격자형태로 배치된 다중 센서들이 신호를 취득한 경우  센서 각각을 이미지의 픽셀로 해석한다 (≒이미지, ≒영상) Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지 Sensor time
 어플리케이션: 웨어러블/헬스케어 – 근전도로 손동작 분류 Geng, W., Du, Y., Jin, W., Wei, W., Hu, Y., & Li, J. (2016). Gesture recognition by instantaneous surface EMG images. Scientific reports, 6, 36571. ⑤ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
⑥ 다채널 곧바로 CNN 적용  무작위로 배치된 다중 센서들이 신호를 취득한 경우 (매우 일반적) Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈 t x(t) Sensor
⑥ 다채널 곧바로 CNN 적용  무작위로 배치된 다중 센서들이 신호를 취득한 경우 (매우 일반적)  이미 2D Array는 주어졌다 & 커널사이즈를 자유롭게! Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈 t x(t) Sensor 3x3 1x5 5 x 1
 어플리케이션: 웨어러블 – 운동 동작 분류 Um, T. T. et al., (2017). Exercise motion classification from large-scale wearable sensor data using convolutional neural networks. In Intelligent Robots and Systems (IROS), 2017 IEEE/RSJ International Conference on (pp. 2385-2390). IEEE. ⑥ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈
 어플리케이션: 의료헬스케어 – Brain-Computer Interface (BCI) Kwak, N. S., Müller, K. R., & Lee, S. W. (2017). A convolutional neural network for steady state visual evoked potential classification under ambulatory environment. PloS one, 12(2), e0172578. ⑥ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
⑦ 다채널 변환하고 CNN 적용  상관관계 및 그래프 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Mijalkov, M. et al., (2017). BRAPH: A graph theory software for the analysis of brain connectivity. PloS one, 12(8), e0178798.
⑦ 다채널 변환하고 CNN 적용  다중 센서 신호 상관관계 및 그래프 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Racz, F. S. et al., (2018). Multifractal dynamics of resting-state functional connectivity in the prefrontal cortex. Physiological measurement, 39(2), 024003. Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049.
⑦ 다채널 변환하고 CNN 적용  다중 센서 신호 상관관계 및 그래프  인접행렬에 적합한 컨벌루션? Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Racz, F. S. et al., (2018). Multifractal dynamics of resting-state functional connectivity in the prefrontal cortex. Physiological measurement, 39(2), 024003. Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049.
 어플리케이션: 의료헬스케어 – Brain Network Analysis http://brainnetcnn.cs.sfu.ca/About.html Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049. ⑦ 다채널 변환하고 CNN 적용 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프
Part II. 시작합니다 1D 신호에 연구/개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
왜 연구/개발 주제를 대입하나요?
왜 연구/개발 주제를 대입하나요? 이미지/영상 Vision 관련 연구개발 내용은 다른 분야에 적용이 안 되는 걸까? 우리가 다루는 1D 신호에 적합한 형태로 재해석하면 재밌는 결과를 볼 수 있어요
Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
① Data Augmentation  사용 가능한 훈련용 Labeled data 가 부족한 경우 http://nmhkahn.github.io/CNN-Practice https://blog.naver.com/wkjuns/221277796512 https://www.kdnuggets.com/2018/05/data-augmentation-deep-learning-limited-data.html 원본 훈련 데이터 셋을 불려보자!
① Data Augmentation  사용 가능한 훈련용 Labeled data 가 부족한 경우  데이터 증강 http://nmhkahn.github.io/CNN-Practice https://blog.naver.com/wkjuns/221277796512 https://www.kdnuggets.com/2018/05/data-augmentation-deep-learning-limited-data.html 원본 좌우-상하 반전 Flip 회전 Rotation 줌인/줌아웃 Scale 일부 자르기 Crop 잡음/채도 Jittering + Generative Adversarial Networks (GAN) 훈련 데이터 셋을 불려보자!
 웨어러블 데이터 (3축가속도) Augmentation 재해석 Um, T. T. et al., (2017). Data augmentation of wearable sensor data for parkinson’s disease monitoring using convolutional neural networks. In Proceedings of the 19th ACM International Conference on Multimodal Interaction (pp. 216-220). ACM. ① Data Augmentation 훈련 데이터 셋을 불려보자! Jittering 잡음 추가 Scaling Magnitude 변화 Rotation 센서 위치 변경에 따르는 축 변화 Permutation 시간 축 이벤트 순간 변화 Warping Interval/ Magnitude 왜곡 Cropping 잘라내기
Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
 높은 해상도의 이미지는 여러 분야에서 필요 https://yearbook.com/support/article/image-resolution-explained/ https://www.slideshare.net/TaegyunJeon1/pr12-image-super-resolution-using-deep-convolutional-networks ② Super Resolution 저해상도  고해상도
 저화질의 이미지를 고화질의 이미지로 얻고 싶다!  SR Kim, J., Kwon Lee, J., & Mu Lee, K. (2016). Deeply-recursive convolutional network for image super-resolution. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1637-1645). ② Super Resolution 저해상도  고해상도
 통신 모바일 트래픽 분석 + Mobility/ Network Analysis ② Super Resolution Zhang, C., Ouyang, X., & Patras, P. (2017, November). ZipNet-GAN: Inferring fine-grained mobile traffic patterns via a generative adversarial neural network. In Proceedings of the 13th International Conference on emerging Networking EXperiments and Technologies (pp. 363-375). ACM. Discriminator Generator 저해상도  고해상도
 의료헬스케어 EEG Super Resolution + Source Localization https://www.biosemi.com/headcap.htm https://www.slideshare.net/SangJunHan4/a-simulation-study-of-eeg-superresolution-using-deep-convolutional-networks Sangjun Han, Moonyoung Kwon, Sunghan Lee, Sung Chan Jun, ‘Feasibility Study of EEG Super-Resolution Using Deep Convolutional Networks,’ IEEE SMC 2018. ② Super Resolution 저해상도  고해상도
Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
③ Knowledge Distillation (Model Compression)  엄청나게 좋은 딥러닝! 하지만, 연산량과 메모리 사용이 너무 크다! 가벼운 모델!
③ Knowledge Distillation (Model Compression)  엄청나게 좋은 딥러닝! 하지만, 연산량과 메모리 사용이 너무 크다!  IoT/모바일 Edge 컴퓨팅 환경에서 쓸 수 있는 방법은? 가벼운 모델!
 어플리케이션: IoT 및 Edge Computing Han, S., Mao, H., & Dally, W. J. (2015). Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149. Mishra, A., & Marr, D. (2017). Apprentice: Using knowledge distillation techniques to improve low-precision network accuracy. arXiv preprint arXiv:1711.05852. ③ Knowledge Distillation (Model Compression) 가벼운 모델!
Part I. 1D 신호에 신경망 구조 적용하기 Part II. 1D 신호에 연구개발 주제 대입하기 오늘 발표 정리!
여러분도 재밌게 딥러닝 쓰세요!
김동현, GDG Gwangju Organizer dony.donkim@gmail.com Gwangju Thank you! 2018
Gwangju Q&A 2018

Recommended

Image classification arc gis10
Image classification arc gis10Image classification arc gis10
Image classification arc gis10Ashok Peddi
 
Screen space reflection
Screen space reflectionScreen space reflection
Screen space reflectionBongseok Cho
 
Digital image processing
Digital image processingDigital image processing
Digital image processingDhaval Jalalpara
 
Imagen figurativa... Taller educativo
Imagen figurativa... Taller educativo Imagen figurativa... Taller educativo
Imagen figurativa... Taller educativo Rosa Castellanos
 
Semi-Automatic Classification Algorithm: The differences between Minimum Dist...
Semi-Automatic Classification Algorithm: The differences between Minimum Dist...Semi-Automatic Classification Algorithm: The differences between Minimum Dist...
Semi-Automatic Classification Algorithm: The differences between Minimum Dist...Fatwa Ramdani
 
Geoprocessamento aula unip
Geoprocessamento aula unipGeoprocessamento aula unip
Geoprocessamento aula unipjfelipe17
 
MIRU2018 tutorial
MIRU2018 tutorialMIRU2018 tutorial
MIRU2018 tutorialTakayoshi Yamashita
 
El Documental[1]
El Documental[1]El Documental[1]
El Documental[1]Noe G. Menchaca
 

Recommended

Image classification arc gis10
Image classification arc gis10Image classification arc gis10
Image classification arc gis10Ashok Peddi
 
Screen space reflection
Screen space reflectionScreen space reflection
Screen space reflectionBongseok Cho
 
Digital image processing
Digital image processingDigital image processing
Digital image processingDhaval Jalalpara
 
Imagen figurativa... Taller educativo
Imagen figurativa... Taller educativo Imagen figurativa... Taller educativo
Imagen figurativa... Taller educativo Rosa Castellanos
 
Semi-Automatic Classification Algorithm: The differences between Minimum Dist...
Semi-Automatic Classification Algorithm: The differences between Minimum Dist...Semi-Automatic Classification Algorithm: The differences between Minimum Dist...
Semi-Automatic Classification Algorithm: The differences between Minimum Dist...Fatwa Ramdani
 
Geoprocessamento aula unip
Geoprocessamento aula unipGeoprocessamento aula unip
Geoprocessamento aula unipjfelipe17
 
MIRU2018 tutorial
MIRU2018 tutorialMIRU2018 tutorial
MIRU2018 tutorialTakayoshi Yamashita
 
El Documental[1]
El Documental[1]El Documental[1]
El Documental[1]Noe G. Menchaca
 
2.- El Guión Literario
2.- El Guión Literario2.- El Guión Literario
2.- El Guión LiterarioYuri Rojas Seminario
 
Basics to gis concepts unit i
Basics to gis concepts unit iBasics to gis concepts unit i
Basics to gis concepts unit iH.M College of science and technology, Manjeri
 
입문 Visual SLAM 14강 - 2장 Introduction to slam
입문 Visual SLAM 14강 - 2장 Introduction to slam입문 Visual SLAM 14강 - 2장 Introduction to slam
입문 Visual SLAM 14강 - 2장 Introduction to slamjdo
 
Band ratioing presentation
Band ratioing presentationBand ratioing presentation
Band ratioing presentationsk asadul haque
 
3.1 Digital Image Proccessing.pptx
3.1 Digital Image Proccessing.pptx3.1 Digital Image Proccessing.pptx
3.1 Digital Image Proccessing.pptxRajeshVarmaR1
 
WHAT IS IMAGE INTERPRETATION?
WHAT IS IMAGE INTERPRETATION?WHAT IS IMAGE INTERPRETATION?
WHAT IS IMAGE INTERPRETATION?Spatial IT Solutions Pvt Ltd.
 
Sistemas de Informações Geográficas
Sistemas de Informações GeográficasSistemas de Informações Geográficas
Sistemas de Informações GeográficasUN Joint Office of UNDP, UNFPA and UNICEF (Environment Energy and Disaster Prevention Unit)
 
Motion blur
Motion blurMotion blur
Motion blurchangehee lee
 
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)Jia-Bin Huang
 
Modeling using gis
Modeling using gisModeling using gis
Modeling using gisShivangi Somvanshi
 
Raster
RasterRaster
Rasteresambale
 
Digital image processing 1
Digital image processing 1Digital image processing 1
Digital image processing 1Dhaval Jalalpara
 
Using GIS for effective flood management
Using GIS for effective flood managementUsing GIS for effective flood management
Using GIS for effective flood managementJames Thompson
 
RADARSAT
RADARSATRADARSAT
RADARSATSumant Diwakar
 
Remote Sensing: Resolution Merge
Remote Sensing: Resolution MergeRemote Sensing: Resolution Merge
Remote Sensing: Resolution MergeKamlesh Kumar
 
REMOTE SENSING DATA FOR HYDROLOGICAL MODELING
REMOTE SENSING DATA FOR HYDROLOGICAL MODELINGREMOTE SENSING DATA FOR HYDROLOGICAL MODELING
REMOTE SENSING DATA FOR HYDROLOGICAL MODELINGShyam Mohan Chaudhary
 
Change detection using remote sensing and GIS
Change detection using remote sensing and GISChange detection using remote sensing and GIS
Change detection using remote sensing and GISTilok Chetri
 
Remote Sensing error sources
Remote Sensing error sourcesRemote Sensing error sources
Remote Sensing error sourcesGilbert Okoth
 
Narrativa audiovisual
Narrativa audiovisualNarrativa audiovisual
Narrativa audiovisualVan Drus
 
Urban planing & gis
Urban planing & gisUrban planing & gis
Urban planing & gisShanake Dissanayake
 
사물인터넷 노트5_센서네트워크
사물인터넷 노트5_센서네트워크사물인터넷 노트5_센서네트워크
사물인터넷 노트5_센서네트워크Dong Hwa Jeong
 
180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pub180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pubJaewook. Kang
 

More Related Content

What's hot

입문 Visual SLAM 14강 - 2장 Introduction to slam
입문 Visual SLAM 14강 - 2장 Introduction to slam입문 Visual SLAM 14강 - 2장 Introduction to slam
입문 Visual SLAM 14강 - 2장 Introduction to slamjdo
 
Band ratioing presentation
Band ratioing presentationBand ratioing presentation
Band ratioing presentationsk asadul haque
 
3.1 Digital Image Proccessing.pptx
3.1 Digital Image Proccessing.pptx3.1 Digital Image Proccessing.pptx
3.1 Digital Image Proccessing.pptxRajeshVarmaR1
 
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)Jia-Bin Huang
 
Digital image processing 1
Digital image processing 1Digital image processing 1
Digital image processing 1Dhaval Jalalpara
 
Using GIS for effective flood management
Using GIS for effective flood managementUsing GIS for effective flood management
Using GIS for effective flood managementJames Thompson
 
Remote Sensing: Resolution Merge
Remote Sensing: Resolution MergeRemote Sensing: Resolution Merge
Remote Sensing: Resolution MergeKamlesh Kumar
 
REMOTE SENSING DATA FOR HYDROLOGICAL MODELING
REMOTE SENSING DATA FOR HYDROLOGICAL MODELINGREMOTE SENSING DATA FOR HYDROLOGICAL MODELING
REMOTE SENSING DATA FOR HYDROLOGICAL MODELINGShyam Mohan Chaudhary
 
Change detection using remote sensing and GIS
Change detection using remote sensing and GISChange detection using remote sensing and GIS
Change detection using remote sensing and GISTilok Chetri
 
Remote Sensing error sources
Remote Sensing error sourcesRemote Sensing error sources
Remote Sensing error sourcesGilbert Okoth
 
Narrativa audiovisual
Narrativa audiovisualNarrativa audiovisual
Narrativa audiovisualVan Drus
 

What's hot (20)

2.- El Guión Literario
2.- El Guión Literario2.- El Guión Literario
2.- El Guión Literario
 
Basics to gis concepts unit i
Basics to gis concepts unit iBasics to gis concepts unit i
Basics to gis concepts unit i
 
입문 Visual SLAM 14강 - 2장 Introduction to slam
입문 Visual SLAM 14강 - 2장 Introduction to slam입문 Visual SLAM 14강 - 2장 Introduction to slam
입문 Visual SLAM 14강 - 2장 Introduction to slam
 
Band ratioing presentation
Band ratioing presentationBand ratioing presentation
Band ratioing presentation
 
3.1 Digital Image Proccessing.pptx
3.1 Digital Image Proccessing.pptx3.1 Digital Image Proccessing.pptx
3.1 Digital Image Proccessing.pptx
 
WHAT IS IMAGE INTERPRETATION?
WHAT IS IMAGE INTERPRETATION?WHAT IS IMAGE INTERPRETATION?
WHAT IS IMAGE INTERPRETATION?
 
Sistemas de Informações Geográficas
Sistemas de Informações GeográficasSistemas de Informações Geográficas
Sistemas de Informações Geográficas
 
Motion blur
Motion blurMotion blur
Motion blur
 
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)
Single Image Super-Resolution from Transformed Self-Exemplars (CVPR 2015)
 
Modeling using gis
Modeling using gisModeling using gis
Modeling using gis
 
Raster
RasterRaster
Raster
 
Digital image processing 1
Digital image processing 1Digital image processing 1
Digital image processing 1
 
Using GIS for effective flood management
Using GIS for effective flood managementUsing GIS for effective flood management
Using GIS for effective flood management
 
RADARSAT
RADARSATRADARSAT
RADARSAT
 
Remote Sensing: Resolution Merge
Remote Sensing: Resolution MergeRemote Sensing: Resolution Merge
Remote Sensing: Resolution Merge
 
REMOTE SENSING DATA FOR HYDROLOGICAL MODELING
REMOTE SENSING DATA FOR HYDROLOGICAL MODELINGREMOTE SENSING DATA FOR HYDROLOGICAL MODELING
REMOTE SENSING DATA FOR HYDROLOGICAL MODELING
 
Change detection using remote sensing and GIS
Change detection using remote sensing and GISChange detection using remote sensing and GIS
Change detection using remote sensing and GIS
 
Remote Sensing error sources
Remote Sensing error sourcesRemote Sensing error sources
Remote Sensing error sources
 
Narrativa audiovisual
Narrativa audiovisualNarrativa audiovisual
Narrativa audiovisual
 
Urban planing & gis
Urban planing & gisUrban planing & gis
Urban planing & gis
 

Similar to [GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기

사물인터넷 노트5_센서네트워크
사물인터넷 노트5_센서네트워크사물인터넷 노트5_센서네트워크
사물인터넷 노트5_센서네트워크Dong Hwa Jeong
 
180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pub180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pubJaewook. Kang
 
헬스케어 웨어러블 디바이스 적용기술 및 서비스 사례와 주요과제
헬스케어 웨어러블 디바이스 적용기술 및 서비스 사례와 주요과제 헬스케어 웨어러블 디바이스 적용기술 및 서비스 사례와 주요과제
헬스케어 웨어러블 디바이스 적용기술 및 서비스 사례와 주요과제 제관 이
 
재난안전위험 사회와 정보소통10
재난안전위험 사회와 정보소통10재난안전위험 사회와 정보소통10
재난안전위험 사회와 정보소통10Han Woo PARK
 
180525 mobile visionnet_hanlim_extended
180525 mobile visionnet_hanlim_extended180525 mobile visionnet_hanlim_extended
180525 mobile visionnet_hanlim_extendedJaewook. Kang
 
4차산업혁명시대의 의과학교육
4차산업혁명시대의 의과학교육4차산업혁명시대의 의과학교육
4차산업혁명시대의 의과학교육Namkug Kim
 
차세대 인터넷 전송방식 Li fi
차세대 인터넷 전송방식 Li fi차세대 인터넷 전송방식 Li fi
차세대 인터넷 전송방식 Li fiatelier t*h
 
응급 모니터링을 위한 교차영역 위치지정 시스템
응급 모니터링을 위한 교차영역 위치지정 시스템응급 모니터링을 위한 교차영역 위치지정 시스템
응급 모니터링을 위한 교차영역 위치지정 시스템Wounjae Woo
 
I3D and Kinetics datasets (Action Recognition)
I3D and Kinetics datasets (Action Recognition)I3D and Kinetics datasets (Action Recognition)
I3D and Kinetics datasets (Action Recognition)Susang Kim
 
Medical Ai perspectives
Medical Ai perspectivesMedical Ai perspectives
Medical Ai perspectivesNamkug Kim
 
4차산업시대와 의료환경
4차산업시대와 의료환경 4차산업시대와 의료환경
4차산업시대와 의료환경 Namkug Kim
 

Similar to [GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 (11)

사물인터넷 노트5_센서네트워크
사물인터넷 노트5_센서네트워크사물인터넷 노트5_센서네트워크
사물인터넷 노트5_센서네트워크
 
180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pub180624 mobile visionnet_baeksucon_jwkang_pub
180624 mobile visionnet_baeksucon_jwkang_pub
 
헬스케어 웨어러블 디바이스 적용기술 및 서비스 사례와 주요과제
헬스케어 웨어러블 디바이스 적용기술 및 서비스 사례와 주요과제 헬스케어 웨어러블 디바이스 적용기술 및 서비스 사례와 주요과제
헬스케어 웨어러블 디바이스 적용기술 및 서비스 사례와 주요과제
 
재난안전위험 사회와 정보소통10
재난안전위험 사회와 정보소통10재난안전위험 사회와 정보소통10
재난안전위험 사회와 정보소통10
 
180525 mobile visionnet_hanlim_extended
180525 mobile visionnet_hanlim_extended180525 mobile visionnet_hanlim_extended
180525 mobile visionnet_hanlim_extended
 
4차산업혁명시대의 의과학교육
4차산업혁명시대의 의과학교육4차산업혁명시대의 의과학교육
4차산업혁명시대의 의과학교육
 
차세대 인터넷 전송방식 Li fi
차세대 인터넷 전송방식 Li fi차세대 인터넷 전송방식 Li fi
차세대 인터넷 전송방식 Li fi
 
응급 모니터링을 위한 교차영역 위치지정 시스템
응급 모니터링을 위한 교차영역 위치지정 시스템응급 모니터링을 위한 교차영역 위치지정 시스템
응급 모니터링을 위한 교차영역 위치지정 시스템
 
I3D and Kinetics datasets (Action Recognition)
I3D and Kinetics datasets (Action Recognition)I3D and Kinetics datasets (Action Recognition)
I3D and Kinetics datasets (Action Recognition)
 
Medical Ai perspectives
Medical Ai perspectivesMedical Ai perspectives
Medical Ai perspectives
 
4차산업시대와 의료환경
4차산업시대와 의료환경 4차산업시대와 의료환경
4차산업시대와 의료환경
 

More from Donghyeon Kim

[기초개념] Graph Convolutional Network (GCN)
[기초개념] Graph Convolutional Network (GCN)[기초개념] Graph Convolutional Network (GCN)
[기초개념] Graph Convolutional Network (GCN)Donghyeon Kim
 
[기초개념] Recurrent Neural Network (RNN) 소개
[기초개념] Recurrent Neural Network (RNN) 소개[기초개념] Recurrent Neural Network (RNN) 소개
[기초개념] Recurrent Neural Network (RNN) 소개Donghyeon Kim
 
[컨퍼런스] 모두콘 2018 리뷰
[컨퍼런스] 모두콘 2018 리뷰[컨퍼런스] 모두콘 2018 리뷰
[컨퍼런스] 모두콘 2018 리뷰Donghyeon Kim
 
[논문리뷰] Data Augmentation for 1D 시계열 데이터
[논문리뷰] Data Augmentation for 1D 시계열 데이터[논문리뷰] Data Augmentation for 1D 시계열 데이터
[논문리뷰] Data Augmentation for 1D 시계열 데이터Donghyeon Kim
 
[Research] Detection of MCI using EEG Relative Power + DNN
[Research] Detection of MCI using EEG Relative Power + DNN[Research] Detection of MCI using EEG Relative Power + DNN
[Research] Detection of MCI using EEG Relative Power + DNNDonghyeon Kim
 
[논문리뷰] 딥러닝 적용한 EEG 연구 소개
[논문리뷰] 딥러닝 적용한 EEG 연구 소개[논문리뷰] 딥러닝 적용한 EEG 연구 소개
[논문리뷰] 딥러닝 적용한 EEG 연구 소개Donghyeon Kim
 

More from Donghyeon Kim (6)

[기초개념] Graph Convolutional Network (GCN)
[기초개념] Graph Convolutional Network (GCN)[기초개념] Graph Convolutional Network (GCN)
[기초개념] Graph Convolutional Network (GCN)
 
[기초개념] Recurrent Neural Network (RNN) 소개
[기초개념] Recurrent Neural Network (RNN) 소개[기초개념] Recurrent Neural Network (RNN) 소개
[기초개념] Recurrent Neural Network (RNN) 소개
 
[컨퍼런스] 모두콘 2018 리뷰
[컨퍼런스] 모두콘 2018 리뷰[컨퍼런스] 모두콘 2018 리뷰
[컨퍼런스] 모두콘 2018 리뷰
 
[논문리뷰] Data Augmentation for 1D 시계열 데이터
[논문리뷰] Data Augmentation for 1D 시계열 데이터[논문리뷰] Data Augmentation for 1D 시계열 데이터
[논문리뷰] Data Augmentation for 1D 시계열 데이터
 
[Research] Detection of MCI using EEG Relative Power + DNN
[Research] Detection of MCI using EEG Relative Power + DNN[Research] Detection of MCI using EEG Relative Power + DNN
[Research] Detection of MCI using EEG Relative Power + DNN
 
[논문리뷰] 딥러닝 적용한 EEG 연구 소개
[논문리뷰] 딥러닝 적용한 EEG 연구 소개[논문리뷰] 딥러닝 적용한 EEG 연구 소개
[논문리뷰] 딥러닝 적용한 EEG 연구 소개
 

[GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기

  • 1. 김동현, GDG Gwangju Organizer dony.donkim@gmail.com Gwangju 나도 쓰고 싶다 딥러닝 II 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 2018
  • 2. 나도 쓰고 싶다, 딥러닝 II 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 이 발표에서는 이제 막 딥러닝에 입문하신 분들께 음성/ 이미지/영상 이외의 신호에 (1) 어떻게 신경망 구조를 적용할 수 있는지 (2) 어떤 연구개발 주제와 내용을 접목할 수 있는지 정리합니다. Gwangju
  • 3. 이런 분을 위해 준비한 Talk 입니다  머신러닝 및 딥러닝 관련 기초 강좌를 수강하거나 공부하신 분  TensorFlow를 이용해서 MNIST 분류 CNN 실습 해보신 분  이미지 기반 딥러닝 기법을 1-D 신호에 적용해보고 싶으신 분  1-D 신호에 딥러닝 구조 (특히 CNN) 적용 방법이 궁금하신 분 Gwangju
  • 4. 발표자 소개 소속 * Ph.D. Student Communications & Sensor Networks Lab. (CSNL), Gwangju Institute of Science and Technology (GIST). * GDG Gwangju Organizer * A-GIST (Artificial General Intelligence Study Team) 흥미/ 좋아하는 것들 생체 신호처리 (Biosignal processing) 기계학습/딥러닝 (Machine Learning/ Deep Learning) 사부작거리며 일벌리기하기 디스커션을 빙자한 술자리 Contact Info. https://sites.google.com/site/donydonkim dony.donkim@gmail.com dhkim518@gist.ac.kr 김동현 Donghyeon Kim 삽질을 바탕으로 커뮤니티에 기여할 수 있는 경로를 탐색 중입니다:)
  • 7. 여러분은 아마도… LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems. Szegedy, Christian, et al. (2015). "Going deeper with convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. He, Kaiming, et al. (2016). "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. + LeNet, AlexNet, GoogLeNet, VGGNet, ResNet
  • 8. 여러분은 아마도… t x(t) 1차원 시간열 신호 통신 신호, 센서 신호 (온도, 초음파, 압력 등), 에너지 신호 (전력량 등) 웨어러블 및 생체 신호 (뇌파, 심전도, 가속도, 각속도 등)
  • 9. 여러분은 아마도…  시간열 1-D 신호에는 딥러닝을 어떻게 사용하지?  특히 CNN(컨벌루션, 풀링)을 1-D 신호에 어떻게 적용하지?  이미지/영상 기반의 기법이나 연구 개발 주제들이 1-D 신호에도 적용 될수 있나?
  • 11. Part I. 1D 신호에 신경망 구조 적용하기 Part II. 1D 신호에 연구개발 주제 대입하기 그래서 이런 내용을 소개합니다
  • 12. 발표하는 저도 부족한 사람입니다... 디스커션 환영합니다:-) 잠깐, 오해하지 마세요
  • 13. Part I. 시작합니다 1D 신호에 신경망 구조 적용하기 # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어
  • 15. 왜 신경망 구조를 탐구하나요? 손가락을 베이다  반창고를 붙일까? 깁스를 할까? 신경망 모형에 따라 복잡도가 결정되고, overfitting 및 bias 문제와 연관 있습니다.
  • 16. # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 17. ① 1 채널 곧바로 MLP 적용  시간 축 (time-domain) 또는 주파수 축 (frequency-domain) Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 신호 및 분류 문제 간단 예시 시간 축  심전도 펄스 5초로 쇼크/정상 판별하기  주식-주가 변동 예측 주파수 축  뇌파 (δ, θ, α, β, γ) 대역별 신호로 감정/수면상태 판별하기
  • 18. ① 1 채널 곧바로 MLP 적용  시간 축 (time-domain) 또는 주파수 축 (frequency-domain) Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기
  • 19. ① 1 채널 곧바로 MLP 적용  어플리케이션: 통신 - Signal detection in OFDM systems Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 Ye, H., Li, G. Y., & Juang, B. H. (2018). Power of deep learning for channel estimation and signal detection in OFDM systems. IEEE Wireless Communications Letters, 7(1), 114-117.
  • 20. ① 1 채널 곧바로 MLP 적용  어플리케이션: 통신 - PAPR reduction scheme for OFDM Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 Kim, M., Lee, W., & Cho, D. H. (2018). A Novel PAPR Reduction Scheme for OFDM System Based on Deep Learning. IEEE Communications Letters, 22(3), 510-513.
  • 21. # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 22. ② 1 채널 곧바로 CNN 적용  1D Convolution Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
  • 23. ② 1 채널 곧바로 CNN 적용  1D Pooling Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
  • 24. ② 1 채널 곧바로 CNN 적용 Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
  • 25. ② 1 채널 곧바로 CNN 적용  어플리케이션: 의료헬스케어 - EEG Seizure Detection Acharya, U. R. et al., (2017). Deep convolutional neural network for the automated detection and diagnosis of seizure using EEG signals. Computers in biology and medicine. Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Convolution Max-pooling Fully connected layer
  • 26. # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 27. ③ 1 채널 변환하고 CNN 적용  신호의 시간과 주파수 정보를 동시에 보고 싶다! Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD 0 0.5 1 1.5 2 2.5 3 3.5 4 -40 -20 0 20 40 Time (sec) x(t) Signal in time domain 0 10 20 30 40 50 60 70 0 2000 4000 6000 Frequency (Hz) X(f) Signal in frequency domain
  • 28. ③ 1 채널 변환하고 CNN 적용  신호의 시간과 주파수 정보를 동시에 보고 싶다!  TFD Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Time (sec) Frequency(Hz) Time-frequency distribution of signal 0 1 2 3 0 10 20 30 40 50 60 10 20 30 40 50 60 70 0 0.5 1 1.5 2 2.5 3 3.5 4 -40 -20 0 20 40 Time (sec) x(t) Signal in time domain 0 10 20 30 40 50 60 70 0 2000 4000 6000 Frequency (Hz) X(f) Signal in frequency domain
  • 29.  어플리케이션: 통신 – Modulation Recognition ③ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Kong, S. H., Kim, M., Hoang, L. M., & Kim, E. (2018). Automatic LPI Radar Waveform Recognition Using CNN. IEEE Access, 6, 4207-4219.
  • 30.  어플리케이션: 통신 IoT – Indoor Localization with Wi-Fi ③ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Wang, X. et al., (2017). CiFi: Deep convolutional neural networks for indoor localization with 5 GHz Wi-Fi. In Communications (ICC), 2017 IEEE International Conference on. IEEE. *이 연구는 단일채널도 아니고 TFD를 활용한 것도 아니지만 Image Construction 예제로 함께 봅시다!
  • 31. # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 32. ④ 1 채널 변환하고 CNN 적용  주기성이 있는 1D 신호를 2D로 바꾸자 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat t x(t) …..
  • 33. ④ 1 채널 변환하고 CNN 적용  주기성이 있는 1D 신호를 2D로 바꾸자  vec2mat Keywords: 1 채널, CNN, 변환, 주기성, vec2mat t x(t) ….. …..
  • 34.  어플리케이션: 에너지 – Smart Grid를 위한 전력량 분석 Zheng, Z. et al., (2018). Wide and Deep Convolutional Neural Networks for Electricity-Theft Detection to Secure Smart Grids. IEEE Transactions on Industrial Informatics, 14(4), 1606-1615. ④ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat
  • 35.  어플리케이션: 통신 IoT – Wifi Hotspot 분류 Xu, C., (2017). Large-scale Wi-Fi hotspot classification via deep learning. In Proceedings of the 26th International Conference on World Wide Web Companion (pp. 857-858). International World Wide Web Conferences Steering Committee. ④ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat
  • 36. # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 37. ⑤ 다채널 곧바로 CNN 적용  격자형태로 배치된 다중 센서들이 신호를 취득한 경우 Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지 Sensor
  • 38. ⑤ 다채널 곧바로 CNN 적용  격자형태로 배치된 다중 센서들이 신호를 취득한 경우  센서 각각을 이미지의 픽셀로 해석한다 (≒이미지, ≒영상) Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지 Sensor time
  • 39.  어플리케이션: 웨어러블/헬스케어 – 근전도로 손동작 분류 Geng, W., Du, Y., Jin, W., Wei, W., Hu, Y., & Li, J. (2016). Gesture recognition by instantaneous surface EMG images. Scientific reports, 6, 36571. ⑤ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지
  • 40. # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 41. ⑥ 다채널 곧바로 CNN 적용  무작위로 배치된 다중 센서들이 신호를 취득한 경우 (매우 일반적) Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈 t x(t) Sensor
  • 42. ⑥ 다채널 곧바로 CNN 적용  무작위로 배치된 다중 센서들이 신호를 취득한 경우 (매우 일반적)  이미 2D Array는 주어졌다 & 커널사이즈를 자유롭게! Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈 t x(t) Sensor 3x3 1x5 5 x 1
  • 43.  어플리케이션: 웨어러블 – 운동 동작 분류 Um, T. T. et al., (2017). Exercise motion classification from large-scale wearable sensor data using convolutional neural networks. In Intelligent Robots and Systems (IROS), 2017 IEEE/RSJ International Conference on (pp. 2385-2390). IEEE. ⑥ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈
  • 44.  어플리케이션: 의료헬스케어 – Brain-Computer Interface (BCI) Kwak, N. S., Müller, K. R., & Lee, S. W. (2017). A convolutional neural network for steady state visual evoked potential classification under ambulatory environment. PloS one, 12(2), e0172578. ⑥ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈
  • 45. # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 46. ⑦ 다채널 변환하고 CNN 적용  상관관계 및 그래프 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Mijalkov, M. et al., (2017). BRAPH: A graph theory software for the analysis of brain connectivity. PloS one, 12(8), e0178798.
  • 47. ⑦ 다채널 변환하고 CNN 적용  다중 센서 신호 상관관계 및 그래프 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Racz, F. S. et al., (2018). Multifractal dynamics of resting-state functional connectivity in the prefrontal cortex. Physiological measurement, 39(2), 024003. Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049.
  • 48. ⑦ 다채널 변환하고 CNN 적용  다중 센서 신호 상관관계 및 그래프  인접행렬에 적합한 컨벌루션? Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Racz, F. S. et al., (2018). Multifractal dynamics of resting-state functional connectivity in the prefrontal cortex. Physiological measurement, 39(2), 024003. Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049.
  • 49.  어플리케이션: 의료헬스케어 – Brain Network Analysis http://brainnetcnn.cs.sfu.ca/About.html Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049. ⑦ 다채널 변환하고 CNN 적용 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프
  • 50.
  • 51. Part II. 시작합니다 1D 신호에 연구/개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
  • 53. 왜 연구/개발 주제를 대입하나요? 이미지/영상 Vision 관련 연구개발 내용은 다른 분야에 적용이 안 되는 걸까? 우리가 다루는 1D 신호에 적합한 형태로 재해석하면 재밌는 결과를 볼 수 있어요
  • 54. Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
  • 55. ① Data Augmentation  사용 가능한 훈련용 Labeled data 가 부족한 경우 http://nmhkahn.github.io/CNN-Practice https://blog.naver.com/wkjuns/221277796512 https://www.kdnuggets.com/2018/05/data-augmentation-deep-learning-limited-data.html 원본 훈련 데이터 셋을 불려보자!
  • 56. ① Data Augmentation  사용 가능한 훈련용 Labeled data 가 부족한 경우  데이터 증강 http://nmhkahn.github.io/CNN-Practice https://blog.naver.com/wkjuns/221277796512 https://www.kdnuggets.com/2018/05/data-augmentation-deep-learning-limited-data.html 원본 좌우-상하 반전 Flip 회전 Rotation 줌인/줌아웃 Scale 일부 자르기 Crop 잡음/채도 Jittering + Generative Adversarial Networks (GAN) 훈련 데이터 셋을 불려보자!
  • 57.  웨어러블 데이터 (3축가속도) Augmentation 재해석 Um, T. T. et al., (2017). Data augmentation of wearable sensor data for parkinson’s disease monitoring using convolutional neural networks. In Proceedings of the 19th ACM International Conference on Multimodal Interaction (pp. 216-220). ACM. ① Data Augmentation 훈련 데이터 셋을 불려보자! Jittering 잡음 추가 Scaling Magnitude 변화 Rotation 센서 위치 변경에 따르는 축 변화 Permutation 시간 축 이벤트 순간 변화 Warping Interval/ Magnitude 왜곡 Cropping 잘라내기
  • 58. Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
  • 59.  높은 해상도의 이미지는 여러 분야에서 필요 https://yearbook.com/support/article/image-resolution-explained/ https://www.slideshare.net/TaegyunJeon1/pr12-image-super-resolution-using-deep-convolutional-networks ② Super Resolution 저해상도  고해상도
  • 60.  저화질의 이미지를 고화질의 이미지로 얻고 싶다!  SR Kim, J., Kwon Lee, J., & Mu Lee, K. (2016). Deeply-recursive convolutional network for image super-resolution. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1637-1645). ② Super Resolution 저해상도  고해상도
  • 61.  통신 모바일 트래픽 분석 + Mobility/ Network Analysis ② Super Resolution Zhang, C., Ouyang, X., & Patras, P. (2017, November). ZipNet-GAN: Inferring fine-grained mobile traffic patterns via a generative adversarial neural network. In Proceedings of the 13th International Conference on emerging Networking EXperiments and Technologies (pp. 363-375). ACM. Discriminator Generator 저해상도  고해상도
  • 62.  의료헬스케어 EEG Super Resolution + Source Localization https://www.biosemi.com/headcap.htm https://www.slideshare.net/SangJunHan4/a-simulation-study-of-eeg-superresolution-using-deep-convolutional-networks Sangjun Han, Moonyoung Kwon, Sunghan Lee, Sung Chan Jun, ‘Feasibility Study of EEG Super-Resolution Using Deep Convolutional Networks,’ IEEE SMC 2018. ② Super Resolution 저해상도  고해상도
  • 63. Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
  • 64. ③ Knowledge Distillation (Model Compression)  엄청나게 좋은 딥러닝! 하지만, 연산량과 메모리 사용이 너무 크다! 가벼운 모델!
  • 65. ③ Knowledge Distillation (Model Compression)  엄청나게 좋은 딥러닝! 하지만, 연산량과 메모리 사용이 너무 크다!  IoT/모바일 Edge 컴퓨팅 환경에서 쓸 수 있는 방법은? 가벼운 모델!
  • 66.  어플리케이션: IoT 및 Edge Computing Han, S., Mao, H., & Dally, W. J. (2015). Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149. Mishra, A., & Marr, D. (2017). Apprentice: Using knowledge distillation techniques to improve low-precision network accuracy. arXiv preprint arXiv:1711.05852. ③ Knowledge Distillation (Model Compression) 가벼운 모델!
  • 67. Part I. 1D 신호에 신경망 구조 적용하기 Part II. 1D 신호에 연구개발 주제 대입하기 오늘 발표 정리!
  • 69. 김동현, GDG Gwangju Organizer dony.donkim@gmail.com Gwangju Thank you! 2018