DK
Uploaded byDonghyeon Kim
PDF, PPTX784 views

[GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기

Google Developers Group (GDG) DevFest Gwangju 2018 행사에서 발표한 자료입니다 * 1D 시계열 신호를 다루는 연구 분야에 어떻게 신경망 구조(특히 CNN)를 적용할 수 있는지 정리하고, * 1D 시계열 신호관련 연구분야에 딥러닝 관련 연구개발 주제를 살펴봅니다. * 2018. 11. 17. 토요일. GDG DevFest Gwangju 2018. @GIST

Technology◦
Related topics:
Deep Learning•

Embed presentation

Download as PDF, PPTX
김동현, GDG Gwangju Organizer dony.donkim@gmail.com Gwangju 나도 쓰고 싶다 딥러닝 II 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 2018
나도 쓰고 싶다, 딥러닝 II 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 이 발표에서는 이제 막 딥러닝에 입문하신 분들께 음성/ 이미지/영상 이외의 신호에 (1) 어떻게 신경망 구조를 적용할 수 있는지 (2) 어떤 연구개발 주제와 내용을 접목할 수 있는지 정리합니다. Gwangju
이런 분을 위해 준비한 Talk 입니다  머신러닝 및 딥러닝 관련 기초 강좌를 수강하거나 공부하신 분  TensorFlow를 이용해서 MNIST 분류 CNN 실습 해보신 분  이미지 기반 딥러닝 기법을 1-D 신호에 적용해보고 싶으신 분  1-D 신호에 딥러닝 구조 (특히 CNN) 적용 방법이 궁금하신 분 Gwangju
발표자 소개 소속 * Ph.D. Student Communications & Sensor Networks Lab. (CSNL), Gwangju Institute of Science and Technology (GIST). * GDG Gwangju Organizer * A-GIST (Artificial General Intelligence Study Team) 흥미/ 좋아하는 것들 생체 신호처리 (Biosignal processing) 기계학습/딥러닝 (Machine Learning/ Deep Learning) 사부작거리며 일벌리기하기 디스커션을 빙자한 술자리 Contact Info. https://sites.google.com/site/donydonkim dony.donkim@gmail.com dhkim518@gist.ac.kr 김동현 Donghyeon Kim 삽질을 바탕으로 커뮤니티에 기여할 수 있는 경로를 탐색 중입니다:)
여러분은 아마도… http://www.hankookilbo.com/News/Read/201602091271161001 https://www.inflearn.com/course/; 인프런, 모두를 위한 딥러닝 https://ko.coursera.org/learn/machine-learning
여러분은 아마도… http://neuralnetworksanddeeplearning.com/chap6.html http://solarisailab.com/archives/1308
여러분은 아마도… LeCun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems. Szegedy, Christian, et al. (2015). "Going deeper with convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. He, Kaiming, et al. (2016). "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. + LeNet, AlexNet, GoogLeNet, VGGNet, ResNet
여러분은 아마도… t x(t) 1차원 시간열 신호 통신 신호, 센서 신호 (온도, 초음파, 압력 등), 에너지 신호 (전력량 등) 웨어러블 및 생체 신호 (뇌파, 심전도, 가속도, 각속도 등)
여러분은 아마도…  시간열 1-D 신호에는 딥러닝을 어떻게 사용하지?  특히 CNN(컨벌루션, 풀링)을 1-D 신호에 어떻게 적용하지?  이미지/영상 기반의 기법이나 연구 개발 주제들이 1-D 신호에도 적용 될수 있나?
그럼에도 불구하고 여러분은!
Part I. 1D 신호에 신경망 구조 적용하기 Part II. 1D 신호에 연구개발 주제 대입하기 그래서 이런 내용을 소개합니다
발표하는 저도 부족한 사람입니다... 디스커션 환영합니다:-) 잠깐, 오해하지 마세요
Part I. 시작합니다 1D 신호에 신경망 구조 적용하기 # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어
왜 신경망 구조를 탐구하나요?
왜 신경망 구조를 탐구하나요? 손가락을 베이다  반창고를 붙일까? 깁스를 할까? 신경망 모형에 따라 복잡도가 결정되고, overfitting 및 bias 문제와 연관 있습니다.
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
① 1 채널 곧바로 MLP 적용  시간 축 (time-domain) 또는 주파수 축 (frequency-domain) Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 신호 및 분류 문제 간단 예시 시간 축  심전도 펄스 5초로 쇼크/정상 판별하기  주식-주가 변동 예측 주파수 축  뇌파 (δ, θ, α, β, γ) 대역별 신호로 감정/수면상태 판별하기
① 1 채널 곧바로 MLP 적용  시간 축 (time-domain) 또는 주파수 축 (frequency-domain) Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기
① 1 채널 곧바로 MLP 적용  어플리케이션: 통신 - Signal detection in OFDM systems Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 Ye, H., Li, G. Y., & Juang, B. H. (2018). Power of deep learning for channel estimation and signal detection in OFDM systems. IEEE Wireless Communications Letters, 7(1), 114-117.
① 1 채널 곧바로 MLP 적용  어플리케이션: 통신 - PAPR reduction scheme for OFDM Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 Kim, M., Lee, W., & Cho, D. H. (2018). A Novel PAPR Reduction Scheme for OFDM System Based on Deep Learning. IEEE Communications Letters, 22(3), 510-513.
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
② 1 채널 곧바로 CNN 적용  1D Convolution Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
② 1 채널 곧바로 CNN 적용  1D Pooling Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
② 1 채널 곧바로 CNN 적용 Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
② 1 채널 곧바로 CNN 적용  어플리케이션: 의료헬스케어 - EEG Seizure Detection Acharya, U. R. et al., (2017). Deep convolutional neural network for the automated detection and diagnosis of seizure using EEG signals. Computers in biology and medicine. Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Convolution Max-pooling Fully connected layer
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
③ 1 채널 변환하고 CNN 적용  신호의 시간과 주파수 정보를 동시에 보고 싶다! Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD 0 0.5 1 1.5 2 2.5 3 3.5 4 -40 -20 0 20 40 Time (sec) x(t) Signal in time domain 0 10 20 30 40 50 60 70 0 2000 4000 6000 Frequency (Hz) X(f) Signal in frequency domain
③ 1 채널 변환하고 CNN 적용  신호의 시간과 주파수 정보를 동시에 보고 싶다!  TFD Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Time (sec) Frequency(Hz) Time-frequency distribution of signal 0 1 2 3 0 10 20 30 40 50 60 10 20 30 40 50 60 70 0 0.5 1 1.5 2 2.5 3 3.5 4 -40 -20 0 20 40 Time (sec) x(t) Signal in time domain 0 10 20 30 40 50 60 70 0 2000 4000 6000 Frequency (Hz) X(f) Signal in frequency domain
 어플리케이션: 통신 – Modulation Recognition ③ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Kong, S. H., Kim, M., Hoang, L. M., & Kim, E. (2018). Automatic LPI Radar Waveform Recognition Using CNN. IEEE Access, 6, 4207-4219.
 어플리케이션: 통신 IoT – Indoor Localization with Wi-Fi ③ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Wang, X. et al., (2017). CiFi: Deep convolutional neural networks for indoor localization with 5 GHz Wi-Fi. In Communications (ICC), 2017 IEEE International Conference on. IEEE. *이 연구는 단일채널도 아니고 TFD를 활용한 것도 아니지만 Image Construction 예제로 함께 봅시다!
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
④ 1 채널 변환하고 CNN 적용  주기성이 있는 1D 신호를 2D로 바꾸자 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat t x(t) …..
④ 1 채널 변환하고 CNN 적용  주기성이 있는 1D 신호를 2D로 바꾸자  vec2mat Keywords: 1 채널, CNN, 변환, 주기성, vec2mat t x(t) ….. …..
 어플리케이션: 에너지 – Smart Grid를 위한 전력량 분석 Zheng, Z. et al., (2018). Wide and Deep Convolutional Neural Networks for Electricity-Theft Detection to Secure Smart Grids. IEEE Transactions on Industrial Informatics, 14(4), 1606-1615. ④ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat
 어플리케이션: 통신 IoT – Wifi Hotspot 분류 Xu, C., (2017). Large-scale Wi-Fi hotspot classification via deep learning. In Proceedings of the 26th International Conference on World Wide Web Companion (pp. 857-858). International World Wide Web Conferences Steering Committee. ④ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
⑤ 다채널 곧바로 CNN 적용  격자형태로 배치된 다중 센서들이 신호를 취득한 경우 Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지 Sensor
⑤ 다채널 곧바로 CNN 적용  격자형태로 배치된 다중 센서들이 신호를 취득한 경우  센서 각각을 이미지의 픽셀로 해석한다 (≒이미지, ≒영상) Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지 Sensor time
 어플리케이션: 웨어러블/헬스케어 – 근전도로 손동작 분류 Geng, W., Du, Y., Jin, W., Wei, W., Hu, Y., & Li, J. (2016). Gesture recognition by instantaneous surface EMG images. Scientific reports, 6, 36571. ⑤ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
⑥ 다채널 곧바로 CNN 적용  무작위로 배치된 다중 센서들이 신호를 취득한 경우 (매우 일반적) Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈 t x(t) Sensor
⑥ 다채널 곧바로 CNN 적용  무작위로 배치된 다중 센서들이 신호를 취득한 경우 (매우 일반적)  이미 2D Array는 주어졌다 & 커널사이즈를 자유롭게! Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈 t x(t) Sensor 3x3 1x5 5 x 1
 어플리케이션: 웨어러블 – 운동 동작 분류 Um, T. T. et al., (2017). Exercise motion classification from large-scale wearable sensor data using convolutional neural networks. In Intelligent Robots and Systems (IROS), 2017 IEEE/RSJ International Conference on (pp. 2385-2390). IEEE. ⑥ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈
 어플리케이션: 의료헬스케어 – Brain-Computer Interface (BCI) Kwak, N. S., Müller, K. R., & Lee, S. W. (2017). A convolutional neural network for steady state visual evoked potential classification under ambulatory environment. PloS one, 12(2), e0172578. ⑥ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈
# 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
⑦ 다채널 변환하고 CNN 적용  상관관계 및 그래프 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Mijalkov, M. et al., (2017). BRAPH: A graph theory software for the analysis of brain connectivity. PloS one, 12(8), e0178798.
⑦ 다채널 변환하고 CNN 적용  다중 센서 신호 상관관계 및 그래프 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Racz, F. S. et al., (2018). Multifractal dynamics of resting-state functional connectivity in the prefrontal cortex. Physiological measurement, 39(2), 024003. Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049.
⑦ 다채널 변환하고 CNN 적용  다중 센서 신호 상관관계 및 그래프  인접행렬에 적합한 컨벌루션? Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Racz, F. S. et al., (2018). Multifractal dynamics of resting-state functional connectivity in the prefrontal cortex. Physiological measurement, 39(2), 024003. Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049.
 어플리케이션: 의료헬스케어 – Brain Network Analysis http://brainnetcnn.cs.sfu.ca/About.html Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049. ⑦ 다채널 변환하고 CNN 적용 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프
Part II. 시작합니다 1D 신호에 연구/개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
왜 연구/개발 주제를 대입하나요?
왜 연구/개발 주제를 대입하나요? 이미지/영상 Vision 관련 연구개발 내용은 다른 분야에 적용이 안 되는 걸까? 우리가 다루는 1D 신호에 적합한 형태로 재해석하면 재밌는 결과를 볼 수 있어요
Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
① Data Augmentation  사용 가능한 훈련용 Labeled data 가 부족한 경우 http://nmhkahn.github.io/CNN-Practice https://blog.naver.com/wkjuns/221277796512 https://www.kdnuggets.com/2018/05/data-augmentation-deep-learning-limited-data.html 원본 훈련 데이터 셋을 불려보자!
① Data Augmentation  사용 가능한 훈련용 Labeled data 가 부족한 경우  데이터 증강 http://nmhkahn.github.io/CNN-Practice https://blog.naver.com/wkjuns/221277796512 https://www.kdnuggets.com/2018/05/data-augmentation-deep-learning-limited-data.html 원본 좌우-상하 반전 Flip 회전 Rotation 줌인/줌아웃 Scale 일부 자르기 Crop 잡음/채도 Jittering + Generative Adversarial Networks (GAN) 훈련 데이터 셋을 불려보자!
 웨어러블 데이터 (3축가속도) Augmentation 재해석 Um, T. T. et al., (2017). Data augmentation of wearable sensor data for parkinson’s disease monitoring using convolutional neural networks. In Proceedings of the 19th ACM International Conference on Multimodal Interaction (pp. 216-220). ACM. ① Data Augmentation 훈련 데이터 셋을 불려보자! Jittering 잡음 추가 Scaling Magnitude 변화 Rotation 센서 위치 변경에 따르는 축 변화 Permutation 시간 축 이벤트 순간 변화 Warping Interval/ Magnitude 왜곡 Cropping 잘라내기
Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
 높은 해상도의 이미지는 여러 분야에서 필요 https://yearbook.com/support/article/image-resolution-explained/ https://www.slideshare.net/TaegyunJeon1/pr12-image-super-resolution-using-deep-convolutional-networks ② Super Resolution 저해상도  고해상도
 저화질의 이미지를 고화질의 이미지로 얻고 싶다!  SR Kim, J., Kwon Lee, J., & Mu Lee, K. (2016). Deeply-recursive convolutional network for image super-resolution. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1637-1645). ② Super Resolution 저해상도  고해상도
 통신 모바일 트래픽 분석 + Mobility/ Network Analysis ② Super Resolution Zhang, C., Ouyang, X., & Patras, P. (2017, November). ZipNet-GAN: Inferring fine-grained mobile traffic patterns via a generative adversarial neural network. In Proceedings of the 13th International Conference on emerging Networking EXperiments and Technologies (pp. 363-375). ACM. Discriminator Generator 저해상도  고해상도
 의료헬스케어 EEG Super Resolution + Source Localization https://www.biosemi.com/headcap.htm https://www.slideshare.net/SangJunHan4/a-simulation-study-of-eeg-superresolution-using-deep-convolutional-networks Sangjun Han, Moonyoung Kwon, Sunghan Lee, Sung Chan Jun, ‘Feasibility Study of EEG Super-Resolution Using Deep Convolutional Networks,’ IEEE SMC 2018. ② Super Resolution 저해상도  고해상도
Part II. 1D 신호에 연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
③ Knowledge Distillation (Model Compression)  엄청나게 좋은 딥러닝! 하지만, 연산량과 메모리 사용이 너무 크다! 가벼운 모델!
③ Knowledge Distillation (Model Compression)  엄청나게 좋은 딥러닝! 하지만, 연산량과 메모리 사용이 너무 크다!  IoT/모바일 Edge 컴퓨팅 환경에서 쓸 수 있는 방법은? 가벼운 모델!
 어플리케이션: IoT 및 Edge Computing Han, S., Mao, H., & Dally, W. J. (2015). Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149. Mishra, A., & Marr, D. (2017). Apprentice: Using knowledge distillation techniques to improve low-precision network accuracy. arXiv preprint arXiv:1711.05852. ③ Knowledge Distillation (Model Compression) 가벼운 모델!
Part I. 1D 신호에 신경망 구조 적용하기 Part II. 1D 신호에 연구개발 주제 대입하기 오늘 발표 정리!
여러분도 재밌게 딥러닝 쓰세요!
김동현, GDG Gwangju Organizer dony.donkim@gmail.com Gwangju Thank you! 2018
Gwangju Q&A 2018

More Related Content

PDF
Recurrent Neural Networks. Part 1: Theory
byAndrii Gakhov
 
PDF
순환신경망(Recurrent neural networks) 개요
byByoung-Hee Kim
 
PDF
An introduction to Deep Learning
byJulien SIMON
 
PDF
Deep Learning - Convolutional Neural Networks
byChristian Perone
 
PPTX
AlexNet, VGG, GoogleNet, Resnet
byJungwon Kim
 
PDF
"Semantic Segmentation for Scene Understanding: Algorithms and Implementation...
byEdge AI and Vision Alliance
 
PDF
Machine Learning & Self-Driving Cars
byChristopher Mohritz
 
PPTX
Image Deep Learning 실무적용
byYoungjae Kim
 
Recurrent Neural Networks. Part 1: Theory
byAndrii Gakhov
 
순환신경망(Recurrent neural networks) 개요
byByoung-Hee Kim
 
An introduction to Deep Learning
byJulien SIMON
 
Deep Learning - Convolutional Neural Networks
byChristian Perone
 
AlexNet, VGG, GoogleNet, Resnet
byJungwon Kim
 
"Semantic Segmentation for Scene Understanding: Algorithms and Implementation...
byEdge AI and Vision Alliance
 
Machine Learning & Self-Driving Cars
byChristopher Mohritz
 
Image Deep Learning 실무적용
byYoungjae Kim
 

Similar to [GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기

PDF
Final project v0.84
bySoukwon Jun
 
PDF
[논문리뷰] 딥러닝 적용한 EEG 연구 소개
byDonghyeon Kim
 
PDF
Deep neural networks cnn rnn_ae_some practical techniques
byKang Pilsung
 
PDF
Deep learning의 이해
byKwangPil Hong
 
PDF
델켐매거진5호
bykr_delcam
 
PDF
밑바닥부터 시작하는딥러닝 8장
bySunggon Song
 
PPTX
Anomaly detection practive_using_deep_learning
by도형 임
 
PDF
Automl
by승우 이
 
PDF
AUTOML
by승우 이
 
PDF
HistoryOfCNN
byTae Young Lee
 
PDF
Neural stream
byMk Kim
 
PPTX
Binarized CNN on FPGA
by홍배 김
 
PPTX
180624 mobile visionnet_baeksucon_jwkang_pub
byJaewook. Kang
 
PDF
[데이터 분석 소모임] Convolution Neural Network 김려린
bydkuplusalpha
 
PDF
History of Vision AI
byTae Young Lee
 
PDF
Neural network의 변천사 이태영
byTae Young Lee
 
PDF
Ai study - 2 layer feed-forward network, Backpropagation
byDaeHeeKim31
 
PDF
CNN Architecture A to Z
byLEE HOSEONG
 
PDF
[한국어] Neural Architecture Search with Reinforcement Learning
byKiho Suh
 
PDF
Deep Object Detectors #1 (~2016.6)
byIldoo Kim
 
Final project v0.84
bySoukwon Jun
 
[논문리뷰] 딥러닝 적용한 EEG 연구 소개
byDonghyeon Kim
 
Deep neural networks cnn rnn_ae_some practical techniques
byKang Pilsung
 
Deep learning의 이해
byKwangPil Hong
 
델켐매거진5호
bykr_delcam
 
밑바닥부터 시작하는딥러닝 8장
bySunggon Song
 
Anomaly detection practive_using_deep_learning
by도형 임
 
Automl
by승우 이
 
AUTOML
by승우 이
 
HistoryOfCNN
byTae Young Lee
 
Neural stream
byMk Kim
 
Binarized CNN on FPGA
by홍배 김
 
180624 mobile visionnet_baeksucon_jwkang_pub
byJaewook. Kang
 
[데이터 분석 소모임] Convolution Neural Network 김려린
bydkuplusalpha
 
History of Vision AI
byTae Young Lee
 
Neural network의 변천사 이태영
byTae Young Lee
 
Ai study - 2 layer feed-forward network, Backpropagation
byDaeHeeKim31
 
CNN Architecture A to Z
byLEE HOSEONG
 
[한국어] Neural Architecture Search with Reinforcement Learning
byKiho Suh
 
Deep Object Detectors #1 (~2016.6)
byIldoo Kim
 

[GDG DevFest Gwangju 2018] 나도쓰고싶다 딥러닝: 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기

  • 1.
    김동현, GDG GwangjuOrganizer dony.donkim@gmail.com Gwangju 나도 쓰고 싶다 딥러닝 II 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 2018
  • 2.
    나도 쓰고 싶다,딥러닝 II 통신/ IoT/ 웨어러블/ 에너지/ 의료헬스케어 적용하기 이 발표에서는 이제 막 딥러닝에 입문하신 분들께 음성/ 이미지/영상 이외의 신호에 (1) 어떻게 신경망 구조를 적용할 수 있는지 (2) 어떤 연구개발 주제와 내용을 접목할 수 있는지 정리합니다. Gwangju
  • 3.
    이런 분을 위해준비한 Talk 입니다  머신러닝 및 딥러닝 관련 기초 강좌를 수강하거나 공부하신 분  TensorFlow를 이용해서 MNIST 분류 CNN 실습 해보신 분  이미지 기반 딥러닝 기법을 1-D 신호에 적용해보고 싶으신 분  1-D 신호에 딥러닝 구조 (특히 CNN) 적용 방법이 궁금하신 분 Gwangju
  • 4.
    발표자 소개 소속 * Ph.D.Student Communications & Sensor Networks Lab. (CSNL), Gwangju Institute of Science and Technology (GIST). * GDG Gwangju Organizer * A-GIST (Artificial General Intelligence Study Team) 흥미/ 좋아하는 것들 생체 신호처리 (Biosignal processing) 기계학습/딥러닝 (Machine Learning/ Deep Learning) 사부작거리며 일벌리기하기 디스커션을 빙자한 술자리 Contact Info. https://sites.google.com/site/donydonkim dony.donkim@gmail.com dhkim518@gist.ac.kr 김동현 Donghyeon Kim 삽질을 바탕으로 커뮤니티에 기여할 수 있는 경로를 탐색 중입니다:)
  • 5.
  • 6.
  • 7.
    여러분은 아마도… LeCun, Y.,Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE, 86(11), 2278-2324. Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in neural information processing systems. Szegedy, Christian, et al. (2015). "Going deeper with convolutions." Proceedings of the IEEE conference on computer vision and pattern recognition. He, Kaiming, et al. (2016). "Deep residual learning for image recognition." Proceedings of the IEEE conference on computer vision and pattern recognition. + LeNet, AlexNet, GoogLeNet, VGGNet, ResNet
  • 8.
    여러분은 아마도… t x(t) 1차원 시간열신호 통신 신호, 센서 신호 (온도, 초음파, 압력 등), 에너지 신호 (전력량 등) 웨어러블 및 생체 신호 (뇌파, 심전도, 가속도, 각속도 등)
  • 9.
    여러분은 아마도…  시간열1-D 신호에는 딥러닝을 어떻게 사용하지?  특히 CNN(컨벌루션, 풀링)을 1-D 신호에 어떻게 적용하지?  이미지/영상 기반의 기법이나 연구 개발 주제들이 1-D 신호에도 적용 될수 있나?
  • 10.
  • 11.
    Part I. 1D 신호에신경망 구조 적용하기 Part II. 1D 신호에 연구개발 주제 대입하기 그래서 이런 내용을 소개합니다
  • 12.
    발표하는 저도 부족한사람입니다... 디스커션 환영합니다:-) 잠깐, 오해하지 마세요
  • 13.
    Part I. 시작합니다1D 신호에 신경망 구조 적용하기 # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축 또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어
  • 14.
  • 15.
    왜 신경망 구조를 탐구하나요? 손가락을 베이다 반창고를 붙일까? 깁스를 할까? 신경망 모형에 따라 복잡도가 결정되고, overfitting 및 bias 문제와 연관 있습니다.
  • 16.
    # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 17.
    ① 1 채널곧바로 MLP 적용  시간 축 (time-domain) 또는 주파수 축 (frequency-domain) Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 신호 및 분류 문제 간단 예시 시간 축  심전도 펄스 5초로 쇼크/정상 판별하기  주식-주가 변동 예측 주파수 축  뇌파 (δ, θ, α, β, γ) 대역별 신호로 감정/수면상태 판별하기
  • 18.
    ① 1 채널곧바로 MLP 적용  시간 축 (time-domain) 또는 주파수 축 (frequency-domain) Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기
  • 19.
    ① 1 채널곧바로 MLP 적용  어플리케이션: 통신 - Signal detection in OFDM systems Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 Ye, H., Li, G. Y., & Juang, B. H. (2018). Power of deep learning for channel estimation and signal detection in OFDM systems. IEEE Wireless Communications Letters, 7(1), 114-117.
  • 20.
    ① 1 채널곧바로 MLP 적용  어플리케이션: 통신 - PAPR reduction scheme for OFDM Keywords: 1 채널, MLP, 곧바로, 시간축 or 주파수축, 일단 집어넣기 Kim, M., Lee, W., & Cho, D. H. (2018). A Novel PAPR Reduction Scheme for OFDM System Based on Deep Learning. IEEE Communications Letters, 22(3), 510-513.
  • 21.
    # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 22.
    ② 1 채널곧바로 CNN 적용  1D Convolution Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
  • 23.
    ② 1 채널곧바로 CNN 적용  1D Pooling Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
  • 24.
    ② 1 채널곧바로 CNN 적용 Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Martinez, H. P., Bengio, Y., & Yannakakis, G. N. (2013). Learning deep physiological models of affect. IEEE Computational Intelligence Magazine, 8(2), 20-33.
  • 25.
    ② 1 채널곧바로 CNN 적용  어플리케이션: 의료헬스케어 - EEG Seizure Detection Acharya, U. R. et al., (2017). Deep convolutional neural network for the automated detection and diagnosis of seizure using EEG signals. Computers in biology and medicine. Keywords: 1 채널, CNN, 곧바로, 시간축 or 주파수축, 1D Convolution, 1D Pooling Convolution Max-pooling Fully connected layer
  • 26.
    # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 27.
    ③ 1 채널변환하고 CNN 적용  신호의 시간과 주파수 정보를 동시에 보고 싶다! Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD 0 0.5 1 1.5 2 2.5 3 3.5 4 -40 -20 0 20 40 Time (sec) x(t) Signal in time domain 0 10 20 30 40 50 60 70 0 2000 4000 6000 Frequency (Hz) X(f) Signal in frequency domain
  • 28.
    ③ 1 채널변환하고 CNN 적용  신호의 시간과 주파수 정보를 동시에 보고 싶다!  TFD Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Time (sec) Frequency(Hz) Time-frequency distribution of signal 0 1 2 3 0 10 20 30 40 50 60 10 20 30 40 50 60 70 0 0.5 1 1.5 2 2.5 3 3.5 4 -40 -20 0 20 40 Time (sec) x(t) Signal in time domain 0 10 20 30 40 50 60 70 0 2000 4000 6000 Frequency (Hz) X(f) Signal in frequency domain
  • 29.
     어플리케이션: 통신– Modulation Recognition ③ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Kong, S. H., Kim, M., Hoang, L. M., & Kim, E. (2018). Automatic LPI Radar Waveform Recognition Using CNN. IEEE Access, 6, 4207-4219.
  • 30.
     어플리케이션: 통신IoT – Indoor Localization with Wi-Fi ③ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 시간축 and 주파수축, TFD Wang, X. et al., (2017). CiFi: Deep convolutional neural networks for indoor localization with 5 GHz Wi-Fi. In Communications (ICC), 2017 IEEE International Conference on. IEEE. *이 연구는 단일채널도 아니고 TFD를 활용한 것도 아니지만 Image Construction 예제로 함께 봅시다!
  • 31.
    # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 32.
    ④ 1 채널변환하고 CNN 적용  주기성이 있는 1D 신호를 2D로 바꾸자 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat t x(t) …..
  • 33.
    ④ 1 채널변환하고 CNN 적용  주기성이 있는 1D 신호를 2D로 바꾸자  vec2mat Keywords: 1 채널, CNN, 변환, 주기성, vec2mat t x(t) ….. …..
  • 34.
     어플리케이션: 에너지– Smart Grid를 위한 전력량 분석 Zheng, Z. et al., (2018). Wide and Deep Convolutional Neural Networks for Electricity-Theft Detection to Secure Smart Grids. IEEE Transactions on Industrial Informatics, 14(4), 1606-1615. ④ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat
  • 35.
     어플리케이션: 통신IoT – Wifi Hotspot 분류 Xu, C., (2017). Large-scale Wi-Fi hotspot classification via deep learning. In Proceedings of the 26th International Conference on World Wide Web Companion (pp. 857-858). International World Wide Web Conferences Steering Committee. ④ 1 채널 변환하고 CNN 적용 Keywords: 1 채널, CNN, 변환, 주기성, vec2mat
  • 36.
    # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 37.
    ⑤ 다채널 곧바로CNN 적용  격자형태로 배치된 다중 센서들이 신호를 취득한 경우 Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지 Sensor
  • 38.
    ⑤ 다채널 곧바로CNN 적용  격자형태로 배치된 다중 센서들이 신호를 취득한 경우  센서 각각을 이미지의 픽셀로 해석한다 (≒이미지, ≒영상) Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지 Sensor time
  • 39.
     어플리케이션: 웨어러블/헬스케어– 근전도로 손동작 분류 Geng, W., Du, Y., Jin, W., Wei, W., Hu, Y., & Li, J. (2016). Gesture recognition by instantaneous surface EMG images. Scientific reports, 6, 36571. ⑤ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 격자 배치, ≒이미지
  • 40.
    # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 41.
    ⑥ 다채널 곧바로CNN 적용  무작위로 배치된 다중 센서들이 신호를 취득한 경우 (매우 일반적) Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈 t x(t) Sensor
  • 42.
    ⑥ 다채널 곧바로CNN 적용  무작위로 배치된 다중 센서들이 신호를 취득한 경우 (매우 일반적)  이미 2D Array는 주어졌다 & 커널사이즈를 자유롭게! Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈 t x(t) Sensor 3x3 1x5 5 x 1
  • 43.
     어플리케이션: 웨어러블– 운동 동작 분류 Um, T. T. et al., (2017). Exercise motion classification from large-scale wearable sensor data using convolutional neural networks. In Intelligent Robots and Systems (IROS), 2017 IEEE/RSJ International Conference on (pp. 2385-2390). IEEE. ⑥ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈
  • 44.
     어플리케이션: 의료헬스케어– Brain-Computer Interface (BCI) Kwak, N. S., Müller, K. R., & Lee, S. W. (2017). A convolutional neural network for steady state visual evoked potential classification under ambulatory environment. PloS one, 12(2), e0172578. ⑥ 다채널 곧바로 CNN 적용 Keywords: 다중채널, CNN, 곧바로, 무작위 배치, 커널사이즈
  • 45.
    # 채널 개수 NN 구조 곧바로/ 변환 신호적 특징 접근법 참고 어플리케이션 1 단일 채널 MLP 곧바로 적용 시간축또는 주파수축 데이터 일단 집어넣자 통신 2 CNN 1D Convolution 1D Pooling 의료-헬스케어 3 변환하고 적용 시간축과 주파수축 동시에 Time-Frequency Distribution (TFD) 통신 통신 IoT 4 주기성이 있는 신호 vec2mat 에너지 통신 IoT 5 다중 채널 곧바로 적용 격자 형태로 배치된 센서 신호 데이터 ≒ 이미지 또는 영상 웨어러블 6 무작위로 배치된 센서 신호 데이터 커널 사이즈를 자유롭게! 웨어러블 의료-헬스케어 7 변환하고 적용 채널 간 상관관계 상관관계 및 그래프 의료-헬스케어 Part I. 1D 신호에 신경망 구조 적용하기
  • 46.
    ⑦ 다채널 변환하고CNN 적용  상관관계 및 그래프 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Mijalkov, M. et al., (2017). BRAPH: A graph theory software for the analysis of brain connectivity. PloS one, 12(8), e0178798.
  • 47.
    ⑦ 다채널 변환하고CNN 적용  다중 센서 신호 상관관계 및 그래프 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Racz, F. S. et al., (2018). Multifractal dynamics of resting-state functional connectivity in the prefrontal cortex. Physiological measurement, 39(2), 024003. Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049.
  • 48.
    ⑦ 다채널 변환하고CNN 적용  다중 센서 신호 상관관계 및 그래프  인접행렬에 적합한 컨벌루션? Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프 Racz, F. S. et al., (2018). Multifractal dynamics of resting-state functional connectivity in the prefrontal cortex. Physiological measurement, 39(2), 024003. Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049.
  • 49.
     어플리케이션: 의료헬스케어– Brain Network Analysis http://brainnetcnn.cs.sfu.ca/About.html Kawahara, J. et al., (2017). BrainNetCNN: convolutional neural networks for brain networks; towards predicting neurodevelopment. NeuroImage, 146, 1038-1049. ⑦ 다채널 변환하고 CNN 적용 Keywords: 다중채널, CNN, 변환, 채널간 상관관계, 그래프
  • 51.
    Part II. 시작합니다1D 신호에 연구/개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
  • 52.
  • 53.
    왜 연구/개발 주제를 대입하나요? 이미지/영상 Vision관련 연구개발 내용은 다른 분야에 적용이 안 되는 걸까? 우리가 다루는 1D 신호에 적합한 형태로 재해석하면 재밌는 결과를 볼 수 있어요
  • 54.
    Part II. 1D 신호에연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
  • 55.
    ① Data Augmentation 사용 가능한 훈련용 Labeled data 가 부족한 경우 http://nmhkahn.github.io/CNN-Practice https://blog.naver.com/wkjuns/221277796512 https://www.kdnuggets.com/2018/05/data-augmentation-deep-learning-limited-data.html 원본 훈련 데이터 셋을 불려보자!
  • 56.
    ① Data Augmentation 사용 가능한 훈련용 Labeled data 가 부족한 경우  데이터 증강 http://nmhkahn.github.io/CNN-Practice https://blog.naver.com/wkjuns/221277796512 https://www.kdnuggets.com/2018/05/data-augmentation-deep-learning-limited-data.html 원본 좌우-상하 반전 Flip 회전 Rotation 줌인/줌아웃 Scale 일부 자르기 Crop 잡음/채도 Jittering + Generative Adversarial Networks (GAN) 훈련 데이터 셋을 불려보자!
  • 57.
     웨어러블 데이터(3축가속도) Augmentation 재해석 Um, T. T. et al., (2017). Data augmentation of wearable sensor data for parkinson’s disease monitoring using convolutional neural networks. In Proceedings of the 19th ACM International Conference on Multimodal Interaction (pp. 216-220). ACM. ① Data Augmentation 훈련 데이터 셋을 불려보자! Jittering 잡음 추가 Scaling Magnitude 변화 Rotation 센서 위치 변경에 따르는 축 변화 Permutation 시간 축 이벤트 순간 변화 Warping Interval/ Magnitude 왜곡 Cropping 잘라내기
  • 58.
    Part II. 1D 신호에연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
  • 59.
     높은 해상도의이미지는 여러 분야에서 필요 https://yearbook.com/support/article/image-resolution-explained/ https://www.slideshare.net/TaegyunJeon1/pr12-image-super-resolution-using-deep-convolutional-networks ② Super Resolution 저해상도  고해상도
  • 60.
     저화질의 이미지를고화질의 이미지로 얻고 싶다!  SR Kim, J., Kwon Lee, J., & Mu Lee, K. (2016). Deeply-recursive convolutional network for image super-resolution. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1637-1645). ② Super Resolution 저해상도  고해상도
  • 61.
     통신 모바일트래픽 분석 + Mobility/ Network Analysis ② Super Resolution Zhang, C., Ouyang, X., & Patras, P. (2017, November). ZipNet-GAN: Inferring fine-grained mobile traffic patterns via a generative adversarial neural network. In Proceedings of the 13th International Conference on emerging Networking EXperiments and Technologies (pp. 363-375). ACM. Discriminator Generator 저해상도  고해상도
  • 62.
     의료헬스케어 EEGSuper Resolution + Source Localization https://www.biosemi.com/headcap.htm https://www.slideshare.net/SangJunHan4/a-simulation-study-of-eeg-superresolution-using-deep-convolutional-networks Sangjun Han, Moonyoung Kwon, Sunghan Lee, Sung Chan Jun, ‘Feasibility Study of EEG Super-Resolution Using Deep Convolutional Networks,’ IEEE SMC 2018. ② Super Resolution 저해상도  고해상도
  • 63.
    Part II. 1D 신호에연구개발 주제 대입하기 # 주제 내용 참고 어플리케이션 1 Data Augmentation 훈련 데이터셋을 불리자! 웨어러블 2 Super-Resolution 저해상도  고해상도! 통신 의료헬스케어 3 Knowledge Distillation (Model Compression) 가벼운 모델! IoT
  • 64.
    ③ Knowledge Distillation(Model Compression)  엄청나게 좋은 딥러닝! 하지만, 연산량과 메모리 사용이 너무 크다! 가벼운 모델!
  • 65.
    ③ Knowledge Distillation(Model Compression)  엄청나게 좋은 딥러닝! 하지만, 연산량과 메모리 사용이 너무 크다!  IoT/모바일 Edge 컴퓨팅 환경에서 쓸 수 있는 방법은? 가벼운 모델!
  • 66.
     어플리케이션: IoT및 Edge Computing Han, S., Mao, H., & Dally, W. J. (2015). Deep compression: Compressing deep neural networks with pruning, trained quantization and huffman coding. arXiv preprint arXiv:1510.00149. Mishra, A., & Marr, D. (2017). Apprentice: Using knowledge distillation techniques to improve low-precision network accuracy. arXiv preprint arXiv:1711.05852. ③ Knowledge Distillation (Model Compression) 가벼운 모델!
  • 67.
    Part I. 1D 신호에신경망 구조 적용하기 Part II. 1D 신호에 연구개발 주제 대입하기 오늘 발표 정리!
  • 68.
  • 69.
    김동현, GDG GwangjuOrganizer dony.donkim@gmail.com Gwangju Thank you! 2018
  • 70.