데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study
이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study (박주홍 데이터 분석 및 인프라 팀...Amazon Web Services Korea
데브시스터즈 데이터 레이크 구축 이야기 : Data Lake architecture case study
이 세션에서는 데브시스터즈의 Case Study를 통하여 Data Lake를 만들고 사용하는데 있어 요구 되는 사항들에 대해 공유합니다. 여러 목적에 맞는 데이터를 전달하기 위해 AWS 를 활용하여 Data Lake 를 구축하게된 계기와 실제 구축 작업을 하면서 경험하게 된 것들에 대해 말씀드리고자 합니다. 기존 인프라 구조 대비 효율성 및 비용적 측면을 소개해드리고, 빅데이터를 이용한 부서별 데이터 세분화를 진행할 때 어떠한 Architecture가 사용되었는지 소개드리고자 합니다.
Tableau 시각화 작성을 위해 데이터세트 준비에 많은 시간이 소요됩니다. 데이터 세트의 preparation 과 advanced analytic를 쉽게 할수 있게 합니다. 성공적인 Tableau data blending을 위한 6단계입니다. - by pikdata (www.pikdata.com)
https://github.com/FinanceData/Life-is-short
(github 페이지: 데이터세트, 동영상)
https://fb.com/financedata/posts/2170185529937113
(페이스북 페이지: 주피터 노트북 및 동영상)
파이썬으로 도전하는 업무자동화와 RPA(로봇프로세스자동화)
* 엑셀 노가다를 파이썬으로 자동화 할 수 있는 방법들
* 데스크탑 자동화(단순 반복 업무 자동화)에 필요한 라이브러리들과 사용 예
* RPA (상용 솔루션)과 파이썬 (무료 오픈소스)의 장점과 단점
* 파이썬을 활용한 업무 자동화 구체적인 방법
최근 국내에도 글로벌 서비스나 급성장하는 웹 서비스를 쉽게 볼 수 있습니다. 초기에 RDBMS로 시작된 서비스들은 규모가 성장함에 따라 샤딩과 NoSQL의 선택의 기로에 서게 됩니다. Amazon DynamoDB는 모든 스케일에서 사용할 수 있는 완전 관리형 Key-Value NoSQL 데이터베이스이지만 여전히 Key Design은 가장 어려운 영역 중 하나입니다. 이 세션에서는 대규모 서비스의 키 디자인 방법을 알아봅니다.
Photo-realistic Single Image Super-resolution using a Generative Adversarial ...Hansol Kang
* Ledig, Christian, et al. "Photo-realistic single image super-resolution using a generative adversarial network." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
LSGAN - SIMPle(Simple Idea Meaningful Performance Level up)Hansol Kang
LSGAN은 기존의 GAN loss가 아닌 MSE loss를 사용하여, 더욱 realistic한 데이터를 생성함.
LSGAN 논문 리뷰 및 PyTorch 기반의 구현.
[참고]
Mao, Xudong, et al. "Least squares generative adversarial networks." Proceedings of the IEEE International Conference on Computer Vision. 2017.
InfoGAN : Interpretable Representation Learning by Information Maximizing Gen...Hansol Kang
InfoGAN은 기존 GAN이 manupulation이 어렵다는 단점을 극복함. latent space에 z 이외에 c(condition)을 부여하여 원하는 결과물을 얻을 수 있음. c에 대해 잘 학습하기 위해 Mutual information을 이용해 상관관계를 부여함.
InfoGAN 논문 리뷰 및 PyTorch 기반의 구현.
my github : https://github.com/messy-snail/GAN_PyTorch
[참고]
https://github.com/taeoh-kim/Pytorch_InfoGAN
Chen, Xi, et al. "Infogan: Interpretable representation learning by information maximizing generative adversarial nets." Advances in neural information processing systems. 2016.
Tableau 시각화 작성을 위해 데이터세트 준비에 많은 시간이 소요됩니다. 데이터 세트의 preparation 과 advanced analytic를 쉽게 할수 있게 합니다. 성공적인 Tableau data blending을 위한 6단계입니다. - by pikdata (www.pikdata.com)
https://github.com/FinanceData/Life-is-short
(github 페이지: 데이터세트, 동영상)
https://fb.com/financedata/posts/2170185529937113
(페이스북 페이지: 주피터 노트북 및 동영상)
파이썬으로 도전하는 업무자동화와 RPA(로봇프로세스자동화)
* 엑셀 노가다를 파이썬으로 자동화 할 수 있는 방법들
* 데스크탑 자동화(단순 반복 업무 자동화)에 필요한 라이브러리들과 사용 예
* RPA (상용 솔루션)과 파이썬 (무료 오픈소스)의 장점과 단점
* 파이썬을 활용한 업무 자동화 구체적인 방법
최근 국내에도 글로벌 서비스나 급성장하는 웹 서비스를 쉽게 볼 수 있습니다. 초기에 RDBMS로 시작된 서비스들은 규모가 성장함에 따라 샤딩과 NoSQL의 선택의 기로에 서게 됩니다. Amazon DynamoDB는 모든 스케일에서 사용할 수 있는 완전 관리형 Key-Value NoSQL 데이터베이스이지만 여전히 Key Design은 가장 어려운 영역 중 하나입니다. 이 세션에서는 대규모 서비스의 키 디자인 방법을 알아봅니다.
Photo-realistic Single Image Super-resolution using a Generative Adversarial ...Hansol Kang
* Ledig, Christian, et al. "Photo-realistic single image super-resolution using a generative adversarial network." Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
LSGAN - SIMPle(Simple Idea Meaningful Performance Level up)Hansol Kang
LSGAN은 기존의 GAN loss가 아닌 MSE loss를 사용하여, 더욱 realistic한 데이터를 생성함.
LSGAN 논문 리뷰 및 PyTorch 기반의 구현.
[참고]
Mao, Xudong, et al. "Least squares generative adversarial networks." Proceedings of the IEEE International Conference on Computer Vision. 2017.
InfoGAN : Interpretable Representation Learning by Information Maximizing Gen...Hansol Kang
InfoGAN은 기존 GAN이 manupulation이 어렵다는 단점을 극복함. latent space에 z 이외에 c(condition)을 부여하여 원하는 결과물을 얻을 수 있음. c에 대해 잘 학습하기 위해 Mutual information을 이용해 상관관계를 부여함.
InfoGAN 논문 리뷰 및 PyTorch 기반의 구현.
my github : https://github.com/messy-snail/GAN_PyTorch
[참고]
https://github.com/taeoh-kim/Pytorch_InfoGAN
Chen, Xi, et al. "Infogan: Interpretable representation learning by information maximizing generative adversarial nets." Advances in neural information processing systems. 2016.
Deep Convolutional GANs - meaning of latent spaceHansol Kang
DCGAN은 GAN에 단순히 conv net을 적용했을 뿐만 아니라, latent space에서도 의미를 찾음.
DCGAN 논문 리뷰 및 PyTorch 기반의 구현.
VAE 세미나 이슈 사항에 대한 리뷰.
my github : https://github.com/messy-snail/GAN_PyTorch
[참고]
https://github.com/znxlwm/pytorch-MNIST-CelebA-GAN-DCGAN
https://github.com/taeoh-kim/Pytorch_DCGAN
Radford, Alec, Luke Metz, and Soumith Chintala. "Unsupervised representation learning with deep convolutional generative adversarial networks." arXiv preprint arXiv:1511.06434 (2015).
쉽게 설명하는 GAN (What is this? Gum? It's GAN.)Hansol Kang
Original GAN 논문 리뷰 및 PyTorch 기반의 구현.
딥러닝 개발환경 및 언어 비교.
[참고]
Goodfellow, Ian, et al. "Generative adversarial nets." Advances in neural information processing systems. 2014.
Wang, Su. "Generative Adversarial Networks (GAN) A Gentle Introduction."
초짜 대학원생의 입장에서 이해하는 Generative Adversarial Networks (https://jaejunyoo.blogspot.com/)
1시간만에 GAN(Generative Adversarial Network) 완전 정복하기 (https://www.slideshare.net/NaverEngineering/1-gangenerative-adversarial-network)
프레임워크 비교(https://deeplearning4j.org/kr/compare-dl4j-torch7-pylearn)
AI 개발에AI 개발에 가장 적합한 5가지 프로그래밍 언어 (http://www.itworld.co.kr/news/109189#csidxf9226c7578dd101b41d03bfedfec05e)
Git는 머꼬? GitHub는 또 머지?(https://www.slideshare.net/ianychoi/git-github-46020592)
svn 능력자를 위한 git 개념 가이드(https://www.slideshare.net/einsub/svn-git-17386752)
신뢰 전파 기법을 이용한 스테레오 정합(Stereo matching using belief propagation algorithm)Hansol Kang
스테레오 정합, 신뢰 전파 기법에 대한 개념과 간단한 예제.
[참고]
J.H. Kim, and Y.H. Ko, “Multibaseline based Stereo Matching Using Texture adaptive Belief Propagation Technique." Journal of the Institute of Electronics and Information Engineers Vol. 50, No. 1, pp.75-85, 2013.
3. [Document]
PowerPoint
• Microsoft Equation 3.0(수식 편집기)
• Slide Master(슬라이드 마스터)
• 도형 작성
Adobe
• Color CC
• Photoshop
한글, Word
• 메모 기능
• 쪽 번호 다르게 넣기
Excel
• 조건부 서식
• 필터
LaTex
• ShareLaTex
문서 관리
• Onedrive
• Onenote
14. Document
2018-10-05
14
• PowerPoint - 도형 작성(도형 연산)
• 도형 결합 : 겹치는 부분을 제외하고 도형을 하나로 합침.
• 도형 교차 : 겹치는 부분만 남김.
• 도형 병합 : 도형을 하나로 합침.(그룹화와 비슷하지만, 그룹 해제처럼 다시 분리 X)
• 도형 빼기 : 먼저 선택된 도형에서 나중에 선택된 도형과 겹치는 부분을 뺌.
• 조각 모양 : 겹치는 부분을 조각.
53. Future work
2018-10-05
53
Paper Review
Vanilla GAN
DCGAN
InfoGAN
LS GAN
Unrolled GAN
Wasserstein GAN
BEGAN
Pix2Pix
Cycle GAN
Proposed Model
TBD
Tips
Document
Development
Mathematical Study
TBD
<기타 팁>
Intel Parallel Studio - Vtune
Google Scholar
RSS(Feedly)
55. Appendix
2018-10-05
55
<수학기호>
소괄호 Ctrl+9, Ctrl+0
대괄호 Ctrl+[, Ctrl+]
중괄호 Ctrl+{, Ctrl+}
분수 Ctrl+F
빗줄분수 Ctrl+/
적분 Ctrl+I
근호 Ctrl+R
절대값 Ctrl+Shift+T
n제곱 Ctrl+T,N
합계 Ctrl+T,S
곱 Ctrl+T,P
3*3 행렬식 Ctrl+T,M
문자열아래문자 Ctrl+T,U
무한대 Ctrl+K, I 키
오른쪽 화살표 Ctrl+K, A 키
편미분 Ctrl+K, D 키
이하 Ctrl+K, < 키
이상 Ctrl+K, > 키
곱하기 Ctrl+K, T 키
원소 Ctrl+K, E 키
원소가 아님 Ctrl+K, Shift+E
부분 집합 Ctrl+K, C 키
부분 집합이 아님 Ctrl+K, Shift+C
<그리스 문자>
theta Ctrl+G+Q (모양비슷)
eta Ctrl+G+H (모양비슷)
phi Ctrl+G+F (발음비슷)
tau Ctrl+G+T
omega Ctrl+G+W
epsilon Ctrl+G+E
rho Ctrl+G+R
alpha Ctrl+G+A
sigma Ctrl+G+S
delta Ctrl+G+D
zeta Ctrl+G+Z
xi Ctrl+G+X
chi Ctrl+G+C
xi Ctrl+G+X
iota Ctrl+G+I
lamda Ctrl+G+L
omega Ctrl+G+O
kappa Ctrl+G+K
gamma Ctrl+G+G
beta Ctrl+G+B
nu Ctrl+G+N
mu Ctrl+G+M
pi Ctrl+G+P
varpi Ctrl+G+V
<첨자>
위 첨자 Ctrl+H
아래 첨자 Ctrl+L
위 첨자/아래 첨자 모두 Ctrl+J
<장식기호>
윗줄 Ctrl+Shift+하이픈(-)
물결 무늬 Ctrl+Shift+~
화살표(벡터) Ctrl+Alt+하이픈(-)
프라임 Ctrl+Alt+'
더블 프라임 Ctrl+SHIFT+"
방점 Ctrl+Alt+마침표(.)
<확대/축소>
100% Ctrl+1
200% Ctrl+2
400% Ctrl+4
다시 그리기 Ctrl+D
모두 보기 Ctrl+Y
<정렬>
왼쪽 맞춤 Ctrl+Shift+L
가운데 맞춤 Ctrl+Shift+C
오른쪽 맞춤 Ctrl+Shift+R
<글꼴선택>
수학 Ctrl+Shift+=
텍스트 Ctr+Shift+E
함수 Ctrl+Shift+F
변수 Ctrl+Shift+I
그리스체 Ctrl+Shift+G
행렬-벡터 Ctrl+Shift+B
<이동>
왼쪽으로 1픽셀씩 Ctrl+왼쪽 화살표
위쪽으로 1픽셀씩 Ctrl+위쪽 화살표
아래쪽으로 1픽셀씩 Ctrl+아래쪽 화살표
오른쪽으로 1픽셀씩 Ctrl+오른쪽 화살표
[출처] [펌] 워드 수식 편집기 단축키 모음|작성자 백씨뽕