딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016Taehoon Kim
발표 영상 : https://goo.gl/jrKrvf
데모 영상 : https://youtu.be/exXD6wJLJ6s
Deep Q-Network, Double Q-learning, Dueling Network 등의 기술을 소개하며, hyperparameter, debugging, ensemble 등의 엔지니어링으로 성능을 끌어 올린 과정을 공유합니다.
2017 tensor flow dev summit (Sequence Models and the RNN API)
작성된 자료로 2017년 2월 22일 오후 8시 부터 Maru180에서
GDG Seoul 에서 주최한 2017 Tensorflow Dev Summit Extended Seou에서
발표를 진행
Sequence Models and the RNN API 정리 내역 공유
딥러닝과 강화 학습으로 나보다 잘하는 쿠키런 AI 구현하기 DEVIEW 2016Taehoon Kim
발표 영상 : https://goo.gl/jrKrvf
데모 영상 : https://youtu.be/exXD6wJLJ6s
Deep Q-Network, Double Q-learning, Dueling Network 등의 기술을 소개하며, hyperparameter, debugging, ensemble 등의 엔지니어링으로 성능을 끌어 올린 과정을 공유합니다.
2017 tensor flow dev summit (Sequence Models and the RNN API)
작성된 자료로 2017년 2월 22일 오후 8시 부터 Maru180에서
GDG Seoul 에서 주최한 2017 Tensorflow Dev Summit Extended Seou에서
발표를 진행
Sequence Models and the RNN API 정리 내역 공유
2016년 4월 9일
microsoft 세미나 발표자료입니다.
발표는 PPT 로 할거고 애니메이션등 약간의 내용을 추가해서 발표할 예정입니다.
알파고관련된 내용만있는 축약본은 아래링크에 있습니다.
http://www.slideshare.net/redrebel/20160409-ms-ml
빅데이터 전문가 / 데이터 사이언티스트 커리어에 대한 고려 사항과 사례 - Gonnector 고영혁 (Dylan Ko)Dylan Ko
한국데이터베이스진흥원이 주관한 빅데이터 잡콘서트 2014 에서 수백명의 대학생들을 대상으로 강연을 할 때 이용한 자료입니다.
빅데이터 시대가 선택이 아닌 필수인 이유를 다양한 데이터와 트렌드 사례를 들어 설명하고, 그 데이터에서 결국 중요한 것은 무엇인지를 설명합니다.
그리고, 데이터 사이언티스트, 빅데이터 전문가들의 미국에서의 연봉 수준과 연봉 및 역량의 상관관계 등에 대해서 다양한 데이터와 연구 결과를 인용하여 시각적이고 직관적으로 바로 이해할 수 있도록 설명합니다.
그런 빅데이터 전문가, 데이터 사이언티스트가 되기 위해 필요한 역량은 무엇인지 하나씩 설명하고, 그 중의 한 사례로 강사 본인의 역량 패턴을 보여준 다음에, 그 역량을 갖추기 위하여 어떤 삶을 살고 커리어를 쌓아왔는지 구체적인 예를 들어 설명합니다.
마지막으로 커리어를 계발하는 데에 있어서 반드시 고려해야 할 하나의 원리에 대해 이야기하면서 그것 역시 결국 탐색적으로 데이터를 분석하고 고찰하여 통찰을 얻어내는 것과 다를 바가 없음을 제시합니다.
인공지능 변호사 개발 1편 - Ai lawyer 개발을 위한 시도
(법령해석 문서의 분류편)
Word2Vec을 이용한 법령해석 문서의 자동분류 시도
(ai lawyer, artificial intelligence, gensim, law, nlp, nltk, word2vec, 데이터분석, 머신러닝, 인공지능, 인공지능 변호사)
Slides based on "Introduction to Machine Learning with Python" by Andreas Muller and Sarah Guido for Hongdae Machine Learning Study(https://www.meetup.com/Hongdae-Machine-Learning-Study/) (epoch #2)
홍대 머신 러닝 스터디(https://www.meetup.com/Hongdae-Machine-Learning-Study/) (epoch #2)의 "파이썬 라이브러리를 활용한 머신러닝"(옮긴이 박해선) 슬라이드 자료.
Dsh data sensitive hashing for high dimensional k-nn searchWooSung Choi
Gao, Jinyang, et al. "Dsh: data sensitive hashing for high-dimensional k-nnsearch." Proceedings of the 2014 ACM SIGMOD international conference on Management of data. ACM, 2014.
Coursera Machine Learning (by Andrew Ng)_강의정리SANG WON PARK
단순히 공식으로 설명하지 않고, 실제 코드 및 샘플데이터를 이용하여 수식의 결과가 어떻게 적용되는지 자세하게 설명하고 있다.
처음 week1 ~ week4 까지는 김성훈 교수님의 "모두를 위한 딥러닝"에서 한번 이해했던 내용이라 좀 쉽게 진행했고, 나머지는 기초가 부족한 상황이라 다른 자료를 꽤 많이 참고하면서 학습해야 했다.
여러 도서나 강의를 이용하여 머신러닝을 학습하려고 했었는데, 이 강의만큼 나에게 맞는것은 없었던거 같다. 특히 Octave code를 이용한 실습자료는 나중에도 언제든 활용가능할 것 같다.
Week1
Linear Regression with One Variable
Linear Algebra - review
Week2
Linear Regression with Multiple Variables
Octave[incomplete]
Week3
Logistic Regression
Regularization
Week4
Neural Networks - Representation
Week5
Neural Networks - Learning
Week6
Advice for applying machine learning techniques
Machine Learning System Design
Week7
Support Vector Machines
Week8
Unsupervised Learning(Clustering)
Dimensionality Reduction
Week9
Anomaly Detection
Recommender Systems
Week10
Large Scale Machine Learning
Week11
Application Example - Photo OCR
Apache MXNet은 매우 빠르게 성장하고 있는 딥러닝 오픈소스 프레임워크로 클라우드, 엣지 디바이스 및 모바일 분야에서 각광을 받고 있습니다. 아마존, NVIDIA, 인텔, 삼성전자 등 500여 명의 공헌자들이 MXNet 커뮤니티에서 활동하고 있습니다. 본 세션에서는 MXNet에 대한 소개와 특징, 그리고 인공 지능 및 기계 학습에 관심이 많은 대학생 및 데이터 과학자, 개발자를 위한 코드 공헌 경험 및 방법을 소개합니다.
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 15 생성적 적대 신경망 : 회화 및 숫자 이미지 생성 신경망
15.1 생성적 적대 신경망의 구조
15.2 생성적 적대 신경망과 데이터 생성
15.3 생성적 적대 신경망의 순전파와 역전파 처리
15.4 구현하기 : 생성적 적대 신경망 모델 클래스
15.5 구현하기 : 생성적 적대 신경망을 위한 데이터셋
15.6 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 14 인코더-디코더 : 엠니스트 이미지 숫자 읽기 신경망
14.1 인코더-디코더의 구조
14.2 인코더-디코더와 언어 처리
14.3 필기체 숫자 이미지를 영어로 읽기
14.4 필기체 숫자 이미지열을 한글로 읽기
14.5 인코더-디코더의 분리 학습 문제
14.6 구현하기 : 인코더-디코더 모델 클래스
14.7 구현하기 : 인코더-디코더를 위한 엠니스트 데이터셋
14.8 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 13 오토인코더 : 엠니스트 이미지 재현 및 분류 신경망
13.1 오토인코더의 구조
13.2 지도학습과 비지도학습
13.3 잡음 제거용 오토인코더
13.4 유사 이진 코드 생성과 시맨틱 해싱
13.5 지도학습이 추가된 확장 오토인코더 모델
13.6 확장 인코더 모델을 위한 엠니스트 데이터셋
13.7 구현하기 : 확장 오토인코더 모델 클래스
13.8 구현하기 : 오토인코더를 위한 엠니스트 데이터셋
13.9 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 12 CNN과 RNN의 결합 : 장면 전환 판별 신경망
12.1 비순환 계층에서의 시계열 데이터 처리
12.2 동영상 처리를 위한 합성곱 신경망과 순환 신경망의 결합
12.3 출력 계층과 후처리 단계에서의 시계열 데이터 처리
12.4 장면 전환 데이터셋
12.5 실행 부담을 줄이는 방법들
12.6 구현하기 : 확장된 순환 신경망 클래스
12.7 구현하기 : 장면 전환 데이터셋
12.8 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 10 기본 셀 순환 신경망 : 오토마타 문장 판별 신경망
10.1 시계열 데이터
10.2 순환 계층과 순환 벡터의 활용
10.3 순환 계층의 입출력 형태
10.4 순환 계층을 위한 시계열 데이터의 표현
10.5 순환 계층의 순전파와 역전파 처리
10.6 오토마타를 이용한 수식 표현의 생성과 검사
10.7 구현하기 : 간단한 순환 신경망 클래스
10.8 구현하기 : 오토마타 데이터셋
10.9 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 9 인셉션 모델과 레스넷 모델 : 꽃 이미지 분류 신경망
9.1 인셉션 모델
9.2 레스넷 모델
9.3 인셉션 모델과 레스넷 모델 구현을 위해 필요한 확장들
9.4 구현하기 : 확장된 합성곱 신경망 모델 클래스
9.5 구현하기 : 더미 데이터셋 클래스
9.6 실행하기 : 인셉션 모델
9.7 실행하기 : 레스넷 모델
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 5 다층 퍼셉트론 모델 구조 : 꽃 이미지 분류 신경망
5.1 다층 퍼셉트론을 위한 클래스 설계
5.2 데이터 분할 : 학습, 검증, 평가
5.3 시각화
5.4 이미지 분류 문제와 꽃 이미지 분류 데이터셋
5.5 구현하기 : 모델 클래스
5.6 구현하기 : 데이터셋 클래스
5.7 구현하기 : 네 가지 데이터셋 파생 클래스
5.8 구현하기 : 꽃 이미지 분류 데이터셋 클래스
5.9 구현하기 : 수학 연산과 각종 부수적 기능
5.10 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 11 LSTM 순환 신경망 : 도시 소음 분류 신경망
11.1 순환 벡터와 기울기 정보의 소멸 및 폭주
11.2 LSTM의 구조와 동작 방식
11.3 쌍곡탄젠트 함수
11.4 LSTM 계층의 순전파와 역전파 처리
11.5 주파수 스펙트럼 분석을 이용한 음원 처리
11.6 음원 분류 데이터셋
11.7 구현하기 : LSTM 신경망 클래스
11.8 구현하기 : 음원 분류 데이터셋
11.9 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
다섯 가지 정규화 확장 : 꽃 이미지 분류 신경망
8.1 부적합과 과적합
8.2 L2 손실
8.3 L1 손실
8.4 드롭아웃
8.5 잡음 주입
8.6 배치 정규화
8.7 정규화 기법 도입을 위한 계층의 추가
8.8 구현하기 : 정규화 확장 클래스
8.9 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 7 간단한 합성곱 모델 : 꽃 이미지 분류 신경망
7.1 다층 퍼셉트론의 문제점과 새로운 구조의 필요성
7.2 합성곱 계층
7.3 합성곱 연산의 패딩과 건너뛰기
7.4 풀링 계층
7.5 채널의 도입과 커널의 확장
7.6 합성곱과 풀링의 역전파 처리
7.7 합성곱 신경망의 일반적인 구성
7.8 세 가지 합성곱 연산 방법
7.9 다양한 계층의 처리를 위한 모델 확장
7.10 구현하기 : 간단한 합성곱 신경망 클래스
7.11 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 6 복합 출력의 처리 방법 : 오피스31 다차원 분류 신경망
6.1 오피스31 데이터셋과 다차원 분류
6.2 딥러닝에서의 복합 출력의 학습법
6.3 복합 출력을 위한 MlpModel 클래스와 Dataset 클래스의 역할
6.4 아담 알고리즘
6.5 구현하기 : 아담 모델 클래스
6.6 구현하기 : 오피스31 데이터셋 클래스
6.7 실행하기
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 4 다층 퍼셉트론 기본 구조 : 세 가지 신경망의 재구성
4.1 다층 퍼셉트론 신경망 구조
4.2 은닉 계층의 수와 폭
4.3 비선형 활성화 함수
4.4 ReLU 함수
4.5 민스키의 XOR 문제와 비선형 활성화 함수
4.6 구현하기 : 다층 퍼셉트론 신경망 지원 함수
4.7 실행하기
4.8 마치며
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://bit.ly/2LcyM9o
CHAPTER 3 선택 분류 : 철판 불량 상태 분류 신경망
3.1 불량 철판 판별 문제
3.2 선택 분류 문제의 신경망 처리
3.3 소프트맥스 함수
3.4 소프트맥스 함수의 편미분
3.5 소프트맥스 교차 엔트로피
3.6 소프트맥스 교차 엔트로피의 편미분
3.7 시그모이드 함수와 소프트맥스 함수의 관계
3.8 구현하기 : 불량 철판 판별 신경망
3.9 실행하기
3.10 마치며
파이썬 날코딩으로 알고 짜는 딥러닝: 프레임워크 없이 단층 퍼셉트론에서 GAN까지
> 관련도서: http://www.hanbit.co.kr/store/books/look.php?p_code=B8585180187
CHAPTER 2 이진 판단 : 천체의 펄서 여부 판정 신경망
2.1 펄서 판정 문제
2.2 이진 판단 문제의 신경망 처리
2.3 시그모이드 함수
2.4 확률 분포와 정보 엔트로피
2.5 확률 분포의 추정과 교차 엔트로피
2.6 딥러닝 학습에서의 교차 엔트로피
2.7 시그모이드 교차 엔트로피와 편미분
2.8 계산값 폭주 문제와 시그모이드 관련 함수의 안전한 계산법
2.9 구현하기 : 펄서 여부 판정 신경망
2.10 실행하기
2.11 확장하기 : 균형 잡힌 데이터셋과 착시 없는 평가 방법
2.12 실행하기 : 확장된 펄서 여부 판정 신경망
파이썬 날코딩으로 알고짜는 딥러닝_1장_회귀분석
- 관련도서: http://www.hanbit.co.kr/store/books/look.php?p_code=B8585180187
CHAPTER 1 회귀 분석 : 전복의 고리 수 추정 신경망
1.1 단층 퍼셉트론 신경망 구조
1.2 텐서 연산과 미니배치의 활용
1.3 신경망의 세 가지 기본 출력 유형과 회귀 분석
1.4 전복의 고리 수 추정 문제
1.5 회귀 분석과 평균제곱오차(MSE) 손실 함수
1.6 경사하강법과 역전파
1.7 편미분과 손실 기울기의 계산
1.8 하이퍼파라미터
1.9 비선형 정보와 원-핫 벡터 표현
1.10 구현하기 : 전복 고리 수 추정 신경망
1.11 실행하기
RealTime Talk #3 스케치 빠르게 배워 똑똑하게 쓰기
<관련도서: http://www.hanbit.co.kr/store/books/look.php?p_code=B5339242833>
- 대표 UX/UX 프로토타입 툴인 ‘스케치’의 기초부터 활용까지
- 저자의 노하우! 그것이 알고 싶다! "UX/UI 디자이너를 위한 스케치 완전정복"편에서는 스케치의 강점을 제대로 활용하기 위한 효과적인 접근 방식과 스케치 및 주요 연동 프로그램들 (Zeplin, InVision 등)을 사용한 전체 작업 프로세스 노하우를 공유합니다.
다루는 내용
- 스케치 프로그램의 특성 및 다른 그래픽 툴들과의 차이
- 스케치의 강력한 연동 프로그램 및 이를 활용한 전체 작업 프로세스
- 스케치 프로그램을 빠르게 정복하고 강점을 제대로 활용하기 위한 팁
'모의해킹' 진로 고민부터 실무까지
- 관련 책: 실무자가 말하는 모의해킹 https://goo.gl/EuNJou
모의해커를 꿈꾸는 후배에게 들려주는 멘토의 현장 에세이
: 모의해킹을 다루는 전문 기술서는 많지만, 국내 모의해킹 분야로의 진출을 꿈꾸는 입문자의 불안과 궁금증을 속 시원하게 해결해주는 입문서는 없다. 보안 분야에 10년 이상 종사한 필자는 이 책에서 ‘모의해킹’이라는 주제에 관한 입문자의 각종 궁금증을 자신의 경험에 비추어 구체적으로 풀어준다. 기술적인 내용은 최소화하고 필요한 경우에는 최대한 알기 쉽게 풀어 설명했다. 모의해킹 업무를 진로로 선택한 학생들과 이제 막 업무를 시작한 직원들은 이 책을 다 읽고 나면 앞으로 맞이할 업무에 관해 더 명확하고 구체적인 그림을 그려볼 수 있을 것이다.
* 관련도서: 비즈니스 블록체인(https://goo.gl/KD5Wvd)
Beyond Internet: 블록체인이 가져올 혁신적 비즈니스 기회에 관하여 알아봅니다.
- 블록체인 정의(기술,법,비즈니스 관점에서 블록체인의 정의)
- 블록체인이 어렵게 느껴지는 이유
- 블록체인 기술
- 블록체인 사례
설계부터 개발까지 직접 만들면서 배우는 보안 개발 시리즈 - Security School
1. 시리즈 소개
• 리눅스 환경에서 동작하는 보안 솔루션을 개발하며 기본 구조를 이해할 수 있습니다.
• 백신 개발을 시작으로 시스템 보안과 네트워크 보안까지 개발합니다.
• 다 만들어진 코드를 설명하는 게 아니라 기획/설계/구현하는 방법을 이야기합니다.
• 보안 개발을 처음 시작하는 학생과 직장인을 대상으로 합니다.
• 최대한 쉽게 구현합니다.
• 누구나 보안 개발자가 될 수 있다는 꿈과 희망을 선사합니다.
2. 주요 특징
• UML 실용 설계 - UML을 효과적으로 사용하는 방법으로 간결한 코드만으로도 모든 요구사항을 만족시킬 수 있습니다.
• 현실주의 - 현업에서 실제로 일어나는 일들과 그에 맞는 개발 프로세스를 이야기합니다.
• 모듈식 구성 - 원하는 목적에 맞춰 골라 읽을 수 있습니다.
• 손 안에 기술서 - 한 권의 내용을 1주에서 2주 정도면 정독할 수 있는 분량으로 짧게 구성합니다.
3. 사전 지식(권장)
• C 언어
• 간단한 소켓 프로그래밍
• 리눅스 커널의 역할 이해(단, 커널 개발 경험은 없어도 됩니다.)
• UML과 VMWare 사용의 이해
저자: 이창우
보안 기업 AhnLab에서 10년 동안 PC용 V3 방화벽과 침입차단 시스템 엔진, 웹 보안 솔루션을 개발했다. 이후 삼성전자에서 스마트TV 보안 강화 설계, SDL(Security Development Lifecycle) 적용, 임베디드 보안 프레임워크를 설계했고, 현재는 삼성 스마트TV 통합 보안 솔루션인 ‘스마트 시큐리티’를 담당하며 임베디드 백신, 코드 서명, 방화벽을 개발하고 있다.
하나의 보안 기술만으로 컴퓨터 시스템을 안전하게 만들 수 없다. 따라서 개발 기술뿐만 아니라 프로세스와 조직 문화까지 보안과 관련된 것이라면 무엇이든 공부하고 있다.
4. 머신러닝 진입 장벽이 너무 높지 않을까?
● AI, ML 관심은 있지만 진입장벽이 너무 높지 않을까?
→ 깊이있게 배우고 전문가가 되려면 어렵지만 그건 다른 기술도 마찬가지
● 우리에겐 Google, Stack OverFlow 가 있다.
5. Alphago / AI / Machine Learning
● Alphago
● Deep Learning
● Machine Learning
● Tensor Flow
6. TensorFlow ?
● Open Source Machine Learning Library
● Numerical computation using data flow graphs
● Data flow graphs describe mathematical computation
with a directed graph of nodes & edges.
● Deep Flexibility, True Portability, Connect Research and
Production, Auto-Differentiation, Language Options,
Maximize Performance …
7. Java Cafe 오프라인 스터디 모집
● 혼자서는 공부가 힘들 수도 있겠다.
● 여러명이 모여서 의논하다 보면
뭔가 더 도움이 될것 같다.
● 온오프믹스로 텐서플로우 스터디 모집
8. 스터디는 진행했으나 수많은 진입 장벽들
● 스터디원 모두 인공지능 / 머신 러닝 관련 지식들이 전무
● 난무하는 새로운 용어들
● 영어 능력 부족 (관련 자료들 대부분이 영어자료)
● 수학 손뗀지 오래
→ 한국어 동영상 강의로 스터디 진행 http://hunkim.github.io/ml/
9. 머신러닝 이란?
● 일반적인 프로그램은 프로그래머가 프로그램의 동작 방식을 설계
● Explicit programming 으로 처리하기 곤란한 문제들
(Explicit programming)
● 프로그램이 스스로 학습하게 만들어 문제를 해결하자
EX) 스팸필터, 자동주행 : 너무 많은 룰이 필요해서 어려움
10. 머신러닝 - Supervised Learning
● Supervised / Unsupervised Learning
● 지도 학습
→ 학습데이터(Training Set) 로 학습
14. Linear Regression - 학습 데이터
학습시간
토익성적학습시간(시간) 토익성적(점)
54 800
8 320
30 600
24 630
46 700
12 680
20 730
37 720
40 700
48 920
15. Linear Regression - 가설 H(X)
Y = ax + b
h(x) = wx + b
학습시간
토익성적학습시간(시간) 토익성적(점)
54 800
8 320
30 600
24 630
46 700
12 680
20 730
37 720
40 700
48 920
16. Linear Regression 에서 학습의 의미
● Linear Regression 에서 프로그램이 학습한다는 의미
→ 학습 데이터를 기반하여 가설 H(x) 에서 최적의 w(가중치) 와 b(상수) 값을 찾는 것
→ H(x) = wx + b
● 어떻게 최적의 값을 찾을것인가?
→ Cost Function 설계
20. Gradient Descent Algorithm
● 현재 예측된 W 값에서 기울기를 구하고
기울기가 양수인 경우 W 값을 Step 만큼
감소, 음수인 경우 Step 만큼 증가
● 임의의 W값을 선택
● 해당 점에서 Cost 값이 적은 쪽으로
Step에 따라 경사를 타고 내려감
● 결국 해당 점에서 미분이 필요
24. Linear Regression 요약
● 비례관계에 있다고 여겨지는 사건을 예측할 때 사용 가능
● 프로그램이 학습한다는 의미는 h(x) = wx + b 에서 최적의 w, b 를 찾는 것
● (w, b) 를 찾기 위하여 (실제값 - 예측값)^2 을 비용으로 하는 함수 설계
● 임의의 w, b 를 구하고 해당 값에서 cost 를 줄이는 방향으로 w 와 b 를 수정.
27. Matrix
학습시간(시간)(x1) 해외거주(월)(x2) 토익성적(점)(y)
54 12 800
8 0 320
30 12 600
24 15 630
46 12 700
70 0 300
20 36 920
37 12 720
40 12 700
48 24 920
● w 의 행렬을 W, x 의 행렬을 X 라 하면
● h(x) = WX
● 결국 기존 가설을 그대로 적용 가능
38. Multinomial Logistic Regression - Sigmoid
● 여러개의 타입을 계산하는 것이 아닌 각 결과인가 아닌가에 대한
● EX) 학점 A, B, C, D, F 인 경우
→ A[FALSE], B[TRUE], C[FALSE], D[FALSE], F[FALSE]
TRUE, FALSE 를 구함
39. Softmax
● 각 분류에 대한 Sigmoid 를 구하고 Sigmoid 총합에 자기자신의 비중을
구함
● EX) A, B, C, D, F 에 대한 확률을 구함. 각 확률을 더하면 1
→ Sigmoid 총합에 자기자신의 비중이므로 각 분류별 % 값이 나오게 됨.
70. TensorFlow 어떻게 쓸 수 있을까?
● 시각장애인을 위한 이미지 설명 프로그램
● 중학교 2학년이 개발
● RNN / TensorFlow 사용
● link
71. TensorFlow 어떻게 쓸 수 있을까?
● 오이 품종 자동 분류 기계
● 일본에서 TensorFlow 로 개발
● link
72. 발표에서 제대로 다루지 못한 것들
● Recurrent Neural Network
● Convolutional Neural Network
● Backpropagation Problem
● Google Cloud Machine Learning
73. 스터디 하며 어려웠던 점들 (삽질들)
● 딥러닝의 경우 GPU 가속이 중요
→ Macbook 에서는 세팅 어려움, 우분투 추천
● 부족한 한글자료
→ 최근에는 점차 늘어나는 추세
● 오랜만에 보는 수학공식들
→ 개발자 관점에서 크게 중요하지 않을 수 있음. 원리를 이해하고 응용만 해도 충분.
● Learning Rate 조절
→ Cost 가 발산하는 경우 확인 필요
74. 자바카페 커뮤니티 PPL
● 오프라인 스터디 위주 개발자 모임
● 원하는 경우 각종 세미나서 발표기회 제공
● 오프라인 모임만 가질수 있는 장점
● 오픈소스 활동