20/09/17 DevC Seongnam Opening Event
https://festa.io/events/1158
SLU? BERT? Distillation? 그게 뭔데… 어떻게 하는 건데… (feat. PyTorch)
본 talk에서는 음성으로부터 intent를 추출하는 SLU task에 BERT와 같은 pretrained langauge model을 적용하는 과정에서 직접적으로 적용하는 것의 난점과 knowledge distillation으로써 이를 해결하는 과정에 대해 다룹니다.
기계번역은 하나의 언어로 기술된 문서를 다른 언어로 자동으로 번역하기 위한 제반 기술을 의미한다. 통상적으로 규칙 기반 기계번역(RBMT: Rule based machine translation)과 통계 기반 기계번역(SBMT: Statistical based machine translation), 그리고 규칙과 통계 기반 기술을 병합한 하이브리드 기계 번역으로 크게 나눌 수 있습니다. 하지만 알고리즘 측면에서 본다면 직접 방식, 중간언어 방식, 통계기반 , 하이브리드 번역 등으로 좀 더 세부적으로 나누어질 수 있다
인간이 사용하는 자연어(natural language)를 컴퓨터를 이용하여 처리하고자 하는 연구는 규칙 기반의 접근법(rule based approach)과 통계 기반의 접근법(statistics based approach)으로 나눌 수 있다. 통계 기반 접근법은 사람이 실제로 사용하는 많은 데이타로부터 확률정보 및 통계 정보를 추출하여 이를 통해 여러 언어현상을 규명하고자 하는 코퍼스 기반 접근법(corpus based approach)라고도 한다.
20/09/17 DevC Seongnam Opening Event
https://festa.io/events/1158
SLU? BERT? Distillation? 그게 뭔데… 어떻게 하는 건데… (feat. PyTorch)
본 talk에서는 음성으로부터 intent를 추출하는 SLU task에 BERT와 같은 pretrained langauge model을 적용하는 과정에서 직접적으로 적용하는 것의 난점과 knowledge distillation으로써 이를 해결하는 과정에 대해 다룹니다.
기계번역은 하나의 언어로 기술된 문서를 다른 언어로 자동으로 번역하기 위한 제반 기술을 의미한다. 통상적으로 규칙 기반 기계번역(RBMT: Rule based machine translation)과 통계 기반 기계번역(SBMT: Statistical based machine translation), 그리고 규칙과 통계 기반 기술을 병합한 하이브리드 기계 번역으로 크게 나눌 수 있습니다. 하지만 알고리즘 측면에서 본다면 직접 방식, 중간언어 방식, 통계기반 , 하이브리드 번역 등으로 좀 더 세부적으로 나누어질 수 있다
인간이 사용하는 자연어(natural language)를 컴퓨터를 이용하여 처리하고자 하는 연구는 규칙 기반의 접근법(rule based approach)과 통계 기반의 접근법(statistics based approach)으로 나눌 수 있다. 통계 기반 접근법은 사람이 실제로 사용하는 많은 데이타로부터 확률정보 및 통계 정보를 추출하여 이를 통해 여러 언어현상을 규명하고자 하는 코퍼스 기반 접근법(corpus based approach)라고도 한다.
국제개발협력 커뮤니티 4U는 활동 5주년을 맞아.
진로 코칭, 실무(비영리브랜딩, 펀드레이징), 국내외 대학원, 창업의 4개 주제를 가지고 JOB ACADEMY를 진행 하였습니다.
관련영상 | https://youtu.be/WaOa5A2qJg8
홈페이지 | cafe.naver.com/the4u
페이스북 | www.facebook.com/the4u2010
2013 하반기 해외 성공사례를 정리했습니다.
This file is made for sharing 2013 second half of the year marketing trend with anyone who are interested. Thank you :)
INSIGHT _ 기존에 소극적 참여만해도 혜택을 주었던 프로모션이 주였다면, 2013 하반기 소비자는 '즐거운 불편'을 기꺼이 감수하며 더 적극적으로 새로운 도전에 열광하고 있습니다. 모험에 도전하고 다양한 결합을 발견, 그리고 기대치 못한 경험을 통해 소비자들에게 무료한 일상에서의 새로운 즐거움을 선물하고 있습니다.
https://www.facebook.com/fmcommunications
13/03/23 KAIST CS 학부를 졸업한 이후 어떠한 선택들을 하게 될 지에 대해, 한번쯤 진지하게 생각해봤으면 해서 마련해 보았던 자리인 '아주 소소한 진로 설명회'의 전체 슬라이드입니다.
<추가질문은_여기로>
장윤석 : yunseok.jang@kaist.ac.kr
배휘동 : spilist@gmail.com
김준기 : me@daybreaker.info
김동우 : kimdwkimdw@gmail.com
이참솔 : kryssiark@gmail.com
이익제 : ikje@gamehi.net
김종범 : beom.kim@lge.com
<각각의_슬라이드_주소>
배휘동 - 연구실에서 살기 시작한다는 것
http://www.slideshare.net/yunseok/in-130323-kaist-cs
김준기 - 박사과정 이야기
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683023
김동우 - 학부 이후의 진로, 스타트업 개발자 이야기
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683069
이참솔 - 스타트업 이야기
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683194
이익제 - 벤처와 게임회사 생활의 비교
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683262
김종범 - 평범한 선배의 평범한 이야기
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683281
국제개발협력 커뮤니티 4U는 활동 5주년을 맞아.
진로 코칭, 실무(비영리브랜딩, 펀드레이징), 국내외 대학원, 창업의 4개 주제를 가지고 JOB ACADEMY를 진행 하였습니다.
관련영상 | https://youtu.be/WaOa5A2qJg8
홈페이지 | cafe.naver.com/the4u
페이스북 | www.facebook.com/the4u2010
2013 하반기 해외 성공사례를 정리했습니다.
This file is made for sharing 2013 second half of the year marketing trend with anyone who are interested. Thank you :)
INSIGHT _ 기존에 소극적 참여만해도 혜택을 주었던 프로모션이 주였다면, 2013 하반기 소비자는 '즐거운 불편'을 기꺼이 감수하며 더 적극적으로 새로운 도전에 열광하고 있습니다. 모험에 도전하고 다양한 결합을 발견, 그리고 기대치 못한 경험을 통해 소비자들에게 무료한 일상에서의 새로운 즐거움을 선물하고 있습니다.
https://www.facebook.com/fmcommunications
13/03/23 KAIST CS 학부를 졸업한 이후 어떠한 선택들을 하게 될 지에 대해, 한번쯤 진지하게 생각해봤으면 해서 마련해 보았던 자리인 '아주 소소한 진로 설명회'의 전체 슬라이드입니다.
<추가질문은_여기로>
장윤석 : yunseok.jang@kaist.ac.kr
배휘동 : spilist@gmail.com
김준기 : me@daybreaker.info
김동우 : kimdwkimdw@gmail.com
이참솔 : kryssiark@gmail.com
이익제 : ikje@gamehi.net
김종범 : beom.kim@lge.com
<각각의_슬라이드_주소>
배휘동 - 연구실에서 살기 시작한다는 것
http://www.slideshare.net/yunseok/in-130323-kaist-cs
김준기 - 박사과정 이야기
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683023
김동우 - 학부 이후의 진로, 스타트업 개발자 이야기
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683069
이참솔 - 스타트업 이야기
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683194
이익제 - 벤처와 게임회사 생활의 비교
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683262
김종범 - 평범한 선배의 평범한 이야기
http://www.slideshare.net/yunseok/in-130323-kaist-cs-17683281
2018년 7월 18일 수요일 서울대학교 301동 102호에서 진행된 ML 분야 유학 및 취업 준비 설명회의 슬라이드입니다.
[발표자]
김주용( http://juyongkim.com/ ),
김태훈( https://carpedm20.github.io/ ),
장윤석( http://yunseokjang.github.io/ )
[Langcon2020]롯데의 딥러닝 모델은 어떻게 자기소개서를 읽고 있을까?ssuseraf7587
그룹사의 자기소개서 데이터를 기반으로 진행했던 연구들을 진솔하게 담았습니다. 먼저 자기소개서만으로 서류 전형 합격/불합격을 딥러닝이 구분할 수 있는지에 대해 연구했던 과정을 소개합니다. 더불어 “AI가 자기소개서를 적어줄 수 있을까?” 라는 아이디어를 가지고 Transformer 딥러닝 모델로 자기소개서 문장이 생성되는 Prototype모델을 시연합니다. 끝으로 [Ctrl+C, Ctrl+V] 자기소개서를 딥러닝 모델로 어떻게 찾는지와 오타 데이터를 검정하는 방법을 소개합니다.
과학같은 소리하네 시즌4-2 어른의 코딩
어른의 코딩 feat.박준석
우리 어른들도 코딩에 대해 좀 알자!
코딩은 대체 뭐냐
코딩은 왜 해야 하냐
코딩으로 뭘 할 수 있나
코딩은 이 세상을 어떻게 해석하나
기본에서 세계관에 이르기까지 어른을 위한 코딩입문의
모든 것!
강연자료
유한 상태 변환기 (finite state transducer)를 이용해서 만든 한국어 형태소 분석기 설명입니다.
관련 사이트는 www.rouzeta.com 로 해당 사이트에서 한국어 형태소 분석기를 내려받을 수 있습니다.
해당 슬라이드를 설명한 동영상은 https://www.youtube.com/watch?v=PjqUYvqK8v4 에서 볼 수 있습니다.
2018 전국 도서관에서 진행된 소프트웨어로 물들다 강의자료 (Revised, Korean) 3 tips for learning coding good & becoming software engineer.
초등학생 대상과 학부모 대상으로 강의가 진행된 내용이며, 한국 교육과정에서 코딩을 시작하고 앞으로 배워가는 과정에서 가장 놓치지 말아야 할 3가지의 조언을 담고 있습니다.
4. 박사? 석사?
! 박사할까 석사할까
장점 단점
석사 뭐할지 모를 때 (박사 or 취업)
짧다 (1.5y~2y)
미리 연구 경험
재미 없으면 취업ㄱㄱ
추천서가 강력해짐
Funding 어려움
미래 불안정
박사 하고 싶은 연구 있음 OK
Funding 보장
당분간은 미래 걱정 no no
교수 테크
개길다 (5y~7y)
포닥 OTL
졸업 후 연봉 안높음 J
교수되기도 어려움 J
6. 경험상 준비물들
! TOEFL (100)
! 국내 장학금은 글쎄…
! GRE (평타)
! 150~157 / 160~170 / 3.0~4.0 (ref: 연세 전기전자 유학모임)
! http://www.gohackers.com
! GPA (높을 수록 좋음)
! Personal Statement (additional material)
! Portfolio (website)
! http://cc.gatech.edu/~clee407
! CV/resume
! Statement Of Purpose
! Recommendation (3~4개)
7. 준비물 (SOP)
! 대~충 2쪽, but 학교마다 다름
! Research statement라고 생각하3
! 6 paragraph
! 1. general area of research (서론)
! 2.3.4. your research experience
! 5. why Ph.D.?
! 6. why this school?
ref: http://www.cs.cmu.edu/~harchol/gradschooltalk.pdf
8. 준비물 (etc)
! Recommendation
! 대략 학교당 3장
! 미리 친분 만들어 놓으면 좋음
! 교환학생 경험 있으면 좋음
! 연구실 경험 있으면 좋음
! Personal Statement
! 자기 인생 얘기 하는 것 (대체로 why Ph.D.?)
! 대부분 additional material임
! 풀 썰이 있으면 내서 나쁠 건 없음
10. TOP school은 어케감?
! 석사는 생각보다 쉬움.
! 학원 개념 (박사 돈줄)
! 개인적인 결론
! 수치적으로 다 좋아야 되는건 말할 것도 없음.
! Additionally
! 국내 장학금
! TOP Conference 1저자 1개, 2저자 여러개 (학회에서
교수와 컨택 가능성)
! 같이 일할 교수와 연구 fit이 “굉장히” 잘 맞아야 함.
! Assistant Professor 골라 잡기.
! 교수가 돈이 없어 안뽑으면 할 말 없음. (랩 사람들에
게 이메일로 물어보3)
11. 2. 유학 생활
! 돈이 얼마나 들까? (지역마다 천차만별)
! Georgia Tech 학비는 대~충 2만불?
! 생활비는 집값 천불 + 알파
! RA 혹은 TA 받으면 학비 면제 + 약간의 용돈 (1300
불 정도 받았음)
! 지리적으로 여행 다니기 좋음 (남미)
! 그냥 집-연구실-집 생활만해서 할 말이..
! 어디든 한인 모임이 잘 되어 있는 듯.
14. 하지만, net profit은..
호화로운 생활 거지로운 생활
Salary +100K +100K
Tax (40%) -40K -40K
Room rent * 12 -2300 * 12 -600 * 12
Utilities * 12 -100 * 12
Cell phone -80 * 12 -80 * 12
Internet + Cable TV -100 * 12 0
Car insurance -200 * 12 0
Car oil -100 * 12 0
Total +25440 (OTL) +51840
15. Job 구하기 스케쥴 (석사)
8 9 10 11 12 1 2 3 4 5 6 7
Search summer internship Internship!
Fall Spring Summer
Fall Spring
8 9 10 11 12 1 2 3 4 5 6 7
Job search (interview 시즌) Still job search(OPT)
Graduate
3학기 졸업 4학기 졸업
16. 인터뷰 프로세스
! 학교 Career Fair 혹은 회사 홈페이지에다가 resume
제출
! Resume가 마음에 들면 e-mail로 인터뷰 하자고 연
락이 옴 (보통 phone interview로 screening)
! 전화 인터뷰 1~2회
! On-site 인터뷰 4~6회
! 합격하면 연봉협상 후 입사
17. 서류 통과하기
! Resume
! 프로그래밍 대회 경력있음 서류는 무난한듯..
! ACM-ICPC 강추..
! 프로그래밍 project 경험이 있어야 함
! 그래야 풀어낼 썰이 있음..
! 학교 연구실 or 남자는 병특 or 학교 프로젝트
! 혹은 세연넷, 연앱, 앱 창업 등등 많음..
! 이 정도면 왠만하면 연락 옴
! 아는 사람 reference있음 면접은 보는 듯..
18. 인터뷰 준비하기
! 인터뷰는 어떻게 준비할까?
! 말할 것도 없이 “영어”
! Why Facebook, Explain your most interesting project,
Explain polymorphism, etc..
! 게다가 전화 인터뷰는 개 안들림 J
! 모든 질문을 다 준비할 순 없다.
! 최대한 많이 지원해보고, 걔네가 뭘 물어보는지 파
악함
! 하다보면 익숙해짐
19. 인터뷰 이그잼플 (1)
! Replace all occurrence of the given pattern to ‘X’.
! pattern=“abc”
! “abcdeffdfegabcabc” => “XdeffdfegX”
ref: http://leetcode.com
20. 인터뷰 이그잼플 (1)
! Replace all occurrence of the given pattern to ‘X’.
! pattern=“abc”
! “abcdeffdfegabcabc” => “XdeffdfegX”
! How can you implement it?
ref: http://leetcode.com
21. 인터뷰 이그잼플 (1)
! Replace all occurrence of the given pattern to ‘X’.
! pattern=“abc”
! “abcdeffdfegabcabc” => “XdeffdfegX”
! How can you implement it?
! At first, explain your algorithm and complexity.
ref: http://leetcode.com
22. 인터뷰 이그잼플 (1)
! Replace all occurrence of the given pattern to ‘X’.
! pattern=“abc”
! “abcdeffdfegabcabc” => “XdeffdfegX”
! How can you implement it?
! At first, explain your algorithm and complexity.
! Can you improve it? (what if the pattern is fixed?)
ref: http://leetcode.com
23. 인터뷰 이그잼플 (1)
! Replace all occurrence of the given pattern to ‘X’.
! pattern=“abc”
! “abcdeffdfegabcabc” => “XdeffdfegX”
! How can you implement it?
! At first, explain your algorithm and complexity.
! Can you improve it? (what if the pattern is fixed?)
! If you make interviewer agree, implement it.
ref: http://leetcode.com
24. 인터뷰 이그잼플 (1)
! Replace all occurrence of the given pattern to ‘X’.
! pattern=“abc”
! “abcdeffdfegabcabc” => “XdeffdfegX”
! How can you implement it?
! At first, explain your algorithm and complexity.
! Can you improve it? (what if the pattern is fixed?)
! If you make interviewer agree, implement it.
! Can you implement it without any bug?
ref: http://leetcode.com
25. 인터뷰 이그잼플 (1)
! Replace all occurrence of the given pattern to ‘X’.
! pattern=“abc”
! “abcdeffdfegabcabc” => “XdeffdfegX”
! How can you implement it?
! At first, explain your algorithm and complexity.
! Can you improve it? (what if the pattern is fixed?)
! If you make interviewer agree, implement it.
! Can you implement it without any bug?
! Can you implement it without additional space?
ref: http://leetcode.com
26. 인터뷰 팁
! 문제를 정확히 정의함
! 인풋 범위, 인풋 타입, etc..
! 인터랙션 with 인터뷰어
! 바로 코딩하지 말기
! 심플한 방법부터 차근차근
! 문제가 어려워짐
! 고민하는 흔적
! 낮은자세
ref: http://leetcode.com
27. 그래서 중요한건
! 알고리즘!!!!
! ACM-ICPC, TopCoder, Algospot, Google Codejam,
etc..
! TopCoder는 실제로 Google/Facebook 서류 통과 후
면접 준비하라고 보내주는 자료 중 하나임
! But, 깊게 할 필욘 없음 (TopCoder SRM Div2)
! 디자인 패턴, 멀티 th레드, 네트웤, 분산 시스템, …
! 참조: glassdoor, careercup, leetcode, CLRS!!