Zeppelin Notebook:
https://github.com/uosdmlab/nsmc-zeppelin-notebook
네이버 영화 리뷰 데이터셋에 Word2Vec, sentiment classification을 적용해봅니다.
2017년 6월 27일 (화) "Spark Day 2017"에서 발표되었습니다.
데이터 엔지니어링 프로젝트를 진행한 로깅줍깅 팀에서는 로그 데이터를 수집 및 처리하는 파이프라인을 만들어 각각의 단계에서 일어날 수 있는 상황에 대한 실험을 진행했습니다.
16기 엔지니어링 강하영 동덕여자대학교 정보통계학과
16기 엔지니어링 임태빈 상명대학교 컴퓨터과학과
16기 엔지니어링 지유리 숙명여자대학교 소프트웨어융합학과
Zeppelin Notebook:
https://github.com/uosdmlab/nsmc-zeppelin-notebook
네이버 영화 리뷰 데이터셋에 Word2Vec, sentiment classification을 적용해봅니다.
2017년 6월 27일 (화) "Spark Day 2017"에서 발표되었습니다.
데이터 엔지니어링 프로젝트를 진행한 로깅줍깅 팀에서는 로그 데이터를 수집 및 처리하는 파이프라인을 만들어 각각의 단계에서 일어날 수 있는 상황에 대한 실험을 진행했습니다.
16기 엔지니어링 강하영 동덕여자대학교 정보통계학과
16기 엔지니어링 임태빈 상명대학교 컴퓨터과학과
16기 엔지니어링 지유리 숙명여자대학교 소프트웨어융합학과
배민찬(https://www.baeminchan.com) 서비스의 백엔드 시스템 중 일부가 지난 1년간 어떤 고민과 아이디어, 결과물을 만들어냈는지 공유하려고 합니다. 발표 중 언급되는 용어나 도구에 대해 일반적인 정의나 간단한 설명은 언급되나 자세히 다루지 않습니다. 사용된 도구들로 어떻게 이벤트 기반 분산 시스템을 만들었는지에 대한 이야기가 중심입니다.
Apache Unomi In Depth - ApacheCon EU 2015 SessionSerge Huber
This is the slidedeck I used for my in-depth session at ApacheCon EU 2015. It covers a good technical overview of what Apache Unomi is and it's potential for integrating into many different systems.
시스템공학 기본(Fundamental of systems engineering) - Day4 functional analysis and a...Jinwon Park
* 폰트가 지원되지 않아 다운로드 받아 내용 보시길 추천합니다.
조선소/해군 등 함정공학 분야에 종사하는 설계전문가를 대상으로 개발된 '시스템공학 기본(Fundamental of systems engineering)' 강의자료로 시스템공학 전반에 대한 이론과 실습으로 구성되어 개념설계에 참여하는 전문가에 대한 속성 교육자료입니다. 함정공학이나 특수선설계, 방위사업분야에 관심있는 분에게 유용할 것으로 봅니다. 교육자료는 다음과 같이 구성되었습니다.
Day1. SE general
Day2. Requirement Development
Day3. Requirement analysis and OMOE
Day4. Functional analysis and allocation
Day5. Design synthesis 1
Day6. Design synthesis 2
Day8. System analysis and control 1
Day9. System analysis and control 2
* Day7은 '통계분석 및 설계최적화'로 자료보다는 실습위주로 운영되어 별도 자료는 없습니다.
* 자료 관련 문의사항 있으시면 jwpark1@gmail.com으로 연락 바랍니다.
Unirest is lightweight HTTP request client libraries available in multiple languages including Java, .NET, Ruby, Node, Objective-C, etc.
https://interviewbubble.com/unirest-java-tutorial/
배민찬(https://www.baeminchan.com) 서비스의 백엔드 시스템 중 일부가 지난 1년간 어떤 고민과 아이디어, 결과물을 만들어냈는지 공유하려고 합니다. 발표 중 언급되는 용어나 도구에 대해 일반적인 정의나 간단한 설명은 언급되나 자세히 다루지 않습니다. 사용된 도구들로 어떻게 이벤트 기반 분산 시스템을 만들었는지에 대한 이야기가 중심입니다.
Apache Unomi In Depth - ApacheCon EU 2015 SessionSerge Huber
This is the slidedeck I used for my in-depth session at ApacheCon EU 2015. It covers a good technical overview of what Apache Unomi is and it's potential for integrating into many different systems.
시스템공학 기본(Fundamental of systems engineering) - Day4 functional analysis and a...Jinwon Park
* 폰트가 지원되지 않아 다운로드 받아 내용 보시길 추천합니다.
조선소/해군 등 함정공학 분야에 종사하는 설계전문가를 대상으로 개발된 '시스템공학 기본(Fundamental of systems engineering)' 강의자료로 시스템공학 전반에 대한 이론과 실습으로 구성되어 개념설계에 참여하는 전문가에 대한 속성 교육자료입니다. 함정공학이나 특수선설계, 방위사업분야에 관심있는 분에게 유용할 것으로 봅니다. 교육자료는 다음과 같이 구성되었습니다.
Day1. SE general
Day2. Requirement Development
Day3. Requirement analysis and OMOE
Day4. Functional analysis and allocation
Day5. Design synthesis 1
Day6. Design synthesis 2
Day8. System analysis and control 1
Day9. System analysis and control 2
* Day7은 '통계분석 및 설계최적화'로 자료보다는 실습위주로 운영되어 별도 자료는 없습니다.
* 자료 관련 문의사항 있으시면 jwpark1@gmail.com으로 연락 바랍니다.
Unirest is lightweight HTTP request client libraries available in multiple languages including Java, .NET, Ruby, Node, Objective-C, etc.
https://interviewbubble.com/unirest-java-tutorial/
Driving Computer Vision Research Innovation In Artificial IntelligenceNVIDIA
Get a recap of the news out of NVIDIA's announcements at CVPR 2017 with highlights such as our V100 giveaway to top researchers, technical demos, workshops, and more.
아마존 에코를 활용한 음성 인식 에어컨 제어 A to zJueun Seo
회사 사무실에는 에어컨이 3대 설치되어 있습니다. 출퇴근시 에어컨 세대를 끄고 켜는데 불편한 점이 많습니다. 특히 3대중에 한대만 다른 모델이라 각각의 리모컨 찾는데 시간이 걸리는 경우가 많습니다. 이번 발표에서는 3대의 에어컨을 음성으로 동시에 제어할 수 있는 시스템을 구축하기 위한 A부터 Z까지 세세한 과정을 소개합니다. 요즘에는 아마존 에코와 라즈베리파이라는 훌륭한 제품들이 나와있어 음성 인식으로 하드웨어를 제어하기가 매우 쉬워졌습니다. 에코의 명령을 처리하기위한 서버로 django/celery를 이용하였습니다. 하드웨어 지식이 없어도 이해할 수 있는 수준이며 django와 도커가 무엇인지는 알면 좋지만 모르더라도 최대한 쉽게 이해할 수 있도록 발표를 진행할 예정입니다. 소스코드까지 모두 공개했기 때문에 발표를 듣고나서 똑같은 시스템을 구축하거나 다른 방식으로 응용하는데에 도움이 되었으면 좋겠습니다.
발표 순서는 다음과 같습니다.
적외선 신호 송수신을 위한 라즈베리파이 회로 설계
LIRC를 이용한 적외선 회로 제어
아마존 에코와 Django 서버 연동하기
ngrok 무료 버전을 활용한 고정 public url 생성하기 - celery 활용
Docker/Ansible로 Django/Celery 패키징하기
진행중인 프로젝트는 아래 github repository에 공개되어 있습니다
https://github.com/Buzzvil/hardware-lab
사내 스터디용으로 공부하며 만든 발표 자료입니다. 부족한 부분이 있을 수도 있으니 알려주시면 정정하도록 하겠습니다.
*슬라이드 6에 나오는 classical CNN architecture(뒤에도 계속 나옴)에서 ReLU - Pool - ReLu에서 뒤에 나오는 ReLU는 잘못된 표현입니다. ReLU - Pool에서 ReLU 계산을 또 하는 건 redundant 하기 때문입니다(Kyung Mo Kweon 피드백 감사합니다)
2021년 11월 16일 모두콘에서 발표했던 딥러닝 경량화 & 최적화 슬라이드 입니다.
딥러닝 경량화 & 최적화를 실용적으로 적용하려면 어떻게 해야 할까요? 딥러닝 경량화를 검색하면 이론적으로 매우 많은 자료가 쏟아져 나옵니다. 하지만 실제로 적용을 해보면 효과가 없거나 오히려 역효과가 나는 경우가 있습니다. 이번 모두콘에서 저희가 지금까지 딥러닝 모델 경량화 & 최적화를 진행하면서 어떤 것이 실용적으로 효과가 있었는지에 대해서 공유하려고 합니다.비슷한 주제로 고민 중이고 계셨던 분이시면 편하게 들으러 와주세요.
The bleeding edge of machine learning stream in 2017 - APAC ML/DS Community ...Jeongkyu Shin
Video (Korean): https://www.youtube.com/watch?v=r64_PeoZvao
기계학습은 최근의 연구 성과 및 기술의 발전에 힘입어 다양한 분야에 본격적으로 적용되기 시작했습니다. 2017년은 응용분야의 확장에 힘입어 기계학습 응용이 대중화되는 한 해가 될 것입니다. 이 발표에서는 기계학습이 해결한 기술적인 문제와, 현재 해결하려고 하는 난제들을 다룹니다. 또한 2017년 현재 기계학습이 응용되고 있는 분야들과 응용 방법 및, 이후 기계학습 적용을 통해 발전할 수 있는 분야들과 적용 아이디어를 이야기합니다.
Machine learning has been applied to various areas in earnest owing to recent research results and technological advancements. In 2017, machine learning application will be popular with the expansion of the application area. This talk covers technical issues solved by machine learning, and difficult problems that should be solved now. It also covers the areas that apply machine learning in 2017, application methods, area that can develop by application machine learning, and application ideas.
링크드인의 Big Data Recommendation Products - 어제의 데이터를 통해 내일을 예측한다Evion Kim
DEVIEW 2013 발표 내용입니다 - http://deview.kr/2013/detail.nhn?topicSeq=36
링크드인 플랫폼 상의 다양한 Recommendation Product들, 이 제품들의 키워드는 바로 'Relevance(연관성)' 입니다. 가장 관련있는 데이터들을 제공함으로써 사용자의 삶을 더 쉽고 편하게 만들어 주는것이 링크드인 데이터 팀의 목표라 할 수 있겠습니다. 그렇다면 어떻게 해야 사용자에게 가장 연관성 높은 데이터를 제공 할 수 있을까요? 이에 대한 답을 한문장으로 요약하자면 '어제의 데이터를 분석하여 내일의 사용자의 행동을 예측한다' 가 될 것 같습니다.
본 발표에서는 이 한 문장을 좀 더 길게 풀어보려 합니다. 링크드인에서는 Hadoop, Key-Value Storage, Machine Learning등의 기술을 어떤 식으로 활용하여 연관성 높은 Recommendation Product를 만들고 있는지에 대해 소개해보겠습니다.
AI_introduction and requirements(2024.05.12).pdfLee Chanwoo
AI_introduction and requirements, Considerations for introducing artificial intelligence, understanding machine learning, artificial intelligence security, considerations for introducing ChatGPT, future of generative AI
** 해당 자료는 외부 공유 인가 되었습니다.
1. 딥러닝의 동작 방식에 대한 기초 가이드
2. 네트워크를 통한 공간 변환 개괄
"다음을 꼭 기억하세요. 지금까지 딥러닝의 실제 성공은 연속된 기하학적 변환을 사용하여 공간 X 에서 공간 Y 로 매핑하는 능력에 기인합니다."
프랑소와 숄레, 케라스 창시자에게 배우는 딥러닝 가운데.
Zeppelin 노트북, 화재 뉴스 기사 데이터셋:
https://github.com/uosdmlab/playdata-zeppelin-notebook
2016년 10월 14일(금)에 "마루180"서 열린 "데이터야놀자"에서 진행한 세션 "Spark & Zeppelin을 활용한 머신러닝 실전 적용기" 슬라이드입니다. 많은 분들이 빠르고 쉽게 Spark ML을 시작했으면 하는 마음에서 발표를 준비했습니다! 실제로 Spark와 Zeppelin으로 머신러닝을 하며 발생한 문제점과 해결법, 간단한 텍스트 분류 예제와 성능 향상 사례 등의 내용을 담았습니다. 세션에서는 제플린 노트북과 슬라이드를 번갈아가며 진행하였는데, 노트북이 궁금하신 분들은 GitHub에 올려두었으니 직접 실행해보세요^^ (정말 열심히 정리했습니다 ㅠㅠ)
서울시립대학교 데이터마이닝연구실 김태준
*(SlideShare에서도 배달의민족 도현체 쓰고 싶어요)
오컴 Clip IT 세미나 1회차 "머신러닝과 인공지능의 현재와 미래"
1. 인공지능과 머신러닝
- 영화 및 애니메이션에 나타나는 친화적 인공지능과 적대적 인공지능, 그리고 감성적 인공지능
- 강한 인공지능과 약한 인공지능의 차이
- 인공지능과 머신러닝의 관계
2. 딥러닝과 강화학습
- 인공지능의 중요 열쇠이자 머신러닝의 세부 이론인 딥러닝과 강화학습에 대한 개괄 소개
3. 인공지능에 대한 우리의 자세
- 과연 인공지능은 완벽한가?
- 과연 인공지능은 인간 전문가를 대체할 수 있을까?
- 데이터의 중요성
6. 윤상웅
그전엔…
바이오지능 연구실 (장병탁 교수님)
• Bayesian optimization
• Decision making under uncertainty
• Active learning
• Artificial neural networks, especially RNN/LSTM
주식회사 해줌
태양광 발전 x 머신러닝
IT사업실 머신러닝팀
7. 머신러닝 수업에서 하지 않는 이야기
Toy Dataset에서 성능지표 찍어보는 것 너머
실제 문제에 머신러닝이 적용되는 전체 프로세스
55. • 1024x1024 (한반도), 5 channel
• 약 15분에 한번씩 촬영
• 결측(missing)이 빈번함
• 2011년부터 존재
• Pixel값 물리량(알베도, 온도 등) 변환필요
데이터 스펙
56. 천리안 기상위성 - 전처리
파일 읽기 (gzipped binary)
• gzip / bitstring
이미지 축소
• scipy.misc.imresize
• bicubic
• 1024 x 1024 256 x 256
데이터 저장
• HDF5 format : h5py
• (T, 256, 256, 5)
분산처리
• joblib
Python으로 다 할 수 있어요!
57. I. 머신러닝 문제 만들기
천리안 기상위성의 다음 프레임 예측
풀 수 있을 것 같고, 풀었을 때 이득이 있다
천리안 기상위성의 과거 프레임들을 알고 있을 때
58. I. 머신러닝 문제 만들기
예측 문제를 잘 정의하는 것이 중요하다
꼭 머신러닝을 써야만 하는 문제인가?
풀 수 있으면서, 의미있는 문제 남이 안 푸는 문제
64. Baseline
상상할 수 있는 모델 중 가장 간단하고 못 하는 모델
절대 버그를 낼 수 없 버그를 금방 고칠 수 있는 모델
65. Scikit-Learn
굳이 바퀴를 다시 발명할 필요없다
극도로 깔끔한 API
새 모델 구현할 때도 Scikit-Learn의 BaseEstimator를 상속받아서 만드는 것을 추천
Baseline 만들 땐..
그밖에도 여러 도우미 함수들을 많이 제공
GridSearchCV, Preprocessing, train_test_split
66. 그치만 우리 문제는 일반적이지 않은 유형
Scikit-Learn으로 해결 안 됨
그래도 소개해 드릴게요
모든 pixel을 regression
84. 멋진 ML 알고리즘은
많은 Hyperparameter를 가지고 있다
새로운 데이터셋에 대해 좋은 hyperparameter 설정을 찾으려면
시간과 노력이 많이 든다
예) Learning rate, hidden neuron 수, activation function, regularization, …
85. 알고리즘이 동작하지 않았을 때 의사결정이 어려움
Hyperparameter가 잘못된 건가
이 알고리즘이 이 문제에 맞지 않는 건가
알 수가 없다
93. 특이사항 - TensorFlow
Queue : 사용하지 않음
• placeholder와 feed_dict사용
• 언제나 예상치 못한 입력을 사용하게 됨
• GPU Utilization 나쁘지 않았음 (~90%)
keras, tf.slim: 사용하지 않음
• 모델 구조를 어떻게 지지고 볶을지 모름
• 하지만 좀 더 일반적인 task(e.g. classification)였다면 추천!
119. 효과
여러 다른 모델이 통일된 API를 가질 수 있음
모델 앙상블 쉬움
협업/분업 가능
예측모형의 버전 관리 – 진보의 측정
120. 로직과 패턴에 대한 고민과 공유가 더 필요
힘을 합쳐요!
머신러닝은 보통 백엔드 중에서도 가장 숨겨져 있음
121. III. 머신러닝 시스템 만들기
태양광
발전소
마이크로서비스 A
마이크로서비스 B
마이크로서비스 C
Django
PostgreSQL
PostGIS
Scikit-Learn
TensorFlow
Jenkins
Sunspot
Django
RestFramework
연구용 환경
Jupyter Notebook
Pandas
Scikit-Learn
R
Sunspot
머신러닝 서버
122. III. 머신러닝 시스템 만들기
학습과 예측의 분리
자체 라이브러리를 통한 코드 싱크
머신러닝 모델을 위한 클래스 구조 고안