파이썬(Python) 으로 나만의 딥러닝 API 만들기 강좌 (Feat. AutoAI ) Yunho Maeng
#Python #딥러닝 #API #ibmdeveloperday2019
여러분들의 성원에 보답하기 위해 IBM Developer Day에서 발표한 세션 자료를 공개합니다! 그 어느때 보다 발표자료를 요청한 분들이 많아 놀랐습니다~ 그럼 다음에 또 뵙겠습니다 :)
Github https://github.com/yunho0130/devday_python_api
세션 영상 https://youtu.be/Z7bTfnuLXck
[한국어] Neural Architecture Search with Reinforcement LearningKiho Suh
모두의연구소에서 발표했던 “Neural Architecture Search with Reinforcement Learning”이라는 논문발표 자료를 공유합니다. 머신러닝 개발 업무중 일부를 자동화하는 구글의 AutoML이 뭘하려는지 이 논문을 통해 잘 보여줍니다.
이 논문에서는 딥러닝 구조를 만드는 딥러닝 구조에 대해서 설명합니다. 800개의 GPU를 혹은 400개의 CPU를 썼고 State of Art 혹은 State of Art 바로 아래이지만 더 빠르고 더 작은 네트워크를 이것을 통해 만들었습니다. 이제 Feature Engineering에서 Neural Network Engineering으로 페러다임이 변했는데 이것의 첫 시도 한 논문입니다.
Deep learning text NLP and Spark Collaboration . 한글 딥러닝 Text NLP & Sparkhoondong kim
This slide explain the Deep Learning Text NLP for Korean Language. We will also discuss expansion using Spark in Deep Learning Approach to BigData Scale data.
이 슬라이드에서는 한글의 deep learning Text NLP에 대하여 설명한다. 또한, BigData Scale 데이타에 대한 Deep Learning Approach 에 있어, Spark 를 이용한 확장에 대하여도 다룬다.
2017 tensor flow dev summit (Sequence Models and the RNN API)
작성된 자료로 2017년 2월 22일 오후 8시 부터 Maru180에서
GDG Seoul 에서 주최한 2017 Tensorflow Dev Summit Extended Seou에서
발표를 진행
Sequence Models and the RNN API 정리 내역 공유
한글 검색 질의어 오타 패턴 분석과 사용자 로그를 이용한 질의어 오타 교정 시스템 구축Heewon Jeon
본 논문은 검색 서비스 기능 중에 빼놓을 수 없는 기능인 한글 검색 질의어(query) 교정 시스템을 ‘야후!’에서 구축하며 분석한 한글 오타 패턴 그리고 사용자 로그를 기반으로 설계한 질의어 교정 서비스에 대한 설명을 하고 있다. 이 교정 서비스는 현재 ‘야후! 코리아’에 적용되어 있으며, 한글을 고려한 키스트로크를 기반으로 한 설계 방식 그리고 동적으로 에러모델을 구축하는 방법을 소개하고 있으며 또한 구축
된 모델의 성능을 다른 검색 서비스와 비교한 결과를 소개한다.
파이썬(Python) 으로 나만의 딥러닝 API 만들기 강좌 (Feat. AutoAI ) Yunho Maeng
#Python #딥러닝 #API #ibmdeveloperday2019
여러분들의 성원에 보답하기 위해 IBM Developer Day에서 발표한 세션 자료를 공개합니다! 그 어느때 보다 발표자료를 요청한 분들이 많아 놀랐습니다~ 그럼 다음에 또 뵙겠습니다 :)
Github https://github.com/yunho0130/devday_python_api
세션 영상 https://youtu.be/Z7bTfnuLXck
[한국어] Neural Architecture Search with Reinforcement LearningKiho Suh
모두의연구소에서 발표했던 “Neural Architecture Search with Reinforcement Learning”이라는 논문발표 자료를 공유합니다. 머신러닝 개발 업무중 일부를 자동화하는 구글의 AutoML이 뭘하려는지 이 논문을 통해 잘 보여줍니다.
이 논문에서는 딥러닝 구조를 만드는 딥러닝 구조에 대해서 설명합니다. 800개의 GPU를 혹은 400개의 CPU를 썼고 State of Art 혹은 State of Art 바로 아래이지만 더 빠르고 더 작은 네트워크를 이것을 통해 만들었습니다. 이제 Feature Engineering에서 Neural Network Engineering으로 페러다임이 변했는데 이것의 첫 시도 한 논문입니다.
Deep learning text NLP and Spark Collaboration . 한글 딥러닝 Text NLP & Sparkhoondong kim
This slide explain the Deep Learning Text NLP for Korean Language. We will also discuss expansion using Spark in Deep Learning Approach to BigData Scale data.
이 슬라이드에서는 한글의 deep learning Text NLP에 대하여 설명한다. 또한, BigData Scale 데이타에 대한 Deep Learning Approach 에 있어, Spark 를 이용한 확장에 대하여도 다룬다.
2017 tensor flow dev summit (Sequence Models and the RNN API)
작성된 자료로 2017년 2월 22일 오후 8시 부터 Maru180에서
GDG Seoul 에서 주최한 2017 Tensorflow Dev Summit Extended Seou에서
발표를 진행
Sequence Models and the RNN API 정리 내역 공유
한글 검색 질의어 오타 패턴 분석과 사용자 로그를 이용한 질의어 오타 교정 시스템 구축Heewon Jeon
본 논문은 검색 서비스 기능 중에 빼놓을 수 없는 기능인 한글 검색 질의어(query) 교정 시스템을 ‘야후!’에서 구축하며 분석한 한글 오타 패턴 그리고 사용자 로그를 기반으로 설계한 질의어 교정 서비스에 대한 설명을 하고 있다. 이 교정 서비스는 현재 ‘야후! 코리아’에 적용되어 있으며, 한글을 고려한 키스트로크를 기반으로 한 설계 방식 그리고 동적으로 에러모델을 구축하는 방법을 소개하고 있으며 또한 구축
된 모델의 성능을 다른 검색 서비스와 비교한 결과를 소개한다.
Low Price, High Quality: 적은 비용으로 모델 성능 높이기 (Naver Deview 2020) Jihwan Bang
네이버 개발자 컨퍼런스 deview 2020에서 발표한 자료입니다. 인공지능 필드에서 레이블링 비용을 줄이기 위한 방법들을 제시하고, 실서비스에 적용한 결과를 공유하였습니다. image classification과 음성 인식 분야에서 적용g하였고, 마지막으로 Active Learning을 실서비스에 적용하였을 때 user에게 보여주기 위한 시각화 페이지를 소개합니다.
Amazon SageMaker와 Athena를 활용한 대용량 자연어 처리 및 머신러닝 기법 (김필호, AWS AI Specialist 솔루...Amazon Web Services Korea
Amazon SageMaker와 Athena를 활용한 대용량 자연어 처리 및 머신러닝 기법
머신러닝에 활용하고자 하는 빅데이터가 있을 때 실무에서 활용할 수 있는 S3와 Athena를 이용한 데이터 분류 및 전처리 기법과 SageMaker가 제공하는 다양한 1st-party 알고리즘들을 활용하여 데이터에 대한 통찰 및 가치를 창출하는 예를 소개합니다. 실제 적용 데모에서는 Amazon이 공개적으로 제공하는 1억 3천만건 이상의 상품 리뷰 데이터 셋에 대해 SageMaker의Notebook 상에서 AWS SDK를 이용한 Athena 서비스 연결 방법, 자연어 처리 및 머신 러닝 적용 방법 등을 살펴 봅니다.
2021년 11월 16일 모두콘에서 발표했던 딥러닝 경량화 & 최적화 슬라이드 입니다.
딥러닝 경량화 & 최적화를 실용적으로 적용하려면 어떻게 해야 할까요? 딥러닝 경량화를 검색하면 이론적으로 매우 많은 자료가 쏟아져 나옵니다. 하지만 실제로 적용을 해보면 효과가 없거나 오히려 역효과가 나는 경우가 있습니다. 이번 모두콘에서 저희가 지금까지 딥러닝 모델 경량화 & 최적화를 진행하면서 어떤 것이 실용적으로 효과가 있었는지에 대해서 공유하려고 합니다.비슷한 주제로 고민 중이고 계셨던 분이시면 편하게 들으러 와주세요.
A future that integrates LLMs and LAMs (Symposium)Tae Young Lee
Presentation material from the IT graduate school joint event
- Korea University Graduate School of Computer Information and Communication
- Sogang University Graduate School of Information and Communication
- Sungkyunkwan University Graduate School of Information and Communication
- Yonsei University Graduate School of Engineering
- Hanyang University Graduate School of Artificial Intelligence Convergence
Exploring Deep Learning Acceleration Technology Embedded in LLMsTae Young Lee
Lab's research presentation
I am a doctoral student at Seoul National University of Science and Technology and am currently the head of the Applying LLMs to Various Industry (AL2VI) Lab.
Course Overview:
This course offers a comprehensive exploration of recommender systems, focusing on both theoretical foundations and practical applications. Through a combination of lectures, hands-on exercises, and real-world case studies, you will gain a deep understanding of the key principles, methodologies, and evaluation techniques that drive effective recommendation algorithms.
Course Objectives:
Acquire a solid understanding of recommender systems, including their significance and impact in various domains.
Explore different types of recommendation algorithms, such as collaborative filtering, content-based filtering, and hybrid approaches.
Study cutting-edge techniques, including deep learning, matrix factorization, and graph-based methods, for enhanced recommendation accuracy.
Gain hands-on experience with popular recommendation frameworks and libraries, and learn how to implement and evaluate recommendation models.
Investigate advanced topics in recommender systems, such as fairness, diversity, and explainability, and their ethical implications.
Analyze and discuss real-world case studies and research papers to gain insights into the challenges and future directions of recommender systems.
Course Structure:
Introduction to Recommender Systems
Collaborative Filtering Techniques
Content-Based Filtering and Hybrid Approaches
Matrix Factorization Methods
Deep Learning for Recommender Systems
Graph-Based Recommendation Approaches
Evaluation Metrics and Experimental Design
Ethical Considerations in Recommender Systems
Fairness, Diversity, and Explainability in Recommendations
Case Studies and Research Trends
Course Delivery:
The course will be delivered through a combination of lectures, interactive discussions, hands-on coding exercises, and group projects. You will have access to state-of-the-art resources, including relevant research papers, datasets, and software tools, to enhance your learning experience.
ChatGPT is a natural language processing technology developed by OpenAI. This model is based on the GPT-3 architecture and can be applied to various language tasks by training on large-scale datasets. When applied to a search engine, ChatGPT enables the implementation of an AI-based conversational system that understands user questions or queries and provides relevant information.
ChatGPT takes user questions as input and generates appropriate responses based on them. Since this model considers the context of previous conversations, it can provide more natural dialogue. Moreover, ChatGPT has been trained on diverse information from the internet, allowing it to provide practical and accurate answers to user questions.
When applying ChatGPT to a search engine, the system searches for relevant information based on the user's search query and uses ChatGPT to generate answers to present along with the search results. To do this, the search engine provides an interface that connects with ChatGPT, allowing the user's questions to be passed to the model and the answers generated by the model to be presented alongside the search results.
Points to be aware of when setting up the GPU and points to be aware of when verifying performance are summarized based on the reference link (https://hiwony.tistory.com/3).
The size of deep learning models is getting bigger and bigger, and the model operating environment is limited by a narrow infrastructure.
What should be considered in order to make a deep learning model a service?
After the deep learning model is created, it is a presentation on what direction we should operate and maintain.
2. 2014 2015 20172016
딥러닝을 위한
TensorFlow
Sequence Model
and the RNN API
Open Stack으로
바라보는 클라우드
플랫폼
Machine Learning
In SPAM
Python Network
Programming
Neural Network의
변천사를 통해
바라본 R에서 Deep
Neural Net활용
Change the world in
IOT (Falinux)
Game based on the
IOT (KGC)
5. ㅍ
Automation Car
❏ Environmental factors
❏ Heavy Rain
❏ Tremendous Mist
❏ Snow
❏ Unexpected Situation
❏ Suddenly a child appears
❏ Dogs and cats run around.
❏ Wild animals appear at a speed of 100 km / h.
Flexible model
needed to
handle
situations
6. ㅍ
Accracy rate & Model
❏ Most fixed models are used in formal data analysis and natural language
processing.
❏ However, for autonomous vehicles that require precise motion or do not
tolerate errors, you must change the real-time model.
❏ Because it is directly connected with life.
❏ Why have they been commissioning self-driving vehicles for years?
❏ This is because the accuracy of the Reinforcement Model and the
maximization of the Accuracy Rate are required.
8. ㅍ
YOLO
❏ You only look once 최첨단 실시간 물체 탐지 시스템
❏ Detection Mechanizm Improvement
❏ 이전의 Dection 시스템은 분류기나 로컬라이저를 사용하여 감지
❏ YOLO 하나의 신경망을 전체 이미지에 적용
❏ 이 네트워크는 이미지를 영역으로 분할
❏ 각 영역의 경계 상자(bounding box)와 확률을 예측
❏ 테스트 시간에 전체 이미지를 보고 이미지 글로벌 context로 예측
정보를 알려줌
❏ 단일 이미지에 수천개가 필요한 R-CNN과 달리 단일 네트워크 평가로
예측
❏ R-CNN보다 1,000배 이상 빠르며, Fast R-CNN보다 100배 빠름
12. ㅍ
ㅍ
ㅍ
ㅍ
새로운 구조를 gradient
기반으로 찾는 Neural
Architecture Search라는
방법을 제안
neural network의 structure와
connectivity를 가변 길이의 configuration
string으로 지정한다는 관찰에서 시작
하나는 CIFAR-10을 사용한 image
classification
다른 하나는 Penn Treebank를 사용한
language modeling
전제조건
https://www.cs.toronto.edu/~kriz/cifar.html
13. ㅍ
Reason
String의 처리에는 RNN을 적용하는 것이 일반적이므로,
여기서도 RNN(“Controller”)을 사용해 그와 같은
configuration string을 generation하도록 합니다. 그렇게
만들어진 네트워크(“Child Network”)의 성능을
validation set에서 측정하고, 결과로 얻은 accuracy를
reinforcement learning의 reward로 사용해 Child
Network의 parameter를 update
19. ㅍ
ㅍ
ㅍ
ㅍ
맨 아래 부분 Neural
Architecture Search로
만든 구조들이
DenseNet을 비롯한
인간이 설계한
state-of-the-art에
근접하는 성능을
보이는 것을 볼 수
있습니다.
Learning Convolutional
Architectures for CIFAR-10
20. ㅍ
ㅍ
ㅍ
ㅍ
language modeling task에
적용할 RNN cell을 생성
[add, elem_mult] 등의
combination method와
[identity, tanh, sigmoid, relu]
등의 activation method를
조합해서 tree의 각 node를
표현
실험에는 400개의 CPU를
사용했고, 총 15,000개의 child
network을 만들어 평가했다고
합니다. 실험 결과로 만들어진
RNN cell은 LSTM 대비 0.5
BLEU의 향상
Learning Recurrent Cells for Penn
Treebank
21. ㅍ
Conclusion
이 논문에서는 신경 네트워크 구조를 구성하기 위해 반복적 인 신경망을 사용하는 아이디어 인 신경 구조
검색 (Neural Architecture Search)을 소개
반복적인 네트워크를 컨트롤러로 사용함으로써 우리의 방법은 가변적이어서 가변 길이 아키텍처 공간을
검색 할 수 있습니다.
우리의 방법은 매우 까다로운 벤치 마크에서 강한 경험적 성과를 보이며 훌륭한 신경 네트워크 아키텍처를
자동으로 찾는 새로운 연구 방향을 제시합니다.
이 논문에서 사용한 코드는 GitHub TensorFlow Models 페이지에 공개될 예정이며, 앞에서 만든 RNN cell은
NASCell이라는 이름으로 TensorFlow API에 추가되었습니다.
23. ㅍ
What AutoML
Speeding up Automatic Hyperparameter Optimization of Deep Neural Networks
by Extrapolation of Learning Curves (2015)
https://github.com/automl/pylearningcurvepredictor
26. ㅍ
Behind the Magic
Data selection
Data cleaning/augmentation
Others pre-processing
Features engineering
Models selection
Hyperparameters optimisation
31. ㅍ
Data
❏ 30 data sets (5 per rounds)
❏ Various domaines: pharma, medicine, marketing, finance...
❏ Divers formats: text, image, video, speech...
❏ Participants don't know about the domain nor the format
❏ Given: dense or sparse matrix
❏ Numerical, categorical, binary
❏ Missing values or not
❏ Noisy or not
❏ Various proportion of Large test sets, ensuring statistical significance
32. ㅍ
Data
❏ Binary classification
❏ Multi-class classification (10 to 100's)
❏ Multi-labels classification
❏ Regression/Prediction
❏ Difficulty = Medium to hard, 10 to 20% error at best
❏ Time budget = Limited
❏ Computational resources & memory = Fixed
33. ㅍ
AutoML strategies
❏ Bayesian approache for Hyper Parameters (HP) optimization
❏ Global approches including in search space:
HP, models, features engineering, data pre-processing
❏ Ensemble methods
❏ Meta-learning
❏ Memory & time management
42. ㅍ
Visual Search
❏ Image Representation and Features
❏ Incremental Fingerprinting Service
❏ Search Infrastructure
43. ㅍ
Image Representation and Features
❏ Extract various features from image
❏ Local feature
❏ Deep feature (CNN)
❏ AlexNet and VGGNet
❏ Binarized feature : for efficiency
❏ Compared using Hamming distance
❏ Salient color signatures
44. ㅍ
ㅍ
ㅍ
ㅍ
페이지
타이틀
ㅍ
Two-step Object Detection and Localization
Aggregate annotations
(pin description + board
title)
Which object to look for?
Deep learining based
object detectors
45. ㅍ
ㅍ
ㅍ
ㅍ
페이지
타이틀
ㅍ
Click Prediction
CUR / CTR is often used
in search ranking,
recommendation
systems, and ads
targeting.
Click Through Rate (ratio) 광고 노출횟수
대비 클릭 수
Click User Rate
How to find out which images in Visual content are most interested in users
46. ㅍ
Click Prediction
❏ CNN has recently become the most dominant approach to semantic
prediction
❏ However, many data sets and time are required to learn
❏ Fine-tuning pre-made models
❏ Compared with traditional computer vision techniques (baseline)
❏ PHOW + SVM
❏ PHOW (Pyramid Histogram of Visual Word)
❏ SVM (Support Vector Machine)