Recommended
Recommended
More Related Content
Similar to ML.NET으로 해보는 AutoML
Similar to ML.NET으로 해보는 AutoML (20)
ML.NET으로 해보는 AutoML
- 1. ML.NET으로 해보는 AutoML ML.NET Model Builder로 보다 쉽게! 2019.10.5 (토) 디플러스 김영하
- 2. 인공지능의 태동
- 3. 특허청 – 인공지능 (AI) 분야의 분류표 https://www.kipo.go.kr/upload/popup/patent_devide_01.html 코 드 제 목 Z01A 인공지능 Z01A 10/00 학습 및 추론 Z01A 30/00 언어처리 기반 인공지능 Z01A 50/00 시각처리 기반 인공지능 Z01A 70/00 상황인식 기반 인공
- 4. 이 한 장의 초대장으로 시작된 인공지능…
- 7. • 왼쪽부터 존 멕카시, 마빈 민스키, 클라우드 새넌, 나다니엘 로체스터 그 당시 참석하셨던 좀더 젊은 사진으로!
- 8. Arthur Samuel “It is a field of study that gives the ability to the computer for self-learn without being explicitly programmed” – 1959 명확하게 코드로 정의하지 않고도 컴퓨터가 스스로 배울 수 있는 능력을 주도록 하는 연구분야 최초의 머신러닝 프로그램인 Checkers 프로그램을 개발하신
- 9. “A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P if its performance at tasks in T, as measured by P, improves with experience E. ” – 1997 컴퓨터 프로그램이 특정한 태스크 T를 수행할 때 성능 P 만큼 개선되는 경험 E를 보이면 그 컴퓨터 프로그램은 태스크와 성능 P에 대해 경험 E를 학습했다라고 할 수 있다. 톰 미첼 카네기멜론대 교수님은 아래와 같이 정의했지요!
- 10. 머신러닝은 입력으로 학습 데이터를 받고, 이 데이터를 학습하고 이해해서 모델을 만들고, 기존 학습 데이터와는 전혀 다른 데이터의 처리 결과를 예측하기 위해 이 모델을 사용하는 과정이자 알고리즘
- 11. 머신러닝 - 지도학습
- 12. 머신러닝 - 비지도학습
- 13. 머신러닝으로 하는 일 이미지 인식 감성분석 이메일 및 뉴스 분류 스팸 처리 음성 인식 자율주행 영상 및 이상행동 감시 추천 시스템 등등…
- 14. Automated ML 데이터 분석의 민주화!
- 15. 데이터 과학자의 일상 1 출처 : https://datasciencedegree.wisconsin.edu/data- science/what-do-data-scientists-do/ 데이터과학자들은 일이 많고, 바쁩니다!
- 16. 데이터 과학자의 일상 2 출처 : https://datasciencedegree.wisconsin.edu/data- science/what-do-data-scientists-do/ 데이터과학자들은 일이 많고, 바쁩니다!
- 19. 좀더 이쁘고 전문적으로
- 20. http://groups.csail.mit.edu/EVO-DesignOpt/groupWebSite/uploads/Site/DSAA_DSM_2015.pdf Deep Feature Synthesis: Towards Automating Data Science Endeavors
- 21. 이쁘게 잘 정리해주셨는데… 왠지 겁나고 내 일이 아닌 것 같습니다
- 22. 너도 해보고 나도 해보는
- 23. 데이터 분석의 민주화!
- 29. 이렇게 하고자하고 실현하고 있습니다!
- 32. AutoML 스타트업 • Binah : https://www.binah.ai/ • DataRobot : https://www.datarobot.com/ • BigML : https://bigml.com/ • MissingLink : https://missinglink.ai/ • mljar : https://mljar.com/
- 33. Automated ML 애플리케이션 1 •ABM: Automatic Business Modeler : http://e-abm.com/ •AutoDiscovery from ButlerScientifics : http://www.butlerscientifics.com/ •Automatic Statistician project : http://www.automaticstatistician.com/index/ •auto-sklearn : https://github.com/automl/auto-sklearn •Auto-WEKA : http://www.cs.ubc.ca/labs/beta/Projects/autoweka/ •Bicedeep AI : https://bicedeepai.com/ •Darwin : https://www.sparkcognition.com/product/darwin •DataRobot : https://www.datarobot.com/ •DataRPM Cognitive Data Science platform : http://www.datarpm.com/ •DMWay : http://dmway.com/
- 34. Automated ML 애플리케이션 2 •dotData : https://dotdata.com/ •Emcien : http://emcien.com/ •ForecastThis DSX : http://forecastthis.com/platform •FeatureLab : http://www.featurelab.co/how-it-works •Kogentix Automated Machine Learning Platform : http://kogentix.com/ •Loom Systems : http://www.loomsystems.com/ •machineJS : https://github.com/ClimbsRocks/machineJS •MLJAR : https://mljar.com/ •Quill from Narrative Science : https://www.narrativescience.com/quill •SAP Predictive Analytics : http://help.sap.com/pa
- 35. Automated ML 애플리케이션 3 •Savvy from Yseop : https://savvy.yseop.com/ •Skytree Machine Learning Software : http://www.skytree.net/ •Tree-based Pipeline Optimization Tool (TPOT) : https://github.com/rhiever/tpot •Wordsmith from Automated Insights : https://automatedinsights.com/products/ •Xpanse Analytics : http://www.xpanseanalytics.com/ •H20 : https://www.h2o.ai/products/h2o/
- 38. AI and machine learning is still a field with high barriers to entry that requires expertise and resources that few companies can afford on their own, Today, while AI offers countless benefits to businesses, developing a custom model often requires rare expertise and extensive resources. – Fei-Fei Li, 2018 Google press event 전문 지식과 자원을 필요로 하는 진입 장벽이 매우 높습니다 커스텀 모델을 개발하려면 종종 전문 지식과 광범위한 자원이 필요
- 39. Google CEO Sundar Pichai wrote, “Today, designing neural nets is extremely time intensive, and requires an expertise that limits its use to a smaller community of scientists and engineers. That’s why we’ve created an approach called AutoML, showing that it’s possible for neural nets to design neural nets. We hope AutoML will take an ability that a few PhDs have today and will make it possible in three to five years for hundreds of thousands of developers to design new neural nets for their particular needs.” (emphasis mine)
- 45. 왜? Automated ML? 수요와 공급의 문제가 있습니다.
- 46. 놈! 놈! 놈! 이 필요합니다 프로그래밍을 좀 하는 놈! 수학 지식이 좀 있는 놈! 도메인을 알고 통계 및 분석을 할 줄 아는 놈!
- 48. 기존 방식의 데이터 분석 Whole Data 처리된 Data Prediction 많은 조건들 If (…) … else if (…) … else if (...) … else if (…) … else if (...) … 수작업 update
- 49. Machine Learning이라면 Whole Data 처리된 Data Training Validation Test Labels Machine Le arning Mode l Optimization Method Cost Metric Features Prediction
- 55. Visual Progamming Language / luna https://luna- lang.org
- 56. Visual Progamming Language / Ballerina https://ballerina.io
- 57. 토니 스타크처럼 했으면 좋겠는데… 자비스?
- 59. ML.NET 소개
- 60. ML.NET은 .NET 개발자를 위한 오픈소스 크로스플랫폼 (Windows, Linux, macOS) 머신러닝 플랫폼
- 61. 현재 1.3.1인 ML.NET은 (https://github.com/dotnet/machinelearning/releases) AutoML를 사용해서 자신만의 ML 모델을 아주 쉽게 만들 수 있도록 Model Builder 와 (https://dotnet.microsoft.com/apps/machinelearning-ai/ml-dotnet/model-builder) CLI 를 제공합니다. (https://docs.microsoft.com/en-us/dotnet/machine-learning/how-to-guides/install-ml-net-cli)
- 63. ML.NET Model Builder 소개 및 설치
- 64. ML.NET Model Builder는 개발자가 자신만의 모델을 만들고, 학습시키고, 애플리케이션에 반영할 수 있는 간단한 사용자 인터페이스 (UI) 도구입니다.
- 65. ML.NET Model Builder는 .NET Core3를 지원, 판매 예측, 이상 탐지를 포함하는 많은 시나리오를 지원, 관계형 데이터베이스와 직접 연결해서 학습, Tensorflow를 사용해서 이미지 분류 딥러닝 모델 생성
- 66. ML.NET Model Builder의 개념은 .tsv .csv 헤더가 있어야… MS-SQL Server
- 67. 보통 머신러닝은 다음과 같이 분류를 하지요…
- 69. ML.NET Model Builder는 문서화도 잘 되어 있습니다. https://docs.microsoft.com/ko-kr/dotnet/machine-learning/
- 70. ML.NET Model Builder는 동영상 강좌도 지원합니다. https://channel9.msdn.com/Series/MLNET/?WT.mc_id=Educationalmlnet-c9-niner
- 71. https://dotnet.microsoft.com/apps/machinelearning-ai/ml-dotnet ML.NET 홈페이지입니다. Model Builder가 눈에 띄네요
- 72. https://dotnet.microsoft.com/apps/machinelearning-ai/ml-dotnet/model-builder ML.NET Model Builder 페이지입니다. Visual Studio에서 할 수 있다는데 설치부터 해보지요
- 73. ML.NET Model Builder 설치전에 설치가 되어 있는지 확인하려면
- 74. https://marketplace.visualstudio.com/items?itemName=MLNET.07 당연히 Visual Studio 마켓에서 제공됩니다! Download를 선택하면 설치파일이 다운로드됩니다.
- 75. 다운로드된 파일을 실행하면 설치가 시작됩니다. 간단하게 끝납니다! Visual Studio가 실행중이면 끝내고!
- 76. 잘 설치가 되었습니다!
- 77. ML.NET Model Builder 한번 해보기
- 78. ML.NET Model Builder는 아래 순서로 진행됩니다. 1. Scenario / 시나리오 선택 2. Data / 데이터 입력 3. Train / 학습 4. Evaluate / 평가 5. Code / 소스코드 입력 6. 실행
- 80. 1. Scenario / 시나리오 선택
- 81. 2. Data / 데이터 입력 Wikipedia detox dataset
- 82. 2. Data / 데이터 입력
- 83. 3. Train / 학습
- 84. 3. Train / 학습 이런 기준을 가지고 있다고 합니다.
- 85. 4. Evaluate / 평가
- 86. 5. Code / 소스코드 입력
- 87. 5. Code / 소스코드 입력
- 88. 6. 실행
- 89. ML.NET Model Builder가 AUtoML 했나요? AutoML은 ML.NET에 이미 포함되어 있는 모델을 만들기 위한 자동화 과정입니다.
- 90. https://github.com/SciSharp/TensorFlow.NET ML.NET 과 TensorFLow를 사용하기 위한 시도도 있습니다.
- 91. 다음과 같은 샘플도 제공하고 있습니다.
- 92. 지금까지는 MS가 제공한 예제였고 ASP.NET과 ML.NET으로 하는 스팸 감지, 이미지 처리, 감성분석 을 해보겠습니다.