Downloaded 36 times
Uploaded byAlexander Konduforov
Machine Learning and Azure Machine Learning
Документ содержит информацию о машинном обучении и услугах Azure ML, описывая его типы, алгоритмы и примеры применения. В нем рассматриваются основные методы обучения, такие как supervised, unsupervised, reinforcement и hybrid, а также популярные алгоритмы, используемые в ML. Также обсуждаются особенности работы с ML в .NET и возможности, предоставляемые Azure ML services.
Machine Learning and Azure Machine Learning
- 1. MACHINE LEARNING & AZUREML SERVICES
- 2. ОБО МНЕ Александр КондуфоровDataScience Group Leader, Software Architect @ AltexSoft В прошлом – .NET разработчик, Software Architect, Project Lead Kharkov AI club
- 3. СОДЕРЖАНИЕ 1. Что такоеMachine Learning, зачем он нужен 2. Примеры применений ML 3. Типы обучения 4. Популярные ML-алгоритмы 5. Supervised Learning workflow 6. ML в .NET 7. Обзор Azure ML Services 8. Azure ML demo
- 4. MACHINE LEARNING “Field ofstudy that gives computers the ability to learn without being explicitly programmed” Arthur Samuel
- 5. Для некоторых задачневозможно написать алгоритм
- 6. КОГДА НЕ ОБОЙТИСЬБЕЗ ML • Человек не может объяснить свой опыт и создать алгоритм – распознавание образов, голоса, координация движений и т.д. • Человеческий опыт не существует как таковой – навигация на Марсе • Обстановка меняется со временем и нужно адаптироваться – биометрия людей, биржевые индексы, цены на недвижимость
- 7. ТИПЫ ОБУЧЕНИЯ • SupervisedLearning • Semi-supervised Learning • Unsupervised Learning • Hybrid (Supervised + Unsupervised) • Reinforcement Learning • Online Learning
- 8. SUPERVISED LEARNING Данные –(input, correct output)
- 9. UNSUPERVISED LEARNING Данные –(input, ???)
- 10. REINFORCEMENT LEARNING • Роботы •Игровой AI
- 11. ОСНОВНЫЕ ТИПЫ ЗАДАЧ Supervisedlearning • Классификация • Регрессия Unsupervised learning • Кластеризация • Определение выбросов Гибридные • Коллаборативная фильтрация (рекомендации)
- 12. ПОПУЛЯРНЫЕ АЛГОРИТМЫ • Регрессия •Деревья решений • Искусственные нейронные сети • k-means кластеризация • Collaborative Filtering
- 13. РЕГРЕССИЯ Y = b0+b1x1+b2x2+…+bkxkY = b0+b1x+b2x2+b3x3
- 14. DECISION TREE /RANDOM FOREST Создание дерева на основании данных и определение условий в каждом узле дерева.
- 15. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ Построенына базе нейронов мозга Множество видов: • многослойный перцептрон • сеть Хопфилда • сеть Кохонена • неокогнитрон • спайковые сети • сверточные сети
- 16.
- 17.
- 18. SUPERVISED LEARNING WORKFLOW •Data analysis and preprocessing (cleaning, transformation) • Feature engineering (new, correlated) • Fit selected model (training data) • Evaluate model (test data, choose error type) • Change data, algorithm and model parameters until satisfied • Use model for predictions
- 19. GENERALIZATION VS. MEMORIZATION Overfitting– features of the model that arise from relations that are in the training data, but not representative of the general population.
- 20.
- 21. VALIDATION / CROSS-VALIDATION Validation: 60%/40%50%/50% 80%/20% Cross-validation: • K-fold CV • Leave-one-out CV
- 22.
- 23. ML В .NET •Infer.NET (MS Research) • Accord.NET • AForge • Numl • Math.NET Numerics • Azure ML Services
- 24. AZURE ML SERVICES Cloud-basedpredictive analytics from Microsoft
- 25. ОСНОВНЫЕ ВОЗМОЖНОСТИ • MLStudio • Built-in data preprocessing and ML algorithms • Integration with Azure data storages and other services • Plots for data analysis • R support • Fast conversion to web-service
- 26.
- 27. РЫНОК АЛГОРИТМОВ ИДАННЫХ
- 28. TIME FOR SOMEDEMO
- 29. ПОЛЕЗНЫЕ ССЫЛКИ • http://azure.microsoft.com/en-us/services/machine- learning/ •https://www.coursera.org/courses?orderby=upcoming& cats=cs-ai • http://bit.ly/1zTTKrF - Data Science Dojo tutorials! • http://kaggle.com
- 30. СПАСИБО ! • Blog:http://merle-amber.blogspot.com • Kharkiv AI Club: http://aikharkov.wordpress.com/ • Skype: alex_konduforov • @konduforov