Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
MACHINE LEARNING
& AZURE ML SERVICES
ОБО МНЕ
Александр КондуфоровData Science Group Leader,
Software Architect @ AltexSoft
В прошлом – .NET разработчик, Softwa...
СОДЕРЖАНИЕ
1. Что такое Machine Learning, зачем он нужен
2. Примеры применений ML
3. Типы обучения
4. Популярные ML-алгори...
MACHINE LEARNING
“Field of study that gives computers the ability
to learn without being explicitly programmed”
Arthur Sam...
Для некоторых задач невозможно написать алгоритм
КОГДА НЕ ОБОЙТИСЬ БЕЗ ML
• Человек не может объяснить свой опыт и создать алгоритм –
распознавание образов, голоса, коорди...
ТИПЫ ОБУЧЕНИЯ
• Supervised Learning
• Semi-supervised Learning
• Unsupervised Learning
• Hybrid (Supervised + Unsupervised...
SUPERVISED LEARNING
Данные – (input, correct output)
UNSUPERVISED LEARNING
Данные – (input, ???)
REINFORCEMENT LEARNING
• Роботы
• Игровой AI
ОСНОВНЫЕ ТИПЫ ЗАДАЧ
Supervised learning
• Классификация
• Регрессия
Unsupervised learning
• Кластеризация
• Определение вы...
ПОПУЛЯРНЫЕ АЛГОРИТМЫ
• Регрессия
• Деревья решений
• Искусственные нейронные сети
• k-means кластеризация
• Collaborative ...
РЕГРЕССИЯ
Y = b0+b1x1+b2x2+…+bkxk Y = b0+b1x+b2x2+b3x3
DECISION TREE / RANDOM FOREST
Создание дерева на основании данных и определение
условий в каждом узле дерева.
ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ
Построены на базе нейронов мозга
Множество видов:
• многослойный перцептрон
• сеть Хопфилда
•...
K-MEANS КЛАСТЕРИЗАЦИЯ
COLLABORATIVE FILTERING
User-based recommendation:
SUPERVISED LEARNING WORKFLOW
• Data analysis and preprocessing (cleaning, transformation)
• Feature engineering (new, corr...
GENERALIZATION VS. MEMORIZATION
Overfitting – features of the model that arise from relations that are in
the training dat...
BIAS-VARIANCE TRADEOFF
VALIDATION / CROSS-VALIDATION
Validation:
60%/40% 50%/50% 80%/20%
Cross-validation:
• K-fold CV
• Leave-one-out CV
CLASSIFICATION ERRORS
ML В .NET
• Infer.NET (MS Research)
• Accord.NET
• AForge
• Numl
• Math.NET Numerics
• Azure ML Services
AZURE ML SERVICES
Cloud-based predictive analytics from Microsoft
ОСНОВНЫЕ ВОЗМОЖНОСТИ
• ML Studio
• Built-in data preprocessing and ML algorithms
• Integration with Azure data storages an...
ЦЕНЫ
РЫНОК АЛГОРИТМОВ И ДАННЫХ
TIME FOR SOME DEMO
ПОЛЕЗНЫЕ ССЫЛКИ
• http://azure.microsoft.com/en-us/services/machine-
learning/
• https://www.coursera.org/courses?orderby=...
СПАСИБО !
• Blog: http://merle-amber.blogspot.com
• Kharkiv AI Club: http://aikharkov.wordpress.com/
• Skype: alex_kondufo...
Upcoming SlideShare
Loading in …5
×

Machine Learning and Azure Machine Learning

6,791 views

Published on

Presentation that covers 2 topics:
1) Machine Learning overview
2) Azure ML services overview

Published in: Data & Analytics
  • Be the first to comment

Machine Learning and Azure Machine Learning

  1. 1. MACHINE LEARNING & AZURE ML SERVICES
  2. 2. ОБО МНЕ Александр КондуфоровData Science Group Leader, Software Architect @ AltexSoft В прошлом – .NET разработчик, Software Architect, Project Lead Kharkov AI club
  3. 3. СОДЕРЖАНИЕ 1. Что такое Machine Learning, зачем он нужен 2. Примеры применений ML 3. Типы обучения 4. Популярные ML-алгоритмы 5. Supervised Learning workflow 6. ML в .NET 7. Обзор Azure ML Services 8. Azure ML demo
  4. 4. MACHINE LEARNING “Field of study that gives computers the ability to learn without being explicitly programmed” Arthur Samuel
  5. 5. Для некоторых задач невозможно написать алгоритм
  6. 6. КОГДА НЕ ОБОЙТИСЬ БЕЗ ML • Человек не может объяснить свой опыт и создать алгоритм – распознавание образов, голоса, координация движений и т.д. • Человеческий опыт не существует как таковой – навигация на Марсе • Обстановка меняется со временем и нужно адаптироваться – биометрия людей, биржевые индексы, цены на недвижимость
  7. 7. ТИПЫ ОБУЧЕНИЯ • Supervised Learning • Semi-supervised Learning • Unsupervised Learning • Hybrid (Supervised + Unsupervised) • Reinforcement Learning • Online Learning
  8. 8. SUPERVISED LEARNING Данные – (input, correct output)
  9. 9. UNSUPERVISED LEARNING Данные – (input, ???)
  10. 10. REINFORCEMENT LEARNING • Роботы • Игровой AI
  11. 11. ОСНОВНЫЕ ТИПЫ ЗАДАЧ Supervised learning • Классификация • Регрессия Unsupervised learning • Кластеризация • Определение выбросов Гибридные • Коллаборативная фильтрация (рекомендации)
  12. 12. ПОПУЛЯРНЫЕ АЛГОРИТМЫ • Регрессия • Деревья решений • Искусственные нейронные сети • k-means кластеризация • Collaborative Filtering
  13. 13. РЕГРЕССИЯ Y = b0+b1x1+b2x2+…+bkxk Y = b0+b1x+b2x2+b3x3
  14. 14. DECISION TREE / RANDOM FOREST Создание дерева на основании данных и определение условий в каждом узле дерева.
  15. 15. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ Построены на базе нейронов мозга Множество видов: • многослойный перцептрон • сеть Хопфилда • сеть Кохонена • неокогнитрон • спайковые сети • сверточные сети
  16. 16. K-MEANS КЛАСТЕРИЗАЦИЯ
  17. 17. COLLABORATIVE FILTERING User-based recommendation:
  18. 18. SUPERVISED LEARNING WORKFLOW • Data analysis and preprocessing (cleaning, transformation) • Feature engineering (new, correlated) • Fit selected model (training data) • Evaluate model (test data, choose error type) • Change data, algorithm and model parameters until satisfied • Use model for predictions
  19. 19. GENERALIZATION VS. MEMORIZATION Overfitting – features of the model that arise from relations that are in the training data, but not representative of the general population.
  20. 20. BIAS-VARIANCE TRADEOFF
  21. 21. VALIDATION / CROSS-VALIDATION Validation: 60%/40% 50%/50% 80%/20% Cross-validation: • K-fold CV • Leave-one-out CV
  22. 22. CLASSIFICATION ERRORS
  23. 23. ML В .NET • Infer.NET (MS Research) • Accord.NET • AForge • Numl • Math.NET Numerics • Azure ML Services
  24. 24. AZURE ML SERVICES Cloud-based predictive analytics from Microsoft
  25. 25. ОСНОВНЫЕ ВОЗМОЖНОСТИ • ML Studio • Built-in data preprocessing and ML algorithms • Integration with Azure data storages and other services • Plots for data analysis • R support • Fast conversion to web-service
  26. 26. ЦЕНЫ
  27. 27. РЫНОК АЛГОРИТМОВ И ДАННЫХ
  28. 28. TIME FOR SOME DEMO
  29. 29. ПОЛЕЗНЫЕ ССЫЛКИ • http://azure.microsoft.com/en-us/services/machine- learning/ • https://www.coursera.org/courses?orderby=upcoming& cats=cs-ai • http://bit.ly/1zTTKrF - Data Science Dojo tutorials! • http://kaggle.com
  30. 30. СПАСИБО ! • Blog: http://merle-amber.blogspot.com • Kharkiv AI Club: http://aikharkov.wordpress.com/ • Skype: alex_konduforov • @konduforov

×