Presentation that covers 2 topics: 1) Machine Learning overview 2) Azure ML services overview

1. MACHINE LEARNING
& AZURE ML SERVICES

2. ОБО МНЕ
Александр КондуфоровData Science Group Leader,
Software Architect @ AltexSoft
В прошлом – .NET разработчик, Software Architect,
Project Lead
Kharkov AI club

3. СОДЕРЖАНИЕ
1. Что такое Machine Learning, зачем он нужен
2. Примеры применений ML
3. Типы обучения
4. Популярные ML-алгоритмы
5. Supervised Learning workflow
6. ML в .NET
7. Обзор Azure ML Services
8. Azure ML demo

4. MACHINE LEARNING
“Field of study that gives computers the ability
to learn without being explicitly programmed”
Arthur Samuel

5. Для некоторых задач невозможно написать алгоритм

6. КОГДА НЕ ОБОЙТИСЬ БЕЗ ML
• Человек не может объяснить свой опыт и создать алгоритм –
распознавание образов, голоса, координация движений и т.д.
• Человеческий опыт не существует как таковой – навигация на
Марсе
• Обстановка меняется со временем и нужно адаптироваться –
биометрия людей, биржевые индексы, цены на недвижимость

7. ТИПЫ ОБУЧЕНИЯ
• Supervised Learning
• Semi-supervised Learning
• Unsupervised Learning
• Hybrid (Supervised + Unsupervised)
• Reinforcement Learning
• Online Learning

8. SUPERVISED LEARNING
Данные – (input, correct output)

9. UNSUPERVISED LEARNING
Данные – (input, ???)

10. REINFORCEMENT LEARNING
• Роботы
• Игровой AI

11. ОСНОВНЫЕ ТИПЫ ЗАДАЧ
Supervised learning
• Классификация
• Регрессия
Unsupervised learning
• Кластеризация
• Определение выбросов
Гибридные
• Коллаборативная фильтрация (рекомендации)

12. ПОПУЛЯРНЫЕ АЛГОРИТМЫ
• Регрессия
• Деревья решений
• Искусственные нейронные сети
• k-means кластеризация
• Collaborative Filtering

13. РЕГРЕССИЯ
Y = b0+b1x1+b2x2+…+bkxk Y = b0+b1x+b2x2+b3x3

14. DECISION TREE / RANDOM FOREST
Создание дерева на основании данных и определение
условий в каждом узле дерева.

15. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ
Построены на базе нейронов мозга
Множество видов:
• многослойный перцептрон
• сеть Хопфилда
• сеть Кохонена
• неокогнитрон
• спайковые сети
• сверточные сети

16. K-MEANS КЛАСТЕРИЗАЦИЯ

17. COLLABORATIVE FILTERING
User-based recommendation:

18. SUPERVISED LEARNING WORKFLOW
• Data analysis and preprocessing (cleaning, transformation)
• Feature engineering (new, correlated)
• Fit selected model (training data)
• Evaluate model (test data, choose error type)
• Change data, algorithm and model parameters until
satisfied
• Use model for predictions

19. GENERALIZATION VS. MEMORIZATION
Overfitting – features of the model that arise from relations that are in
the training data, but not representative of the general population.

20. BIAS-VARIANCE TRADEOFF

21. VALIDATION / CROSS-VALIDATION
Validation:
60%/40% 50%/50% 80%/20%
Cross-validation:
• K-fold CV
• Leave-one-out CV

22. CLASSIFICATION ERRORS

23. ML В .NET
• Infer.NET (MS Research)
• Accord.NET
• AForge
• Numl
• Math.NET Numerics
• Azure ML Services

24. AZURE ML SERVICES
Cloud-based predictive analytics from Microsoft

25. ОСНОВНЫЕ ВОЗМОЖНОСТИ
• ML Studio
• Built-in data preprocessing and ML algorithms
• Integration with Azure data storages and other services
• Plots for data analysis
• R support
• Fast conversion to web-service

26. ЦЕНЫ

27. РЫНОК АЛГОРИТМОВ И ДАННЫХ

28. TIME FOR SOME DEMO

29. ПОЛЕЗНЫЕ ССЫЛКИ
• http://azure.microsoft.com/en-us/services/machine-
learning/
• https://www.coursera.org/courses?orderby=upcoming&
cats=cs-ai
• http://bit.ly/1zTTKrF - Data Science Dojo tutorials!
• http://kaggle.com

30. СПАСИБО !
• Blog: http://merle-amber.blogspot.com
• Kharkiv AI Club: http://aikharkov.wordpress.com/
• Skype: alex_konduforov
• @konduforov