Презентация с вебинара "Введение в машинное обучение"

1. Введение в машинное обучение
Дмитрий Сподарец
d.spodarets@flyelephant.net

2. Обо мне
• Основатель FlyElephant и
GeeksLab
• Преподаватель в ОНПУ

3. Содержание
• История искусственного интеллекта
• Машинное обучение: определение
• Инструменты для решения задач ML
• Классификация задач машинного обучения
• FlyElephant

4. История искусственного интеллекта
• Появление предпосылок AI (1943 – 1955)
• Теста Тьюринга (1950)
• Рождение AI (1956) / Дартмутский семинар (Термин AI и формулировки основных
задач) Его организовали Джон Маккарти (John McCarthy), Марвин Мински (Marvin
Minsky), Клод Шеннон (Claude Shennon) и Натаниэль Рочестер (Nathaniel Rochester).
• Нейронные сети - (1958)
• Превращение AI в индустрию (1980 – …)
• Превращение AI в науку (1987 – …)
• Доступность больших баз данных (2001 – …)

5. Машинное обучение: определение
• Машинное обучение — обширный подраздел искусственного
интеллекта, изучающий методы построения алгоритмов,
способных обучаться.
ru.wikipedia.org

6. Машинное обучение: определение
• Машинное обучение — процесс, в результате которого машина
(компьютер) способна показывать поведение, которое в нее не
было явно заложено (запрограммировано).
A.L. Samuel

7. Суть машинногообучения
Обучающаяся
программа
Примеры данных с
закономерностями
Модель
закономерности
Поиск закономерностей в
новых данных

8. Сферы приложения
• Компьютерное зрение (computer vision)
• Распознавание речи (speech recognition)
• Компьютерная лингвистика и обработка естественных языков (natural language processing)
• Медицинская диагностика
• Биоинформатика
• Техническая диагностика
• Финансовые приложения
• Информационный поиск
• …

9. Аппарат
• Линейная алгебра
• Теория вероятностей и математическая статистика
• Методы оптимизации
• Численные методы
• Математический анализ
• Дискретная математика
• и др.

10. Инструменты для решения задач ML

11. Классификация задач машинного обучения
• Дедуктивное обучение (экспертные системы)
• Индуктивное обучение (≈ статистическое обучение)
• Обучение с учителем
• Обучение без учителя
• Обучение с подкреплением (reinforcement learning)
• Активное обучение
• . . .

12. Дедуктивное или аналитическое обучение
(экспертные системы)
• Имеются знания, сформулированные экспертом и как-то
формализованные.
• Программа выводит из этих правил конкретные факты и новые
правила.

13. Примеры экспертных систем
• WolframAlpha
• IBM Watson

14. Индуктивное обучение
(≈ статистическое обучение)
• Обучение с учителем
• Обучение без учителя

15. Обучение с учителем
• Обучаем машину на примерах (данные + требуемое решение)
• Алгоритм сохраняет «значение» о примерах во внутренней
математической модели
• Предсказываем новые данные, используя обученную модель
Основная суть: обучая машину на исходных данных и зная ответ
для этих данных, получить ответ для новых данных.

16. Обучение без учителя
• Загружаем в машину какой-то набор данных
• Машина может самостоятельно проанализировать загруженные
данные и сгруппировать их или предложить вам набор инсайтов
Основная суть: не зная ответ совсем - получаем ответ.

17. Основные типы задач
• Обучение с учителем
• Классификация
• Регрессия
• Обучение без учителя
• Кластеризация
• Определение выбросов
• Гибридные
• Коллаборативная фильтрация (рекомендации)

18. Классификация

19. Примеры задач классификации
• Медицинская диагностика: по набору медицинских характеристик требуется
поставить диагноз
• Геологоразведка: по данным зондирования почв определить наличие
полезных ископаемых
• Оптическое распознавание текстов: по отсканированному изображению
текста определить цепочку символов, его формирующих
• Кредитный скоринг: по анкете заемщика принять решение о выдаче/отказе
кредита
• Синтез химических соединений: по параметрам химических элементов
спрогнозировать свойства получаемого соединения

20. Регрессия

21. Линейная регрессия
data <- read.csv('~/git/R-Linear-Regression/rosn.txt', sep='t')
fit <- lm(data$ROSN ~ data$BRN )
plot(data$ROSN~data$BRN, xlab="ROSN", ylab="BRN")
abline(fit)
summary(fit)
http://www.algorithmist.ru/2011/04/linear-regression-with-examples-in-r.html

23. Примеры задач регрессии
• Оценка стоимости недвижимости: по характеристике района, экологической
обстановке, транспортной связности оценить стоимость жилья
• Прогноз свойств соединений: по параметрам химических элементов
спрогнозировать температуру плавления, электропроводность, теплоемкость
получаемого соединения
• Медицина: по постоперационным показателям оценить время заживления
органа
• Кредитный скоринг: по анкете заемщика оценить величину кредитного лимита
• Инженерное дело: по техническим характеристикам автомобиля и режиму
езды спрогнозировать расход топлива

24. Кластеризация

25. Примеры задач кластерного анализа
• Экономическая география: по физико-географическим и экономическим
показателям разбить страны мира на группы схожих по экономическому положению
государств
• Финансовая сфера: по сводкам банковских операций выявить группы
«подозрительных», нетипичных банков, сгуппировать остальные по степени близости
проводимой стратегии
• Маркетинг: по результатам маркетинговых исследований среди множества
потребителей выделить характерные группы по степени интереса к продвигаемому
продукту
• Социология: по результатам социологических опросов выявить группы
общественных проблем, вызывающих схожую реакцию у общества, а также
характерные фокус-группы населения

26. Идентификация

27. Примеры задач идентификации
• Медицинская диагностика: по набору медицинских характеристик
требуется установить наличие/отсутствие конкретного заболевания
• Системы безопасности: по камерам наблюдения в подъезде
идентифицировать жильца дома
• Банковское дело: определить подлинность подписи на чеке
• Обработка изображений: выделить участки с изображениями лиц на
фотографии
• Искусствоведение: по характеристикам произведения (картины,
музыки, текста) определить, является ли его автором тот или иной автор

28. Прогнозирование

29. Примеры задач прогнозирования
• Биржевое дело: прогнозирование биржевых индексов и котировок
• Системы управления: прогноз показателей работы реактора по
данным телеметрии
• Экономика: прогноз цен на недвижимость
• Демография: прогноз изменения численности различных
социальных групп в конкретном ареале
• Гидрометеорология: прогноз геомагнитной активности

30. Извлечение знаний

31. Примеры задач извлечения знаний
• Медицина: поиск взаимосвязей (синдромов) между различными
показателями при фиксированной болезни
• Социология: определение факторов, влияющих на победу на выборах
• Генная инженерия: выявление связанных участков генома
• Научные исследования: получение новых знаний об исследуемом
процессе
• Биржевое дело: определение закономерностей между различными
биржевыми показателями

32. Онлайн курсы/лекции
• https://yandexdataschool.ru/edu-process/courses/machine-learning
• https://www.coursera.org/learn/introduction-machine-learning
• https://www.coursera.org/learn/machine-learning
• https://www.youtube.com/watch?v=qLBkB4sMztk
• https://www.udacity.com/course/machine-learning-engineer-
nanodegree--nd009

33. The Home of High Performance Computing
Compute / Manage data / Collaborate
http://www.flyelephant.net/

34. DEMO

35. Предстоящие вебинары и конференции
• Introduction to FlyElephant platform / January 22 at 16:00 (Kiev) /
Webinar language - Russian.
• Introduction to FlyElephant platform / January 26 at 11:00 am
( San Francisco) / Webinar language - English.
• AI&BigData Lab / June 4 - Odessa

36. www.flyelephant.net
100 $
127575063277

37. FlyElephant Beta Testing Program
http://flyelephant.net/beta/
Free access
Use new features first
To help make FlyElephant better

38. Вопросы???
Дмитрий Сподарец
d.spodarets@flyelephant.net