Немного про машинное обучение и применение некоторых моделей в гидрологии. В рамках лекций для аспирантов ИВП РАН (1/04/2015)

1. Георгий Айзель, к.т.н., м.н.с.
Машинное обучение в
гидрологии

2. На самом деле нет!
1 АПРЕЛЯ
-
Международный день
вомбатов и котиков
(или День Дурака)

3. Поисковый
запрос:
“вомбат...
котяня”
Без машинного
обучения мы бы
никогда не нашли
такую картинку

4. Вомбат
и
Путин

5. Котяня
и
Путин

6. Машинное обучение в
гидрологии

7. WTF?

8. Разумные компьютеры-убийцы
Технологии: нейронные сети, связь с внешним источником супер-интеллекта skynet,
зрение, распознавание звуков, могут стрелять/резать и т.д.
Цель: истребление человечества
Год: до 2029 (на самом деле нет)

9. Технологии: нейронные сети (convolutional, deep learning)
Цель: распознавание образов объектов, ориентирование на
местности
Год: 2013

10. Яндекс.Диктовка
Технологии: разнообразие методов машинного обучения
Цель: быстрая коммуникация компьютер - человек
Год: 2014

11. Стадии развития методов машинного обучения
(Vapnik, 1995):
● первые алгоритмы машинного обучения
● основы теории
● нейронные сети
● альтернативы нейронным сетям

12. Идея машинного обучения
Обучающаяся
программа
Примеры данных с
закономерностями
Модель
закономерности
Поиск
закономерностей в
новых данных

13. ?
признаковое описание
Обучающая
выборка
Проверочная
выборка
Матрица объект-признак (X) Целевой вектор (y)

14. Цикл решения задачи
Предобработка
данных
Выбор метода и
параметров
Обучение
Оценка качества
Окончательная
методика

15. X1
y WTF?

16. X1
y
Простейшая задача машинного обучения - Линейная регрессия
?

17. WTF?
X1
X2

18. Простейшая задача машинного обучения - Логистическая регрессия
X1
X2
?? ?

19. МАТАН - ДОБРО

20. Нейронные сети

21. Нейронные сети
● Могут подстроиться под любые данные
● Ассоциативная память
● Любят переобучаться (т.к. очень много параметров)
● На самом деле нет ничего общего с мозгом человека :)
● Огромное количество преимуществ и недостатков
● Made in

22. Обучение нейронных сетей
Самый простой (но долгий) - алгоритм обратного распространения ошибки
● сходимость процесса
обучения
● выпуклость
● общие функциональные
пространства и сжимающие
отображения

23. How to train your dragon ANN?
Кричите на неё!

24. МАТАН - ДОБРО

25. Пример использования искусственных
нейронных сетей в решении
гидрологической задачи

26. Гидрологическое моделирование
Физически обоснованная
модель взаимодействия
поверхности суши с
атмосферой (SWAP)
Параметры
Осадки,
температура
Параметры
подстилающей
поверхности
Тепловая
энергия
...
Рассчитанный
речной сток
Измеренный
речной сток
Калибровка
параметров

27. Данные
Калибровка
параметров
моделиДанные
по стоку
Расчет речного
стока
Данные
???
???
Расчет речного
стока
Здоровый человек
Курильщик

28. WTF?

29. Выход есть !

30. 323 MOPEX-водосбора
210 водосборов на которых будет
происходить обучение ИНС
113 «неизученных» водосборов для проверки
эффективности разрабатываемой методики

31. ?
признаковое описание
Обучающая
выборка
Проверочная
выборка
Матрица объект-признак (X) Целевая матрица (Y)
17 характеристик природных условий
(GSWP – 2, MOPEX)
11 параметров модели
SWAP
Неизученные водосборы

32. Архитектуры ИНС
Многослойный персептрон Радиальная базисная функция
Алгоритмы обучения ИНС
● Обратного распространения ошибки
● Левенберга-Марквардта
● Сопряженных градиентов

33. Результаты
Медианные оценки:
Eff = 0.484
|Bias| = 13.7%

34. Краткая характеристика результатов

35. Альтернативы нейронным сетям
● SVM (Support Vector Machines)
● GEP (Gene Expression Programming)
● Boosting (combine ‘em all, weak decision trees, Yandex Matrix Net)

36. 2010 2011 2012 2013 2014
2015
Это стильно, модно, молодежно?

37. Самые распространенные проблемы
● Размытая постановка задачи
● Большое количество степеней свободы
● Большое количество разных источников данных
● Качество данных и пропуски в них
● «Сырое» ПО для работы с данными
● Неудобство работы с большими данными
● Наличие обучающей выборки
@akrot (habr)

38. С чего начать?
● Linux-way
● Python с библиотекой SciKit (или R, Matlab/Octave)
● Coursera (Machine Learning от Andrew Ng)
● Kaggle competition (kaggle.com)
● Yandex events (tech.yandex.ru, events.yandex.ru)
● Habrahabr.ru

39. Александр Фонарев
Максим Мусин
tech.yandex.ru
Andrew Ng
Александр Крот (@akrot)

40. Спасибо!
hydrogo@yandex.ru