Анализ данных - биг дата. для каждого (вебинар) временная версия конспектов вебинара

2. Добро пожаловать
http://geekbrains.ru/events/118

3. Добро пожаловать
http://geekbrains.ru/events/118

4. Будем знакомы

5. Будем знакомы
Учеба

6. Будем знакомы
Учеба

7. Будем знакомы
Учеба
Работа

8. Будем знакомы
Учеба
Работа
Специализация Image processing
Big data machine learning
Stochastic optimization
Psychology of perception

9. Цель нашей встречи

10. Цель нашей встречи
0 Где я?
0 Кто здесь?
0 А что вы тут делаете?

11. Цель нашей встречи
0 Где я?
0 Кто здесь?
0 А что вы тут делаете?

12. Цель нашей встречи
0 Познакомиться с вселенной анализа данных

13. Цель нашей встречи
0 Познакомиться с вселенной анализа данных
в интересной и доступной форме

14. Цель нашей встречи
0 Познакомиться с вселенной анализа данных
в интересной и доступной форме
0 Узнать как самостоятельно продолжить обучение
в области работы с данными и их анализом

15. Цель нашей встречи
0 Познакомиться с вселенной анализа данных
в интересной и доступной форме
0 Узнать как самостоятельно продолжить обучение
в области работы с данными и их анализом
0 Получить удовольствие и хорошо провести время

16. ГОТОВЫ?

17. Анализ данных – сексапильная
специальность?
0 hbr.org/2012/10/data-scientist-the-sexiest-job-of-the-21st-century/

19. дата дата дата
0 Более чем 7.9 зетабайт электронной информации
существует в мире сегодня

21. Данные Данные Данные
0 Более чем 7.9 зетабайт электронной информации
существует в мире сегодня
0 7 900 000 000 000 000 000 000 байт – это
количество примерно эквивалентно информации,
содержащейся в более чем 600 миллиардов
фильмов в HD качестве

22. Данные Данные Данные
0 Более чем 7.9 зетабайт электронной информации
существует в мире сегодня
0 7 900 000 000 000 000 000 000 байт – это
количество примерно эквивалентно информации,
содержащейся в более чем 600 миллиардов
фильмов в HD качестве
0 Новые данные появляются с экспоненциальной
скоростью

25. Данные и их анализ очень
полезны
0 Медицина
0 Спорт
0 Финансы
0 Корпорации
0 Государственные учреждения
0 СМИ
0 …

26. Что такое анализ данных?
0 Наука (или искусство) об использовании данных, с
целью строить модели, которые позволяют
принимать лучшие решения и приносят пользу

27. Что такое анализ данных?
0 Наука (или искусство) об использовании данных,
для того чтобы строить модели, которые позволяют
принимать лучшие решения и приносят пользу
“Science is what we understand well enough to explain to
a computer. Art is everything else we do”

28. Примеры успешного
применения анализа данных
0 eHarmony
0 The Framingham Heart Study - фремингемское
исследование сердца
0 Выбор игроков в команду

29. eHarmony
0 Сайт знакомств:
0 модус операнди: создание пар для долгосрочных
отношений
0 идея: научный подход для поиска подходящих
кандидатур
0 нет поиска по анкетам

30. eHarmony
0 Сайт знакомств:
0 модус операнди: создание пар для долгосрочных отношений
0 идея: научный подход, для поиска подходящих кандидатур
0 нет поиска по анкетам
0 Общая прибыль сайта превысила 1 миллиард долларов
0 Около 4% браков в США это результат eHarmony
www.eharmony.com/press-release/31/

31. eHarmony
0 Сайт знакомств:
пользователь при регистрации заполняю длинную
анкету

32. eHarmony
0 Сайт знакомств:
пользователь при регистрации заполняю длинную
анкету
0 проанализировав данные, сайт выдает подходящие
анкеты пользователей, проживающих рядом

33. eHarmony
0 Магия анализа данных

34. eHarmony
0 Магия анализа данных

35. eHarmony
0 Магия анализа данных

36. eHarmony
0 Магия анализа данных

37. eHarmony
0 Инструменты

38. The Framingham Heart Study
0 Исследование длиться более 65 лет и является одним
из самых продолжительных
эпидемиологических исследований в истории
медицины (фремингемское исследование сердца)

39. фремингемское исследование сердца
0 Франклин Делано Рузвельт президент США 1933-
1945
0 Умер во время исполнения своих обязанностей в 1945

40. фремингемское исследование сердца
0 Франклин Делано Рузвельт президент США 1933-1945
0 Умер во время исполнения своих обязанностей в 1945
0 Давление до 1933 года 140/100 - сегодня считается
высоким давлением
0 Давление за год до смерти 210/120 - сегодня
считается опасным кризисом
0 260/150 давление за два месяца до смерти
0 300/190 в день смерти

41. фремингемское исследование сердца
0 Сегодня мы знаем об опасности высокого давления
0 Откуда сегодня врачам известна эта информация?

42. фремингемское исследование сердца
0 Сегодня мы знаем об опасности высокого давления
0 Откуда сегодня врачам известна эта информация?

43. фремингемское исследование сердца
0 1948 год, город Фремингем
0 5209 участников
0 участие в наблюдениях и тестах в течении
длительного времени
0 Цель: выявление факторов риска для болезней
сердца

44. фремингемское исследование сердца

45. фремингемское исследование сердца
0 Благодаря полученным данным и последующим
исследованиям, учеными были обнаружены
различный факторы риска:
курение
уровень холестерина
давление
уровень сахара в крови
…

46. фремингемское исследование сердца

47. фремингемское исследование сердца
0 Более 2400 исследований на основе полученных
данных
0 Выявление множества факторов риска

48. фремингемское исследование сердца
0 Магия анализа данных

49. фремингемское исследование сердца
0 Магия анализа данных

50. фремингемское исследование сердца
0 Магия анализа данных
логистическая регрессия

51. Выбор лучшего игрока в команду
moneyball

52. Бейсбол для чайников
0 https://goo.gl/FS7uPg

53. Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут
позволить купить лучших игроков

54. Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут
позволить купить лучших игроков
0 Оклендская бедная команда после прихода нового
менеджера стала показывать хорошие результаты

55. Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут
позволить купить лучших игроков
0 Оклендская бедная команда после прихода нового
менеджера стала показывать хорошие результаты
0 Что произошло?

56. Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут
позволить купить лучших игроков
0 Оклендская бедная команда после прихода нового
менеджера стала показывать хорошие результаты
0 Что произошло?

57. Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут
позволить купить лучших игроков
0 Обработав множество параметров игроков,
программа выявила тех игроков, которые были
недооценены, т.е. качество игры которых было
меньше заработка игроков их уровня

58. Выбор лучшего игрока в команду
0 У богатых команд больше денег и они могут позволить
купить лучших игроков
0 Обработав множество параметров игроков, программа
выявила тех игроков, которые были недооценены, т.е.
качество игры которых было меньше заработка игроков их
уровня
0 Сегодня в любой команде высшей лиги есть свой статистик

59. Выбор лучшего игрока в команду
0 Магия анализа данных
логистическая регрессия

60. Еще примеры
0 предсказание решений высшего суда
0 предсказание будущей цены вина
0 предсказания цен на авиабилеты
0 предсказания эпидемии гриппа на основе
поисковых запросов
0 …
0 …

61. Еще примеры
0 предсказание решений высшего суда
0 предсказание будущей цены вина
0 предсказания цен на авиабилеты
0 предсказания эпидемии гриппа на основе
поисковых запросов
0 …
0 …

62. предсказания эпидемии гриппа на
основе поисковых запросов

63. предсказания эпидемии гриппа на
основе поисковых запросов

64. Дайте мне точку опоры

65. Дайте мне данные

66. Дайте мне данные,
компьютер

67. Дайте мне данные,
компьютер и специалиста
по анализу данных

68. Дайте мне данные,
компьютер и специалиста
по анализу данных и я
изменю жизнь людей

69. Магия анализа данных
данные
закономерности - предсказания

70. Магия анализа данных
данные
закономерности - предсказания

71. Магия анализа данных
данные
закономерности - предсказания

72. Детали дьявола анализа данных
0 Поиск и сбор необходимых данных
0 Приведение полученных данных в удобную для анализа
форму
0 Выбор подходящей модели для анализа данных
0 Анализ данных
0 Верификация полученных результатов
0 Презентация полученных результатов и принятие
решений

73. Детали дьявола анализа данных

74. Краткие итоги
0 Анализ данных это:

75. Краткие итоги
0 Анализ данных это:
0 интересно
0 полезно
0 прибыльно

76. Вопросы
0 Анализ данных
0 как изучить
0 что изучить
0 можно ли изучать самостоятельно
0 какие есть направление развития
0 что включает в себя анализ данных

77. Как изучать анализ данных
0 Университет
0 Онлайн курсы онлайн специализации
0 Учебная литература интернет

78. Как изучать анализ данных
0 Университет:
0 фундаментальные знания
0 долго
0 1-4 релевантных курса за все время обучения

79. Как изучать анализ данных
0 Университет
0 Онлайн курсы онлайн специализации
0 множество бесплатных курсов
0 не все курсы одинаково хороши и полезны
0 есть очень хорошие курсы и специализации

80. Онлайн курсы
0 EDX – MIT – «Меч Аналитики»
0 edx.org/course/analytics-edge-mitx-15-071x-0
0 Достоинства курса:
0 множество интересных примеров
0 минимум теории,
0 максимум практики
0 Язык программирования R

81. Онлайн курсы
0 Stanford – Statistical Learning
0 lagunita.stanford.edu/courses/HumanitiesandScience/StatLearning/Winter2015
/about
0 Достоинства курса:
0 немного теории
0 много практики
0 хороший учебник по курсу
0 Язык программирования: R

82. Онлайн курсы
0 Coursera, Stanford – Machine Learning
0 coursera.org/learn/machine-learning
0 Достоинства курса:
0 удачное сочетание практики и теории
0 Язык программирования: Matlab, Octave

83. Онлайн курсы
0 Edx, Caltech, Learning from data
0 https://work.caltech.edu/telecourse.html
0 Достоинства курса:
0 твердый теоретический фундамент
0 основные теоретические моменты объяснены в
интересной и доступной форме
0 хороший учебник сопровождающий курс

84. «Анти онлайн курсы»
0 Записи лекций
0 Курс «Машинное обучение»
0 Преподаватель — Константин Вячеславович
Воронцов.

85. Онлайн специализации
0 Coursera, Machine Learning Specialization
coursera.org/specializations/machine-learning
Язык программирования: Питон

86. Онлайн специализации
0 Coursera, Big Data Specialization
coursera.org/specializations/big-data

87. Соревнования
0 www.kaggle.com

88. Вопросы
0 Что в себя включает анализ данных?

89. Вопросы
0 Что в себя включает анализ данных?
0 Анализ данных лежит на пересечениях множества
областей наук

91. теория вероятностей
статистика
случайные процессы
структуры данных
ИИ
базы данных
параллельные вычисления
оптимизация
выпуклая оптимизация
линейное программирование
алгоритмы
структуры данных
финансовое моделирование
…
…

94. Может ли каждая кухарка научиться
анализировать данные?

95. Вопрос
0 На каких языках лучше заниматься анализом
данных?

96. Вопрос
0 На каких языках лучше заниматься анализом
данных?
0 нет жестких правил
0 R
0 Python
0 Matlab Octave
0 C++
0 …

97. Вопрос
0 Необходимы ли навыки программирования для
анализа данных?

98. Вопрос
0 Необходимы ли навыки программирования для
анализа данных?
0 нет, но желательны

99. Вопрос
0 Необходимы ли навыки программирования для
анализа данных?
0 нет, но желательны
0 Существуют специальные программы позволяющие
анализировать данные без знаний программирования

100. Вопрос
0 Необходимы ли навыки программирования для
анализа данных?
0 Существуют специальные программы
позволяющие анализировать данные без знаний
программирования:
0 Excel, Rattle, RapidMiner и другие

101. Анализ данных на Excel

102. Анализ данных на Rattle

103. Анализ данных RapidMiner

104. Анализ данных под
микроскопом за 5 минут

105. Анализ данных под
микроскопом за 5 минут
1. Данные:

106. Анализ данных под
микроскопом за 5 минут
1. Данные:

107. Анализ данных под
микроскопом за 5 минут
1. Где взять данные?

108. Анализ данных под
микроскопом за 5 минут
1. Где взять данные?

109. Анализ данных под
микроскопом за 5 минут
1. Где взять данные?

110. Анализ данных под
микроскопом за 5 минут
0 Перед анализом данные надо подготовить:

111. Анализ данных под
микроскопом за 5 минут
0 Перед анализом данные надо подготовить:
0 препроцессинг: нормализация, …
0 обработать отсутствующие значения
0 привести данные в удобный для анализа вид
0 TIDY DATA

112. Анализ данных под
микроскопом за 5 минут
0 Предварительное знакомство с данными с
помощью графической информации может
помочь в дальнейшем анализе
0 Exploratory Data Analysis

113. Анализ данных под
микроскопом за 5 минут
0 Анализ данных, выбор лучшей модели,
тестирование качества выбранной модели,
использование модели на новых данных

114. Анализ данных под
микроскопом за 5 минут
0 Анализ данных, выбор лучшей модели

115. Анализ данных под
микроскопом за 5 минут0 Анализ данных, выбор лучшей модели
0 регрессия линейная
0 дискриминантный анализ
0 логистическая регрессия
0 сплайны
0 случайные деревья
0 случайные леса
0 РСР
0 метод опорных векторов
0 бустинг
0 метод ближайших соседей
0 ….
0 …

117. Вопрос
0 Как вы думаете какой этап занимает больше всего
времени? (как правило)
0 скачать данные
0 подготовить данные к анализу
0 выбор лучшей модели
0 представление результатов анализа

118. Вопрос
0 Как вы думаете какой этап занимает больше всего
времени? (как правило)
0 скачать данные
0 подготовить данные к анализу
0 выбор лучшей модели
0 представление результатов анализа

119. Пример модели для
анализа данных
Задача классификации
Цель: научить систему различать людей и
пришельцев с марса

120. Человек или пришелец
Данные для обучения: таблица содержащая рост и вес
20 кандидатов, 12 из которых люди и 8 из которых
пришельцы с Марса

121. Человек или пришелец
Данные для обучения: таблица содержащая рост и вес
20 кандидатов, 12 из которых люди и 8 из которых
пришельцы с Марса
Перед нами новый персонаж, как понять человек это или
пришелец?

122. Человек или пришелец
Данные для обучения: таблица содержащая рост и вес
20 кандидатов, 12 из которых люди и 8 из которых
пришельцы с Марса
Перед нами новый персонаж, как понять человек это или
пришелец?

123. Кто это?

124. Метод ближайшего соседа
0 «скажи мне кто твой друг и я скажу кто ты»
0 «дурак дурака видит издалека»
0 «Каковы соседи, таков и ты»

125. Метод ближайшего соседа
0 «скажи мне кто твой друг и я скажу кто ты»
0 «дурак дурака видит издалека»
0 «Каковы соседи, таков и ты»

126. Метод ближайшего соседа
0 «скажи мне кто твой друг и я скажу кто ты»
0 «дурак дурака видит издалека»
0 «Каковы соседи, таков и ты»

127. Метод ближайших соседей
0 Несмотря на свою простоту, метод достаточно
эффективен при определенных условиях
0 Метод хуже работает в пространствах высокой
размерности (почему?)

128. Пример
0 Анализ данных при диагностики рака груди
0 Wisconsin breast cancer data
0 Данные 569 примеров биопсий, каждая из
которых характеризуется 30 параметрами
0 31 параметр - тип опухоли

129. Пример
0 Загрузка данных

130. Пример
0 Нормализация данных

131. Пример
0 Построение модели KNN

132. Пример
0 Анализ результатов

133. Краткие итоги
0 Анализ данных это:
0 круто
0 интересно
0 доступно
0 выгодно

134. BIG DATA

145. Уголок Библиофила

146. ОБРАТНАЯ СВЯЗЬ
0igkleiner@gmail.com
Ваши вопросы и обратная связь суть лучший
источник мотивации

147. Благодарности

148. Благодарности
Образовательный IT-портал
GeekBrains

149. Благодарности
0 Клейнер Надежда
0 Бородин Захар
0 Гольцман Александр
0 Дубинский Игаль
0 Гликин Григорий

150. Ответы на вопросы
слушателей