• Like
Революция Больших Данных
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

Революция Больших Данных

  • 433 views
Published

Выступление в клубе E-xecutive

Выступление в клубе E-xecutive

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
433
On SlideShare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
20
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Революция    Больших  Данных    
  • 2. www.visibletechologies.com
  • 3.      Революция  Больших  Данных   фото фото Май 2011
 Высшая школа экономики, Москва, 2013 фото
  • 4. Революция  Больших  Данных   фото фото фото Высшая школа экономики, Москва, 2013
  • 5. Gartner  Hype  cycle  2013   www.gartner.com
  • 6. Прогноз  рынка   Gartner: 2016- $55B www.wikibon.com
  • 7. Data is the new oil. —European Consumer Commissioner Meglena Kuneva Week of Aug 14, 2006: XOM 69.10 AAPL 67.91 9K% 8K% 7K% 6K%  Капитализация:   –  Exxon - $387.2 B –  Apple - $472.3 B     5K% 4K% 3K% 2K% 1K% 0% © 2013 Yahoo! Inc. 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012 2013 Volume: 24,392,640 60.0M 40.0M 20.0M
  • 8. 
 Большие  Данные   Явление характеризуемое быстрым увеличением объема накапливаемых данных, скорости их поступления и разнообразии источников •  «Три V» характеристика: •  Объем (Volume) •  Скорость ( Velocity) •  Разнообразие (Variety) Высшая школа экономики, Москва, 2013
  • 9. Источники  данных   фото фото фото Высшая школа экономики, Москва, 2013
  • 10. Скорость  накопления  данных   Библиотека Конгресса США содержит 33 млн книг, всего 150 млн печатных изданий: 235 TB 2012: •  Twitter: 175 млн tweet сообщений в день •  Facebook: 300 млн загруженных фото в день •  Google: 24 PB ежедневно •  AT&T передает 30 PB в день •  Walmart > 1 млн продаж в час •  Кредитные карты > 10,000 транзакций в секунду •  Boing 787 передает 0.5 TB телеметрических данных за полет, 100 тыс. рейсов в день   Высшая школа экономики, Москва, 2013 фото фото
  • 11. Объемы  данных   В 2011г «Цифровая Вселенная» фото 1.8 ZETTABYTES фото 1,800,000,000,000,000,000,000 Zetta Exa Peta Tera Giga 9 млн Библиотек Конгресса США Mega Kilo Byte 60 млрд iPhone 32 GB фото К 2015 объем данных вырастет до 8 ZB, к 2020 в 44 раза до 35 ZB Высшая школа экономики, Москва, 2013
  • 12. Технологии  Больших  Данных   •  •  •  •  •  •  •      Основы технологии разработаны в Google 2003, MapReduce Открытое ПО, Hadoop (Yahoo) Система массивно параллельной обработки данных на кластерах дешевых компьютеров Значительное удешевление хранения Экосистема Биг Дата стартапов: Cloudera, MapR, HortonWorks Крупные вендоры EMC, IBM, HP, Oracle Большой вклад в открытые проекты: Facebook, Twitter, Amazon, LinkedIn       фото фото фото Высшая школа экономики, Москва, 2013
  • 13. Big  Data  Landscape  2012   www.bigdatalandscape.com
  • 14. Big  Data  Landscape  2013   www.bigdatalandscape.com
  • 15. Подход  Больших  Данных   Уникальность подхода Больших Данных заключается в агрегировании огромной информации из разных источников в одном месте •  Обобщенные вид на данные позволяет находить скрытые связи и закономерности •  Данные обладают огромной предсказательной силой •  Доступны вычислительные мощности достаточные для очень детальных расчетов фото фото фото Высшая школа экономики, Москва, 2013
  • 16. Перспективы  Больших  Данных   www.gartner.com
  • 17. Бизнес  данных     •  Большие данные: •  Хранение данных •  Анализ данных •  Data driven companies: •  Принятие стратегических решений на основе данных •  Создания продуктов основанные на данных •  Предсказательная аналитика
  • 18. Прикладные  задачи   •  Маркетинг: •  Сегментация рынка •  Моделирование приобретения и оттока клиентов •  Рекомендательные системы •  Анализ социальных медиа •  Финансовые и страховые компании: •  Предотвращение fraud •  Детектирование аномального поведения •  Анализ кредитных рисков •  Страховые моделирование •  Здравоохранение и Фармакология: •  Генетический анализ •  Анализ клинических испытаний •  Клинические системы принятия решений Высшая школа экономики, Москва, 2013 •  Оптимизация портфолио
  • 19. Портрет  компании:  Amazon   Рекомендательная  система   Product  A   Product  B   Product  C  
  • 20. Портрет  компании:  LinkedIn   Люди, которых вы можете знать     238 mln members
  • 21.  Портрет  компании:  Target   “How companies learn your secrets” •  Уникальный Guest ID •  Транзакции по кредитной карте •  Примеры факторов (сигналов): •  •  Пищевые добавки кальций, цинк, магний •  •  Покупка крема без запаха Мыло без запаха Предсказательный «индекс» беременности и ожидаемая дата рождения
  • 22. Предсказательное  моделирование   •  Обучение  модели   •  Применение  модели   from Eric Siegel, “Predictive Analytics: The Power to Predict Who Will Click, Buy, Lie, or Die”
  • 23.  Операторы  мобильной  связи   •  Churn prediction:  моделирование оттока клиентов •  Закономерности поведения подписчиков с течением времени •  Положительные и отрицательные примеры Факторы модели: •  История пользования сервисом (число звонков, смс) •  История платежей за сервис •  История обращений в службу поддержки •  История изменений в контракте •  Граф звонков (поведение друзей)
  • 24. Моделирование  убеждаемости   2012 US Presidential Elections: •  Предвыборная кампания Барака Обамы: 50 data scientists •  Собраны исторические данные exit polls •  Данные из открытых источников, соц. Сетей •  Предсказательные модели: •  Кто вероятно будет голосовать за Обаму? •  Кто вероятно будет голосовать за Ромни ? •  Кто придет в день голосование на участки? •  Кого можно убедить голосовать за Обаму в случае личного общения?
  • 25. Галерея  проектов   Примеры небольших компаний и проектов создающих data driven products Сбор и обработка массивов данных •  Стартапы, небольшие проекты фото •  Частное и государственное финансирование •  Social course ( социальная направленность) фото Высшая школа экономики, Москва, 2013
  • 26. Большие  Данные  в  городе:  удобный  город   Сан-Франциско: датчики парковки, датчики скорости транспортных потоков, GPS в общественном транспорте фото фото Использование: •  нахождение свободных парковок •  точное время прибытия  общественного транспорта Высшая школа экономики, Москва, 2013 фото
  • 27. Большие  Данные  в  городе:  безопасный    город   Лос-Анджелес: предсказания преступлений LAPD (predictive policing, 2011-2013): фото •  Определение мест и времени с повышенной вероятностью совершения преступлений •  Исторические данные о преступности в городе (80 месяцев), демографические и др. данные, социологические модели фото •  Преступления против собственности снизились за год на 12% •  UCLA, UC Santa Cruz Высшая школа экономики, Москва, 2013 фото
  • 28. Большие  Данные  в  экономике   •  MIT научный проект, Billion Prices Project •  Ежедневно собирают с е-магазинов цены на товары: фото •  > 900 магазинов, 70 стран, 5 млн товаров •  Автоматически вычисляют: •  Индекс потребительских цен •  Уровень инфляции •  Бюро Статистики труда: 90 городов, 80,000 The key advantage of our series is the ability to anticipate major shifts in underlying inflation trends фото товаров, сотни сотрудников, $250 млн в год, задержка 2-4 недели Example: State Street PriceStats US Aggregate Inflation Series May 2011 Jan 2012 online 09/15/2008 Lehman’s Bankruptcy January 2011 12/20/2008 фото Source: BPP – PriceStats – BLS (CPI-U, US city-average, all items, NSA) Высшая школа экономики, Москва, 2013 7
  • 29. Большие  Данные  и  здоровье   Платформa  мониторинга  астмы  и  других   респираторных  заболеваний   •  Помогать  пациентам  и  врачам  лучше  справляется  с   заболеванием   фото •  Ингаляторы  с  встроенными  сенсорами,  мобильные   приложения   •  Дневник  пациента,  доступен  врачу  онлайн   •  Неотложная  помощь   •  Глобальная  аналитика  по  заболеванию   фото Системы    self-­‐мониторинга  (quanXfy-­‐self):   •  Fitbit,  Jawbone:  физические  нагрузка   •  Wahoo:  сердечный  ритм   •  Zeo:  ночной  сон  (EEG)   •  AliveCor:  одноканальная  кардиограмма  (ECG) Высшая школа экономики, Москва, 2013 фото
  • 30. Большие  Данные  в  образовании   Платформа онлайн обучения •  MOOC (Massive Online Open Course) •  “Ivy League” для масс •  Лучшие курсы лучших университетов •  Повсеместная доступность •  Универсальность программы обучения •  Бесплатное обучение •  Coursera, edX, Udemy фото фото Coursera: •  Первые 2 курса из Стэнфорда в 2012 •  80 университетов, 400 курсов •  200,000 студентов на курсе •  4.5млн обучаемых Высшая школа экономики, Москва, 2013 фото
  • 31. st    Century   The  Sexiest  Job  of  the  21 McKinsey оценивает нехватку в 140,000-190,000 специалистов к 2018г Высшая школа экономики, Москва, 2013
  • 32. Контакты   •  Леонид  Жуков,    Ph.D   •  Профессор,  Отделение  Прикладной  Математики  и  Информатики,   Высшая  Школа  Экономики  (НИУ-­‐ВШЭ)   •  Director  Data  Science,  Ancestry.com     •  lzhukov@hse.ru   •  www.leonidzhukov.ru