Большие Данные

  • 481 views
Uploaded on

Доклад на круглом столе на XII Международном Инвестиционном Форуме Сочи-2013

Доклад на круглом столе на XII Международном Инвестиционном Форуме Сочи-2013

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
  • Автор в своей презентации путает 'большие данные' (для обработки которых нужны новые современные алгоритмы, программы и технические средства) - и 'много данных'. По его логике, миллиард показаний электросчётчиков - тоже большие данные :) Кроме того, любой профессиональный ученый скажет, что обработка 'больших данных' ведется не от хорошей жизни, и если есть возможность, всегда лучше использовать высококачественные 'малые данные'!
    Are you sure you want to
    Your message goes here
  • @leonidz Конечно, очень интересно!
    Спасибо!
    Are you sure you want to
    Your message goes here
  • не уверен, но спрошу. я буду в москве с 20 окт на пару недель, можем пообщаться по теме если интересно
    Are you sure you want to
    Your message goes here
  • И еще было бы в высшей степени интересно послушать/посмотреть Ваш доклад на этом круглом столе.
    Существует ли видеозапись сего мероприятия в открытом доступе?
    Are you sure you want to
    Your message goes here
  • Да, в области терминологии Data Science предстоит еще много сделать. Есть формулировка Big Data, как массивов данных, определяемых четырьмя V: Volume, Velocity, Variety, Veracity.
    Сейчас я как раз читаю пару книжек по большим данным, которые я купила в киндл-версии на Амазоне.
    Are you sure you want to
    Your message goes here
No Downloads

Views

Total Views
481
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
19
Comments
9
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Леонид Жуков Факультет Бизнес Информатики lzhukov@hse.ru Высшая школа экономики, Москва, 2013 www.hse.ru XII Международный Инвестиционный Форум Сочи-2013
  • 2. Высшая школа экономики, Москва, 2013 Революция Больших Данных фото фото фотоМай 2011 2  
  • 3. Высшая школа экономики, Москва, 2013 Революция Больших Данных фото фото фото 3  
  • 4. Высшая школа экономики, Москва, 2013 Большие Данные фото Явление характеризуемое быстрым увеличением объема накапливаемых данных, скорости их поступления и разнообразии источников •  «Три V» характеристика: •  Объем (Volume) •  Скорость ( Velocity) •  Разнообразие (Veriety) 4  
  • 5. Высшая школа экономики, Москва, 2013 Источники данных фото фото фото 5  
  • 6. Высшая школа экономики, Москва, 2013 Скорость поступления данных фото фото 6   2012: •  Twitter: 175 млн tweet сообщений в день •  Facebook: 300 млн загруженных фото в день •  Google: 1.2 триллиона запросов за год •  AT&T передает 30 PB в день •  Walmart > 1 млн продаж в час •  Кредитные карты > 10,000 транзакций в секунду •  Boing 787 передает 0.5 TB телеметрических данных за полет, 100 тыс. рейсов в день   Библиотека Конгресса США содержит 33 млн книг, всего 150 млн печатных изданий: 235 TB
  • 7. Высшая школа экономики, Москва, 2013 Объемы данных фото фото фото В 2011г «Цифровая Вселенная» 1.8 ZETTABYTES 1,800,000,000,000,000,000,000 Zetta Exa Peta Tera Giga Mega Kilo Byte К 2015 объем данных вырастет до 8 ZB, к 2020 в 44 раза до 35 ZB 7   9 млн Библиотек Конгресса США 60 млрд iPhone 32 GB
  • 8. Высшая школа экономики, Москва, 2013 Технологии Больших Данных фото фото фото   •  Основы технологии разработаны в Google 2003, MapReduce •  Открытое ПО, Hadoop (Yahoo) •  Система массивно параллельной обработки данных на кластерах дешевых компьютеров •  Значительное удешевление хранения •  Экосистема Биг Дата стартапов: Cloudera, MapR, HortonWorks •  Крупные вендоры EMC, IBM, HP, Oracle •  Большой вклад в открытые проекты: Facebook, Twitter, Amazon, LinkedIn         8  
  • 9. Высшая школа экономики, Москва, 2013 Большие Данные фото фото фото Уникальность подхода Больших Данных заключается в агрегировании огромной информации из разных источников в одном месте •  Обобщенные вид на данные позволяет находить скрытые связи и закономерности •  Данные обладают огромной предсказательной силой •  Доступны вычислительные мощности достаточные для очень детальных расчетов 9  
  • 10. Высшая школа экономики, Москва, 2013 Галерея проектов фото фото Примеры компаний и проектов с Большими Данными •  Сбор и обработка массивов данных •  Стартапы, небольшие проекты •  Частное и государственное финансирование •  Социальная направленность (social course) 10  
  • 11. Высшая школа экономики, Москва, 2013 Большие Данные в городе: умный и удобный город фото фото фото Сан-Франциско: датчики парковки, датчики скорости транспортных потоков, GPS в общественном транспорте Использование: •  нахождение свободных парковок •  точное время прибытия  общественного транспорта 11  
  • 12. Высшая школа экономики, Москва, 2013 Большие Данные в городе: безопасный город фото фото фото Лос-Анджелес: предсказания преступлений LAPD (predictive policing, 2011-2013): •  Определение мест и времени с повышенной вероятностью совершения преступлений •  Исторические данные о преступности в городе (80 месяцев), демографические и др. данные, социологические модели •  Преступления против собственности снизились за год на 12% •  UCLA, UC Santa Cruz 12  
  • 13. Высшая школа экономики, Москва, 2013 Большие Данные в экономике фото фото фото 13   •  MIT научный проект, Billion Prices Project •  Ежедневно собирают с е-магазинов цены на товары: •  > 900 магазинов, 70 стран, 5 млн товаров •  Автоматически вычисляют: •  Индекс потребительских цен •  Уровень инфляции •  Бюро Статистики труда: 90 городов, 80,000 товаров, сотни сотрудников, $250 млн в год, задержка 2-4 недели The key advantage of our series is the ability to anticipate major shifts in underlying inflation trends 7 Source: BPP – PriceStats – BLS (CPI-U, US city-average, all items, NSA) Example: State Street PriceStats US Aggregate Inflation Series online 09/15/2008 Lehman’s Bankruptcy January 2011 May 2011 12/20/2008 Jan 2012
  • 14. Высшая школа экономики, Москва, 2013 Большие Данные для здоровья фото фото фото 14   Платформa мониторинга астмы и других респираторных заболеваний •  Помогать пациентам и врачам лучше справляется с заболеванием •  Ингаляторы с встроенными сенсорами, мобильные приложения •  Дневник пациента, доступен врачу онлайн •  Неотложная помощь •  Глобальная аналитика по заболеванию Системы self-мониторинга (quantify-self): •  Fitbit, Jawbone: физические нагрузка •  Wahoo: сердечный ритм •  Zeo: ночной сон (EEG) •  AliveCor: одноканальная кардиограмма (ECG)
  • 15. Высшая школа экономики, Москва, 2013 Большие Данные в образовании фото фото фото Платформа онлайн обучения •  MOOC (Massive Online Open Course) •  “Ivy League”для масс •  Лучшие курсы лучших университетов •  Повсеместная доступность •  Универсальность программы обучения •  Бесплатное обучение •  Coursera, edX, Udemy Coursera: •  Первые 2 курса из Стэнфорда в 2012 •  80 университетов, 400 курсов •  200,000 студентов на курсе •  4.5млн обучаемых 15  
  • 16. Высшая школа экономики, Москва, 2013 Государство и Большие Данные фото Государство является крупнейшим производителем, потребителем и хранителем данных   Переход к технологиям Больших Данных может: •  Увеличить эффективность управления •  Обеспечить прозрачность принятия решений •  Укрепить безопасность государства и граждан •  Улучшить медицину и медицинское обслуживание •  Поднять общий уровень образования •  Персонализировать взаимодействие граждан с органами государственной власти и местного самоуправления •  Улучшить жизнь граждан 16  
  • 17. 101000, Россия, Москва, Мясницкая ул., д. 20 Тел.: (495) 621-7983, факс: (495) 628-7931 www.hse.ru