Маленькие секреты больших данных
•
2 likes•939 views
Маленькие секреты использования больших данных в различных областях бизнеса и науки.
Recommended
Recommended
More Related Content
Viewers also liked
Viewers also liked (20)
Similar to Маленькие секреты больших данных
Similar to Маленькие секреты больших данных (20)
Маленькие секреты больших данных
- 2. Маленькие «секреты» больших данных Андрей Устюжанин Руководитель совместных проектов Яндекс-ЦЕРН
- 3. Объем • • • • пользователей Internet: 2 млрд • листьев на дереве: ~1 млн Сайтов Internet: 0.5 млрд • травинок на футбольном Страниц: 10 трлн поле: ~100 млн роликов YouTube: 0.5 трлн • страниц в Ленинской часов библиотеке, песчинок на • фотки Facebook: ~10 Pb пляже, байт в геноме, ... • аккаунтов Twitter: 200 млн 3
- 4. Объем + скорость + разнообразие •Текст •Фото •Аудио •Видео •не только Internet! 4 • в день: лайков Facebook: 1 млрд твитов: 100 млн
- 5. 5
- 6. «Данные - это новая нефть!» 5
- 9. Метапереход: от статистики к инженерии данных Реальный мир Мир глазами аналитика 8
- 10. «How can we build computer systems that automatically improve with experience, and what are the fundamental laws that govern all learning processes?» Tom Mitchell, CMU 9
- 11. «Как построить компьютерные системы, которые автоматически улучшаются с накопленным опытом, и каким законам подчинаются все процессы обучения?» Tom Mitchell, CMU 10
- 18. Реализации машинного обучения TMVA http://tmva.sf.net word2vec by Google http://code.google.com/p/word2vec h2o by 0xdata http://0xdata.com/h2O “The Berkeley Stack” by AMPLab http://amplab.cs.berkeley.edu Vorpal Wabbit by John Langford http://github.com/JohnLangford/vowpal_wabbit KNIME - http://knime.org PMML - Predictive Model Markup Language http://ibm.com/developerworks/industry/library/ind-PMML2/ scikit-learn for Python http://scikit-learn.org 17
- 19. iPython notebook • Literation programming • Literate computation 18
- 21. 20 Показ рекламы
- 22. 21 Ранжирование
- 24. Приложения машинного обучения Поиск Реклама Маркет Предсказание дорожных пробок Перевод Распознавание музыки, изображений, видео Фильтрация спама Кластеризация новостей Определение аномалий
- 25. 24 Deathly ones
- 26. 25 LHCb events
- 29. 1.Получить данные 2.Выбрать пространство признаков 3.Выбрать меры оценки качества 4.Выбрать параметры классификатора 5.Обучить модель 6.Оценка качества 7.Повторить 28 Анатомия приложения
- 33. Конвейер исследований Data Science Data Acquisition Aggregation, Transforming Model Training/Machine Learning Application Results
- 34. Конвейер исследований Web Search Logs, ... Map, Reduce, Join Matrixnet/Tensornet Data Science Data Acquisition Aggregation, Transforming Model Training/Machine Learning Engine Application Search Quality Results
- 35. Конвейер исследований Web Search Logs, ... Map, Reduce, Join Matrixnet/Tensornet Data Science Data Acquisition Aggregation, Transforming Model Training/Machine Learning CERN LHC Filtering and Stripping TMVA Engine Application Fitting Search Quality Results Publications
- 36. Конвейер исследований Web Search Logs, ... Map, Reduce, Join Matrixnet/Tensornet Data Science Data Acquisition Aggregation, Transforming Model Training/Machine Learning CERN LHC Filtering and Stripping TMVA Engine Application Fitting Search Quality Results Publications
- 38. Workflow model «YDF» LHCb Physics Coordinator
- 40. Принц (Принцесса) Король (Королева) Бродяга (Стерва) Тиран (Мачеха) Шут (Жрица) Воин (Охотница) Черный маг (Ведьма) Убийца (Амазонка) 36 Архетипы «Пути героя»
- 41. Принц (Принцесса) Король (Королева) Бродяга (Стерва) Тиран (Мачеха) Шут (Жрица) Воин (Охотница) Черный маг (Ведьма) Убийца (Амазонка) 37 Архетипы «Пути героя»
- 43. From: Swami Chandrasekaran,Executive Architect Программирование Алгоритмы и структуры данных Базы данных Статистика Анализ данных Машинное обучение Компьютерная обработка текста Распределенные системы Инструменты Big Data Визуализация данных
- 44. 40 Учебные программы от индустрии
- 45. Международные курсы • Университетские программы: – – – – – University of Washington: CertiUcate in Data Science UC Berkeley: Master of information and data science program New York University: Data Science at NYU Columbia University: Institute for Data Sciences and Engineering University of Southern California (UCS) : Master of Science in Data Science • Онлайн курсы обучения: – – – Coursera edX Udacity • Ускоренные образовательные программы (компании): – – 41 ZipUan Academy (12 weeks intensive program) Insight Data Science Fellows program ( 6 weeks post doc training)
- 46. Яндекс.ШАД Восстановление функциональных закономерностей из эмпирических данных. Алгоритмы и структуры данных поиска Вероятностно-статистические модели и анализ данных Выпуклый анализ и оптимизация Машинное обучение Анализ символьных последовательностей с точки зрения биоинформатики Дискретный анализ и теория вероятностей Алгоритмы и структуры данных поиска Автоматическая обработка текстов Машинный перевод Параллельные и распределенные вычисления Комбинаторика и вероятность Анализ изображений и видео Алгоритмы для работы с большими объемами данных ... 42 http://bit.ly/18SyiKJ
- 47. Яндекс.ШАД Восстановление функциональных закономерностей из эмпирических данных. Алгоритмы и структуры данных поиска Вероятностно-статистические модели и анализ данных Выпуклый анализ и оптимизация Машинное обучение Анализ символьных последовательностей с точки зрения биоинформатики Дискретный анализ и теория вероятностей Алгоритмы и структуры данных поиска Автоматическая обработка текстов Машинный перевод Параллельные и распределенные вычисления Комбинаторика и вероятность Анализ изображений и видео Алгоритмы для работы с большими объемами данных ... 43 http://bit.ly/18SyiKJ
- 50. 46 Крипта - определение социально-демографических факторов
- 58. Заключение • Большие данные: – скорость + размер + разнообразие • «Секреты»: – метапереход от статистики к модельному описанию (инженерия данных, машинное обучение) – алгоритмы и библиотеки построения моделей – инфраструктура для встраивания моделей – конвейрная обработка • Новые подходы в естесственных и гуманитарных науках: – инфографика – воспроизводимые эксперименты – журналистика данных 54
- 59. Андрей Устюжанин Руководитель совместных проектов Яндекс-ЦЕРН anaderi@yandex-team.ru Спасибо!