Download to read offline
![Фазы mapreduce
map: mapper(line) -> (k1, v1)
shuffle: сортировка по k1
reduce: reducer(k1, [v1, v2, v3])](https://image.slidesharecdn.com/javascript1-150720113302-lva1-app6892/85/WebCamp-Back-end-Developers-Day-JavaScript-7-320.jpg)
Uploaded byGeeksLab Odessa
WebCamp:Back-end Developers Day Турский Виктор "Распределенные вычисления на JavaScript"
Документ описывает использование распределенных вычислений на JavaScript для обработки больших массивов данных, особенно из соцсетей, с фокусом на анализ упоминаемости ключевых слов. Он объясняет модель MapReduce и ее реализацию в экосистеме Hadoop, а также включает примеры запросов и структуры обработки данных. В документе также рассматриваются проблемы и решения, связанные с установкой и настройкой кластера для обработки данных на AWS.
WebCamp:Back-end Developers Day Турский Виктор "Распределенные вычисления на JavaScript"
- 1. Распределенные вычисления на JavaScript! Viktor Turskyi CTOat WebbyLab Webcamp 2015
- 2. Бизнес задача Обработка большогомассива (миллиарды записей) данных с соц. сетей.
- 3. Примера анализа Расчет упоминаемостигрупп ключевых слов. Источник данных - Twitter Public Stream API Объем данных: +15ГБ ежедневно (5ТБ в год)
- 4. Примеры запроса “#nike” против“#adidas” “#nike & nba” против “#adidas & nba” “(спорт|турнир) & -футбол” “волки & косметичка”
- 5. MapReduce или какэто делают в Google MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, несколько петабайт, наборами данных в компьютерных кластерах. (Wikipedia)
- 6.
- 7. Фазы mapreduce map: mapper(line)-> (k1, v1) shuffle: сортировка по k1 reduce: reducer(k1, [v1, v2, v3])
- 8. Подсчет слов (“helloworld” из мира MR)
- 9.
- 10. Когда Джефф Динне может заснуть, он мап-редьюсит овечек
- 11. Экосистема Hadoop Google MapReduce-> Hadoop Mapreduce Google File System -> HDFS Google BigTable -> Hbase
- 12. Как использовать JSc Hadoop (hadoop streaming)
- 13. Подсчет слов наhadoop streaming
- 14. Тестируем локально cat data| ./mapper.js | sort -k1,1 | ./reducer.js
- 15. Boilerplate for Hadooptasks https://github.com/koorchik/node-hadoop- boilerplate
- 16. От “hello world”к реальной задаче Задача: сравнение упоминаемости групп ключевых слов. Вход: данные с твиттера Выход: график упоминаемости групп ключевых слов по дням Время обработки: до 10 секунд
- 17.
- 18. Режим работы 1) Записьи хранение данных на S3 2) Ежедневный пересчет (transient cluster) 3) Дополнительный кластер для hbase (хранит индексы и результаты вычислений). 4) Оплата только за используемые ресурсы
- 19.
- 20.
- 21. Проблемы Установка зависимостей накластер Склонения слов (стеминг, лематизация) Асинхронность маппера Стоп-слова Токенизация (ссылки, хеш-теги, юзернеймы) Компрессия индекса Вычисление пересечений в индексе Ранжирование документов Обработка словосочетаний
- 22. Создаем кластер наAWS EMR (демо) 1) Установка NodeJS на кластер 2) Работа с зависимостями
- 23.
- 24.
- 25. Ссылки Hadoop streaming utilsfor NodeJS https://www.npmjs.com/package/hadoop- streaming-utils Node Hadoop boilerplate https://github.com/koorchik/node-hadoop-boilerplate NodeJS Mystem3 - https://www.npmjs.com/package/mystem3 MapReduce: Simplified Data Processing on Large Clusters http://research. google.com/archive/mapreduce.html Amazon Elastic MapReduce http://aws.amazon.com/elasticmapreduce/
- 26.