Download as PDF, PPTX
![Фазы mapreduce
map: mapper(line) -> (k1, v1)
shuffle: сортировка по k1
reduce: reducer(k1, [v1, v2, v3])](https://image.slidesharecdn.com/mapreduceinjavascript-150606103438-lva1-app6891/85/Mapreduce-in-JavaScript-7-320.jpg)
Uploaded byViktor Turskyi
Mapreduce in JavaScript
Документ описывает использование распределенных вычислений на JavaScript для обработки больших объемов данных из Twitter, с примерами анализа упоминаемости ключевых слов. Он рассматривает модель MapReduce, поясняет ее работу и включает практические рекомендации по интеграции с Hadoop через Streaming. В документе также представлены потенциальные проблемы, связанные с асинхронностью и обработкой текстов.
Mapreduce in JavaScript
- 1. Распределенные вычисления на JavaScript! Viktor Turskyi CTOat WebbyLab Kyiv.js 2015
- 2. Бизнес задача Обработка большогомассива (миллиарды записей) данных с соц. сетей.
- 3. Примера анализа Расчет упоминаемостигрупп ключевых слов. Источник данных - Twitter Public Stream API Объем данных: +15ГБ ежедневно (5ТБ в год)
- 4. Примеры запроса “#nike” против“#adidas” “#nike & nba” против “#adidas & nba” “(спорт|турнир) & -футбол” “волки & косметичка”
- 5. MapReduce или какэто делают в Google MapReduce — модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, несколько петабайт, наборами данных в компьютерных кластерах. (Wikipedia)
- 6.
- 7. Фазы mapreduce map: mapper(line)-> (k1, v1) shuffle: сортировка по k1 reduce: reducer(k1, [v1, v2, v3])
- 8. Подсчет слов (“helloworld” из мира MR)
- 9.
- 10. Когда Джефф Динне может заснуть, он мап-редьюсит овечек
- 11. Экосистема Hadoop Google MapReduce-> Hadoop Mapreduce Google File System -> HDFS Google BigTable -> Hbase
- 12. Как использовать JSc Hadoop (hadoop streaming)
- 13. Подсчет слов наhadoop streaming
- 14. Тестируем локально cat data| ./mapper.js | sort -k1,1 | ./reducer.js
- 15. Boilerplate for Hadooptasks https://github.com/koorchik/node-hadoop- boilerplate
- 16. Создаем кластер наAWS EMR (демо) 1) Установка NodeJS на кластер 2) Работа с зависимостями
- 17. От “hello world”к реальной задаче Задача: сравнение упоминаемости групп ключевых слов. Вход: данные с твиттера Выход: график упоминаемости групп ключевых слов по дням Время обработки: до 10 секунд
- 18.
- 19.
- 20. Проблемы Асинхронность маппера Стоп-слова Склонения слов(стеминг, лематизация) Токенизация (ссылки, хеш-теги, юзернеймы) Компрессия индекса Вычисление пересечений в индексе Ранжирование документов Обработка словосочетаний
- 21.
- 22. Ссылки Hadoop streaming utilsfor NodeJS https://www.npmjs.com/package/hadoop- streaming-utils Node Hadoop boilerplate https://github.com/koorchik/node-hadoop-boilerplate NodeJS Mystem3 - https://www.npmjs.com/package/mystem3 MapReduce: Simplified Data Processing on Large Clusters http://research. google.com/archive/mapreduce.html Amazon Elastic MapReduce http://aws.amazon.com/elasticmapreduce/
- 23.