Распределенные вычисления на JavaScript!

1. Распределенные
вычисления на
JavaScript!
Viktor Turskyi
CTO at WebbyLab
Kyiv.js 2015

2. Бизнес задача
Обработка большого массива (миллиарды
записей) данных с соц. сетей.

3. Примера анализа
Расчет упоминаемости групп ключевых
слов.
Источник данных - Twitter Public Stream API
Объем данных: +15ГБ ежедневно (5ТБ в
год)

4. Примеры запроса
“#nike” против “#adidas”
“#nike & nba” против “#adidas & nba”
“(спорт|турнир) & -футбол”
“волки & косметичка”

5. MapReduce или как это делают в
Google
MapReduce — модель распределённых
вычислений, представленная компанией
Google, используемая для параллельных
вычислений над очень большими, несколько
петабайт, наборами данных в компьютерных
кластерах. (Wikipedia)

6. Как работает MapReduce?

7. Фазы mapreduce
map: mapper(line) -> (k1, v1)
shuffle: сортировка по k1
reduce: reducer(k1, [v1, v2, v3])

8. Подсчет слов (“hello world” из мира MR)

9. Подсчет слов

10. Когда Джефф Дин не может заснуть,
он мап-редьюсит овечек

11. Экосистема Hadoop
Google MapReduce -> Hadoop Mapreduce
Google File System -> HDFS
Google BigTable -> Hbase

12. Как использовать JS c Hadoop
(hadoop streaming)

13. Подсчет слов на hadoop streaming

14. Тестируем локально
cat data | ./mapper.js | sort -k1,1 | ./reducer.js

15. Boilerplate for Hadoop tasks
https://github.com/koorchik/node-hadoop-
boilerplate

16. Создаем кластер на AWS EMR
(демо)
1) Установка NodeJS на кластер
2) Работа с зависимостями

17. От “hello world” к реальной задаче
Задача: сравнение упоминаемости групп
ключевых слов.
Вход: данные с твиттера
Выход: график упоминаемости групп
ключевых слов по дням
Время обработки: до 10 секунд

18. Инвертированный индекс

19. Построение инвертированного
индекса

20. Проблемы
Асинхронность маппера
Стоп-слова
Склонения слов (стеминг, лематизация)
Токенизация (ссылки, хеш-теги, юзернеймы)
Компрессия индекса
Вычисление пересечений в индексе
Ранжирование документов
Обработка словосочетаний

21. Живая демонстрация

22. Ссылки
Hadoop streaming utils for NodeJS https://www.npmjs.com/package/hadoop-
streaming-utils
Node Hadoop boilerplate https://github.com/koorchik/node-hadoop-boilerplate
NodeJS Mystem3 - https://www.npmjs.com/package/mystem3
MapReduce: Simplified Data Processing on Large Clusters http://research.
google.com/archive/mapreduce.html
Amazon Elastic MapReduce http://aws.amazon.com/elasticmapreduce/

23. Viktor Turskyi
viktor@webbylab.com
https://twitter.com/koorchik
https://github.com/koorchik
WebbyLab
http://webbylab.com