О.В.Сухорослов "MapReduce: инструменты и практические примеры"

09 MapReduce
Инструменты и практические примеры

О.В. Сухорослов

oleg.sukhoroslov@gmail.com

20.04.2012

О.В. Сухорослов () 09 MapReduce 20.04.2012 1 / 63

Объявления
Конкурс параллельного программирования Accelerate 2012 1

16 апреля - 16 мая
Результаты участия могут быть зачтены как дополнительные
баллы по курсу

Плановый downtime учебного кластера
25.04.2012, 19:00-20:00 MSK

1
http://software.intel.com/ru-ru/articles/contest-accelerate-2012-main/

План лекции

Инструменты для работы с Hadoop MapReduce
Задачи на графах и MapReduce
Ограничения MapReduce, другие модели


Инструменты для работы с Hadoop MapReduce


Apache Pig

http://pig.apache.org/


Apache Pig

Платформа для анализа больших объемов данных

Высокоуровневый язык Pig Latin для описания процедур анализа
и обработки данных

Среда выполнения программ на Pig Latin
Локальное выполнение внутри одной JVM
Компилятор из PigLatin в MapReduce-задания, выполняемые на
Hadoop


Цели
Процедуры обработки данных на практике
состоят из нескольких стадий
подразумевают несколько входов и выходов
сочетают стандартные (ﬁlter, join ...) и специально реализованные
операции

MapReduce
1 вход, 2 фиксированных шага, 1 выход
много ручного кодирования (соединение MR-стадий руками,
ухищрения для нескольких входов/выходов, реализация типовых
операций)
семантика скрыта внутри map/reduce функций
длительный цикл разработки программы (реализация,
компиляция, упаковка, запуск)

Требуется высокоуровневая модель программирования поверх
MapReduce с быстрым циклом разработки


Pig Latin
Процедурный стиль программирования
Последовательность действий

Встроенные операторы
SQL-подобные примитивы
FILTER, GROUP, JOIN, COGROUP, UNION ...
Аналог map
FOREACH ... GENERATE
Чтение и запись данных
LOAD, STORE

Расширение с помощью пользовательских функций
Java, Python, JavaScript


Модель данных

Выражения Pig Latin оперируют с мешками (bag)
Мешок является коллекцией кортежей
Кортеж (tuple) - упорядоченное множество полей (ﬁeld)
У поля есть имя и тип
Внутри поля хранятся данные


Word Count

1 data = LOAD ’ data ’ AS ( line : chararray );
2
3 words = FOREACH data GENERATE
4 FLATTEN ( TOKENIZE ( LOWER ( line ) ));
5 grouped = GROUP words BY $0 ;
6 counts = FOREACH grouped GENERATE group , COUNT ( words );
7 ordered = ORDER counts BY $1 DESC ;
8
9 STORE ordered INTO ’ counts ’;


Word Count (1)
1 $ pig -x local
2 grunt > data = LOAD ’ saltan . txt ’ AS ( line : chararray );
3 grunt > DUMP data ;

("Кабы я была царица,-)
(Говорит одна девица,-)
(То на весь крещеный мир)
(Приготовила б я пир".)
(- "Кабы я была царица,-)
(Говорит ее сестрица,-)
(То на весь бы мир одна)
(Наткала я полотна".)
(- "Кабы я была царица,-)
(Третья молвила сестрица,-)
(Я б для батюшки-царя)
(Родила богатыря".)

Word Count (2)

1 grunt > words = FOREACH data GENERATE
2 FLATTEN ( TOKENIZE ( LOWER ( line ) ));
3 grunt > DUMP words ;

(кабы)
(я)
(была)
(царица)
(-)
(говорит)
(одна)
(девица)
(-)
(то)
...


Word Count (2*)
1 grunt > words = FOREACH data GENERATE
2 TOKENIZE ( LOWER ( line ) );
3 grunt > DUMP words ;

({(кабы),(я),(была),(царица),(-)})
({(говорит),(одна),(девица),(-)})
({(то),(на),(весь),(крещеный),(мир)})
({(приготовила),(б),(я),(пир),(.)})
({(-),(кабы),(я),(была),(царица),(-)})
({(говорит),(ее),(сестрица),(-)})
({(то),(на),(весь),(бы),(мир),(одна)})
({(наткала),(я),(полотна),(.)})
({(-),(кабы),(я),(была),(царица),(-)})
({(третья),(молвила),(сестрица),(-)})
({(я),(б),(для),(батюшки-царя)})
({(родила),(богатыря),(.)})

Word Count (3)

1 grunt > grouped = GROUP words BY $0 ;
2 grunt > DUMP grouped ;

(-,{(-),(-),(-),(-),(-),(-),(-),(-)})
(.,{(.),(.),(.)})
(б,{(б),(б)})
(я,{(я),(я),(я),(я),(я),(я)})
(бы,{(бы)})
(ее,{(ее)})
(на,{(на),(на)})
(то,{(то),(то)})
(для,{(для)})
(мир,{(мир),(мир)})
...


Word Count (4)
1 grunt > DESCRIBE grouped ;
2 grouped : { group : chararray , words :
3 {( bag_of_tokenTuples :: token : chararray )}}
4 grunt > counts = FOREACH grouped GENERATE group , COUNT ( words )
5 grunt > DUMP counts ;

(-,8)
(.,3)
(б,2)
(я,6)
(бы,1)
(ее,1)
(на,2)
(то,2)
(для,1)
(мир,2)
...

Word Count (5)

1 grunt > ordered = ORDER counts BY $1 DESC ;
2 grunt > DUMP ordered ;

(-,8)
(я,6)
(.,3)
(кабы,3)
(царица,3)
(была,3)
(одна,2)
(б,2)
(на,2)
(то,2)
(мир,2)
...

Word Count (6)
1 grunt > STORE ordered INTO ’ counts ’;
2 grunt > quit
3 $ ls counts
4 part -r -00000 _SUCCESS
5 $ cat counts / part -r -00000

- 8
я 6
. 3
кабы 3
царица 3
была 3
одна 2
б 2
на 2
то 2
мир 2
... О.В. Сухорослов () 09 MapReduce 20.04.2012 17 / 63

Запуск на кластере

wiki-count.pig
1 data = LOAD ’ $input ’ AS ( title : chararray ,
2 content : chararray );
4 FLATTEN ( TOKENIZE ( LOWER ( content ) ));
5 grouped = GROUP words BY $0 ;
7 ordered = ORDER counts BY $1 DESC ;
8 STORE ordered INTO ’ $output ’;

1 $ pig - param input =/ data / wiki / en / articles
2 - param output = wiki - count - en
3 wiki - count . pig


Сколько MapReduce-заданий было запущено?


Компиляция и выполнение Pig-скрипта на Hadoop


MapReduce

1 // map
2 map_result = FOREACH input GENERATE FLATTEN ( Map ( input_record ));
3
4 // shuffle
5 key_groups = GROUP map_result BY $0 ;
6
7 // reduce
8 output = FOREACH key_groups GENERATE group , Reduce ( map_result );


MapReduce-задания для WordCount

... Choosing to move algebraic foreach to combiner
... MR plan size before optimization: 3
... MR plan size after optimization: 3

JobId Maps Reduces Alias Feature
job1 83 12 counts,data,grouped,words GROUP_BY,COMBINER
job2 6 1 ordered SAMPLER
job3 6 1 ordered ORDER_BY

Job DAG:
job1 -> job2,
job2 -> job3,
job3

1 grunt > EXPLAIN - script wiki - count . pig
2 - param input =/ data / wiki / en / articles
3 - param output = wiki - count - en


Количество REDUCE-задач?
Автоматический режим
Эвристика на основе объема входных данных (1Gb per reducer)

1 # reducers = MIN ( pig . exec . reducers . max ,
2 tota l_input_b ytes / pig . exec . reducers . bytes . per . reducer )

Ручной режим
Команда “set default parallel N”
Ключевое слово PARALLEL
Применяется с операторами GROUP, COGROUP, CROSS,
DISTINCT, JOIN, ORDER BY


Пример использования PARALLEL

1 data = LOAD ’ $input ’ AS ( title : chararray ,
2 content : chararray );
4 FLATTEN ( TOKENIZE ( LOWER ( content ) ));
5 grouped = GROUP words BY $0 PARALLEL 70;
7 ordered = ORDER counts BY $1 DESC PARALLEL 5;
8 STORE ordered INTO ’ $output ’;


Пример 2

Найти Top10 наиболее посещаемых сайтов в каждой категории


Схема реализации


Реализация
1 visits = LOAD ’/ data / visits ’ AS ( user : int ,
2 url : chararray ,
3 time : long );
4 gVisits = GROUP visits BY url ;
5 visitCounts = FOREACH gVisits GENERATE
6 group AS url ,
7 COUNT ( visits ) AS count ;
8
9 urlInfo = LOAD ’/ data / urlinfo ’ AS ( url : chararray ,
10 category : int ,
11 pRank : float );
12 visitCounts = JOIN visitCounts BY url , urlInfo BY url ;
13 visitCounts = FOREACH visitCounts GENERATE
14 visitCounts :: url ,
15 category , count , pRank ;
16
17 gCategories = GROUP visitCounts BY category ;
18 topUrls = FOREACH gCategories GENERATE TOP (10 ,3 , visitCounts )
19
20 STORE topUrls INTO ’/ data / topurls ’;

Компиляция в MapReduce


User Deﬁned Functions2

Позволяют реализовать произвольную логику обработки данных,
а также поддержку чтения/записи различных форматов

Поддерживаемые языки реализации UDF
Java
Наболее широкие возможности и максимальная эффективность
Python
Нет поддержки load/store
JavaScript
Experimental

2
http://pig.apache.org/docs/r0.9.2/udf.html

Более сложные примеры

Pig Tutorial3

Анализ логов поисковой системы
Определение популярных поисковых запросов по часам дня
Сравнение популярности поисковых запросов за два временных
периода

3
http://pig.apache.org/docs/r0.9.2/start.html#tutorial

Запуск Pig на учебном кластере

Установлен Pig 0.9.2

Интерактивная оболочка Grunt
1 $ pig -- help // Help
2 $ pig -x local // Local mode
3 $ pig // MapReduce mode ( - x mapreduce )

Скрипт-файл
1 $ pig -x local myscript . pig
2 $ pig myscript . pig
3
4 // Will replace ’ $pname ’ with ’ pvalue ’ in script
5 $ pig - param pname = pvalue myscript . pig


Pig и домашние задания

Pig нельзя использовать при решении ДЗ №3

Pig можно будет использовать при решении ДЗ №4


Другие инструменты

Hive4 , HiveQL
Cascading5 , PyCascading6
Cascalog7
Crunch8
Oozie9
Azkaban10
DataFu11
Apache Mahout12
4
http://hive.apache.org/
5
http://www.cascading.org/
6
https://github.com/twitter/pycascading
7
https://github.com/nathanmarz/cascalog
8
https://github.com/cloudera/crunch
9
http://rvs.github.com/oozie/index.html
10
http://sna-projects.com/azkaban/
11
http://sna-projects.com/datafu/
12
http://mahout.apache.org/

Apache Mahout
Масштабируемые реализации алгоритмов машинного обучения
Для Hadoop MapReduce и не только

Алгоритмы13
Classiﬁcation
Clustering
Pattern Mining
Recommenders / Collaborative Filtering
...

13
https://cwiki.apache.org/conﬂuence/display/MAHOUT/Algorithms

Задачи на графах и MapReduce


Классы задач

Поиск и планирование путей
Выделение компонент
Нахождение минимального остовного дерева
Паросочетания в двудольном графе
Максимальный поток в сети
Поиск “особых” вершин


Большие графы
Ссылочный граф Web
Миллиарды вершин

Социальные сети
Сотни миллионов вершин

Часто разреженные
Число ребер порядка числа вершин


Представления графа

Матрица смежности
Список смежных вершин
Эффективнее для разреженных графов


Поиск кратчайших путей из заданной вершины
(single-source shortest path problem)

Последовательный алгоритм


Пример


Параллельный алгоритм?


Параллельный алгоритм
Применение поиска в ширину для определения кратчайших путей
d(source) = 0
Для всех вершин n, достижимых из source: d(n) = 1
Для всех вершин n, достижимых из некоторого множества вершин
S: d(n) = 1 + minm∈S d(m)

Параллельный поиск в ширину
Каждая итерация может быть представлена в виде
MapReduce-задания

Рассмотрим сначала вариант графа с ребрами единичного веса


Итерация

Структура графа передается между map и reduce
Результат итерации используется в качестве входа следующей
итерации

Остановка
Продолжаем итерации до тех пор, пока не останется вершин с
d =∞
Делаем проверку в Reduce и записываем в счетчик

Сколько итераций потребуется?


Ребра с произвольными весами

В списках смежных вершин требуется дополнительно хранить веса
ребер w
В Map вместо d + 1 возвращается d + w

Условие остановки итераций?


Остановка

Остановить итерации следует тогда, когда расстояния перестанут
изменяться

Что если в графе есть ребра с отрицательным весом?


Сравнение с последовательным алгоритмом
Алгоритм Дейкстры
эффективнее в плане общего количества операций
использует глобальную структуру данных в памяти
плохо распараллеливается

Алгоритм на MapReduce
выполняет бОльшее количество операций
хорошо распараллеливается
хорошо масштабируется (для разреженных графов)


MapReduce-алгоритмы на графах

Структура графа представлена с помощью списков смежных
вершин
Помимо этого с каждой вершиной и ребром может быть связаны
некоторые данные
Map
вычисления над каждой вершиной в отдельности, с
использованием локальных данных и исходящих ребер
результаты вычислений оформляются в виде пар
(соседняя_вершина, значение)
Reduce:
аггрегация всех промежуточных значений, поступивших для
заданной вершины
Структура графа передается между map и reduce
Обычно итерационный процесс
Основная программа осуществляет запуск MR-итераций и
проверяет условие остановки

PageRank

Определение рейтинга страницы через количество ведущих на нее
ссылок и рейтинги ссылающихся страниц (Брин, 1998)


Модель случайного блуждания по Web-графу

Стартуем на случайной странице
С вероятностью α (около 0,15) переходим на случайную страницу
С вероятностью (1 − α) переходим по одной из ссылок на странице

PageRank
предельная вероятность оказаться на заданной странице
распределение вероятности по всем страницам


Вычисление PageRank

Рекурсивная формула

Итеративный алгоритм
Вычисляем новые значения PR по формуле, используя значения с
предыдущей итерации
Достаточно быстро сходится
Для графа с 322M ребер потребовалось 52 итерации


Пример


Упрощающие предположения

α = 0 - исключим случайные телепортации
В графе отсутствуют вершины без исходящих ребер


Итерация на MapReduce


Вершины без исходящих ребер
Проблема
Нарушается постоянство суммарного значения PageRank
Решение
Равномерное распределение “пропавшей” массы PageRank между
всеми вершинами графа
Реализация на MapReduce
Подсчет “пропавшего” PageRank
Счетчик
Промежуточные значения со специальным ключом
Запись промежуточной суммы каждой map-задачи в сторонний
файл
Распределение “пропавшего” PageRank между всеми вершинами
Дополнительное MapReduce-задание
Внутри map вычисляем окончательное значение PageRank с
учетом дополнительной массы m и фактора α:


Остановка

Значения PR стабилизировались
Фиксированное число итераций
Ранжирование страниц стабилизировалось


Оптимизация MapReduce-алгоритмов на графах14

Использование in-mapper combining

Повышение эффективности локальной аггрегации путем
предварительного разбиения графа на компоненты с сильной
внутренней связностью
Сортировка пользователей социальной сети по местоположению
Сортировка страниц по доменным именам

Отказ от передачи по сети (shuﬄe) структуры графа
Передаем только “сообщения” между вершинами графа
Reducer загружает соотв. часть графа из файла в HDFS

14
http://www.umiacs.umd.edu/ jimmylin/publications/Lin_Schatz_MLG2010.pdf

Другой подход?


Ограничения MapReduce и альтернативные модели


Ограничения MapReduce
Глобальная синхронизация только между map и reduce
Задачи, требующие наличия общего глобального состояния во
время вычислений

Синхронизация между заданиями через чтение/запись в ФС
Итеративные алгоритмы

Batch-обработка больших порций данных
Online-обработка данных в потоковом режиме
Инкрементальное добавление небольших порций
Real-time запросы


Предлагаемые расширения и надстройки

Map-Reduce-Merge
SQL engine on top of MapReduce
Tenzing (Google, 2011)

Parallel Collections
FlumeJava (Google, 2010)

Iterative
HaLoop
Twister

Hadoop Online
Online aggregation
Stream processing

Spark
Iterative algorithms
Interactive data mining

Другие модели и архитектуры
Dataﬂow
Dryad/DryadLINQ (Microsoft), Nephele/PACT, SCOPE

Real-Time / Stream Processing
S4 (Yahoo!), Cloudscale (C++, MPI), Storm (Twitter)

Graph Processing
Pregel (Google, 2009), Giraph, Golden Orb
GraphLab

Partitioned In-memory Table
Piccolo

Incremental Processing
Percolator (Google, 2010)

Interactive Analysis, ad hoc queries
Dremel (Google, 2010)

О.В.Сухорослов "MapReduce: инструменты и практические примеры"

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to О.В.Сухорослов "MapReduce: инструменты и практические примеры"

Similar to О.В.Сухорослов "MapReduce: инструменты и практические примеры" (20)

More from Yandex

More from Yandex (20)

О.В.Сухорослов "MapReduce: инструменты и практические примеры"