Apache Hadoop

Apache Hadoop Презентацию подготовил Иван Блинков

История развития проектов Apache Software Foundation Tomcat

Hadoop - это...

платформа для построения распределенных приложений, реализованная на Java.

Основные ее положительные стороны:

масштабируемость;

экономичность;

эффективность;

надежность;

кроссплатформенность.

Компоненты Hadoop

MapReduce Framework

HBase

HDFS

HDFS = Hadoop Distributed File System

Она разрабатывалась с учетом:

потенциальных сбоев в оборудовании;

работоспособности на обычном оборудовании;

предоставления высокоскоростного потокового доступа к данным;

предстоящей работы с большими файлами;

простой модели работы с данными: write once, read many;

того, что переместить вычисления проще, чем переместить данные.

Архитектура HDFS Блоки данных Datanodes (узлы данных ) Datanodes (узлы данных ) Rack 1 (группа узлов) Rack 2 (группа узлов) Репликация Чтение Операции с метаданными Операции с блоками Запись Namenode (узел имен) Клиент Метаданные (имя, копии, ...): /home/foo/bar, 3, ... Клиент

HBase представляет собой...

систему структурированного хранения данных на базе HDFS. Основные ее особенности:

данные хранятся в виде обычных таблиц;

физически данные расположены по столбцам;

несколько записей могут одновременно находиться в одной ячейке таблицы;

незаполненные ячейки таблиц отсутствуют;

специальный язык запросов HQL.

предоставляются API: Java, Jython, REST, Thrift.

HBase не является...

традиционной SQL базой данных:

никаких операций JOIN;

никаких транзакций;

никаких типов данных;

никакого интерпретирования данных;

о SQL/ODBC/JDBC можно смело забыть.

Она даже не позиционируется как полноценная замена реляционным СУБД.

Традиционные СУБД столбцы строки

HBase столбцы строки

HBase строки столбцы время

Традиционные СУБД значения не указаны NULL NULL

HBase значения не указаны

Логически Физически HRegion (Tablet)

HRegion HRegion ограничение по объему

HRegion HRegion

Архитектура HBase HRegion Server HRegion Server HRegion HRegion HRegion Server HRegion Server HRegion HRegion Операции с данными: чтение и запись Определение местанахождения данных - перераспределение данных - восстановление в случае сбоев - работа с метаданными HMaster Server HStore HMemcache HStore HMemcache HStore HMemcache Клиент HLog HStore HMemcache HLog

MapReduce Framework

MapReduce представляет собой модель проведения распределенных вычислений.

Hadoop предоставляет набор средств для выполнения вычислений в соответствии с данной моделью.

Она состоит из двух основных этапов:

map(k,v) -> <k',v'>

reduce(k',<v'>) -> <k',v''>

Помимо этого возможны и дополнительные этапы: compare(), partition() и так далее.

Входные данные Часть 1 Часть 2 . . . . . . . . . . . . Часть N map() map() map() map() reduce() reduce() reduce() reduce() reduce() map() Часть 1 Результат 1 Результат 2 . . . . . . . . . . . . Результат N Результат вычисления

При необходимости: перераспределение и сортировка Входные данные Часть 1 Часть 2 . . . . . . . . . . . . Часть N map() map() map() map() reduce() reduce() reduce() reduce() reduce() map() Часть 1 Результат 1 Результат 2 . . . . . . . . . . . . Результат N Результат вычисления Произвольные системы хранения данных, чаще всего: HDFS или HBase Алгоритмы распределения данных можно задать вручную. По-умолчанию используется просто разбиение на части фиксированного объема.

С точки зрения разработчика

Для построения MapReduce приложения достаточно лишь разработать несколько функций:

Input reader — чтение входных данных;

Map — реализация преобразования данных в пары ключ/значение;

Partition — распределение промежуточных значений по reduce заданиям;

Compare — используется для сравнения и сортировки промежуточных значений;

Reduce — аггрегация промежуточных пар ключ/значение;

Output writer — запись результата.

Подведем черту

Использование данной платформы позволяет:

избежать изобретения массы «велосипедов»;

сосредоточиться на реализации самого приложения, а не низлежащей системы;

распределить вычисления и данные на большом количестве машин при минимуме затрат;

сэкономить на дорогостоящем оборудовании;

не привязываться к провайдеру аналогичных сервисов: Google App Engine, Amazon EC2+S3+SimpleDB или Sun Grid Engine.

Ложка дегтя

Но ситуация на самом деле не настолько радужна:

в системе присутствует несколько уязвимых мест - «single points of failure», но это исправимо сторонними средствами, в частности HeartBeat+DRBD ;

последняя версия проекта — 0.17.0, проект еще далек от полноценного стабильного релиза, но разработка ведется очень активно и система уже успела успешно показать себя на практике;