HBase on Dev{Highload}

HBase в веб-проектах
Александр Чистяков
Главный инженер, Git in Sky
alex@gitinsky.com

2013

dev.it-portfolio.net

Докладчик
●

Третий раз в этом зале

●

Надеюсь, не последний

●

Немного разрабатывал на VB

●

Немного разрабатывал на PHP


2

Слушатели
●

Веб-разработчики?

●

DBA?

●

Инженеры по эксплуатации?

●

Архитекторы?


3

Суть проблемы
●

●

Иногда данных бывает много
Они перестают помещаться на одну
машину

●

Можно взять сервер побольше

●

Можно взять два сервера


4

Как взять два сервера?
●

Amazon Dynamo (~2007)

●

Google BigTable (~2006)

●

^ С них все началось

●

Riak, Cassandra, Voldemort, ...

●

MongoDB, MemBase (CouchBase), HBase, ...


5

Пресловутая CAP-теорема
●

Consistency

●

Availability

●

Partition tolerance

●

^ Выберите любые два

●

(Partition tolerance не выбрать нельзя)


6

CP или AP?
●

●

CP: strong consistency (гарантии)
AP: “eventually consistent DB will become
eventually inconsistent one day”


7

Анатомия NoSQL движка
●

Роутер запросов

●

“Автоматический” шардинг

●

Сторадж

●

^ MongoDB

●

MemBase – сторадж был сделан на базе
SQLite


8

Анатомия HBase
●

Java – язык

●

JVM - платформа

●

ZooKeeper – распределенный координатор

●

HDFS – распределенная файловая система

●

master node (SPOF)

●

regionserver nodes

9

Анатомия HBase
●

SSTable -> LSM-tree

●

^ отсортированная структура данных

●

На файловой системе - файлы

●

Ключ - значение

●

Можно делать range scan

●

Можно делать range scan по части ключа

10

Consistency
●

●

●

●

Настолько консистентна, насколько хорош
ваш fsync
Транзакции только в пределах строки
Полная денормализация (ни foreign keys,
ни даже вторичных индексов)
^ Можно взять group commit фреймворк,
разработанный третьей стороной

11

Кто использует HBase?
●

Facebook

●

Yahoo

●

StumbleUpon

●

Cezurity (http://vk.com/av)


12

Что является клиентом?
●

Мы работаем в web – скриптовые языки

●

Thrift-сервер (HBase-клиент на Java)

●

Через Thrift работают Python, Perl, etc...

●

Мне это не очень нравится, так как может
существенно нарушаться локальность
данных


13

Какова нагрузка?
●

●

●

~6.5 Tb данных
До 30Krps read/write 50/50 для 3-х region
servers
^ были приняты специальные меры


14

Какие бывают специальные меры?
●

●

●

dfs.block.local-path-access.user = user
^ Разрешить этому пользователю
локальный прямой доступ к HDFS-файлам
на той же ноде
dfs.client.read.shortcircuit = true –
разрешить локальному клиенту читать
файлы напрямую

15

Какие бывают специальные меры?
●

hbase.client.keyvalue.maxsize – увеличить
максимальный размер файла, чтобы
избежать частых сплитов региона

●

Включить сжатие при записи на диск

●

Закрепить таблицу в памяти

●

Включить отложенный fsync

●

Включить block cache для файлов

16

С чем столкнулись при эксплуатации
●

●

●

●

Как обычно в Java – garbage collector
Как обычно в MVCC – необходимость
чистить старые данные
Лучше делать pre-split регионов
Лучше чтобы replication factor был
соблюден (копий меньше, чем серверов)


17

С чем столкнулись при эксплуатации
●

●

●

●

Однажды пришлось делать crash recovery
вручную
В момент сплита один из region servers
упал
Данные никуда не пропали, просто
пришлось немного их переместить
Strong consistency!

18

Выводы
●

HBase – не самый плохой выбор

●

Вы должны знать граничные условия

●

●

При определенных граничных условиях
можно масштабироваться безгранично
^ Если победить закон Амдала


19

Спасибо за внимание!
●

Вопросы?

●

С вами был Саша Чистяков

●

●

●

Главный инженер, Git in Sky,
http://gitinsky.com
^ занимаемся тюнингом
Координатор, DevOps-40,
http://www.meetup.com/DevOps-40

20

HBase on Dev{Highload}

More Related Content

What's hot

Viewers also liked

Similar to HBase on Dev{Highload}

More from Alex Chistyakov

HBase on Dev{Highload}