В условиях постоянного роста объёма данных нам нужно расширять хранилище на всё большее количество машин и дата-центров. А чем больше у нас железа, тем чаще что-нибудь ломается, и это приводит к всё более неожиданным проблемам. Я расскажу об архитектуре бесконечно расширяемого хранилища для пользовательского контента сервисов Яндекса. Вы узнаете, почему мы отказались от DHT, как используем Elliptics и что такое Mastermind.

2. Архитектура
бесконечного хранилища
для пользовательского
контента
Артём Соколов
Я.Субботник в Минске, 30.08.2014

3. Немного цифр
- 4 Петабайта данных
- 10 миллиардов ключей
- 150 серверов
- 4500 дисков
- 5000 запросов в секунду
3

4. Elliptics
- key-value сторадж
- Междатацентровая репликация из коробки
- Динамическое определение машин в кластере
- Реплика — DHT
4

5. Elliptics
- key-value сторадж
- Междатацентровая репликация из коробки
- Динамическое определение машин в кластере
- Реплика — DHT
5

6. Когда DHT это хорошо
Подходит если нет роста объема данных
И имеет всякие плюшки
- key-value
- Естественная балансировка нагрузки
- Автоматическое адаптирование к изменению структуры кластера
6

7. Проблемы DHT
Тяжелая процедура масштабирования кластера
- грузим сеть и диски
- нельзя масштабировать больше одной реплики за раз
Все данные хранятся в одной куче
- трудно реализовать разные политики реплицируемости для разных
типов данных
- трудно разделить данные по ДЦ
- трудно реализовать процедуру архивироания данных
В условиях постоянного роста объема данных скорость заливки данных
может сравниться со скоростью добавления машин в кластер.
7

8. Что, если не DHT?
8
1
2
3

9. Mediastorage
9
123 4
5
6

10. Mediastorage
10
123
4
5
6
7

11. Mediastorage
11
123
4
5
6
7

12. Mastermind
- Знает обо всех группах в кластере
- Хранит информацию о каплах и неймспейсах
- Собирает статистику по кластеру
- Облегчает управление кластером
12

13. Mastermind для администратора
- Добавление новой группы
- Восстановление реплики
- Перенос группы на другую машину
- Объединение групп в каплы и настройка капла
- Объединение каплов в неймспейсы и настройка неймспейса
13

14. Mastermind для клиента
- Балансировка нагрузки
- Предоставление информации о структуре кластера
14

15. Mastermind
- Cocaine Worker
- Minion
- Console utility
- Flowmastermind
- libmastermind
15

16. Уходим от проблем DHT
- Легко масштабировать
- Гибкие настройки хранилища для каждого пользователя в отдельности
- Легко распределять данные по множеству ДЦ
16

17. Новые проблемы
- Пользователь должен запомнить, в какой капл записаны данные
- Большой кластер требует особого подхода
17

18. Над чем работаем прямо сейчас
- Кеширующие каплы
- Региональная программа
- Автоматическое обслуживание кластера
18

19. Спасибо за внимание!
https://github.com/reverbrain/elliptics
https://github.com/nobodyisme/mastermind
https://github.com/nobodyisme/mastermind-minion
https://github.com/nobodyisme/flowmastermind
https://github.com/yandex/libmastermind
https://github.com/yandex/mediastorage-proxy
derikon@yandex-team.ru
19