IT_Share. Highload 2.0

1. Online backup: технологии
хранения больших объемов
данных
Белешев Роман
IASO Backup

2. О компании
Online backup сервис (SaaS)
Сотни тысяч пользователей
Петабайты данных
Партнеры по всему миру
Десятки брендов
И ни одной СУБД

3. Online backup:
определяющие особенности
Данные хранятся на сервере
Необходимо малое бэкапное окно
Простое копирование файлов – не вариант

4. Направления борьбы с Big data
Клиент как источник всех бед
Сервер: и куда все это девать
Что делать, когда сервера начинает не хватать

5. Источники big data на клиенте
Много (мелких) объектов
Структура файлов
История изменений
Порядок – десятки
миллионов
Большие объекты
Базы данных
Порядок - терабайты

6. Де-дупликация: принцип
Мотивация: данные устроены
«неплохо»
Файлы нарезаются на блоки
Блоки идентифицируются
хэшами

7. Де-дупликация в действии
«Блочный» состав файла фиксируется
При бэкапе контент файла сравнивается поблочно
На сервер отправляются только новые блоки
1
2
3
4
5
6
7
8
1
1
9
3
4
5
6
7
10
2
1
9
3
11
5
6
7
10
12
3

8. Backup register
Хранилище для:
Структуры файлов
Версий файлов
Состава файлов из
блоков

9. Backup register: выбор технологии
БД на сервере?
Встроенная БД на
клиенте?
А так ли надо SQL?
Данные отдельно –
индексы отдельно
Модификация: вперед и
только вперед
Дельта – заливка

10. Как хранить контент на сервере
Как БЛОБы в БД?
Как файлы в файловой системе?
Объекты должны быть среднего размера
Не класть «яйца» в одну корзину

11. Кабинеты
Кабинет – это набор
блоков
Блоки сгруппированы
оптимально
Кабинет формируется
на клиенте
Кабинет атомарно
отправляется на
сервер

12. Организация сервера
Вычислительная
нагрузка минимальна
«Интеллектуальность»
сервера минимальна
Промышленный сетевой
протокол
Большой быстрый диск
с быстрой сетевой
картой

13. «Безоблачная» юность и проблемы
дальнейшего роста
Много независимых
серверов
Проблемы с
расширяемостью и
надежностью
Отсутствие общей
картины
Неудобство управления

14. Требования к облаку
Бэкапы должны идти всегда
Прозрачное масштабирование
Централизованное управление и мониторинг

15. Поиск «облачного» решения
Использовать готовый сервис
Использовать готовое ПО
Создать своё (узкоспециализированное) облако
Поделиться знанием с клиентом

16. Устройство облака
Много независимых узлов
хранения
Один управляющий узел
Клиент взаимодействует с
управляющим узлом и
«своими» узлами
хранения
Клиент «помнит» где
лежат данные

17. Управляющий узел
Собственный управляющий процесс
Управление узлами хранения
Мониторинг клиентских агентов
Отсутствие СУБД

18. Изобретайте велосипеды
Они лучше решают конкретную задачу
Они удерживают систему от «расползания»
Иногда более дешевы (в перспективе)
В конце концов, это интересно

19. Спасибо за внимание
С удовольствием отвечу на
ваши вопросы
+375 29 502 30 32, roman@iaso.com