1. Общая информация - Что именно нужно бэкапить? - Типы бэкапов. Плюсы и минусы. - Периодичность создания. - Выбор хранилища. 2. Бэкапы БД и файлов - Обзор инструментов. - Источники данных для бэкапов. - Неочевидные особенности создания/восстановления. 3. Проблемы организации резервного копирования - Актуальность данных. - Скорость восстановления. - Надежность создания резервных копий. 4. Верификация бэкапов - Тестовый стенд. - Мониторинг процесса. - Ручные проверки.

1. Организация надежного
резервного копирования
веб-проекта
Антон Баранов

2. Кто я?
Антон Баранов
начальник отдела по работе с
клиентами в компании ITSumma
В прошлом - системный администратор Linux.
Более 7 лет опыта работы с Linux-системами и
web-проектами различной сложности.
Последние два года тружусь над обеспечением
стабильной работы highload-проектов для
посетителей со всего мира.

3. О нашей компании:
Работаем с 2008 года.
Офисы в Иркутске, Санкт-Петербурге
и Москве.
150+ клиентов на круглосуточной
поддержке.
90ТБ резервных копий.
5 оповещений о «сломавшихся»
бэкапах в сутки.

4. Мы поддерживаем:

5. Содержание доклада:
•Что бэкапить?
•Когда?
•Чем?
•Откуда?
•Как проверить бэкапы?

6. Внимание!
Говорим про LA(N)MP

7. Бэкап ломается раз в 29 дней

8. 0 10 20 30 40 50
Люди делают бэкапы один раз в …
День 8%
Неделю 9%
Месяц 19%
Год 39%
Никогда 25%
* по статистике BackBlaze за 2015-й год

9. Общая информация
•Что именно нужно бэкапить?
•Типы бэкапов. Плюсы и минусы.
•Периодичность создания.
•Выбор хранилища.

10. Что бэкапим?
•Файлы сайтов
•Базы данных
•Конфигурационные файлы
•Список установленного ПО
•Директории с самосборными сервисами

11. Типы бэкапов
•Полный
•Инкрементальный

12. Полные бэкапы
Плюсы:
• Самодостаточен
• Прост в восстановлении
• Легко проверить

13. Полные бэкапы
Минусы:
• Большой объем
• Длительное время создания
• Большая нагрузка по сравнению с
инкрементальным бэкапом

14. Инкрементальные бэкапы
Плюсы:
• Меньше нагрузка на систему
• Для передачи нужно меньше трафика
• Занимают меньше места

15. Инкрементальные бэкапы
Минусы:
• Сложно проверить валидность
• Сложно восстанавливать

16. Периодичность создания
Один раз в сутки ночью

17. Периодичность создания
Основные факторы:
• Важность данных
• Объем

18. Периодичность создания
• Важные данные бэкапим чаще
• Объемные - реже

19. Период хранения
• Минимально - 1 неделя
• Идеально - бесконечно

20. Выбор хранилища
Не нужно хранить все яйца в одной корзине

21. Выбор хранилища
Плохое внешнее хранилище:
• ftp от хостера в этом же ДЦ
• сервер в офисе
• Dropbox/Яндекс.Диск

22. Выбор хранилища
Хорошее внешнее хранилище:
• выделенный сервер с объемными дисками
• Amazon S3 или аналоги (может быть низкая
скорость аплоада)

23. Выбор хранилища
Идеальный вариант:
• Локальное: отдельный диск
• Внешнее: сервер в другом ДЦ

24. Создание бэкапов
• Источники данных для бэкапа
• Файлы
• БД
• Конфигурационные файлы
• Особенности создания/восстановления

25. Источники данных
• production-сервер
• резерв

26. Бэкапы с production
• аффектят производительность ресурса
• проблемы с местом на дисках
• можно создавать только в определенное
время

27. Бэкапы с резерва
Плюсы:
• не аффектят работу ресурса
• нет ограничений по времени и способам
создания

28. Бэкапы с резерва
Минусы:
• нужно поддерживать резерв в актуальном
состоянии

29. Синхронизация на резерв
• Файлы: lsyncd (без delete)
• БД: штатные средства репликации
(реплика не является бэкапом)

30. Бэкапы файлов
• Небольшой объем и количество файлов -
архивация и копирование
• Большой объем данных - rsync на бэкапный
сервер
(без delete, либо в /backup/YY-MM-DD)

31. Бэкапы файлов
• Данных много, места мало: стриминг
tar czhf - /home/bitrix/www/ --
exclude=bitrix/managed_cache --
exclude=bitrix/stack_cache --
exclude=bitrix/cache | ssh $SSH "cat ->
${RPATH}/${FN}" ; »$LOG 2>&1 ||
die_if_tar_failed files_tar

32. Бэкапы файлов
Не нужно бэкапить:
• кэши
• внутренние бэкапы CMS
• логи приложения

33. Бэкапы БД
Инструменты:
• Mysqldump
• Percona xtrabackup
• pg_dump

34. Бэкапы БД
Трюки:
• отложенная репликация
pt-slave-delay или CHANGE MASTER TO
MASTER_DELAY
• репликация и резервирование бинлогов

35. Бэкапы конфигов
• Настройки, кроны, список установленных
пакетов, иногда - самосборное ПО
• Git в /etc + autocommit
• Системы управления конфигурациями

36. Неочевидные особенности бэкапов
• Процесс бэкапа БД не запускается
• Бэкапим не ту БД
• Бэкап с неактуального резерва
• Период бэкапа БД не выверен
• Процедура восстановления БД не отлажена

37. Неочевидные особенности бэкапов
• Восстанавливаем не той версией xtrabackup
• Нет места для распаковки
• ETA восстановления внезапно велико
• Апдейт ПО на сервере привел к
неработоспособности бэкапов

38. Неочевидные особенности бэкапов
• Архив битый
• Бэкап без статики
• Архив с картинками сжимается
• Бэкапы на том же сервере
• Конфиги сервера не бэкапятся

39. Верификация бэкапов
• Тестовый стенд
• Мониторинг процесса
• Ручные проверки

40. Верификация бэкапов
Непроверенный бэкап - не бэкап

41. Тестовый стенд
• Пять виртуалок для проверки MySQL: 5.1,
5.5, 5.6, 5.7, MariaDB 10
• Скрипты для распаковки, apply-log
• Возможность создать виртуалку для
проверки всех бэкапов проекта (БД, файлы,
конфиги)

42. Мониторинг процесса
• Сервер во время создания (место на диске,
нагрузка, доступность проекта)
• Вывод логов бэкапных скриптов
(innobackupex: completed OK!)
• Размер созданных бэкапов

43. Мониторинг процесса
• Изменение размера заливаемых бэкапов
• Дату последнего бэкапа

44. Ручные проверки
• Возможность распаковки бэкапа
• Проверка времени распаковки
• Проверка содержимого бэкапа

45. Ручные проверки
На стенде:
• Восстанавливаем БД
• Распаковываем файлы сайта
• Восстанавливаем конфиги
• Проверяем сайт в браузере

46. Надежный бэкап
• Содержит все необходимое для восстановления
с нуля
• Известны сроки восстановления и они
приемлемы
• Бэкап актуален
• Бэкап проверен
• Создается

47. Антон Баранов
https://www.facebook.com/anton.s.baranov
abaranov@itsumma.ru
https://anton-baranov.me

48. http://www.itsumma.ru/blog/1/
https://www.percona.com/blog/2012/01/18/b
acking-up-binary-log-files-with-mysqlbinlog/
https://www.itsumma.ru/blog/5/