Downloaded 10 times
Uploaded byOntico
Организация надежного резервного копирования веб-проекта. Практика и подводные камни / Антон Баранов (ITSumma)
Документ описывает важность и методы резервного копирования веб-проектов, включая выбор хранилищ и типы бэкапов, такие как полные и инкрементальные. Уделяется внимание периодичности создания бэкапов, а также верификации их корректности и актуальности. Также представлены практические рекомендации по реализации процесса бэкапа и проверки его надежности.
More Related Content
Similar to Организация надежного резервного копирования веб-проекта. Практика и подводные камни / Антон Баранов (ITSumma)
Организация надежного резервного копирования веб-проекта. Практика и подводные камни / Антон Баранов (ITSumma)
- 1.
- 2. Кто я? Антон Баранов начальникотдела по работе с клиентами в компании ITSumma В прошлом - системный администратор Linux. Более 7 лет опыта работы с Linux-системами и web-проектами различной сложности. Последние два года тружусь над обеспечением стабильной работы highload-проектов для посетителей со всего мира.
- 3. О нашей компании: Работаемс 2008 года. Офисы в Иркутске, Санкт-Петербурге и Москве. 150+ клиентов на круглосуточной поддержке. 90ТБ резервных копий. 5 оповещений о «сломавшихся» бэкапах в сутки.
- 4.
- 5. Содержание доклада: •Что бэкапить? •Когда? •Чем? •Откуда? •Какпроверить бэкапы?
- 6.
- 7. Бэкап ломается разв 29 дней
- 8. 0 10 2030 40 50 Люди делают бэкапы один раз в … День 8% Неделю 9% Месяц 19% Год 39% Никогда 25% * по статистике BackBlaze за 2015-й год
- 9. Общая информация •Что именнонужно бэкапить? •Типы бэкапов. Плюсы и минусы. •Периодичность создания. •Выбор хранилища.
- 10. Что бэкапим? •Файлы сайтов •Базыданных •Конфигурационные файлы •Список установленного ПО •Директории с самосборными сервисами
- 11.
- 12. Полные бэкапы Плюсы: • Самодостаточен •Прост в восстановлении • Легко проверить
- 13. Полные бэкапы Минусы: • Большойобъем • Длительное время создания • Большая нагрузка по сравнению с инкрементальным бэкапом
- 14. Инкрементальные бэкапы Плюсы: • Меньшенагрузка на систему • Для передачи нужно меньше трафика • Занимают меньше места
- 15. Инкрементальные бэкапы Минусы: • Сложнопроверить валидность • Сложно восстанавливать
- 16. Периодичность создания Один разв сутки ночью
- 17. Периодичность создания Основные факторы: •Важность данных • Объем
- 18. Периодичность создания • Важныеданные бэкапим чаще • Объемные - реже
- 19. Период хранения • Минимально- 1 неделя • Идеально - бесконечно
- 20. Выбор хранилища Не нужнохранить все яйца в одной корзине
- 21. Выбор хранилища Плохое внешнеехранилище: • ftp от хостера в этом же ДЦ • сервер в офисе • Dropbox/Яндекс.Диск
- 22. Выбор хранилища Хорошее внешнеехранилище: • выделенный сервер с объемными дисками • Amazon S3 или аналоги (может быть низкая скорость аплоада)
- 23. Выбор хранилища Идеальный вариант: •Локальное: отдельный диск • Внешнее: сервер в другом ДЦ
- 24. Создание бэкапов • Источникиданных для бэкапа • Файлы • БД • Конфигурационные файлы • Особенности создания/восстановления
- 25.
- 26. Бэкапы с production •аффектят производительность ресурса • проблемы с местом на дисках • можно создавать только в определенное время
- 27. Бэкапы с резерва Плюсы: •не аффектят работу ресурса • нет ограничений по времени и способам создания
- 28. Бэкапы с резерва Минусы: •нужно поддерживать резерв в актуальном состоянии
- 29. Синхронизация на резерв •Файлы: lsyncd (без delete) • БД: штатные средства репликации (реплика не является бэкапом)
- 30. Бэкапы файлов • Небольшойобъем и количество файлов - архивация и копирование • Большой объем данных - rsync на бэкапный сервер (без delete, либо в /backup/YY-MM-DD)
- 31. Бэкапы файлов • Данныхмного, места мало: стриминг tar czhf - /home/bitrix/www/ -- exclude=bitrix/managed_cache -- exclude=bitrix/stack_cache -- exclude=bitrix/cache | ssh $SSH "cat -> ${RPATH}/${FN}" ; »$LOG 2>&1 || die_if_tar_failed files_tar
- 32. Бэкапы файлов Не нужнобэкапить: • кэши • внутренние бэкапы CMS • логи приложения
- 33. Бэкапы БД Инструменты: • Mysqldump •Percona xtrabackup • pg_dump
- 34. Бэкапы БД Трюки: • отложеннаярепликация pt-slave-delay или CHANGE MASTER TO MASTER_DELAY • репликация и резервирование бинлогов
- 35. Бэкапы конфигов • Настройки,кроны, список установленных пакетов, иногда - самосборное ПО • Git в /etc + autocommit • Системы управления конфигурациями
- 36. Неочевидные особенности бэкапов •Процесс бэкапа БД не запускается • Бэкапим не ту БД • Бэкап с неактуального резерва • Период бэкапа БД не выверен • Процедура восстановления БД не отлажена
- 37. Неочевидные особенности бэкапов •Восстанавливаем не той версией xtrabackup • Нет места для распаковки • ETA восстановления внезапно велико • Апдейт ПО на сервере привел к неработоспособности бэкапов
- 38. Неочевидные особенности бэкапов •Архив битый • Бэкап без статики • Архив с картинками сжимается • Бэкапы на том же сервере • Конфиги сервера не бэкапятся
- 39. Верификация бэкапов • Тестовыйстенд • Мониторинг процесса • Ручные проверки
- 40. Верификация бэкапов Непроверенный бэкап- не бэкап
- 41. Тестовый стенд • Пятьвиртуалок для проверки MySQL: 5.1, 5.5, 5.6, 5.7, MariaDB 10 • Скрипты для распаковки, apply-log • Возможность создать виртуалку для проверки всех бэкапов проекта (БД, файлы, конфиги)
- 42. Мониторинг процесса • Серверво время создания (место на диске, нагрузка, доступность проекта) • Вывод логов бэкапных скриптов (innobackupex: completed OK!) • Размер созданных бэкапов
- 43. Мониторинг процесса • Изменениеразмера заливаемых бэкапов • Дату последнего бэкапа
- 44. Ручные проверки • Возможностьраспаковки бэкапа • Проверка времени распаковки • Проверка содержимого бэкапа
- 45. Ручные проверки На стенде: •Восстанавливаем БД • Распаковываем файлы сайта • Восстанавливаем конфиги • Проверяем сайт в браузере
- 46. Надежный бэкап • Содержитвсе необходимое для восстановления с нуля • Известны сроки восстановления и они приемлемы • Бэкап актуален • Бэкап проверен • Создается
- 47.
- 48.