Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
DevOps-40
Бэкапы:
Спать или не спать?
27.09.2013, DevOps meetup, СПб
DevOps-40
Я:
● Волком бы выгрыз бюрократизм
● Но, на самом деле, я – сова
● Гибрид совы и жаворонка, точнее:
● Пораньше за...
DevOps-40
Вы:
● У кого нет макбука – не DevOps
● Кто не использует Time Machine –
тот BASE-jumper
● ^ и сейчас выпрыгнет в...
DevOps-40
Начнем с макбуков
● Консистентные ли у вас бэкапы?
● А что такое “консистентность”?
● Ладно, валидные ли они?
● ...
DevOps-40
“Валидно” звучит солидно!
● Вам приходилось восстанавливать
систему целиком?
● И она работала после этого?
● В х...
DevOps-40
“Хорошо” по науке
● Сделать снэпшот диска
● Снэпшот – мгновенный снимок
состояния
● Переписать его в другое место
DevOps-40
Насколько “хорошо”?
● Эквивалентно пропаданию
питания
● У вас пропадало питание?
● Ломалось ли что-нибудь потом?...
DevOps-40
“Хорошо” по Apple
● Снэпшотов нет
● Файл изменился – перебэкапим
● А если он меняется постоянно?
● /0 (ASCII-fac...
DevOps-40
У меня нет макбука
● Обычно есть сервера
● И ноутбук
● Начнем с серверов
● Когда-то сервера были
маленькими (дав...
DevOps-40
Давным-давно
● Люди жили в пещерах
● И бэкапили на ленты
● С тех пор нам осталась Bacula
● Я пробовал Bacula, он...
DevOps-40
В наши дни
● Базовый/инкрементальные бэкапы
● Поддержка сжатия
● Поддержка дедупликации блоков
● Поддержка шифро...
DevOps-40
Легенда
● Зеленый – да, отлично
● Синий – “нет, и не надо” или “да, ну
и пусть”
● Красный – “вы там все что,
офи...
DevOps-40
BackupPC
● Базовый/инкрементальные бэкапы
● Поддержка сжатия
● Поддержка дедупликации блоков
● Поддержка шифрова...
DevOps-40
BackupPC
● Веб-интерфейс
● rsync, SMB
● Нужен выделенный сервер
● Дико грузит сервер
● В моменты ухода за хранил...
DevOps-40
duplicity
● Базовый/инкрементальные бэкапы
● Поддержка сжатия
● Поддержка дедупликации блоков
● Поддержка шифров...
DevOps-40
duplicity
● Не нужен сервер
● Метаданные кэшируются локально
● ^ не забыть выделить место
● Оно не работает!!! /...
DevOps-40
Лирическое отступление
● ВСЕГДА проверяйте, можете ли
вы восстановиться с ваших бэкапов
● В цепочке из одного ба...
DevOps-40
А что, если
● Уделить немного времени
планированию репозитория
● Сделать так, чтобы базовый бэкап
не отличался о...
DevOps-40
Новое поколение средств
● Obnam (http://liw.fi/obnam)
● bup (https://github.com/bup/bup)
● ZBackup (http://zback...
DevOps-40
Obnam
● Базовый=инкрементальный бэкап
● Поддержка сжатия
● Поддержка дедупликации блоков
● Поддержка шифрования
...
DevOps-40
Obnam
● Написан на Python
● Использует идеи из btrfs
● Дичайше, нечеловечески медленно
работает
DevOps-40
bup
● Базовый=инкрементальный бэкап
● Поддержка сжатия
● Поддержка дедупликации блоков
● Поддержка шифрования
● ...
DevOps-40
bup
● Написан на Python
● “bup is teh awesome”
● В качестве репозитория
использует git
● Использует rolling chec...
DevOps-40
ZBackup
● Тот же bup, только написан на C++
и без git
● Для тех, кто не любит поэзию?
● Как реально работает – н...
DevOps-40
MacBook vs. Samsung
● Я использую bup
● Я использую снэпшоты btrfs
● Я использую SSD
● Бэкаплю на NFS over Wi-Fi...
DevOps-40
Немного кода
● #!/bin/bash
btrfs subvolume snapshot -r / /snap/
tar -cvf - /snap 2>/dev/null | 
/opt/bup/bin/bup...
DevOps-40
Так а шифрование?
● Шифруйте сторадж (UNIX-way)
● Только не шифруйте до того, как
перенаправите поток в bup!
● Т...
DevOps-40
А консистентность?
● Это проблемы файловой системы
на сервере, который бэкапят
● Можно сделать снэпшот – хорошо
...
DevOps-40
Спасибо за внимание!
● Вопросы?
● DevOps-40: because 59°57′N
30°18′E is quite a cold place!
Upcoming SlideShare
Loading in …5
×

Про бэкапы (не энтерпрайз!)

744 views

Published on

Доклад на SPb DevOps Meetup №2, посвященный проблемам бэкапа моего ноутбука :)

Published in: Technology
  • Be the first to comment

Про бэкапы (не энтерпрайз!)

  1. 1. DevOps-40 Бэкапы: Спать или не спать? 27.09.2013, DevOps meetup, СПб
  2. 2. DevOps-40 Я: ● Волком бы выгрыз бюрократизм ● Но, на самом деле, я – сова ● Гибрид совы и жаворонка, точнее: ● Пораньше заснуть ● Попозже проснуться
  3. 3. DevOps-40 Вы: ● У кого нет макбука – не DevOps ● Кто не использует Time Machine – тот BASE-jumper ● ^ и сейчас выпрыгнет в окно
  4. 4. DevOps-40 Начнем с макбуков ● Консистентные ли у вас бэкапы? ● А что такое “консистентность”? ● Ладно, валидные ли они? ● А что такое “валидность”?
  5. 5. DevOps-40 “Валидно” звучит солидно! ● Вам приходилось восстанавливать систему целиком? ● И она работала после этого? ● В хорошем бэкапе записано то, что было в файлах на момент бэкапа
  6. 6. DevOps-40 “Хорошо” по науке ● Сделать снэпшот диска ● Снэпшот – мгновенный снимок состояния ● Переписать его в другое место
  7. 7. DevOps-40 Насколько “хорошо”? ● Эквивалентно пропаданию питания ● У вас пропадало питание? ● Ломалось ли что-нибудь потом? ● (У меня – да, в 1997 году, NTFS)
  8. 8. DevOps-40 “Хорошо” по Apple ● Снэпшотов нет ● Файл изменился – перебэкапим ● А если он меняется постоянно? ● /0 (ASCII-facepalm) ● Впрочем, мак-юзерам сойдет
  9. 9. DevOps-40 У меня нет макбука ● Обычно есть сервера ● И ноутбук ● Начнем с серверов ● Когда-то сервера были маленькими (давным-давно)
  10. 10. DevOps-40 Давным-давно ● Люди жили в пещерах ● И бэкапили на ленты ● С тех пор нам осталась Bacula ● Я пробовал Bacula, она немного отдает плесенью, на мой вкус
  11. 11. DevOps-40 В наши дни ● Базовый/инкрементальные бэкапы ● Поддержка сжатия ● Поддержка дедупликации блоков ● Поддержка шифрования ● Поддержка S3, etc. (нужна ли?)
  12. 12. DevOps-40 Легенда ● Зеленый – да, отлично ● Синий – “нет, и не надо” или “да, ну и пусть” ● Красный – “вы там все что, офигели?” ● Теперь мы их сравним
  13. 13. DevOps-40 BackupPC ● Базовый/инкрементальные бэкапы ● Поддержка сжатия ● Поддержка дедупликации блоков ● Поддержка шифрования ● Поддержка S3, etc. (нужна ли?)
  14. 14. DevOps-40 BackupPC ● Веб-интерфейс ● rsync, SMB ● Нужен выделенный сервер ● Дико грузит сервер ● В моменты ухода за хранилищем тоже, не только при бэкапе
  15. 15. DevOps-40 duplicity ● Базовый/инкрементальные бэкапы ● Поддержка сжатия ● Поддержка дедупликации блоков ● Поддержка шифрования ● Поддержка S3, etc. (нужна ли?)
  16. 16. DevOps-40 duplicity ● Не нужен сервер ● Метаданные кэшируются локально ● ^ не забыть выделить место ● Оно не работает!!! /0 ● ^ сделанные бэкапы невозможно прочитать обратно
  17. 17. DevOps-40 Лирическое отступление ● ВСЕГДА проверяйте, можете ли вы восстановиться с ваших бэкапов ● В цепочке из одного базового и 40 инкрементальных бэкапов базовый бэкап приобретает большую значимость!
  18. 18. DevOps-40 А что, если ● Уделить немного времени планированию репозитория ● Сделать так, чтобы базовый бэкап не отличался от инкрементального ● ^ Было в BackupPC!
  19. 19. DevOps-40 Новое поколение средств ● Obnam (http://liw.fi/obnam) ● bup (https://github.com/bup/bup) ● ZBackup (http://zbackup.org)
  20. 20. DevOps-40 Obnam ● Базовый=инкрементальный бэкап ● Поддержка сжатия ● Поддержка дедупликации блоков ● Поддержка шифрования ● Поддержка S3, etc. (нужна ли?)
  21. 21. DevOps-40 Obnam ● Написан на Python ● Использует идеи из btrfs ● Дичайше, нечеловечески медленно работает
  22. 22. DevOps-40 bup ● Базовый=инкрементальный бэкап ● Поддержка сжатия ● Поддержка дедупликации блоков ● Поддержка шифрования ● Поддержка S3, etc. (нужна ли?)
  23. 23. DevOps-40 bup ● Написан на Python ● “bup is teh awesome” ● В качестве репозитория использует git ● Использует rolling checksum, может эффективно бэкапить имаджи VM
  24. 24. DevOps-40 ZBackup ● Тот же bup, только написан на C++ и без git ● Для тех, кто не любит поэзию? ● Как реально работает – не знаю, использую bup
  25. 25. DevOps-40 MacBook vs. Samsung ● Я использую bup ● Я использую снэпшоты btrfs ● Я использую SSD ● Бэкаплю на NFS over Wi-Fi ● bup: 88048930.00kbytes in 4210.16 secs = 20913.46 kbytes/sec
  26. 26. DevOps-40 Немного кода ● #!/bin/bash btrfs subvolume snapshot -r / /snap/ tar -cvf - /snap 2>/dev/null | /opt/bup/bin/bup split -n nb -vv btrfs subvolume delete /snap
  27. 27. DevOps-40 Так а шифрование? ● Шифруйте сторадж (UNIX-way) ● Только не шифруйте до того, как перенаправите поток в bup! ● Так а S3, etc? ● ^ коллега с MacBook, Вы еще не выпрыгнули в окно?
  28. 28. DevOps-40 А консистентность? ● Это проблемы файловой системы на сервере, который бэкапят ● Можно сделать снэпшот – хорошо ● Нельзя – у меня для вас плохие новости :(
  29. 29. DevOps-40 Спасибо за внимание! ● Вопросы? ● DevOps-40: because 59°57′N 30°18′E is quite a cold place!

×