Доклад Павла Емельянова на конференции Linux Meetup

1. И овцы целы, и волки сыты:
как перезапустить
проблемное приложение
и одновременно отладить его
И овцы целы, и волки сыты:
как перезапустить
проблемное приложение
и одновременно отладить его
Павел Емельянов
Архитектор
Нижний Новгород, 2016
Virtuozzo
Z

2. DisclaimerDisclaimer
● С такими проблемами я лично не сталкивался
● Предлагаемое решение предназначалось для другого

3. ДаноДано
● “Боевой” сервер (in production)
● Проблемное приложение
● Зависло
● Тормозит
● Работает не так, как надо

4. Как решатьКак решать
● Разбор приложения
● Логи
● Strace/gdb
● /proc/$pid/*
● ...
● Разбор “окружения”
● Top, Tcpdump, (Io|Vm|Mp)stat, …
● /proc/*, /sys/*
● ...

5. Дано++:Дано++:
● “Боевой” сервер (in production)
● Проблемное приложение
● Зависло
● Тормозит
● Работает не так, как надо
● Вернуть всё к жизни как можно быстрее
● Перезапуск поможет

6. Как решать?Как решать?
● Забрать с собой как можно больше
● Логи
● Coredump
● /proc/$pid/*
● ...
● Перезапустить
● Сидеть и думать

7. ПроблемыПроблемы
● В собранном может оказаться недостаточно информации
● Память и регистры – не 100% состояния
● Часть информации не добывается простым способом
● Параметры сетевых соединений
● “Разделяемость” ресурсов
● Не-posix специфика Linux
● ...
● Статический анализ “посмертных слепков”

8. CRIUCRIU
● Checkpoint/Restore In Userspace
● Сохранение как можно более полного состояния процессов
● Восстановление процессов в другом месте и в другое время
● Делали для
● Живая миграция контейнеров
● Обновление ядра без перезагрузки

9. CRIUCRIU
● Пригодилось для
● Тестирования
● Снимков состояния для защиты от аварий (HPC)
● “Заморозки” удалённой терминальной сессии (screen/tmux)
● Обучения студентов IT-специальностей
● Отладки?

10. Сохранение состояния (dump)Сохранение состояния (dump)
● Остановка процессов freeze cgroup
● Получение максимально возможной информации
о процессах и окружении
● Ptrace
● Proc
● Parasite code injection
● Много нового API было сделано для CRIU

11. Восстановление (restore)Восстановление (restore)
● CRIU fork()-ается нужное число раз
● Каждый процесс восстанавливает сам себя
● В конце кульбит – продолжение выполнение прерванного кода

12. Отладка с помощью CRIUОтладка с помощью CRIU
● Сохранить состояние проблемного приложения
● Скопировать файлы с состоянием на свою машину
● Перезапустить
● У себя
● Восстановить у себя и … “свели задачу к предыдущей”
● Изучать файлы образы

13. СохранениеСохранение
● criu dump ­­tree $pid ­­images­dir directory/
Команда сохранить состояние
ID процесса – корня дерева
Директория для записи файлов-образов

14. ОсобенностиОсобенности
● Не всегда возможно
● Мы работаем над этим
● До недавнего времени требовались root привилегии
● Политики безопасности в ядре
● Внешние связи
● TCP/Unix сокеты
● Сессия

15. ВосстановлениеВосстановление
● criu restore ­­images­dir directory/
Команда восстановления
Директория с файлами-образами

16. ОсобенностиОсобенности
● Конфликт идентификаторов
● Надо восстанавливать внутрь контейнера
● Требуются root привилегии
● В следующей версии будет легче
● Внешние связи
● Нет универсального решения

17. Файлы образыФайлы образы
● Утилита CRIT
● Перевод в json (и обратно)
● Печать статистической информации
● ps, lsof, ...
● Criu-coredump – генерация core

18. Что почитатьЧто почитать
● https://criu.org
● +CriuOrg, @__criu__
● criu@openvz.org
● https://github.com/xemul/criu

19. Всё
xemul@virtuozzo.com
Virtuozzo
Z