Документ посвящен устранению неполадок для системных администраторов и включает важные аспекты мониторинга систем и сетей. Он подчеркивает необходимость знаний в области работы операционных систем, командных утилит и принципов работы сервисов для успешного выполнения задач. Также описываются инструменты мониторинга и процесс их использования для обнаружения и анализа проблем.

2. Troubleshooting
для системных администраторов
Сергей Еланцев, группа обеспечения стабильности
Поиска, разработчик

3. • Введение
• Мониторинг
• Проблемы в сети
• Процессы на сервере
• Диски
• Что с этим делать?
3
Содержание

4. 4
toolbox

5. Введение
Поехали!

6. Почему нужно уметь разбираться с проблемами сервисов?
!
• Одна из основных задач системных администраторов
• Улучшить понимание работы ОС и сервиса
• Получить идеи оптимизации сервиса
• Безысходность
6
Мотивация

7. Почему эта часть работы не должна существовать?
!
• Тесты
• Не существует проблем в сети
• Не существует проблем с ресурсами
• Идеальный код
7
Демотивация

8. • Знать свой shell
• Освоить командные утилиты для обработки текста (grep, awk)
• Иметь представление о принципах работы ОС и сетей
• Знать скриптовый язык программирования (python, perl)
8
Полезные умения

9. • Работающий мониторинг
• Знание принципов работы сервисов
• Знание парка машин
9
Всегда готов - стандартные ситуации

10. • Бэкапы логов
• Быстрый откат к предыдущей(-им) конфигурации(-ям)
• Возможность оставить несколько инстансов в проблемном
состоянии для исследования
10
Всегда готов - пожар

11. Мониторинг
Наше всё

12. • Информация о состоянии сервиса в реальном времени
• Дать понимание состояния сервиса в целом (запросы, неудачи,
время ответа и т.п.)
• Дать понимание состояния конкретных машин (потребление
CPU, памяти, сетевая и дисковая активности)
• Дать понимание работы сети на машинах, в роутерах и т.п.
• Исторические данные - тренды
• Количественный и качественный мониторинг
12
Задачи мониторинга

13. • Nagios
• Zabbix
• Cacti
• Ganglia
• Своё
13
Системы мониторинга

14. 14

15. • Процентили - 50, 90, 95.
• Максимальные и минимальные значения
• Выбросы
• И всё это уметь соотносить со временем релиза (CI)
15
Объекты мониторинга

16. 16
Объекты мониторинга

17. 17
Мониторинг и хосты

18. 18

19. 19
Мониторинг и хосты - окончание

20. • Быстрое понимание того, что произошло что-то нехорошее
• Быстрое понимание того, где произошло что-то нехорошее
• Возможность отличить общесистемную проблему от проблемы
на ограниченном подмножестве серверов
20
Что даёт мониторинг

21. • Причину поломки
• Всеохватность
21
Что мониторинг НЕ даёт

22. Проблемы в сети

23. • Потеря связности
• Перегрузка каналов
• Проблемы в приложениях
23
Виды проблем

24. • Браузер / wget / curl / telnet / nc
• ping, ping6 (-s)
• traceoute, traceroute6
• iptables -L
• dig / nslookup
24
Грубые инструменты

25. 25
Ping - пример

26. 26
traceroute

27. • Всё ещё не говорят, что сломалось
• Могут навести на неправильные мысли. Например, при
поломке DNS будет казаться, что потерялась связность
• ICMP может быть заблокирован правилами firewall (или опять
обманывать про связность)
27
Грубые инструменты - недостатки

28. • netstat -i - список интерфейсов
• netstat -r - таблица маршрутизации
• netstat -b <interval> - in/out пакеты на интерфейсе
• netstat -d <interval> - drop пакетов
• netstat -Latn - listen queue для слушающих tcp сокетов
• netstat -qI eth0 - статистика очередей на интерфейсе
28
netstat

29. Программа tcpdump - это швейцарский нож, который покажет все
проблемы с сетью.
Синтаксис:
tcpdump -i <interface> [options] <expression>
expression - выражение, фильтрующее пакеты
29
Швейцарский нож - tcpdump

30. • tcpdump -i eth0 tcp port 80
• tcpdump -i eth0 -n tcp port 80
• tcpdump -i en1 tcp port 443 and host ssllabs.com
• tcpdump -i eth0 ‘host ssllabs.com and (tcp port 80 or tcp port 443)’
• А также UDP, (R)ARP, ICMP и тысячи других
30
tcpdump - примеры

31. Кроме собственно tcpdump есть вспомогательные программы
• wireshark - GUI над tcpdump. Другой синтаксис фильтров
(tcp.port == 80 против tcp port 80).
• tshark - пакетная обработка pcap-файла
31
wireshark tcpdump

32. • Общение - удаётся ли переходить между состояниями tcp
• Потери пакетов (ретрансмиты)
• Время, затрачиваемое каждым из участников общения
• Какими порциями происходит передача данных
• Опции tcp: maximum segment size и прочие
• Сопоставлять с логами сервиса
• Различия восприятия передачи клиентом и сервером
32
На что смотреть

33. Процессы на сервере

34. • ps - %CPU, %MEM, VSS, RSS, SHR
• top (htop) - на машине, realtime
• uptime
• /proc/meminfo
• /proc/cpuinfo
34
Смотрим процессы ОС

35. • Стандартные места - /var/log/
• Сервис-специфичные места (/usr/local/www/logs)
• Системные - dmesg, /var/log/messages
• lsof - потому что все врут
• /proc/<pid>
35
Логи и где их искать

36. • Факт записи coredump’а можно поискать в dmesg’е
• ulimit -c
• sysctl kernel.core_pattern
%p - pid
%s - номер сигнала
%t - timestamp
%e - название программы
%h - hostname
36
Coredump

37. • gdb <program> <coredump>
• bt
• fr
• print
37
gdb

38. 38
gdb - пример

39. 39
ltrace

40. 40
strace

41. • -tt - timestamp
• -c - count time
• -f - follow fork
• -o - outfile
• -ff - multiple files
• -p - pid
• -e - filter
41
strace - флаги

42. Диски

43. • df, du
• hdparm
• swapon/swapoff
43
Простейшие инструменты

44. Показывает утилизацию система ввода-вывода, процессора и
памяти.
hint: печатайте ещё и текущее время
perl -ne «print scalar localtime(), ‘ ‘, $_;» | vmstat 1
44
vmstat

45. 45
vmstat пример

46. • procs: r - в state: running, b - заблокировнные
• memory: free, buff, cache
• swap: si - swap in, so - swap out
• io: bi - block in, bo - block out
• system:in - interrupts, cs - context switches
• cpu: us - user, sy - system, id - idle, wa - waiting on io
46
Расшифровка

47. 47
iostat, iotop

48. Что с этим делать?

49. • Без паники
• Итеративно
• Оперативно
49
Как разбираться?

50. • Разобраться
• Устранить
• Добавить в мониторинг
• Добавить в тесты
50
Что делать?

51. Вопросы?