Мониторинг веб приложений на PHP в режиме реального времени с помощью Pinba. На примере Magento

1. Мониторинг веб приложений на PHP
в режиме реального времени с
помощью Pinba. На примере Magento
Миняйло Игорь
Core Team
Киев
15 сентября 2012

2. Agenda
• Профайлинг web приложений
• Мониторинг web приложений
• Pinba как система мониторинга
• Использование Pinba для мониторинга
Magento

3. Зачем профилировать?
Медленный код - это зачастую только
предположение, что медленный именно
код. В большинстве случаев проблема
медленной работы кроется вне кода
системы. Профилирование помогает
вычислить наиболее медленные места в
системе (локализация проблемы) и, в
случае необходимости, устранить их.

4. Утилиты для профайлинга web
приложений
• xDebug
• xhprof
• Magento_Profiler

5. Профайлинг web приложений
Проблема
• Профайлер как “ad hoc” решение, для
определенной проблемы (оптимизация
отдельного участка программы).
• Профайлинг – ресурсоемкая задача и
не применим на продакшене
• Большое кол-во данных для анализа
• Мы не знаем какие части приложения
требуют оптимизации.

6. Почему не достаточно просто
профайлить веб приложение на этапе
тестирования?
Профайлинг не сможет выявить
большинство проблем, которые
проявляются в «реальных» условиях под
нагрузкой (race condition, работа с
внешними API и источниками данных)

7. Мониторинг web приложений
• Collectd (system statistics)
• Nagios
• Zabbix

8. Мониторинг web приложений
Проблема
• Большинство систем мониторинга
собирают статистику по системе (CPU
utilization, I/O, DB utilization, число
запросов к веб серверу). Но не мониторят
код самого приложения. Соответственно
мы получаем поверхностную картину
состояния системы.
• Сбор статистики в циклическую базу
данных

9. Pinba comes to rescue!
“Pinba is a realtime monitoring/statistics
server for PHP using MySQL as a read-only
interface. ”

10. Что умеет pinba?
• Мониторинг веб приложения в режиме
реального времени на продакшене с
минимальным оверхедом по времени.
• “Pinba is not a debugging tool in a common
sense, since you're not supposed to do
debugging on production servers, but its main
goal is to help developers to monitor
performance of PHP scripts, locate
bottlenecks in realtime and direct developers'
attention to the code that really needs it.“

11. Общая схема работы Pinba

13. Как это работает?
Pinba состоит из PHP расширения и сервера.
Модуль Pinba автоматически шлёт данные обо
всех обработанных запросах на сервер. Pinba-
сервер — это сервис, написанный на С, который:
• собирает по протоколу UDP данные об
обработанных запросах;
• хранит все эти данные в памяти и строит по
ним отчёты;
• предоставляет доступ к сырым данным и
отчётам по протоколу MySQL, то есть
фактически является MySQL engine.

14. Данные
Каждый PHP скрипт посылает следующие данные в
конце обработки каждого запроса:
• string hostname - gethostname() result
• int request_count - number of requests served by this
process
• string server_name - $_SERVER["SERVER_NAME"]
• string script_name - $_SERVER["SCRIPT_NAME"]
• int document_size - size of the response body
• int memory_peak - memory allocation peak
• float request_time - time spent of processing the request
• float ru_utime - resource usage (user)
• float ru_stime - resource usage (system)
• array timers - array of timers (optional)

15. Визуализация результатов

16. Raw data tables

18. Промежуточный итог:
Не настраивая практически ничего мы
получили систему аналитики всего php в
продакшене!

19. Таймеры и Теги

20. Таймеры и Теги
Соответствующие таблицы отчетов по этим тегам:
• tag_info_group - статистика по тегу group
• tag_info_group_server - статистика по тегам group+server

21. Mage_Core_Controller_Varien_Front

22. Magento_Profiler

23. Magento_Profiler

24. Отчеты

25. Самые медленные части приложения
(общий отчет)

26. Самые медленные части приложения
(с группировкой по script_name)

27. Overhead?
ab -n 500 magento.local/magento2/index.php/
• Без Pinba
Time taken for tests: 651.820 seconds
Time per request: 1303.639 [ms] (mean)
• С включенной Pinba (без таймеров)
Time taken for tests: 687.900 seconds
Time per request: 1375.801 [ms] (mean)
• С включенной Pinba (с таймерами)
Time taken for tests: 690.528 seconds
Time per request: 1381.057 [ms] (mean)

28. Предложение по усовершенствованию
• Добавить функциональность тегов в
Magento_Profiler, чтобы он не логировал
все вызовы.
• Добавить настройку (в system
configuration), чтобы пользователь мог
указать какие именно теги он хочет
логировать
• Собирать данные в Pinba

29. Nginx + Pinba
Что будет, если PHP-процесс не может
принять и обработать запрос?

30. Вопросы, господа!