При разработке каждого backend приложения рано или поздно встает вопрос об измерении производительности системы и поиска «узких» мест. Для этой цели мы используем Pinba. Для тех, кто не знаком с этим инструментом, я коротко расскажу о возможностях Pinba и о том, какие задачи мы решаем с её помощью. Основной акцент доклада будет сделан не на внутреннем устройстве Pinba, процессе установки и настройки — всё это есть в документации. Гораздо полезнее на реальных примерах показать, что и как мы измеряем и как агрегируем данные для построения отчетов в режиме реального времени. Основные аспекты доклада: - измерение производительности php скриптов; - измерение времени обращений к внешним сервисам; - измерение «хитрейта» кэша; - измерение производительности обработки очередей; - построение распределений и использование перцентилей. Я расскажу о том, как использовать Pinba в связке с Nginx и делать различные агрегации в зависимости от параметров URI. Большинство примеров будет основано на взаимодействии Pinba с PHP. Но сейчас есть плагины, позволяющие отправлять данные в Pinba из программ на различных языках, методология при этом практически не меняется.

1. Практика
применения
Pinba в Badoo
Денис Карасик d.karasik@corp.badoo.com

2. Badoo
● ~300 000 000 зарегистрированных пользователей
● ~70K rps в пике
● PHP, MySQL, C/C++, Golang, Tarantool etc.

3. PHP Is Not a Bottleneck Anymore
Авторы: Андрей Нигматулин, Антон Довгаль
• https://habrahabr.ru/company/badoo/blog/149695/ (Максим Матюхин, 2012 год)
• http://pinba.org/ (https://github.com/tony2001/pinba_engine/wiki ) Официальная документация
• https://habrahabr.ru/post/183104/ Intaro Pinboard
• https://habrahabr.ru/post/129042/ Мониторим PHP в реальном времени
• Написана на С (engine и php-extension)
• UDP
• MySQL engine
• НЕ является хранилищем данных!!!
• Nginx плагин (плагины для многих языков: Go, Java, Python, Ruby, etc)

4. Pinba примеры использования
Количество запросов
25K rps

5. Pinba примеры использования
Потребление памяти
8 Mb / request
Average script memory

6. Pinba примеры использования
Время запросов к внешним сервисам
Memcache get for memcache1.mlan:11211
• MAX 55272,258 req / sec
• AVG 29513,147 req / sec
• MIN 7978,757 req /sec

7. Pinba примеры использования
Nginx плагин
Requests for bphotos: 404 Not found
8 req / sec
13 req / sec

8. Pinba примеры использования

9. Pinba примеры использования

10. Go
PHP script
MySQL
memcache
memcache
Some logic
Timer1
Timer2
Timer1
Timer3
Timer4
Timer tags:
cmd_val — mcache::get
server_val — memcache1
Request tags: webpage — plain

11. Pinba: Raw tables
● request
● timer (id, request_id, hit_count, value)
● tag (id, name)
● timertag (timer_id, tag_id, value)
● active
● dictionary
● status
Не делаем запросы к request!!!
CREATE TABLE `request` (
`id` int(11) NOT NULL DEFAULT '0',
`hostname` varchar(32) DEFAULT NULL,
`req_count` int(11) DEFAULT NULL,
`server_name` varchar(64) DEFAULT NULL,
`script_name` varchar(128) DEFAULT NULL,
`doc_size` float DEFAULT NULL,
`mem_peak_usage` float DEFAULT NULL,
`req_time` float DEFAULT NULL,
`ru_utime` float DEFAULT NULL,
`ru_stime` float DEFAULT NULL,
`timers_cnt` int(11) DEFAULT NULL,
`status` int(11) DEFAULT NULL,
`memory_footprint` float DEFAULT NULL,
PRIMARY KEY (`id`)
) ENGINE=PINBA DEFAULT CHARSET=latin1 COMMENT='request' |

12. Pinba: отчеты
• Base (info, report_by ….)
• Timer tag (tag_info, tagN_info, tag_report, tagN_report ... )
• Request tag (rtag_info, rtag_report, rtagN_info, rtagN_report)
scripts/table_generator.php - генератор отчетов!
Агрегация по hostname, schema, script_name, server_name, status*
*

13. Pinba: отчеты
CREATE TABLE `tag_report_perf` (
`script_name` varchar(128) NOT NULL DEFAULT '',
`tag_value` varchar(64) DEFAULT NULL,
`req_count` int(11) DEFAULT NULL,
`req_per_sec` float DEFAULT NULL,
`hit_count` int(11) DEFAULT NULL,
`hit_per_sec` float DEFAULT NULL,
`timer_value` float DEFAULT NULL,
`timer_median` float DEFAULT NULL,
`ru_utime_value` float DEFAULT NULL,
`ru_stime_value` float DEFAULT NULL,
`index_value` varchar(256) DEFAULT NULL,
`p75` float DEFAULT NULL,
`p95` float DEFAULT NULL,
`p99` float DEFAULT NULL,
`p100` float DEFAULT NULL,
KEY `script_name` (`script_name`)
) ENGINE=PINBA DEFAULT CHARSET=latin1
COMMENT='tag_report:perf::75,95,99,100' |
Важен порядок полей!!!

14. Pinba: Отчеты по тегам (timer)
CREATE TABLE `tag_info_measure_cpq_consumer` (
`type` varchar(64) DEFAULT NULL,
`consumer` varchar(64) DEFAULT NULL,
`timer` varchar(64) DEFAULT NULL,
….
) ENGINE=PINBA DEFAULT CHARSET=latin1 COMMENT='tagN_info:type,consumer,timer'
3 sec
5 sec

15. Javascript is Not a Bottleneck Anymore
• https://tech.badoo.com/presentation/123/realtime-statistika-skorosti-prilogenij/ Павел Довбуш о Jinba
• https://github.com/dpp-name/jinba Jinba
Pinba для Jinba
• tagN_info — отчеты по многим тегам
• Перцентили
• Гистограммы
• Фильтрация по тегам реквеста

16. Pinba: гистограммы
CREATE TABLE `v2_jinba_hv` (
`index_value` varchar(256) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL,
`segment` int(11) DEFAULT NULL,
`time_value` float DEFAULT NULL,
`cnt` int(11) DEFAULT NULL,
`percent` float DEFAULT NULL,
KEY `index_value` (`index_value`(85))
) ENGINE=PINBA DEFAULT CHARSET=latin1 COMMENT='hv.tagN_info:group,mode::75,95'

17. Pinba: перцентили
CREATE TABLE `tag_info_group_server` (
`group_value` varchar(64) DEFAULT NULL,
`server_value` varchar(64) DEFAULT NULL,
…
`p75` float DEFAULT NULL,
`p95` float DEFAULT NULL,
`p99` float DEFAULT NULL,
`p100` float DEFAULT NULL
) ENGINE=PINBA DEFAULT CHARSET=latin1
COMMENT='tag2_info:group,server::75,95,99,100'
t, sec
num

18. Pinba: перцентили

19. Pinba: отчеты request tag
CREATE TABLE `photoscache_report_hitrate` (
`hostname` varchar(64) NOT NULL DEFAULT '',
`tag1_value` varchar(64) DEFAULT NULL,
`tag2_value` varchar(64) DEFAULT NULL,
`tag3_value` varchar(64) DEFAULT NULL,
...
KEY `hostname` (`hostname`)
) ENGINE=PINBA DEFAULT CHARSET=latin1 COMMENT='rtagN_report:served_by,build,img_size'

20. Pinba: отчеты request tag
http://hostname/10035/3/2/1/28245345/d1576/t1461674977/156839_920.jpg?fit=500x500
location ~ '…..' {
...
pinba_tag fit_size '500x500';
pinba_tag is_fit 1;
pinba_tag img_size '920';
...
}
Nginx (https://github.com/tony2001/ngx_http_pinba_module)

21. Pinba: отчеты request tag
CREATE TABLE `resize_value_info` (
`tag_value` varchar(64) DEFAULT NULL,
`req_count` int(11) DEFAULT NULL,
`req_per_sec` float DEFAULT NULL,
...
) ENGINE=PINBA DEFAULT CHARSET=latin1
COMMENT='rtag_info:fit_size'
select tag_value, req_per_sec from resize_value_info order by req_per_sec desc limit 10;
+-------------+------------------+
| tag_value | req_per_sec |
+-------------+------------------+
| 180/180 | 6986.65 |
| 144/144 | 3455.3 |
| 920/920 | 2932.37 |
| 216/216 | 1464.49 |
| 640/960 | 1145.66 |
| 120/120 | 1138.95 |
| 192/192 | 1004.72 |
| 480/800 | 1001.44 |
| 72/72 | 935.625 |
| 110/110 | 917.83 |
+-------------+------------------+

22. MySQL Is Not a Bottleneck Anymore
• Slowlog + Zabbix

23. MySQL Is Not a Bottleneck Anymore
• Slowlog + Zabbix
• Коммерческие решения

24. MySQL Is Not a Bottleneck Anymore
• Slowlog + Zabbix
• Коммерческие решения
• performance_schema + python + elastic + kibana

25. MySQL Is Not a Bottleneck Anymore
• Slowlog + Zabbix
• Коммерческие решения
• performance_schema + python + elastic + kibana
• Pinba

26. MySQL Is Not a Bottleneck Anymore
PHP Pinba
CREATE TABLE `minba_query_details` (
`tag_value` varchar(64) DEFAULT NULL,
...
`p95` float DEFAULT NULL,
`p99` float DEFAULT NULL
) ENGINE=PINBA DEFAULT CHARSET=latin1
COMMENT='tag_info:query::95,99'

27. MySQL Is Not a Bottleneck Anymore

28. Memcache keys stat
Формат ключа: #family_name#:%s_%s
cont:251_23
folder_key:13434_sometype
tag_info_key_hit_mchost | CREATE TABLE `tag_info_key_hit_mchost` (
`key` varchar(190) DEFAULT NULL,
`hit` tinyint(1) DEFAULT NULL,
`mchost` varchar(40) DEFAULT NULL,
...
) ENGINE=PINBA DEFAULT CHARSET=latin1
COMMENT='tagN_info:key,hit,mchost'

29. Memcache keys stat

30. Memcache keys stat
400 K rps

31. Контакты
Карасик Денис d.karasik@corp.badoo.com
Антон Довгаль tony@corp.badoo.com
Техноблог https://tech.badoo.com/
Хабр https://habrahabr.ru/company/badoo/
Facebook https://www.facebook.com/BadooMoscow