Этот доклад – история организации и проведения «боевой стрельбы». Я расскажу о том, как реализовать нагрузочное тестирование реальными платежами без перерывов в работе системы. А также о том, как такой эксперимент может внезапно подорожать на 10 тысяч евро.

2. Миллионы карточных
платежей за месяц
Анатолий Пласковский, руководитель группы исследований производительности
или как потерять 10 000 евро на нагрузочном тестировании

3. Содержание
01 Моя стрельба
02 Моя цель
03 Мое исследование

4. Моя стрельба

5. 4
Пример

6. Алгоритм любой стрельбы
Описываем
профиль
Обстреливаем
цель
Снимаем метрики Анализируем
результаты

7. Цели бывают разные

8. Моя цель

9. Сервис электронных платежей

10. Множество типов финансовых операций

11. Операции с банковскими картами

12. Мы получили лицензию на процессинг!

13. О производительности процессинга
› Производительность ключевых микросервисов ограничена лицензией
› Расположение ключевых микросервисов ограничено лицензией
› Познания и опыт партнеров в исследованиях минимальны

14. И что с этим со всем делать???

15. 14
Пример

16. Но с бережной заботой о пользователях

17. Пополнение: с карты на счёт

18. Как все работает
Яндекс.ДеньгиТанк-
генератор
Банк-эквайр
MasterCard

19. План эксперимента

20. Связь между нами и банком
Провайдер
маршрутизации
Терминал с кодом
категории оплаты
(MCC)

21. Что ещё нужно учесть?
› Снятие комиссий на каждом шаге
› Снятие лимитов на число и сумму операций на каждом шаге
› Уведомление собственных и партнёрских Служб Безопасности

22. Итоговая комиссия

23. Моё исследование

24. 5 экспериментов за 23 дня
День 1 День 10 День 12 День 23День 18

25. Эксперимент 1

26. Результаты
1. Выедаем CPU на БД нашего Процессинга
2. Накопление блокировок на счетах
3. Доработка: оптимизация ряда запросов к БД
4. Проведено: 17 000 операций
5. Списания: успешно прошли за 10 минут

27. Эксперимент 2

28. Результаты
1. Уперлись в шифровальный модуль (HSM) нашего Процессинга
2. Накопление блокировок на счетах
3. Доработка: расширение пула счетов
4. Проведено: 24 778 операций
5. Списания: успешно прошли за 10 минут

29. Эксперимент 3

30. Результаты
1. Проведено: 50 000 операций
2. Списания: успешно загрузились в БД Процессинга за 40 минут
3. Потолок списание: размер файла списаний 104 Мб, ограничение в Oracle 4
Гб, не более 2 млн. операций на сегмент

31. Эксперимент 4
Суточный эксперимент с входной интенсивностью 15 блокировок в секунду и
последующим потоком списаний

33. Результаты
1. Файл со списаниям пришел к нам в 18:00 следующего дня с задержкой в
1,5 часа
2. Процессинг обработал файл с 1 135 000 записей за 2 часа 10 минут
3. Полный разбор данных в системе закончился в 3:23
4. Массированный обстрел повсеместно привел к росту размера логов

34. Кроме того
1. Возникли проблемы с балансировкой запросов на фронты
2. Проявилась деградация производительности антифрод-системы

35. Эксперимент 5
Эксперимент нескольких суток с генерацией максимально возможного объёма операций
за сутки (этап одновременной работы под потоком авторизаций с заданной
интенсивностью и разбором пула клирингов)

37. Результаты
1. Процессинг успешно выдержал многосуточный эксперимент
2. Файл со списаниями пришел к нам в 18:00 следующего
3. Процессинг обработал файл с 1 400 000 списаниями за 1,5 часа
4. Полный разбор данных в системе закончился в 6:07

38. операций

39. 38
Пример

40. А вам посылка от MasterCard!

41. 0,05 евро за одну операцию

43. Вернемся к выданному нам терминалу
Провайдер
маршрутизации MCC: 6051

45. Пожалуйста, будьте
Смелыми на
эксперименты
Мудрыми при
продумывании деталей
Понимающими и
прощающими при
общении с партнёрами

46. Контакты
@fourwingedsun
plaskovskii@yamoney.ru
Ваши вопросы?
Анатолий Пласковский
Руководитель группы исследований
производительности