HighLoad++ 2017 Зал Конгресс-Холл, 7.11, 14:00 Презентация и тезисы: http://www.highload.ru/2017/abstracts/2843.html В докладе мы расскажем о том, как Яндекс.Деньги: - захотели эквайрить множество онлайн-магазинов в ходе распродаж Black Friday; - узнали, что должны разогнать обработку карточных авторизаций в 1000 раз; - решились на десятки нагрузочных стрельб продакшна параллельно пользовательской деятельности совместно с группой банков-эквайров и платежных систем; - тестировали, тюнили и перерабатывали всю свою систему ради этой цели; - и главное – умерли или выдержали нагрузку в потоке платежей распродаж в день X?

1. Смерть от распродажи:
как Яндекс.Деньги
попытались разогнаться
к Black Friday и выстоять
Анатолий Пласковский,
исследователь производительности

4. Опыт ребят из QIWI

5. Газеты о множестве операций в секунду
马王堆汉墓帛书‧足臂十一脉灸经释文
足
（胂）；其直者贯臀，夹（挟）脊，出项，上于豆（脰）；枝颜下，之耳；其直者贯目
内渍（眦），之鼻 1000 。
疾。‧

6. Специфика акций в России

7. Смерть от распродажи

9. Все участники распродажи
Банк-эквайринг A
Банк-эквайринг B
Банк-эквайринг C
Банк-эмитент A
Банк-эмитент B
Банк-эмитент C
Магазин А
Магазин В
Магазин С

10. Блокировка Списание

11. Распродажа в Яндекс.Деньгах
• Порядка 10 000 магазинов
• Несколько банков-эквайрингов
• Все возможные банки-эмитенты.
11

12. 09.11.2017 12
Наши ожидания…

13. Первые замеры на тестовой среде
5 TpS

15. Использование заглушек для эквайринга
• «Тупая» заглушка
• «Умная» заглушка
• «Интеллектуальная» заглушка
09.11.2017 15

16. Использование заглушек для эквайринга
09.11.2017 16
Адекватный аналог эквайра

17. Идем на прод
• тестовая маршрутизация параллельно пользовательской
• тестовые карты, но только для тестовой маршрутизации
• вопросы с безопасностью, ограничениями по числу операций и
числу запросов
09.11.2017 17

18. «Канареечная ветка»
09.11.2017 18

19. 19

20. Первая стрельба на проде
20

21. Первые узкие места
• провалы в сохранении данных в БД Магазов
• дефицит памяти в БД Магазов
09.11.2017 21

22. 09.11.2017 22
Что не так с БД???

23. «Ж**а там с БД, блокировки и ожидания,
отсюда и время такое, всё CPU выжрали
своими экспериментами на базке» (с)
09.11.2017 23

24. Оптимизация на стороне DB:
• размеры буферов shared, work_mem уменьшены;
• включен fsync;
• checkpoints_segment увеличены;
• archive_mode выключено;
• убраны commit_delay, commit_siblings.
09.11.2017 24

25. Почему мы просели с БД?
• При обновлении LOB-сегмента старые данные пишутся не в UNDO
и остаются на месте, а новые попадают в другие блоки.
• LOB-сегменты имеют опцию RETENTION, поэтому UPDATE не
переписывает старые LOB-данные, пока не истечет
undo_retention.
• С ростом сеансов увеличивается объем изменений LOB, и UPDATE
«будто INSERT» пишет LOB-данные в новые блоки, вызывая
постоянный рост LOB-сегмента.
09.11.2017 25

26. Подробнее про БД
• Растет LOB-сегмент;
• Многократно сдвигаются HWM сегменты таблиц;
• Скачкообразно возрастает объем ввода-вывода, что приводит к
длительному сдвигу HWM сегментов;
• Торможение ввода-вывода (NetApp) от 20 до 1000 мс.
09.11.2017 26

27. Планы на тюнинг
• реорганизации хранилища на NetАpp
• замены серверов БД
• чистка БД – согласование с безопасниками, юристами,
коммерцией
09.11.2017 27

28. Оптимизировать выгрузку логов
09.11.2017 28

29. Оптимизировать выгрузку логов
09.11.2017 29
Жива ли вообще заглушка?

30. Спустя пару недель… 300 TpS!!!
09.11.2017 30

32. Теперь узкое место – база Скарта
09.11.2017 32
• await’ы на дисках базы достигали 100 мс
• sdb utilize была 100%
• CPU util на Скарт DB превысило 90%

33. На БД мы упираемся в диск
09.11.2017 33

34. Скарт выедает CPU на своей БД, вака-вака
09.11.2017 34

35. Что делать?
09.11.2017 35

36. А пока проверим 100 TpS на стабильность
09.11.2017 36

37. Диски нашлись!
09.11.2017 37

38. Вуаля – 600 TpS
09.11.2017 38

39. Теперь узкое место – Скарт и его CPU
09.11.2017 39
• Оптимизация работы пары Скарт+Защитника: эвристика и
введение кэширования для работы с блэклистами.
• Распараллеливаем работу с КА и Магазами.
• В итоге: у нас останется только вставка операций в Скарт DB и
обновление их статуса.

40. Теперь узкое место – Скрат и его CPU
09.11.2017 40

41. Время захода в Скарт теперь – 25 мс
09.11.2017 41

42. 09.11.2017 42
В итоге получаем – рост с 600 до 2000 TpS

43. Да и CPU Скарт теперь не высоко
09.11.2017 43

45. ЗАГЛУШКАМ!

46. Идем стрелять в эквайринги
09.11.2017 46

47. Нам нужно:
09.11.2017 47
• Цель-терминал со стороны эквайра:
и non3ds, и без cvv
• Тысячи вполне себе реальных карт, откуда будем стрелять
• Бюджет на все это мероприятие

48. Бюджет состоит из:
09.11.2017 48
• деньги МПС за выпуск карт;
• деньги МПС за сумму от оборота карт;
• деньги МПС за каждую операции;
• деньги эквайру – за эквайринг.
• деньги нам – на операции.

49. 09.11.2017 49

50. 09.11.2017 50

51. Мы помогаем друг другу

52. 09.11.2017 52
• Мы объясняем это эквайру, прислушиваемся к его словам и
вместе уходим на «подкрутить что-то»
• Возвращаемся. Стреляемся. Раскручиваемся.
• С нашим первым эквайром мы добились результата за 5 минут до
начала распродажи.
Если магазины КА не готовы ждать больше 5
секунд

55. 09.11.2017 55
А вот и распродажа

56. 09.11.2017 56
Сама распродажа с точки зрения одного
эквайра

57. 09.11.2017 57
Во время распродажи есть минутка расслабиться

58. 09.11.2017 58
Но расслабляться некогда 
• Автоприёмка релизов на производительность
• Регулярные боевые стрельбы на проде
• Постоянные ревью кода и тюнинг

59. 09.11.2017 59
Эпилог
• Боевые стрельбы с нашими партнерами и коллегами
продолжаются
• Сейчас мы технически можем провести исследование
производительности любой эмиссии и эквайринга с
определённой степенью точности

60. Контакты
@fourwingedsun
plaskovskii@yamoney.ru
Ваши вопросы?
Анатолий Пласковский
Руководитель группы исследований
производительности