Выступление на конференции DUMP-2016.

1. 1
УРОКИ
НАГРУЗОЧНОГО ТЕСТИРОВАНИЯ NAUMEN
CONTACT CENTER
Андрей Хитрин, Naumen@ahitrin

2. 2
О СЕБЕ

3. 3
О СЕБЕ
Passionate programmer с 14 лет (56% lifetime)
Последние 5 лет работаю в Naumen
Программирую, тестирую, собираю, разбираю...

4. 4
НАГРУЗОЧНЫЕ ТЕСТЫ???
Naumen Contact Center - аутсорсинговый контакт-центр
2014 - самый крупный клиент (ГРАН) решил объединять
площадки. 200 + 200 + 200 → 700 операторов.
Ooops!

5. 5
КАК УСТРОЕН КОЛЛ-ЦЕНТР

6. 6
КАК УСТРОЕН КОЛЛ-ЦЕНТР

7. 7
КАК УСТРОЕН КОЛЛ-ЦЕНТР

8. 8
КАК УСТРОЕН КОЛЛ-ЦЕНТР

9. 9
МЕТРИКИ

10. 10
ПРИМЕРЫ МЕТРИК
Число ядер на весь КЦ: <= 90
Количество операторов online: 1000
Количество одновременных вызовов: 3000
Средняя длительность разговоров: 90 с
Скорость установления соединения: 1 с (99.8% вызовов)
...

11. 11
УРОК
БЕЗ СФОРМУЛИРОВАННЫХ МЕТРИК
НАГРУЗОЧНОЕ ТЕСТИРОВАНИЕ НЕ
ИМЕЕТ БОЛЬШОГО СМЫСЛА

12. 12
ДИЛЕММА
СТЕПЕНЬ АВТОМАТИЗАЦИИ ТЕСТОВ?
Ручные тесты Автотесты
Одиночные запуски Сотни, тысячи запусков
Дёшево внедрять Дорого внедрять
Больше действий Одна кнопка
Больше гибкость Меньше глупых ошибок

13. 13
ПРОЦЕДУРА ЗАПУСКА ТЕСТОВ
Проверить, что все сервисы сконфигурированы и
работают
Запустить мониторинг
Запустить фейковых операторов
Запустить генератор нагрузки
Дождаться создания нужного количества вызовов
Остановить генератор нагрузки
Дождаться завершения обработки вызовов
Остановить фейковых операторов
Остановить мониторинг
Собрать статистику и метрики
Понять, есть ли проблемы
Проанализировать логи, если есть проблемы

14. 14
АРХИТЕКТУРА ФРЕЙМВОРКА

15. 15
FABRIC FTW
@task
@parallel
@roles('ncc', 'db', 'loader', 'fakensp')
def start_monitoring():
put('script/monitor.sh', mode=0755)
run_background('/root/monitor.sh')
Маленькие кусочки кода для работы с удалёнными
машинами через ssh.
ahitin@work:~/loadtest$ fab start_monitoring
http://www.fabfile.org/

16. 16

17. 17
ЧТО НЕ АВТОМАТИЗИРУЕМ
Установку системы
Заливка кастомных версий пакетов
Одноразовые хаки настроек

18. 18
УРОК
АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ
ДОЛЖНА ОБЛЕГЧАТЬ РУЧНОЙ ТРУД, А
НЕ ЗАМЕНЯТЬ ЕГО ПОЛНОСТЬЮ
Так мы можем увеличить продуктивность, не потеряв в
гибкости

19. 19
ДИЛЕММА
НА КАКИХ МОЩНОСТЯХ ПРОВОДИТЬ
ТЕСТИРОВАНИЕ?
Реальное железо in da house
Реальное железо у партнёра (контакт-центр)
Виртуальное облако

20. 20
УРАЛЬСКИЙ IT-КЛАСТЕР

21. 21
МОНИТОРИНГ
ПРОИЗВОДИТЕЛЬНОСТИ
pidstat: потребление rесурсов процессами (pids, CPU,
память, I/O)
mpstat: загрузка ядер CPU
iostat: дисковая подсистема
sar: всё остальное (сеть, память, очередь процессора)
Выкинули: ps, jmap, vmstat, netstat

22. 22
VMSTAT?

23. 23
VMSTAT?

24. 24
MPSTAT!

25. 25
УРОК
СРЕДСТВА МОНИТОРИНГА САМИ
ТРЕБУЮТ ПРОВЕРКИ
Больше ужастиков здесь:
http://www.slideshare.net/brendangregg/broken-linux-
performance-tools-2016

26. 26
ДИЛЕММА
КТО ЗАПУСКАЕТ ТЕСТЫ?
специальный тестировщик (чувак на сцене)
разработчики
все вместе

27. 27

28. 28
УРОК
АНАЛИЗ РЕЗУЛЬТАТОВ ТОЖЕ
ПРИХОДИТСЯ АВТОМАТИЗИРОВАТЬ,
ЧТОБЫ СНИЗИТЬ ПОРОГ ВХОДА В
ТЕСТИРОВАНИЕ

29. 29
ЭВРИСТИКИ И МЕТРИКИ

30. 30
ПРИЁМ ВЫЗОВОВ

31. 31
ТРЕЙСЫ ВЫЗОВОВ

32. 32
JUPYTER NOTEBOOK

33. 33
УРОК
СКРИПТЫ АНАЛИЗА ПОСТЕПЕННО
ПРЕВРАЩАЮТСЯ В МОДЕЛЬ
ТЕСТИРУЕМОЙ СИСТЕМЫ
И вообще, будьте готовы закладывать достаточно
времени на анализ

34. 34
ДИЛЕММА: СКОЛЬКО НУЖНО
ДАННЫХ?

35. 35
УРОК
ПРОВОДИТЬ ВСЕ ТЕСТЫ НА
МАКСИМАЛЬНОЙ ДЕТАЛИЗАЦИИ
НЕВОЗМОЖНО

36. 36
ДИЛЕММА: НЕ ВСЕ СЕРВИСЫ
ГОТОВЫ К НАГРУЗКАМ
ЧТО ДЕЛАТЬ?
Дожидаться починки?
Тестировать как есть?
...

37. 37
FEATURE TOGGLES

38. 38
FEATURE TOGGLES
@task
@roles('buddy')
def setup_buddy_environment():
"""Настройка хоста buddy и опциональное отключение snitch"""
...
if GLOBAL_PARAMS['snitch_enabled'] == 0:
set_snitch_start_time('')
run('naucore service nausnitch stop')
else:
set_snitch_start_time('+00:00:00')
run('naucore service nausnitch start')

39. 39
УРОК
ВСТРАИВАЕМЫЕ ПЕРЕКЛЮЧАТЕЛИ
ПОЗВОЛЯЮТ ЛЕГКО МЕНЯТЬ ПРОФИЛЬ
ТЕСТА И БЫСТРЕЕ ДВИГАТЬСЯ ВПЕРЁД
Больше плюшек тут: http://martinfowler.com/articles/feature-
toggles.html

40. 40
ДИЛЕММА: ЧУЙКА VS. ДАННЫЕ
Помогает ли интуиция в нагрузочном тестировании?

41. 41
CPU AFFINITY

42. 42
РУЧНОЙ CPU AFFINITY

43. 43
УРОК
ДАННЫЕ И МЕТОДОЛОГИЯ ПОМОГАЮТ
БОЛЬШЕ, ЧЕМ ИНТУИЦИЯ
http://www.brendangregg.com/methodology.html

44. 44
ДИЛЕММА: НЕВАЛИДНЫЕ ТЕСТЫ

45. 45
УРОК
ПОЯВЛЕНИЯ НЕВАЛИДНЫХ ТЕСТОВ
ПОЧТИ НЕВОЗМОЖНО ИЗБЕЖАТЬ
Но их повторы предупреждать можно и нужно

46. 46
ВЗАИМОДЕЙСТВИЕ С
РУКОВОДСТВОМ

47. 47
ЧТО ПОЛУЧИЛОСЬ
Планка стабильной работы выросла с 500 до 1200
операторов.
Нашли и исправили десятки багов, от смешных до
серьёзных
Активно переводим клиентов на новую версию продукта

48. 48
MEANWHILE ON D.U.M.P.
Секция Serverside

49. 49
MEANWHILE ON D.U.M.P.
Секция Management

50. 50
СПАСИБО!