Доклад о том, как провести 17 тысяч тестов за три минуты, помочь тестировщикам не умереть со скуки и научить автоматическое тестирование быть ещё более автоматическим. Из доклада вы узнаете: 1. Как мы пришли к необходимости такого решения и как решали эти проблемы изначально. 2. Какие решения этой проблемы уже существуют в мире OpenSource и почему мы от них отказались. 3. Какие "гениальные" идеи мы пытались реализовать и почему все их отвергли. 4. На какой архитектуре мы остановились и как она себя показала (с нескучными цифрами и графиками!). 5. Какие дополнительные возможности приносит сотрудничество PHPUnit с TeamCity и как с их помощью тестировщики могут терроризировать разработчиков. 6. Что обещают сделать в этом направлении разработчики PHPUnit и как обстоят эти дела на данный момент.

1. ОПТИМАЛЬНАЯПАРАЛЛЕЛИЗАЦИЯ
ЮНИТ-ТЕСТОВВ БОЛЬШОМ
ПРОЕКТЕ
Кудинов Илья, Badoo Development

2. Зачем это нужно?

3. Схема запуска 6.5к тестов 16к тестов 16к тестов,
нагруженные серверы
Однопоточныйзапуск 10 – 15 минут 35 – 40 минут
ОБОЖЕКАКМНОГО
минут
??? ??? ??? ???
??? ??? ??? ???
??? ??? ??? ???

4. Время выполнения тестов
Желаниезапускать тесты

5. А может, не будем запускать каждый раз все тесты?
А может, не будем каждый раз запускать ВСЕ тесты?

6. А может, попробуем поделить тесты вручную?

7. А может, просто напишем утилиту, которая будет делить
тесты между потоками поровну?

8. Схема запуска 6.5к тестов 16к тестов 16к тестов,
нагруженные серверы
Однопоточныйзапуск 10 – 15 минут 35 – 40 минут
ОБОЖЕКАКМНОГО
минут
Разделение тестов
поровну 2 – 2.5 минуты 10 – 15 минут 20 – 25 минут
??? ??? ??? ???
??? ??? ??? ???

9. Нам необоходимо средство для автоматического
и равномерного разделения тестов по потокам

10. Начинаем поиск готовых решений!

11. И почти всё что мы нашли – реализация
уже отвергнутых нами методов

12. Оригинальный метод – несколько процессов“разгребают” общую
очередь тестов

13. Разработчики PHPUnit обещают реализацию
многопоточного запуска из коробки?

14. Вывод: надо разработать что-то своё!

15. Первое решение – отделим “большие” тесты от “маленьких”

16. Схема запуска 6.5к тестов 16к тестов 16к тестов,
нагруженные серверы
Однопоточныйзапуск 10 – 15 минут 35 – 40 минут
ОБОЖЕКАКМНОГО
минут
Разделение тестов
поровну 2 – 2.5 минуты 10 – 15 минут 20 – 25 минут
Отделение “больших”
тестов 1.5 – 2 минуты 6 – 8 минут 15 – 20 минут
??? ??? ??? ???

17. Второе решение – необходимо хранить информацию
о времени работы каждого теста!

18. Для избежания переизбытка информации
необходим централизованный сбор статистики!

19. И для этого нам идеально подходит TeamCity!

20. Лучший способ настройки такой утилиты?

21. Итоговая схема Многопоточной пускалки
КЛАСС ДЛЯ СБОРА
И СОХРАНЕНИЯ СТАТИСТИКИ
КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
КЛАСС ДЛЯ
РАСПРЕДЕЛЕНИЯ ТЕСТОВ
ПО ПОТОКАМ

22. КЛАСС ДЛЯ СБОРА И СОХРАНЕНИЯСТАТИСТИКИ
БД TeamCity БД для хранения
статистики
Обработкаинформации
тест => время
файл => время
Поиск соответствия
тест => файл;
Простейшая система
кешированияинформации
для ускорения процесса

23. КЛАСС ДЛЯ СБОРА И СОХРАНЕНИЯ СТАТИСТИКИ
Понедельник Вторник Среда Четверг
Пятница Суббота Воскресенье
7 состояний с накапливаемымиданными
Чем новее статистика – тем больший “вес” она имеет
при распределениитестов
Возрастстатистики Вес статистики
< 1 суток 100
< 2 суток 50
< 3 суток 25
> 3 суток 10

24. КЛАСС ДЛЯ РАСПРЕДЕЛЕНИЯ ТЕСТОВ ПО ПОТОКАМ
Длительность тестов
Потоки с уже распределённымитестами
Тест с известной длительностью

25. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit

26. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Сбор файлов
с тестами

27. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Расчёт времени
выполнения тестов
Сбор файлов
с тестами

28. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Расчёт времени
выполнения тестов
Сбор файлов
с тестами
Распределение
тестов по потокам

29. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Расчёт времени
выполнения тестов
Сбор файлов
с тестами
Распределение
тестов по потокам
Генерация
динамического
XML-конфига

30. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Расчёт времени
выполнения тестов
Сбор файлов
с тестами
Распределение
тестов по потокам
Генерация
динамического
XML-конфига
Запуск процессов
PHPUnit с нужными
параметрами

31. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Расчёт времени
выполнения тестов
Сбор файлов
с тестами
Распределение
тестов по потокам
Генерация
динамического
XML-конфига
Запуск процессов
PHPUnit с нужными
параметрами
Вывод информации
с помощью наших
TestListener'ов

32. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Расчёт времени
выполнения тестов
Сбор файлов
с тестами
Распределение
тестов по потокам
Генерация
динамического
XML-конфига
Запуск процессов
PHPUnit с нужными
параметрами
Вывод информации
с помощью наших
TestListener'ов
Сбор и сохранение
статистики
(если необходимо)

33. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Расчёт времени
выполнения тестов
Сбор файлов
с тестами
Распределение
тестов по потокам
Генерация
динамического
XML-конфига
Запуск процессов
PHPUnit с нужными
параметрами
Вывод информации
с помощью наших
TestListener'ов
Сбор и сохранение
статистики
(если необходимо)
???

34. КЛАСС ДЛЯ ЗАПУСКА ТЕСТОВ
Чтение входного
XML-файла PHPUnit
Расчёт времени
выполнения тестов
Сбор файлов
с тестами
Распределение
тестов по потокам
Генерация
динамического
XML-конфига
Запуск процессов
PHPUnit с нужными
параметрами
Вывод информации
с помощью наших
TestListener'ов
Сбор и сохранение
статистики
(если необходимо)
???
P R O F I T ! ! !

35. Кастомные TestListener'ы

36. Схема запуска 6.5к тестов 16к тестов 16к тестов,
нагруженные серверы
Однопоточныйзапуск 10 – 15 минут 35 – 40 минут
ОБОЖЕКАКМНОГО
минут
Разделение тестов
поровну 2 – 2.5 минуты 10 – 15 минут 20 – 25 минут
Отделение “больших”
тестов 1.5 – 2 минуты 6 – 8 минут 15 – 20 минут
Наша многопоточная
пускалка 45 – 60 секунд 3 – 4 минуты 6 – 8 минут

37. Итого мы получили самостоятельно
адаптирующуюся
под обстоятельства систему!

38. PROFIT
1) Тесты запускаются чаще!
2) Автоматический запуск тестов!
3) Переносимость и конфигурируемость!
4) Going OpenSource – stay tuned!

39. badoo.com
vk.com/badoocom
fb.com/BadooMoscow
twitter.com/BadooDev
habrahabr.ru/company/badoo/
vk.com/relzeg
fb.com/relzeg