Автоматизация тестирования:
отбрасываем лишнее и проверяем
суть
Игорь Хрол
Toptal

О себе
• Игорь Хрол
• Инженер по тестированию в
Toptal (www.toptal.com)
• 9 лет в отрасли
• Инженер, архитектор,
менеджер, консультант,
тренер
• www.khroliz.com

Всё плохо

Замкнутый круг
Тестирование
неинтересно

Замкнутый круг
Тестирование
неинтересно
Неопытные
люди

Замкнутый круг
Тестирование
неинтересно
Неопытные
люди
Сложную
работу некому
делать

Замкнутый круг
Тестирование
неинтересно
Неопытные
люди
Сложную
работу некому
делать
Работа
несложная

Замкнутый круг
Тестирование
неинтересно
Неопытные
люди
Сложную
работу некому
делать
Работа
несложная
Платят
меньше, чем в
разработке

Замкнутый круг
Тестирование
неинтересно
Неопытные
люди
Сложную
работу некому
делать
Работа
несложная
Платят
меньше, чем в
разработке

В результате...
• Если в тестирование попадают талантивые
люди, то случайно
http://artkoshelev.github.io/posts/random-tester/

В результате...
• Если в тестирование попадают талантивые
люди, то случайно
http://artkoshelev.github.io/posts/random-tester/
• Но после этого всё равно уходят в
разработку

В результате...
• Если в тестирование попадают талантивые
люди, то случайно
http://artkoshelev.github.io/posts/random-tester/
• Но после этого всё равно уходят в
разработку
• Тестирование считается простой и
неинтересной IT-профессией

В результате...
• Если в тестирование попадают талантивые
люди, то случайно
http://artkoshelev.github.io/posts/random-tester/
• Но после этого всё равно уходят в разработку
• Тестирование считается простой и
неинтересной IT-профессией
• Качество тестирования оставляет желать
лучшего

Вспомним, кто мы…

Тестирование
неинтересно
Неопытные
люди
Сложную
работу некому
делать
Платят
меньше, чем в
разработке
Работа
несложная

Тестирование
неинтересно
Неопытные
люди
Сложную
работу некому
делать
Платят
меньше, чем в
разработке
Работа
несложная

Как корабль назовёшь...

Как корабль назовёшь...
• Автоматизация тестирования

Как корабль назовёшь...
• Автоматизация тестирования
• Автоматическое тестирование

Как корабль назовёшь...
• Автоматизация тестирования
• Автоматическое тестирование
• Эффективное автоматическое тестирование

Как корабль назовёшь...
«Если бы я спросил людей, чего они хотят, они
бы попросили более быструю лошадь.»
Генри Форд
• Автоматизация тестирования
• Автоматическое тестирование
• Эффективное автоматическое тестирование

Модель задачи по тестированию
5 8 2 1 10
5 × 8 × 2 × 1 × 10 = 800

Модель задачи по тестированию
𝑉1 𝑉2 𝑉3 𝑉4 𝑉5
𝑉1 × 𝑉2 × 𝑉3 × 𝑉4 × 𝑉5

Сложность тестирования
𝑉1 𝑉2 𝑉3 … 𝑉𝑛
𝑖=1
𝑛
𝑉𝑖 ≈ 𝑉 𝑛
Сложность:

Экспоненциальная сложность
http://ru.wikipedia.org/wiki/Экспоненциальный_рост

Чёрный ящик = Экспонента

Автоматизация тестирования -
борьба с экспонентой
• Параллельные запуски не помогают
– 𝑚 – количество потоков
– Сложность:
𝑉 𝑛
𝑚

Разделяй и властвуй
Задача

Разделяй и властвуй
Задача
Подзадача Подзадача
Разделяем

Разделяй и властвуй
Задача
Подзадача Подзадача
Решение
подзадачи
Решение
подзадачи
Решение
подзадачи
Решение
подзадачи
Разделяем
РазделяемРазделяем

Разделяй и властвуй
Задача
Подзадача Подзадача
Решение
подзадачи
Решение
подзадачи
Решение
подзадачи
Решение
подзадачи
Подзадача
Разделяем
РазделяемРазделяем
Соединяем Соединяем
Подзадача

Разделяй и властвуй
Задача
Подзадача Подзадача
Решение
подзадачи
Решение
подзадачи
Решение
подзадачи
Решение
подзадачи
Подзадача
Задача
Разделяем
РазделяемРазделяем
Соединяем Соединяем
Соединяем
Подзадача

Модель задачи по тестированию
5 8 2 1 10
5 × 8 × 2 × 1 × 10 = 800

Модель задачи по тестированию
5 8 2 1 10
5 × 8 × 2 × 1 × 10 = 800
5 + 8 + 2 + 1 + 10 = 26

Модель задачи по тестированию
5 8 2 1 10
5 × 8 × 2 × 1 × 10 = 800
5 + 8 + 2 + 1 + 10 = 26
26 + 4 + 1 = 31

Модель задачи по тестированию
5 8 2 1 10
800 vs 31

Модель задачи по тестированию
𝑉1 𝑉2 𝑉3 𝑉4 𝑉5
𝑉1 + 𝑉2 + 𝑉3 + 𝑉4 + 𝑉5 + 5

Сложность тестирования
𝑉1 𝑉2 𝑉3 … 𝑉𝑛
𝑖=1
𝑛
𝑉𝑖 + 𝑛 ≈ 𝑉 × 𝑛 + 𝑛
Сложность:

Сложность тестирования
𝑉1 𝑉2 𝑉3 … 𝑉𝑛
𝑽 𝒏
vs 𝒏𝑽

Другие преимущества

Более короткие и быстрые тесты

Более точные...

Меньше каскадных падений

29
Поддержка
Количество
тестов
Техническая
глубина
Меньше трудозатрат

30
И конечно Пирамида!

Спасибо! Обсудим?
Игорь Хрол
khroliz@gmail.com
igor.khrol@toptal.com
skype: igor.khrol
www.khroliz.com
www.toptal.com/careers