Документ обсуждает автоматизацию тестирования в крупных проектах, выделяя ключевые проблемы и предлагая решения, такие как группировка тестов по приоритетам и использование общего фреймворка. Рассматриваются вопросы масштабирования, поддержки, и стабильной инфраструктуры, а также необходимость синхронизации работы команды. Основное внимание уделяется поддержанию стабильного успеха тестов, с целевым показателем 97%.

1. Игорь Хрол Автоматизация тестирования на крупных проектах

2. План Что есть крупный проект? Типичные проблемы Варианты решения Обо всём понемногу

3. План Что есть крупный проект? Типичные проблемы Варианты решения Обо всём понемногу

4. Что есть «крупный проект» в автоматизации тестирования? Более 1-2 человеко-лет разработки тестов

5. Что есть «крупный проект» в автоматизации тестирования? Более 1-2 человеко-лет разработки тестов Выделенная команда, занимающаяся автоматизацией тестирования

6. Что есть «крупный проект» в автоматизации тестирования? Более 1-2 человеко-лет разработки тестов Выделенная команда, занимающаяся автоматизацией тестирования Появляются проблемы с масштабированием, поддержкой, запусками и так далее...

7. Проблемы Тестов слишком много

8. Проблемы - Тестов слишком много Тесты не успевают отработать за 1-2 часа

9. Проблемы - Тестов слишком много Тесты не успевают отработать за 1-2 часа Решение - запускать их на ночь

10. Проблемы - Тестов слишком много Тесты не успевают отработать за ночь

11. Проблемы - Тестов слишком много Тесты не успевают отработать за ночь Решение - распараллеливание

12. Проблемы с распараллеливанием Требуется больше серверов

13. Проблемы с распараллеливанием Требуется больше серверов Тесты начинают конфликтовать между собой

14. Проблемы с распараллеливанием Требуется больше серверов Тесты начинают конфликтовать между собой Одно из решений - использование нескольких тестовых стендов

15. Проблемы - Тестов слишком много Тесты не успевают отработать за сутки

16. Проблемы - Тестов слишком много Тесты не успевают отработать за сутки Решение - запуск на выходные

17. Проблемы - Тестов слишком много Тесты не успевают отработать за выходные Еще решения...

18. Проблемы - Тестов слишком много Тесты не успевают отработать за выходные Еще решения... Группировка тестов по приоритетам

19. Проблемы - Тестов слишком много Тесты не успевают отработать за выходные Еще решения... Группировка тестов по приоритетам Запуск тестов на самых "быстрых" окружениях

20. Проблемы - Тестов слишком много Тесты не успевают отработать за выходные Еще решения... Группировка тестов по приоритетам Запуск тестов на самых "быстрых" окружениях Использование заранее подготовленных данных

21. Проблемы - Тестов слишком много Тесты не успевают отработать за выходные Еще решения... Группировка тестов по приоритетам Запуск тестов на самых "быстрых" окружениях Интеграция с BackEnd ( отдельный слайд ) Использование заранее подготовленных данных

22. Интеграция с Back End API

23. Интеграция с Back End API В теории: Должно работать для Ruby-on-Rails ASP.NET + IronRuby (IronPython)

24. Большие объёмы поддержки Решения проблемы:

25. Большие объёмы поддержки Решения проблемы: общий фреймворк: исправления одних людей могут ре-использоваться другими исправления происходят в одном месте

26. Большие объёмы поддержки Решения проблемы: общий фреймворк: исправления одних людей могут ре-использоваться другими исправления происходят в одном месте эффективный фреймворк для минимизации дублирования кода

27. Большие объёмы поддержки Решения проблемы: общий фреймворк: исправления одних людей могут ре-использоваться другими исправления происходят в одном месте эффективный фреймворк для минимизации дублирования кода максимально частые запуски тестов

28. Большие объёмы поддержки Решения проблемы: общий фреймворк: исправления одних людей могут ре-использоваться другими исправления происходят в одном месте эффективный фреймворк для минимизации дублирования кода максимально частые запуски тестов эффективные инструменты по автоматизации (QTP vs Selenium)

29. Стабильная инфраструктура

30. Стабильная инфраструктура Выключать автоматическое обновление windows-серверов

31. Стабильная инфраструктура Выключать автоматическое обновление windows-серверов Использовать фиксированные пароли

32. Стабильная инфраструктура Выключать автоматическое обновление windows-серверов Использовать фиксированные пароли Шаблоны виртуальных машин

33. Стабильная инфраструктура Выключать автоматическое обновление windows-серверов Использовать фиксированные пароли Шаблоны виртуальных машин Скрипты для установки переменных окружения

34. Стабильная инфраструктура Выключать автоматическое обновление windows-серверов Использовать фиксированные пароли Шаблоны виртуальных машин Скрипты для установки переменных окружения Запланированные maintenance активности

35. Работа многих людей одновременно Возникающие проблемы: Каждый может что-то поломать Не все могут быть "в курсе" изменений Требуется синхронизация разных работ

36. Каждый может что-то поломать Решение: Continious Integration

37. Каждый может что-то поломать Решение: Continious Integration Hudson, CruiseControl, Bamboo... Проводится только компиляция тестов Письмо виноватому и начальству в случае поломки

38. Не все могут быть "в курсе" изменений Варианты решения: Общий чат E-mail рассылки Регулярные статусные митинги

39. Не все могут быть "в курсе" изменений Варианты решения: Общий чат E-mail рассылки Регулярные статусные митинги Больше общайтесь! :)

40. Разделение на подкоманды Синхронизация разных работ

41. Работа с несколькими codeline

42. Проблемы синхронизации всё-таки возникают Нужно всем вместе установить новую сборку приложения Требуется сделать следующий branch Меняем текущий поддерживаемый браузер и т д

43. Стабильные тесты Основной показатель - Success Rate

44. Стабильные тесты Основной показатель - Success Rate Какой результат достижим для UI тестов (от 0% до 100%)?

45. Стабильные тесты Основной показатель - Success Rate Какой результат достижим для UI тестов (от 0% до 100%)? Наш целевой показатель - 97%

46. Стабильные тесты Основной показатель - Success Rate Какой результат достижим для UI тестов (от 0% до 100%)? Наш целевой показатель - 97% Отдельный проект в Bug Tracking системе для быстрого реагирования на запросы (а также контроль качества)

47. Стабильные тесты Основной показатель - Success Rate Какой результат достижим для UI тестов (от 0% до 100%)? Наш целевой показатель - 97% Отдельный проект в Bug Tracking системе для быстрого реагирования на запросы (а также контроль качества) Какие из тестов стабильнее? нет дефектов в Bug Tracking'е регулярно заносятся дефекты

48. Инфраструктура для запуска тестов Возможность запуска тестов всем заинтересованным людям Централизованное хранилище результатов Создание пула машин для выполения тестов

49. Инфраструктура для запуска тестов Возможность запуска тестов всем заинтересованным людям Централизованное хранилище результатов Создание пула машин для выполения тестов Предстоит сделать...

50. Вопросы