В свое время, когда мы только запускали API, всё было скромно: небольшая команда, комфортные требования, да и бизнес не требовал от нас подвигов. Но всё коренным образом изменилось, когда API разрослось до 30 серверных компонент в трёх датацентрах, а бизнес «порекомендовал» успевать с ответом в 200 мс и выкатывать релизы раз в неделю. На фоне роста проекта, росла команда и остро встали вопросы «как экологично встроить тестирование в большую scrum-команду большого проекта». Мы сфокусировались на трёх важных моментах: Планирование Большая команда → «большое» планирование. Тестирование планируется отдельно или вместе с разработчиками? Нужна ли выделенная роль крайнего за тестирование на проекте? Релиз Нужен ли крайний за релиз и кто отвечает за интеграционные зависимости? Когда надо остановиться и заморозить фичи? Кто и как мониторит продукт после релиза? Автоматизация — наше всё ;) Как не «захлебнуться» в регрессии: unit-тесты, json-схема. Как правильно выбрать фичи для автоматизации и как встроить автоматизацию в процесс тестирования.

1. Agile-тестирование
по версии
API 2ГИС

2. Настасья «Горыныч» Огаркова
Ведущий тестировщикСтажёр
2 года в

3. Справочное API 2ГИС
• Почти 1000 партнёров (Mail.ru,
2GIS.Online…);
• 3 ДЦ: Новосибирск, Москва, Дронтен;
• 700 rps на фронтэнд.

4. Как встроить тестирование
в Scrum-команду?

5. Идеальный Scrum
Планирование Демо

6. Реальный Scrum
Планирование
Test

7. Реальный Scrum
Планирование
1d
Test

8. Работающий Scrum
sp1 sp2
sp1 (test)

9. Работающий Scrum / Планирование
sp1 sp2
sp1 (test)

10. 6 часов планируемся
планировались

11. Планирование / Решение
Свой человек

12. Планирование / Решение
Ведущий тестировщик

13. Планирование / Ведущий тестировщик
1. Планирование разработчиков

14. Планирование / Ведущий тестировщик
1. Планирование разработчиков
2. Согласование ребований, сроков

15. Планирование / Ведущий тестировщик
1. Планирование разработчиков
2. Согласование ребований, сроков
3. Планирование тестировщиков

16. Планирование / Ведущий тестировщик
1. Планирование разработчиков
2. Согласование ребований, сроков
3. Планирование тестировщиков
4. Взаимодействие с другими командами

17. Планирование / Решение
Большие уши

18. Планирование / Большие уши
1. Планирование разработчиков в комнате

19. Планирование / Большие уши
1. Планирование разработчиков в комнате
2. Тестируем и слушаем

20. Работающий Scrum / Планирование
sp1 sp2
sp1 (test)

21. Работающий Scrum / Планирование
sp1 sp2
sp1 (test)

22. Планирование / Профит
2.5h VS 6h

23. Работающий Scrum
sp1 sp2
sp1 (test)

24. sp1 sp2
sp1 (test)
2-3 sp
Работающий Scrum / Тестирование

25. 3 дня регрессионного
тестирования

26. Тестирование / Решение
Unit Tests

27. Тестирование / Решение
Unit Tests

28. Тестирование / Unit Tests
1. Наколбасил? – Запусти Unit Tests!

29. Тестирование / Unit Tests
1. Наколбасил? – Запусти Unit Tests!
2. Взял задачу в тестирование? –
Запусти Unit Tests!

30. Тестирование / Unit Tests
1. Наколбасил? → Запусти Unit Tests!
2. Взял задачу в тестирование? →
Запусти Unit Tests!
3. Регрессируешь? → Запусти Unit
Tests!

31. Тестирование / Решение
Functional AutoTests

32. Тестирование / Решение
Functional AutoTests

33. Тестирование / Functional AutoTests
1. Тесты на новый функционал

34. Тестирование / Functional AutoTests
1. Тесты на новый функционал
2. Каждый спринт пишем тесты

35. Тестирование / Functional AutoTests
1. Тесты на новый функционал
2. Каждый спринт пишем тесты
3. Тесты на найденные ошибки

36. Тестирование / Решение
JSON Schema
http://habrahabr.ru/company/2gis/blog/186768/

37. Тестирование / Решение
Автодокументация
автотестов
PHPDoc

38. Тестирование / Автодокументация
Формат описания
• Заголовок (идея тест-кейса);
• Шаги воспроизведения;
• Проверки (ожидаемый результат);
• Дополнительная информация (автор, дата).

39. /**
* StationSearch. Единовременное использование
*project и where
*
* 1. Получаем некорретное значение с помощью метода
*getIncorrectValues и запоминаем его
* 2. Параметру where присваиваем некорректное
* значение из п.1
* 3. Делаем запрос
* 4. Проверяем значения полей, содержащихся в ответе:
* a. версия API равна указанной в запросе;
* b. код отевета = 400;
*
* @author Ogarkova Anastasia <a.ogarkova@2gis.ru>
* @since 26.03.2012
*/

41. Тестирование / Резюме
• Unit Tests;
• Functional AutoTests;
• Автоматизация тестирования документации;
• Автоматизация внутренней документации.

42. Работающий Scrum / Тестирование
sp1 sp2
sp1 (test)
2-3 sp

43. sp1 sp2
sp1 (test)
Работающий Scrum / Тестирование

44. Тестирование / Профит
3h VS 3d
регрессионного тестирования

45. Работающий Scrum
sp1 sp2
sp1 (test)

46. 1 → 3 дата-центра
2 → 11 нод
3 часа приёмки →

47. Работающий Scrum / Релиз
sp1 sp2
sp1 (test)

48. 15 часов — приёмка релиза

49. sp1 sp2
sp1 (test)
2-3 sp

50. Приёмка релиза / Решение
Smoke AutoTests

51. Приёмка релиза / Решение
Релиз-тестировщик

52. Приёмка релиза / Релиз-тестировщик
1. Подготовка релиза

53. Приёмка релиза / Релиз-тестировщик
1. Подготовка релиза
2. Процесс релиза

54. Приёмка релиза / Релиз-тестировщик
1. Подготовка релиза
2. Процесс релиза
3. Мониторинг боя

55. Приёмка релиза / Мониторинг боя

56. Приёмка релиза / Мониторинг боя

57. Приёмка релиза / Мониторинг боя

58. Работающий Scrum / Релиз
sp1 sp2
sp1 (test)
2-3 sp

59. sp1 sp2
sp1 (test)
Работающий Scrum / Релиз

60. Приёмка релиза / Профит
3h VS 15h

61. Планирование
• Отдельное планирование
тестировщиков
• Свой человек на планировании
разработчиков
• Тестировать и слушать
Ещё раз...

62. Тестирование
• Unit Tests
• Functional AutoTests
• Автоматизация тестирования
документации
• Автоматизация внутренней
документации
Ещё раз...

63. Релиз
• Автоматизация Smoke-
тестов
• Релиз-тестировщик
Ещё раз...

64. Роли
• Ведущий тестировщик
• Релиз-тестировщик
• Тестировщик

65. Всё!
Спасибо за внимание!
Вопросы?
a.ogarkova@2gis.ru @gorynych3003