Доклад Ирины Шрейдер на конференции SQA Days-18, 27-28 ноября 2015 г., Москва www.sqadays.com

1. Badger - инструмент для
мониторинга качества продуктов
Шрейдер Ирина
1

2. 2

3. 3

4. 4

5. 5

6. О чем речь?

7. Проблемы

8. Проблема доступности тестов
8

9. Проблема доступности тестов
• сложный запуск тестов
~10 ручных действий
9

10. Проблема доступности тестов
• сложный запуск тестов
~10 ручных действий
• кол-во окружений
изменение конфигов вручную
10

11. Проблема количества тестов
11

12. Проблема количества тестов
• время выполнения
4 часа ожидания
12

13. Проблема количества тестов
• время выполнения
4 часа ожидания
• неполнота/некорретность отчетов
нет причины скипов
13

14. Отсутствие тестовой статистики
14

15. Отсутствие тестовой статистики
сколько тестов?
тенденции развития?
результаты последней регрессии?
сколько фейлов?
какое качество у продукта?
и т.д.
15

16. Еще раз
сложный запуск тестов
большое количество окружений
время выполнения
неполнота/некорретность отчетов
отсутствие тестовой статистики
16

17. Решение

18. Основные требования
• подробные и понятные отчеты
18

19. Основные требования
• подробные и понятные отчеты
• сбор результатов тестирования
19

20. Основные требования
• подробные и понятные отчеты
• сбор результатов тестирования
• удобство использования
20

21. Основные требования
• подробные и понятные отчеты
• сбор результатов тестирования
• удобство использования
• возможность интеграции
21

22. Основные требования
• подробные и понятные отчеты
• сбор результатов тестирования
• удобство использования
• возможность интеграции
• простота расширения
22

23. Попробовали
23

24. Выводы
TestLink TestRail
подробные отчеты - +/-
импорт результатов - +/-
удобство использования - +/-
интеграция с JIRA + +
простота расширения + -
стоимость бесплатный платный
24

25. Badger - инструмент
для мониторинга
качества продуктов
25

26. Возможности
26

27. Возможности
• сбор и хранение результатов тестирования
27

28. Возможности
• сбор и хранение результатов тестирования
• информативные графики
28

29. Возможности
• сбор и хранение результатов тестирования
• информативные графики
• интеграция с JIRA
29

30. Возможности
• сбор и хранение результатов тестирования
• информативные графики
• интеграция с JIRA
• запуск тестов*
* пока только для unix
30

31. Что мониторить?

32. Статистика по тестам
Пример: время выполнения
32

33. Статистика по тестам
Пример: количество скипов
33

34. Статистика по тестам
Пример: количество фейлов
34

35. Статистика по тестам
Пример: тенденции
35

36. Статистика по релизам
36

37. Статистика по багам
37

38. Статистика по багам
38

39. Как мониторить?

40. 40

41. Путь 1:
отправка данных в Badger

42. Отправка данных
42

43. Отправка данных
43

44. Отправка данных
• способы
python утилита, api метод
44

45. Отправка данных
• способы
python утилита, api метод
• форматы
nunit, junit
45

46. Путь 2:
настройка тестов в Badger

47. Описание задач
47

48. Описание задач
48

49. Описание задач
49

50. Переменные окружения
50

51. Переменные окружения
51

52. Выбор тестов
52

53. Выбор тестов
53

54. Выполнение тестов
54

55. Выполнение тестов
55

56. Наши проблемы решены
сложный запуск тестов
большое количество окружений
время выполнения
неполнота/некорретность отчетов
отсутствие тестовой статистики
56

57. Особенности
57

58. Особенности
• нельзя создавать свои дашборды
• нет настройки графиков
• нет локализации
58

59. Технологический стек

60. Технологии
API UI
Python + Django
Django REST Framework
Celery
ExpressJS
AngularJS
60

61. Инфраструктура
61

62. Тестирование
API UI
Unit & Functional tests Selenium tests
62

63. Итоги

64. Итоги
• повысили качество продуктов
доступность, актуальность
64

65. Итоги
• повысили качество продуктов
• 18 команд
65

66. Итоги
• повысили качество продуктов
• 18 команд
время: было 4 часа, стало ~40 минут
скипов: было 20%, стало 4%
релизы: было 1 в неделю, стало 2-3 в неделю
66

67. Итоги
• повысили качество продуктов
• 18 команд
• гибкий, легкий инструмент
1 человек на поддержке
67

68. Итоги
• повысили качество продуктов
• 18 команд
• гибкий, легкий инструмент
• opensource
fork, pull request, issues
68

69. github.com/2gis/badger
github.com/2gis/badger-api
69