Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Badger - инструмент для
мониторинга качества продуктов
Шрейдер Ирина
1
2
3
4
5
О чем речь?
Проблемы
Проблема доступности тестов
8
Проблема доступности тестов
• сложный запуск тестов
~10 ручных действий
9
Проблема доступности тестов
• сложный запуск тестов
~10 ручных действий
• кол-во окружений
изменение конфигов вручную
10
Проблема количества тестов
11
Проблема количества тестов
• время выполнения
4 часа ожидания
12
Проблема количества тестов
• время выполнения
4 часа ожидания
• неполнота/некорретность отчетов
нет причины скипов
13
Отсутствие тестовой статистики
14
Отсутствие тестовой статистики
сколько тестов?
тенденции развития?
результаты последней регрессии?
сколько фейлов?
какое к...
Еще раз
сложный запуск тестов
большое количество окружений
время выполнения
неполнота/некорретность отчетов
отсутствие тес...
Решение
Основные требования
• подробные и понятные отчеты
18
Основные требования
• подробные и понятные отчеты
• сбор результатов тестирования
19
Основные требования
• подробные и понятные отчеты
• сбор результатов тестирования
• удобство использования
20
Основные требования
• подробные и понятные отчеты
• сбор результатов тестирования
• удобство использования
• возможность и...
Основные требования
• подробные и понятные отчеты
• сбор результатов тестирования
• удобство использования
• возможность и...
Попробовали
23
Выводы
TestLink TestRail
подробные отчеты - +/-
импорт результатов - +/-
удобство использования - +/-
интеграция с JIRA + ...
Badger - инструмент
для мониторинга
качества продуктов
25
Возможности
26
Возможности
• сбор и хранение результатов тестирования
27
Возможности
• сбор и хранение результатов тестирования
• информативные графики
28
Возможности
• сбор и хранение результатов тестирования
• информативные графики
• интеграция с JIRA
29
Возможности
• сбор и хранение результатов тестирования
• информативные графики
• интеграция с JIRA
• запуск тестов*
* пока...
Что мониторить?
Статистика по тестам
Пример: время выполнения
32
Статистика по тестам
Пример: количество скипов
33
Статистика по тестам
Пример: количество фейлов
34
Статистика по тестам
Пример: тенденции
35
Статистика по релизам
36
Статистика по багам
37
Статистика по багам
38
Как мониторить?
40
Путь 1:
отправка данных в Badger
Отправка данных
42
Отправка данных
43
Отправка данных
• способы
python утилита, api метод
44
Отправка данных
• способы
python утилита, api метод
• форматы
nunit, junit
45
Путь 2:
настройка тестов в Badger
Описание задач
47
Описание задач
48
Описание задач
49
Переменные окружения
50
Переменные окружения
51
Выбор тестов
52
Выбор тестов
53
Выполнение тестов
54
Выполнение тестов
55
Наши проблемы решены
сложный запуск тестов
большое количество окружений
время выполнения
неполнота/некорретность отчетов
о...
Особенности
57
Особенности
• нельзя создавать свои дашборды
• нет настройки графиков
• нет локализации
58
Технологический стек
Технологии
API UI
Python + Django
Django REST Framework
Celery
ExpressJS
AngularJS
60
Инфраструктура
61
Тестирование
API UI
Unit & Functional tests Selenium tests
62
Итоги
Итоги
• повысили качество продуктов
доступность, актуальность
64
Итоги
• повысили качество продуктов
• 18 команд
65
Итоги
• повысили качество продуктов
• 18 команд
время: было 4 часа, стало ~40 минут
скипов: было 20%, стало 4%
релизы: был...
Итоги
• повысили качество продуктов
• 18 команд
• гибкий, легкий инструмент
1 человек на поддержке
67
Итоги
• повысили качество продуктов
• 18 команд
• гибкий, легкий инструмент
• opensource
fork, pull request, issues
68
github.com/2gis/badger
github.com/2gis/badger-api
69
Upcoming SlideShare
Loading in …5
×

Badger — инструмент для мониторинга качества продуктов

1,235 views

Published on

Доклад Ирины Шрейдер на конференции SQA Days-18, 27-28 ноября 2015 г., Москва www.sqadays.com

Published in: Education
  • Be the first to comment

Badger — инструмент для мониторинга качества продуктов

  1. 1. Badger - инструмент для мониторинга качества продуктов Шрейдер Ирина 1
  2. 2. 2
  3. 3. 3
  4. 4. 4
  5. 5. 5
  6. 6. О чем речь?
  7. 7. Проблемы
  8. 8. Проблема доступности тестов 8
  9. 9. Проблема доступности тестов • сложный запуск тестов ~10 ручных действий 9
  10. 10. Проблема доступности тестов • сложный запуск тестов ~10 ручных действий • кол-во окружений изменение конфигов вручную 10
  11. 11. Проблема количества тестов 11
  12. 12. Проблема количества тестов • время выполнения 4 часа ожидания 12
  13. 13. Проблема количества тестов • время выполнения 4 часа ожидания • неполнота/некорретность отчетов нет причины скипов 13
  14. 14. Отсутствие тестовой статистики 14
  15. 15. Отсутствие тестовой статистики сколько тестов? тенденции развития? результаты последней регрессии? сколько фейлов? какое качество у продукта? и т.д. 15
  16. 16. Еще раз сложный запуск тестов большое количество окружений время выполнения неполнота/некорретность отчетов отсутствие тестовой статистики 16
  17. 17. Решение
  18. 18. Основные требования • подробные и понятные отчеты 18
  19. 19. Основные требования • подробные и понятные отчеты • сбор результатов тестирования 19
  20. 20. Основные требования • подробные и понятные отчеты • сбор результатов тестирования • удобство использования 20
  21. 21. Основные требования • подробные и понятные отчеты • сбор результатов тестирования • удобство использования • возможность интеграции 21
  22. 22. Основные требования • подробные и понятные отчеты • сбор результатов тестирования • удобство использования • возможность интеграции • простота расширения 22
  23. 23. Попробовали 23
  24. 24. Выводы TestLink TestRail подробные отчеты - +/- импорт результатов - +/- удобство использования - +/- интеграция с JIRA + + простота расширения + - стоимость бесплатный платный 24
  25. 25. Badger - инструмент для мониторинга качества продуктов 25
  26. 26. Возможности 26
  27. 27. Возможности • сбор и хранение результатов тестирования 27
  28. 28. Возможности • сбор и хранение результатов тестирования • информативные графики 28
  29. 29. Возможности • сбор и хранение результатов тестирования • информативные графики • интеграция с JIRA 29
  30. 30. Возможности • сбор и хранение результатов тестирования • информативные графики • интеграция с JIRA • запуск тестов* * пока только для unix 30
  31. 31. Что мониторить?
  32. 32. Статистика по тестам Пример: время выполнения 32
  33. 33. Статистика по тестам Пример: количество скипов 33
  34. 34. Статистика по тестам Пример: количество фейлов 34
  35. 35. Статистика по тестам Пример: тенденции 35
  36. 36. Статистика по релизам 36
  37. 37. Статистика по багам 37
  38. 38. Статистика по багам 38
  39. 39. Как мониторить?
  40. 40. 40
  41. 41. Путь 1: отправка данных в Badger
  42. 42. Отправка данных 42
  43. 43. Отправка данных 43
  44. 44. Отправка данных • способы python утилита, api метод 44
  45. 45. Отправка данных • способы python утилита, api метод • форматы nunit, junit 45
  46. 46. Путь 2: настройка тестов в Badger
  47. 47. Описание задач 47
  48. 48. Описание задач 48
  49. 49. Описание задач 49
  50. 50. Переменные окружения 50
  51. 51. Переменные окружения 51
  52. 52. Выбор тестов 52
  53. 53. Выбор тестов 53
  54. 54. Выполнение тестов 54
  55. 55. Выполнение тестов 55
  56. 56. Наши проблемы решены сложный запуск тестов большое количество окружений время выполнения неполнота/некорретность отчетов отсутствие тестовой статистики 56
  57. 57. Особенности 57
  58. 58. Особенности • нельзя создавать свои дашборды • нет настройки графиков • нет локализации 58
  59. 59. Технологический стек
  60. 60. Технологии API UI Python + Django Django REST Framework Celery ExpressJS AngularJS 60
  61. 61. Инфраструктура 61
  62. 62. Тестирование API UI Unit & Functional tests Selenium tests 62
  63. 63. Итоги
  64. 64. Итоги • повысили качество продуктов доступность, актуальность 64
  65. 65. Итоги • повысили качество продуктов • 18 команд 65
  66. 66. Итоги • повысили качество продуктов • 18 команд время: было 4 часа, стало ~40 минут скипов: было 20%, стало 4% релизы: было 1 в неделю, стало 2-3 в неделю 66
  67. 67. Итоги • повысили качество продуктов • 18 команд • гибкий, легкий инструмент 1 человек на поддержке 67
  68. 68. Итоги • повысили качество продуктов • 18 команд • гибкий, легкий инструмент • opensource fork, pull request, issues 68
  69. 69. github.com/2gis/badger github.com/2gis/badger-api 69

×