More Related Content
Similar to QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие изящные способы ускорить доставку фич
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие изящные способы ускорить доставку фич
- 1. Тема доклада Тема доклада Темадоклада KYIV 2019 Параллельное покрытие автотестами и другие изящные способы ускорить доставку фич (Badoo) QA CONFERENCE #1 IN UKRAINE
- 2. ! ускорение процессадоставки фич; ! технический рост; ! ускорение автотестов. О чем я хочу рассказать? 2
- 3. Senior iOS QA. Хочупомочь вам: * сократить количество ручной регрессии; * быстрее релизить фичи; * использовать освободившееся время для более интересных задач. О себе 3
- 4.
- 5. >430 000 000 peopleall over the world use Badoo 5
- 6.
- 7. Что мы хотелиулучшить? 7
- 8.
- 9. Deadlock ручной регрессии Многотестируем руками Мало автотестов Почему ? Почему ? 9
- 10. Automation QA команда 10 'инфраструктура; ' тестовое покрытие.
- 11.
- 12.
- 13. Инфраструктура Facebash = Calabash+ Facebook WebDriverAgent 13
- 14. Calabash ! Calabash серверинтегрируется в приложение и позволяет управлять им; ! быстрая скорость. 14
- 15. Facebook WebDriverAgent 15 ! стартуеттестовую сессию прямо на девайсе и позволяет выйти за рамки приложения
- 16.
- 17. Тестовое покрытие,% 17 0 10 20 30 40 2014 H22015 H1 2015 H2 2016 H1 2016 H2
- 18. Высокий процент переоткрытыхзадач из статуса "в тестировании" 18
- 19. QA=YES тикеты Тикеты, которыепроходят через команду тестирования 19
- 20. 20 master Feature_1 submission submission QA QA=Yes flow QA QA QAQA QA Feature_2 Feature_3 Feature_4
- 21. В идеальном миребез багов 21
- 22. В идеальном миребез багов Разработка Тестирование в ветке Мастер! 22
- 23. Разработка Очередь Review Reopen Мастер!Тестирование вветке Bug fixing Review В реальности 23 Переключение контекста RetestОчередь Retest
- 24. Сравним 24 Разработка Очередь Review Reopen Мастер!Тестирование вветке Bug fixing ReviewПереключение контекста RetestОчередь Retest Разработка Тестирование в ветке Мастер!
- 25.
- 26.
- 27. ! тестируем руками,но редко; ! отдаем часть ручного тестирования разработчикам; ! покрываем тестами параллельно. Как мы снизили количество reopen-ов? 27
- 28. ! увеличили покрытие; !вырастили сильную команду; ! сократили время на выполнение рутинных задач вручную; ! улучшили процессы тестирования; ! ускорили доставку фич. К чему это привело? 28
- 29. На свой страхи риск или QA=NO тикеты 29
- 30. QA=NO тикеты Тикеты, которыене проходят через команду тестирования 30
- 31. QA=Yes flow 31 master Feature_1 submission submission QA QA QA QAQA QA Feature_2 Feature_3 Feature_4
- 32.
- 33. Разрешить разработчикам мерджить безучастия QA — звучит опасно? 33
- 34. “With great powercomes great responsibility” 34
- 35. Как обезопасить себя отперепроверок? Доверяй, но проверяй помогай 35
- 36. Mind Map В помощьразработчикам и себе мы создали iOS testing mind map 36
- 37. Mind Map 37 Ментальная картасостоит из 10 секций
- 38.
- 39. Mind Map 39 Ментальная картасостоит из 10 секций
- 40.
- 41. Mind Map 41 Ментальная картасостоит из 10 секций
- 42. Mind Map 42 Ментальная картасостоит из 10 секций
- 43.
- 44. Mind Map 44 Ментальная картасостоит из 10 секций
- 45.
- 46. Mind Map 46 Ментальная картасостоит из 10 секций
- 47. Mind Map 47 Ментальная картасостоит из 10 секций
- 48.
- 49.
- 50. Mind Map 50 Ментальная картасостоит из 10 секций
- 51. Mind Map 51 Ментальная картасостоит из 10 секций
- 52. Mind Map 52 Ментальная картасостоит из 10 секций
- 53. Mind Map В полномварианте выглядит так 53
- 54. Mind Map Нам правданеобходимо тестировать ВСЕ ЭТО? Сколько же ВРЕМЕНИ это займет 54
- 55. Mind Map Только тепроверки, которые применимы к вашей конкретной задаче 55
- 56. QA=NO тикеты Месяц %Bug fixes % Features % Tasks % Sub-tasks Январь 2018 35,00 % 22,22 % 80,00 % 95,74 % Июль 2018 78,26 % 35,48 % 94,55 % 100,00 % Январь 2019 79,17 % 88,24 % 88,24 % 100,00 % Июль 2019 97,73 % 100,00 % 100,00 % 92,31 % 56
- 57. QA=NO тикеты. Подводныебаги камни 57
- 58.
- 59. Automation_QA=YES Тикеты, которые нетестируются QA командой вручную, но покрываются end-to-end тестами 59
- 60.
- 61.
- 62.
- 63.
- 64.
- 65.
- 66.
- 67.
- 68.
- 69.
- 70.
- 71. Выбор фичи Выбор QA инженера Обзор документации Kickoff Создание тестовых сценариев Выбор уровня имплементации Automation_QA=YES.Процесс 71 Review Review Имплементация фичи Имплементация end-to-end тестов
- 72. Выбор фичи Выбор QA инженера Обзор документации Kickoff Создание тестовых сценариев Выбор уровня имплементации Automation_QA=YES.Процесс 72 Master Review Review Имплементация фичи Имплементация end-to-end тестов
- 73.
- 74. Тестовое покрытие,% 74 0 22,5 45 67,5 90 2016 H12017 H1 2017 H2 2018 H1 2018 H2 2019 H1 83,07%
- 75. Пока тесты небудут готовы, фича не идет в master? 75
- 76.
- 77.
- 78. !1800+ тестов =45 машиночасов; !хотим знать результаты за 20-30 минут; !прогонять тесты параллельно (Device Server). 78 Параллельный запуск
- 79.
- 80.
- 81. Backdoors !логин — 20секунд !диалоги о доступах — 10 !повторять это в каждом тесте? 81
- 82.
- 83. QA API !серверный Backdoor; !позволяетнашим тестам писать сообщения, добавлять лайки, посетителей, избранные. 83
- 84.
- 85. Профилирование +метрики помогают найтиузкие места; +ускорить и стабилизировать сами тесты; +короткая и надежная обратная связь. 85
- 86.
- 87.
- 88. Как мы росли? +анализтестового покрытия; +изучения языка программирования и фреймворка; +создание тестов с уже существующими шагами; +создание тестов с новыми методами, объектами и классами; +починка упавших и нестабильных тестов; +параллельное покрытие фич автотестами. 88
- 89. !непонимание чужого кода; !кодразного качества; !инфраструктурные проблемы; !нестабильные тесты. Подводные камни и как мы их обходим 89
- 90. С чего женачать? 90
- 91. С чего женачать? +анализ рутинных задач; +анализ процессов; +обсуждение и поиск путей улучшения; +тестовый эксперимент; +анализ метрик после улучшение; +коррекция; +повторение. 91
- 92. Спасибо за внимание! Все материалыздесь: https://t.me/kat_tests