Successfully reported this slideshow.

QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

0

Share

1 of 25
1 of 25

QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

0

Share

А что, если можно проверить ваш продукт не смотря на всю его окраску, на весь его интерфейс?
Данный доклад опишет подход с использованием ELK стека, который мы применили на одном из проектов, чтобы найти баги, которые от нас ускользают. Те баги, когда интерфейс говорит: "Дружище, у нас все в порядке", а потом на проде оказывается все не так.

А что, если можно проверить ваш продукт не смотря на всю его окраску, на весь его интерфейс?
Данный доклад опишет подход с использованием ELK стека, который мы применили на одном из проектов, чтобы найти баги, которые от нас ускользают. Те баги, когда интерфейс говорит: "Дружище, у нас все в порядке", а потом на проде оказывается все не так.

More Related Content

More from QAFest

Related Books

Free with a 14 day trial from Scribd

See all

QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

  1. 1. Тема доклада Тема доклада Тема доклада KYIV 2019 Артем Григоренко, Apriorit Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи. QA CONFERENCE #1 IN UKRAINE
  2. 2. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY О себе QA CONFERENCE #1 IN UKRAINE KYIV 2019 QA Lead, Apriorit • 7 лет в тестировании • 5 лет в управлении тестирования на проектах @GrygorenkoArtem @artem.grygorenko
  3. 3. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY О чем не будем говорить QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Как настроить ELK • Обзор доступных функций ELK • Что лучше ELK vs TICK vs SPLUNK
  4. 4. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Дано QA CONFERENCE #1 IN UKRAINE KYIV 2019 В GUI багов нет, но кол-во пользовательских дефектов все растет.
  5. 5. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE KYIV 2019
  6. 6. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Идея QA CONFERENCE #1 IN UKRAINE KYIV 2019 Давайте тестировать приложение без GUI
  7. 7. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Цели QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Анализировать логи во время сессий по тестированию • Находить баги до того, как они уйдут заказчику или в прод
  8. 8. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Что рассматривали QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Отдельные десктопные приложения • TICK stack • ELK stack
  9. 9. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Про TICK QA CONFERENCE #1 IN UKRAINE KYIV 2019
  10. 10. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Про ELK QA CONFERENCE #1 IN UKRAINE KYIV 2019
  11. 11. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Про ELK QA CONFERENCE #1 IN UKRAINE KYIV 2019 LOGSTASH - DATA AGGREGATION & PROCESSING ELASTICSEARCH - INDEXING & STORAGE KIBANA - ANALYSIS & VISUALIZATION
  12. 12. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Возможности ELK которые нам нужны QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Следить за ходом выполнения тестирования • Работать в рамках нескольких сессий • Использование одного инструмента для всех членов команды • Фильтрация и быстрый поиск необходимой информации • Возможность собирать всю информацию по конкретным ревизиям
  13. 13. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Как это выглядит QA CONFERENCE #1 IN UKRAINE KYIV 2019
  14. 14. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Как это выглядит QA CONFERENCE #1 IN UKRAINE KYIV 2019
  15. 15. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Как это выглядит QA CONFERENCE #1 IN UKRAINE KYIV 2019
  16. 16. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Подходы к тестированию QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Самостоятельные сессии • Парные сессии • Общие сессии со всей командой
  17. 17. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Самостоятельные сессии QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Выполняется на ранних стадиях разработки ПО • Выполняется отдельными членами команды тестирования • Позволяет находить наиболее поверхностные проблемы
  18. 18. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Парные сессии QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Выполняется на более поздних стадиях • Выполняется двумя и более членами команды тестирования • Позволяет находить не очевидные проблемы • Проблемы логического характера • Хорошо помогает в обучении
  19. 19. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Общие сессии QA CONFERENCE #1 IN UKRAINE KYIV 2019 • На завершающих этапах (см. alpha testing) • Выполняется всеми членами команды • Позволяет находить конфигурационные проблемы • Позволяет привлечь всю команду к тестированию продукта
  20. 20. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY С чем столкнулись QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Лог не понятный тому, кто его смотрит • Нет информации про окружение • Не отображено состояние ПО • Невнятные сообщения об ошибках
  21. 21. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Чеклист для проверки QA CONFERENCE #1 IN UKRAINE KYIV 2019
  22. 22. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Немного внутряков QA CONFERENCE #1 IN UKRAINE KYIV 2019 Информация про окружение: • Software: • Версия приложения. • OS. • Версия или наличие необходимых третье сторонних компонент. • Наличие нужных прав доступа. • Hardware: • Данные материнской платы, памяти и тд.  • Данные GPU. 
  23. 23. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Результаты QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Уменьшение кол-ва пользовательских дефектов на 30% • Увеличилась скорость локализации проблем в 2 раза • Нашли новые проблемы, которые не были обнаружены ранее.
  24. 24. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Выводы QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Необходимо чаще заглядывать под капот • К тому что под капотом, должны предъявляться требования • Все что под капотом нужно тестировать • Все что под капотом нужно улучшать • Все что под капотом нужно использовать • Не бояться экспериментировать
  25. 25. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Вопросы QA CONFERENCE #1 IN UKRAINE KYIV 2019

×