QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

Тема доклада
KYIV 2019
Артем Григоренко, Apriorit
Тестирование приложений без GUI.
Или использование ELK стек для анализа
работы приложения через логи.
QA CONFERENCE #1 IN UKRAINE

WITH PASSION TO QUALITY
О себе
QA CONFERENCE #1 IN UKRAINE KYIV 2019
QA Lead, Apriorit
• 7 лет в тестировании
• 5 лет в управлении
тестирования на проектах
@GrygorenkoArtem
@artem.grygorenko

О чем не будем говорить
• Как настроить ELK
• Обзор доступных функций ELK
• Что лучше ELK vs TICK vs SPLUNK

Дано
В GUI багов нет, но кол-во пользовательских
дефектов все растет.

WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE KYIV 2019

Идея
Давайте тестировать
приложение без GUI

Цели
• Анализировать логи во время сессий по
тестированию
• Находить баги до того, как они уйдут заказчику или
в прод

Что рассматривали
• Отдельные десктопные приложения
• TICK stack
• ELK stack

Про TICK

Про ELK

Про ELK
LOGSTASH - DATA AGGREGATION & PROCESSING
ELASTICSEARCH - INDEXING & STORAGE
KIBANA - ANALYSIS & VISUALIZATION

Возможности ELK которые нам нужны
• Следить за ходом выполнения тестирования
• Работать в рамках нескольких сессий
• Использование одного инструмента для всех членов команды
• Фильтрация и быстрый поиск необходимой информации
• Возможность собирать всю информацию по конкретным ревизиям

Как это выглядит

Подходы к тестированию
• Самостоятельные сессии
• Парные сессии
• Общие сессии со всей командой

Самостоятельные сессии
• Выполняется на ранних стадиях разработки ПО
• Выполняется отдельными членами команды
тестирования
• Позволяет находить наиболее поверхностные
проблемы

Парные сессии
• Выполняется на более поздних стадиях
• Выполняется двумя и более членами команды тестирования
• Позволяет находить не очевидные проблемы
• Проблемы логического характера
• Хорошо помогает в обучении

Общие сессии
• На завершающих этапах (см. alpha testing)
• Выполняется всеми членами команды
• Позволяет находить конфигурационные
проблемы
• Позволяет привлечь всю команду к
тестированию продукта

С чем столкнулись
• Лог не понятный тому, кто его смотрит
• Нет информации про окружение
• Не отображено состояние ПО
• Невнятные сообщения об ошибках

Чеклист для проверки

Немного внутряков
Информация про окружение:
• Software:

• Версия приложения.

• OS.

• Версия или наличие необходимых третье сторонних
компонент.

• Наличие нужных прав доступа.

• Hardware:

• Данные материнской платы, памяти и тд.

• Данные GPU.

Результаты
• Уменьшение кол-ва пользовательских дефектов на 30%
• Увеличилась скорость локализации проблем в 2 раза
• Нашли новые проблемы, которые не были обнаружены
ранее.

Выводы
• Необходимо чаще заглядывать под капот
• К тому что под капотом, должны предъявляться
требования
• Все что под капотом нужно тестировать
• Все что под капотом нужно улучшать
• Все что под капотом нужно использовать
• Не бояться экспериментировать

Вопросы

QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

Recommended

More Related Content

Similar to QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

Similar to QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи(20)

More from QAFest

More from QAFest(20)

QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи