1.
Тема доклада
Тема доклада
Тема доклада
KYIV 2019
Артем Григоренко, Apriorit
Тестирование приложений без GUI.
Или использование ELK стек для анализа
работы приложения через логи.
QA CONFERENCE #1 IN UKRAINE

2.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
О себе
QA CONFERENCE #1 IN UKRAINE KYIV 2019
QA Lead, Apriorit
• 7 лет в тестировании
• 5 лет в управлении
тестирования на проектах
@GrygorenkoArtem
@artem.grygorenko

3.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
О чем не будем говорить
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Как настроить ELK
• Обзор доступных функций ELK
• Что лучше ELK vs TICK vs SPLUNK

4.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Дано
QA CONFERENCE #1 IN UKRAINE KYIV 2019
В GUI багов нет, но кол-во пользовательских
дефектов все растет.

5.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE KYIV 2019

6.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Идея
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Давайте тестировать
приложение без GUI

7.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Цели
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Анализировать логи во время сессий по
тестированию
• Находить баги до того, как они уйдут заказчику или
в прод

8.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Что рассматривали
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Отдельные десктопные приложения
• TICK stack
• ELK stack

9.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про TICK
QA CONFERENCE #1 IN UKRAINE KYIV 2019

10.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про ELK
QA CONFERENCE #1 IN UKRAINE KYIV 2019

11.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про ELK
QA CONFERENCE #1 IN UKRAINE KYIV 2019
LOGSTASH - DATA AGGREGATION & PROCESSING
ELASTICSEARCH - INDEXING & STORAGE
KIBANA - ANALYSIS & VISUALIZATION

12.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Возможности ELK которые нам нужны
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Следить за ходом выполнения тестирования
• Работать в рамках нескольких сессий
• Использование одного инструмента для всех членов команды
• Фильтрация и быстрый поиск необходимой информации
• Возможность собирать всю информацию по конкретным ревизиям

13.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019

14.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019

15.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019

16.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Подходы к тестированию
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Самостоятельные сессии
• Парные сессии
• Общие сессии со всей командой

17.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Самостоятельные сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Выполняется на ранних стадиях разработки ПО
• Выполняется отдельными членами команды
тестирования
• Позволяет находить наиболее поверхностные
проблемы

18.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Парные сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Выполняется на более поздних стадиях
• Выполняется двумя и более членами команды тестирования
• Позволяет находить не очевидные проблемы
• Проблемы логического характера
• Хорошо помогает в обучении

19.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Общие сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• На завершающих этапах (см. alpha testing)
• Выполняется всеми членами команды
• Позволяет находить конфигурационные
проблемы
• Позволяет привлечь всю команду к
тестированию продукта

20.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
С чем столкнулись
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Лог не понятный тому, кто его смотрит
• Нет информации про окружение
• Не отображено состояние ПО
• Невнятные сообщения об ошибках

21.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Чеклист для проверки
QA CONFERENCE #1 IN UKRAINE KYIV 2019

22.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Немного внутряков
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Информация про окружение:
• Software:
• Версия приложения.
• OS.
• Версия или наличие необходимых третье сторонних
компонент.
• Наличие нужных прав доступа.
• Hardware:
• Данные материнской платы, памяти и тд.
• Данные GPU.

23.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Результаты
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Уменьшение кол-ва пользовательских дефектов на 30%
• Увеличилась скорость локализации проблем в 2 раза
• Нашли новые проблемы, которые не были обнаружены
ранее.

24.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Выводы
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Необходимо чаще заглядывать под капот
• К тому что под капотом, должны предъявляться
требования
• Все что под капотом нужно тестировать
• Все что под капотом нужно улучшать
• Все что под капотом нужно использовать
• Не бояться экспериментировать

25.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Вопросы
QA CONFERENCE #1 IN UKRAINE KYIV 2019