SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our User Agreement and Privacy Policy.
SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our Privacy Policy and User Agreement for details.
Successfully reported this slideshow.
Activate your 14 day free trial to unlock unlimited reading.
QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи
А что, если можно проверить ваш продукт не смотря на всю его окраску, на весь его интерфейс?
Данный доклад опишет подход с использованием ELK стека, который мы применили на одном из проектов, чтобы найти баги, которые от нас ускользают. Те баги, когда интерфейс говорит: "Дружище, у нас все в порядке", а потом на проде оказывается все не так.
А что, если можно проверить ваш продукт не смотря на всю его окраску, на весь его интерфейс?
Данный доклад опишет подход с использованием ELK стека, который мы применили на одном из проектов, чтобы найти баги, которые от нас ускользают. Те баги, когда интерфейс говорит: "Дружище, у нас все в порядке", а потом на проде оказывается все не так.
QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи
1.
Тема доклада
Тема доклада
Тема доклада
KYIV 2019
Артем Григоренко, Apriorit
Тестирование приложений без GUI.
Или использование ELK стек для анализа
работы приложения через логи.
QA CONFERENCE #1 IN UKRAINE
2.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
О себе
QA CONFERENCE #1 IN UKRAINE KYIV 2019
QA Lead, Apriorit
• 7 лет в тестировании
• 5 лет в управлении
тестирования на проектах
@GrygorenkoArtem
@artem.grygorenko
3.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
О чем не будем говорить
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Как настроить ELK
• Обзор доступных функций ELK
• Что лучше ELK vs TICK vs SPLUNK
4.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Дано
QA CONFERENCE #1 IN UKRAINE KYIV 2019
В GUI багов нет, но кол-во пользовательских
дефектов все растет.
5.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE KYIV 2019
6.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Идея
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Давайте тестировать
приложение без GUI
7.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Цели
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Анализировать логи во время сессий по
тестированию
• Находить баги до того, как они уйдут заказчику или
в прод
8.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Что рассматривали
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Отдельные десктопные приложения
• TICK stack
• ELK stack
9.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про TICK
QA CONFERENCE #1 IN UKRAINE KYIV 2019
10.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про ELK
QA CONFERENCE #1 IN UKRAINE KYIV 2019
11.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про ELK
QA CONFERENCE #1 IN UKRAINE KYIV 2019
LOGSTASH - DATA AGGREGATION & PROCESSING
ELASTICSEARCH - INDEXING & STORAGE
KIBANA - ANALYSIS & VISUALIZATION
12.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Возможности ELK которые нам нужны
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Следить за ходом выполнения тестирования
• Работать в рамках нескольких сессий
• Использование одного инструмента для всех членов команды
• Фильтрация и быстрый поиск необходимой информации
• Возможность собирать всю информацию по конкретным ревизиям
13.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019
14.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019
15.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019
16.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Подходы к тестированию
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Самостоятельные сессии
• Парные сессии
• Общие сессии со всей командой
17.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Самостоятельные сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Выполняется на ранних стадиях разработки ПО
• Выполняется отдельными членами команды
тестирования
• Позволяет находить наиболее поверхностные
проблемы
18.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Парные сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Выполняется на более поздних стадиях
• Выполняется двумя и более членами команды тестирования
• Позволяет находить не очевидные проблемы
• Проблемы логического характера
• Хорошо помогает в обучении
19.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Общие сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• На завершающих этапах (см. alpha testing)
• Выполняется всеми членами команды
• Позволяет находить конфигурационные
проблемы
• Позволяет привлечь всю команду к
тестированию продукта
20.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
С чем столкнулись
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Лог не понятный тому, кто его смотрит
• Нет информации про окружение
• Не отображено состояние ПО
• Невнятные сообщения об ошибках
21.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Чеклист для проверки
QA CONFERENCE #1 IN UKRAINE KYIV 2019
22.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Немного внутряков
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Информация про окружение:
• Software:
• Версия приложения.
• OS.
• Версия или наличие необходимых третье сторонних
компонент.
• Наличие нужных прав доступа.
• Hardware:
• Данные материнской платы, памяти и тд.
• Данные GPU.
23.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Результаты
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Уменьшение кол-ва пользовательских дефектов на 30%
• Увеличилась скорость локализации проблем в 2 раза
• Нашли новые проблемы, которые не были обнаружены
ранее.
24.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Выводы
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Необходимо чаще заглядывать под капот
• К тому что под капотом, должны предъявляться
требования
• Все что под капотом нужно тестировать
• Все что под капотом нужно улучшать
• Все что под капотом нужно использовать
• Не бояться экспериментировать
25.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Вопросы
QA CONFERENCE #1 IN UKRAINE KYIV 2019
0 likes
Be the first to like this
Views
Total views
298
On SlideShare
0
From Embeds
0
Number of Embeds
0
You have now unlocked unlimited access to 20M+ documents!
Unlimited Reading
Learn faster and smarter from top experts
Unlimited Downloading
Download to take your learnings offline and on the go
You also get free access to Scribd!
Instant access to millions of ebooks, audiobooks, magazines, podcasts and more.
Read and listen offline with any device.
Free access to premium services like Tuneln, Mubi and more.