QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

Q
Тема доклада
Тема доклада
Тема доклада
KYIV 2019
Артем Григоренко, Apriorit
Тестирование приложений без GUI.
Или использование ELK стек для анализа
работы приложения через логи.
QA CONFERENCE #1 IN UKRAINE
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
О себе
QA CONFERENCE #1 IN UKRAINE KYIV 2019
QA Lead, Apriorit
• 7 лет в тестировании
• 5 лет в управлении
тестирования на проектах
@GrygorenkoArtem
@artem.grygorenko
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
О чем не будем говорить
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Как настроить ELK
• Обзор доступных функций ELK
• Что лучше ELK vs TICK vs SPLUNK
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Дано
QA CONFERENCE #1 IN UKRAINE KYIV 2019
В GUI багов нет, но кол-во пользовательских
дефектов все растет.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE KYIV 2019
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Идея
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Давайте тестировать
приложение без GUI
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Цели
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Анализировать логи во время сессий по
тестированию
• Находить баги до того, как они уйдут заказчику или
в прод
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Что рассматривали
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Отдельные десктопные приложения
• TICK stack
• ELK stack
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про TICK
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про ELK
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Про ELK
QA CONFERENCE #1 IN UKRAINE KYIV 2019
LOGSTASH - DATA AGGREGATION & PROCESSING
ELASTICSEARCH - INDEXING & STORAGE
KIBANA - ANALYSIS & VISUALIZATION
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Возможности ELK которые нам нужны
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Следить за ходом выполнения тестирования
• Работать в рамках нескольких сессий
• Использование одного инструмента для всех членов команды
• Фильтрация и быстрый поиск необходимой информации
• Возможность собирать всю информацию по конкретным ревизиям
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Как это выглядит
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Подходы к тестированию
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Самостоятельные сессии
• Парные сессии
• Общие сессии со всей командой
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Самостоятельные сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Выполняется на ранних стадиях разработки ПО
• Выполняется отдельными членами команды
тестирования
• Позволяет находить наиболее поверхностные
проблемы
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Парные сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Выполняется на более поздних стадиях
• Выполняется двумя и более членами команды тестирования
• Позволяет находить не очевидные проблемы
• Проблемы логического характера
• Хорошо помогает в обучении
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Общие сессии
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• На завершающих этапах (см. alpha testing)
• Выполняется всеми членами команды
• Позволяет находить конфигурационные
проблемы
• Позволяет привлечь всю команду к
тестированию продукта
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
С чем столкнулись
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Лог не понятный тому, кто его смотрит
• Нет информации про окружение
• Не отображено состояние ПО
• Невнятные сообщения об ошибках
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Чеклист для проверки
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Немного внутряков
QA CONFERENCE #1 IN UKRAINE KYIV 2019
Информация про окружение:
• Software:

• Версия приложения.

• OS.

• Версия или наличие необходимых третье сторонних
компонент.

• Наличие нужных прав доступа.

• Hardware:

• Данные материнской платы, памяти и тд. 

• Данные GPU. 
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Результаты
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Уменьшение кол-ва пользовательских дефектов на 30%
• Увеличилась скорость локализации проблем в 2 раза
• Нашли новые проблемы, которые не были обнаружены
ранее.
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Выводы
QA CONFERENCE #1 IN UKRAINE KYIV 2019
• Необходимо чаще заглядывать под капот
• К тому что под капотом, должны предъявляться
требования
• Все что под капотом нужно тестировать
• Все что под капотом нужно улучшать
• Все что под капотом нужно использовать
• Не бояться экспериментировать
Тема доклада
Тема доклада
Тема доклада
WITH PASSION TO QUALITY
Вопросы
QA CONFERENCE #1 IN UKRAINE KYIV 2019
1 of 25

Recommended

QA Fest 2018. Екатерина Шепелева. Case study: Тестирование миграции пользоват... by
QA Fest 2018. Екатерина Шепелева. Case study: Тестирование миграции пользоват...QA Fest 2018. Екатерина Шепелева. Case study: Тестирование миграции пользоват...
QA Fest 2018. Екатерина Шепелева. Case study: Тестирование миграции пользоват...QAFest
324 views65 slides
Mobile Fest 2018. Владимир Бондаренко. Почему переход с Apache Cordova на Rea... by
Mobile Fest 2018. Владимир Бондаренко. Почему переход с Apache Cordova на Rea...Mobile Fest 2018. Владимир Бондаренко. Почему переход с Apache Cordova на Rea...
Mobile Fest 2018. Владимир Бондаренко. Почему переход с Apache Cordova на Rea...MobileFest2018
245 views38 slides
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и... by
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QAFest
336 views92 slides
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н... by
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QAFest
338 views35 slides
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении by
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQAFest
607 views58 slides
DevOps для Legacy-продуктов by
DevOps для Legacy-продуктовDevOps для Legacy-продуктов
DevOps для Legacy-продуктовScrumTrek
224 views16 slides

More Related Content

Similar to QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

Особенности внедрения KPI или как доказать, что Ваш «зеленый» проект реально ... by
Особенности внедрения KPI или как доказать, что Ваш «зеленый» проект реально ...Особенности внедрения KPI или как доказать, что Ваш «зеленый» проект реально ...
Особенности внедрения KPI или как доказать, что Ваш «зеленый» проект реально ...CEE-SEC(R)
571 views24 slides
.NET Fest 2018. Андрей Винда. Построение поисковой системы: от тернии к звездам by
.NET Fest 2018. Андрей Винда. Построение поисковой системы: от тернии к звездам.NET Fest 2018. Андрей Винда. Построение поисковой системы: от тернии к звездам
.NET Fest 2018. Андрей Винда. Построение поисковой системы: от тернии к звездамNETFest
245 views61 slides
Внедрение тестирования в Scrum by
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в ScrumDenis Petelin
7 views31 slides
Внедрение тестирования в Scrum by
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в ScrumDenis Petelin
1.5K views31 slides
Анализ инструментов автоматизации мобильного тестирования by
Анализ инструментов автоматизации мобильного тестированияАнализ инструментов автоматизации мобильного тестирования
Анализ инструментов автоматизации мобильного тестированияSQALab
1.4K views32 slides
Организация процесса тестирования в Agile команде с помощью матрицы квадранто... by
Организация процесса тестирования в Agile команде с помощью матрицы квадранто...Организация процесса тестирования в Agile команде с помощью матрицы квадранто...
Организация процесса тестирования в Agile команде с помощью матрицы квадранто...Zestranec
1.2K views14 slides

Similar to QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи(20)

Особенности внедрения KPI или как доказать, что Ваш «зеленый» проект реально ... by CEE-SEC(R)
Особенности внедрения KPI или как доказать, что Ваш «зеленый» проект реально ...Особенности внедрения KPI или как доказать, что Ваш «зеленый» проект реально ...
Особенности внедрения KPI или как доказать, что Ваш «зеленый» проект реально ...
CEE-SEC(R)571 views
.NET Fest 2018. Андрей Винда. Построение поисковой системы: от тернии к звездам by NETFest
.NET Fest 2018. Андрей Винда. Построение поисковой системы: от тернии к звездам.NET Fest 2018. Андрей Винда. Построение поисковой системы: от тернии к звездам
.NET Fest 2018. Андрей Винда. Построение поисковой системы: от тернии к звездам
NETFest245 views
Внедрение тестирования в Scrum by Denis Petelin
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в Scrum
Denis Petelin7 views
Внедрение тестирования в Scrum by Denis Petelin
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в Scrum
Denis Petelin1.5K views
Анализ инструментов автоматизации мобильного тестирования by SQALab
Анализ инструментов автоматизации мобильного тестированияАнализ инструментов автоматизации мобильного тестирования
Анализ инструментов автоматизации мобильного тестирования
SQALab1.4K views
Организация процесса тестирования в Agile команде с помощью матрицы квадранто... by Zestranec
Организация процесса тестирования в Agile команде с помощью матрицы квадранто...Организация процесса тестирования в Agile команде с помощью матрицы квадранто...
Организация процесса тестирования в Agile команде с помощью матрицы квадранто...
Zestranec1.2K views
Тестирование весна 2013 лекция 1 by Technopark
Тестирование весна 2013 лекция 1Тестирование весна 2013 лекция 1
Тестирование весна 2013 лекция 1
Technopark815 views
Инструменты автоматизации тестирования - дефективные by SQALab
Инструменты автоматизации тестирования - дефективныеИнструменты автоматизации тестирования - дефективные
Инструменты автоматизации тестирования - дефективные
SQALab1.6K views
Работа с требованиями при создании программного обеспечения бортовой радиоэле... by Sergey Laletin
Работа с требованиями при создании программного обеспечения бортовой радиоэле...Работа с требованиями при создании программного обеспечения бортовой радиоэле...
Работа с требованиями при создании программного обеспечения бортовой радиоэле...
Sergey Laletin602 views
Добиваемся эффективности каждого из 9000+ UI-тестов by SQALab
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
SQALab580 views
Улучшить KPI в два раза? Сделано! by SQALab
Улучшить KPI в два раза? Сделано!Улучшить KPI в два раза? Сделано!
Улучшить KPI в два раза? Сделано!
SQALab1.6K views
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч... by QAFest
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...
QAFest843 views
Невидимый фронт или тестирование digital-проектов by SmartHead
Невидимый фронт или тестирование digital-проектовНевидимый фронт или тестирование digital-проектов
Невидимый фронт или тестирование digital-проектов
SmartHead889 views
Доклад Ильи Кудинова на CodeFest 2014. "Учимся на ошибках в организации и про... by Badoo Development
Доклад Ильи Кудинова на CodeFest 2014. "Учимся на ошибках в организации и про...Доклад Ильи Кудинова на CodeFest 2014. "Учимся на ошибках в организации и про...
Доклад Ильи Кудинова на CodeFest 2014. "Учимся на ошибках в организации и про...
Badoo Development12.7K views
CodeFest 2014. Кудинов И. — Учимся на ошибках в организации и проведении тест... by CodeFest
CodeFest 2014. Кудинов И. — Учимся на ошибках в организации и проведении тест...CodeFest 2014. Кудинов И. — Учимся на ошибках в организации и проведении тест...
CodeFest 2014. Кудинов И. — Учимся на ошибках в организации и проведении тест...
CodeFest1K views
Антон Золотарев, Екатерина Невельская "По следам SQA days" by EPAM Systems
Антон Золотарев, Екатерина Невельская "По следам SQA days"Антон Золотарев, Екатерина Невельская "По следам SQA days"
Антон Золотарев, Екатерина Невельская "По следам SQA days"
EPAM Systems558 views
Сергей Смирнов (Altair Engineering Inc.) | Организация работы распределенной ... by RIF-Technology
Сергей Смирнов (Altair Engineering Inc.) | Организация работы распределенной ...Сергей Смирнов (Altair Engineering Inc.) | Организация работы распределенной ...
Сергей Смирнов (Altair Engineering Inc.) | Организация работы распределенной ...
RIF-Technology593 views
Организация тестирования встроенных систем в компании «с нуля» by Vladimir Sklyar
Организация тестирования встроенных систем в компании «с нуля»Организация тестирования встроенных систем в компании «с нуля»
Организация тестирования встроенных систем в компании «с нуля»
Vladimir Sklyar249 views
Александр Шуров, Олег Николенко «Как устроено автоматическое frontend-тестир... by WrikeTechClub
Александр Шуров, Олег Николенко  «Как устроено автоматическое frontend-тестир...Александр Шуров, Олег Николенко  «Как устроено автоматическое frontend-тестир...
Александр Шуров, Олег Николенко «Как устроено автоматическое frontend-тестир...
WrikeTechClub18.1K views

More from QAFest

QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин by
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
979 views44 slides
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future by
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
931 views44 slides
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe... by
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QAFest
322 views131 slides
QA Fest 2019. Никита Галкин. Как зарабатывать больше by
QA Fest 2019. Никита Галкин. Как зарабатывать большеQA Fest 2019. Никита Галкин. Как зарабатывать больше
QA Fest 2019. Никита Галкин. Как зарабатывать большеQAFest
389 views40 slides
QA Fest 2019. Сергей Пирогов. Why everything is spoiled by
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQA Fest 2019. Сергей Пирогов. Why everything is spoiled
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQAFest
342 views33 slides
QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием by
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQAFest
249 views30 slides

More from QAFest(20)

QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин by QAFest
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QAFest979 views
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future by QAFest
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QAFest931 views
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe... by QAFest
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QAFest322 views
QA Fest 2019. Никита Галкин. Как зарабатывать больше by QAFest
QA Fest 2019. Никита Галкин. Как зарабатывать большеQA Fest 2019. Никита Галкин. Как зарабатывать больше
QA Fest 2019. Никита Галкин. Как зарабатывать больше
QAFest389 views
QA Fest 2019. Сергей Пирогов. Why everything is spoiled by QAFest
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQA Fest 2019. Сергей Пирогов. Why everything is spoiled
QA Fest 2019. Сергей Пирогов. Why everything is spoiled
QAFest342 views
QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием by QAFest
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QAFest249 views
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV... by QAFest
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
QAFest227 views
QA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster by QAFest
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
QA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
QAFest282 views
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе... by QAFest
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
QAFest251 views
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз... by QAFest
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
QAFest301 views
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation by QAFest
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
QAFest225 views
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в... by QAFest
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
QAFest243 views
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa... by QAFest
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
QAFest376 views
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT by QAFest
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
QAFest209 views
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр... by QAFest
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
QAFest321 views
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр... by QAFest
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
QAFest296 views
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22 by QAFest
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QAFest164 views
QA Fest 2019. Евгений Рудев. QA 3.0. New generation by QAFest
QA Fest 2019. Евгений Рудев. QA 3.0. New generationQA Fest 2019. Евгений Рудев. QA 3.0. New generation
QA Fest 2019. Евгений Рудев. QA 3.0. New generation
QAFest194 views
QA Fest 2019. Ірина Ярославцева. Майбутнє вже тут, або як тестувати систему о... by QAFest
QA Fest 2019. Ірина Ярославцева. Майбутнє вже тут, або як тестувати систему о...QA Fest 2019. Ірина Ярославцева. Майбутнє вже тут, або як тестувати систему о...
QA Fest 2019. Ірина Ярославцева. Майбутнє вже тут, або як тестувати систему о...
QAFest226 views
QA Fest 2019. Никита Кричко. Тестирование приложений, использующих ИИ by QAFest
QA Fest 2019. Никита Кричко. Тестирование приложений, использующих ИИQA Fest 2019. Никита Кричко. Тестирование приложений, использующих ИИ
QA Fest 2019. Никита Кричко. Тестирование приложений, использующих ИИ
QAFest214 views

QA Fest 2019. Артем Григоренко. Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи

  • 1. Тема доклада Тема доклада Тема доклада KYIV 2019 Артем Григоренко, Apriorit Тестирование приложений без GUI. Или использование ELK стек для анализа работы приложения через логи. QA CONFERENCE #1 IN UKRAINE
  • 2. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY О себе QA CONFERENCE #1 IN UKRAINE KYIV 2019 QA Lead, Apriorit • 7 лет в тестировании • 5 лет в управлении тестирования на проектах @GrygorenkoArtem @artem.grygorenko
  • 3. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY О чем не будем говорить QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Как настроить ELK • Обзор доступных функций ELK • Что лучше ELK vs TICK vs SPLUNK
  • 4. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Дано QA CONFERENCE #1 IN UKRAINE KYIV 2019 В GUI багов нет, но кол-во пользовательских дефектов все растет.
  • 5. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE KYIV 2019
  • 6. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Идея QA CONFERENCE #1 IN UKRAINE KYIV 2019 Давайте тестировать приложение без GUI
  • 7. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Цели QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Анализировать логи во время сессий по тестированию • Находить баги до того, как они уйдут заказчику или в прод
  • 8. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Что рассматривали QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Отдельные десктопные приложения • TICK stack • ELK stack
  • 9. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Про TICK QA CONFERENCE #1 IN UKRAINE KYIV 2019
  • 10. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Про ELK QA CONFERENCE #1 IN UKRAINE KYIV 2019
  • 11. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Про ELK QA CONFERENCE #1 IN UKRAINE KYIV 2019 LOGSTASH - DATA AGGREGATION & PROCESSING ELASTICSEARCH - INDEXING & STORAGE KIBANA - ANALYSIS & VISUALIZATION
  • 12. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Возможности ELK которые нам нужны QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Следить за ходом выполнения тестирования • Работать в рамках нескольких сессий • Использование одного инструмента для всех членов команды • Фильтрация и быстрый поиск необходимой информации • Возможность собирать всю информацию по конкретным ревизиям
  • 13. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Как это выглядит QA CONFERENCE #1 IN UKRAINE KYIV 2019
  • 14. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Как это выглядит QA CONFERENCE #1 IN UKRAINE KYIV 2019
  • 15. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Как это выглядит QA CONFERENCE #1 IN UKRAINE KYIV 2019
  • 16. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Подходы к тестированию QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Самостоятельные сессии • Парные сессии • Общие сессии со всей командой
  • 17. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Самостоятельные сессии QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Выполняется на ранних стадиях разработки ПО • Выполняется отдельными членами команды тестирования • Позволяет находить наиболее поверхностные проблемы
  • 18. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Парные сессии QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Выполняется на более поздних стадиях • Выполняется двумя и более членами команды тестирования • Позволяет находить не очевидные проблемы • Проблемы логического характера • Хорошо помогает в обучении
  • 19. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Общие сессии QA CONFERENCE #1 IN UKRAINE KYIV 2019 • На завершающих этапах (см. alpha testing) • Выполняется всеми членами команды • Позволяет находить конфигурационные проблемы • Позволяет привлечь всю команду к тестированию продукта
  • 20. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY С чем столкнулись QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Лог не понятный тому, кто его смотрит • Нет информации про окружение • Не отображено состояние ПО • Невнятные сообщения об ошибках
  • 21. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Чеклист для проверки QA CONFERENCE #1 IN UKRAINE KYIV 2019
  • 22. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Немного внутряков QA CONFERENCE #1 IN UKRAINE KYIV 2019 Информация про окружение: • Software: • Версия приложения. • OS. • Версия или наличие необходимых третье сторонних компонент. • Наличие нужных прав доступа. • Hardware: • Данные материнской платы, памяти и тд.  • Данные GPU. 
  • 23. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Результаты QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Уменьшение кол-ва пользовательских дефектов на 30% • Увеличилась скорость локализации проблем в 2 раза • Нашли новые проблемы, которые не были обнаружены ранее.
  • 24. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Выводы QA CONFERENCE #1 IN UKRAINE KYIV 2019 • Необходимо чаще заглядывать под капот • К тому что под капотом, должны предъявляться требования • Все что под капотом нужно тестировать • Все что под капотом нужно улучшать • Все что под капотом нужно использовать • Не бояться экспериментировать
  • 25. Тема доклада Тема доклада Тема доклада WITH PASSION TO QUALITY Вопросы QA CONFERENCE #1 IN UKRAINE KYIV 2019