QA Fest 2017. Андрей Лазарев.Эффективный поиск невоспроизводимых ошибок

Q
Киев 2017
Первый в Украине фестиваль тестирования
Эффективный поиск
невоспроизводимых ошибок
Лазарев Андрей
QA Technical Lead @ Terrasoft
Киев 2017
Предисловие
• Опыт получен на собственных ошибках в
тестировании
• Информация применима для тестирования
Web приложений
• Всё описанное уже находится в опытной
эксплуатации
• Или очень скоро там будет
Эффективный поиск невоспроизводимых ошибок
Киев 2017
О чем пойдёт речь
• Симптомы и причины невоспроизводимых
ошибок
• Причины возникновения
• Примеры неправильной организации
тестирования
• Рекомендуемые подходы и метрики
Эффективный поиск невоспроизводимых ошибок
Киев 2017
Симптомы таких ошибок
• Плавающие ошибки в приложении
• Случайно падающие автотесты
• Ошибка воспроизводится только на проде
• Воспроизведение ошибки может кардинально
меняться
Эффективный поиск невоспроизводимых ошибок
Киев 2017
Почему так происходит
• Недостаточное покрытие тестами
• Неверное применение инструментов в
тестировании
• Описание ошибки на уровне BlackBox
Эффективный поиск невоспроизводимых ошибок
Киев 2017
Автотесты
Эффективный поиск невоспроизводимых ошибок
Тестовые данные
Киев 2017
Автотесты
Эффективный поиск невоспроизводимых ошибок
Тестовые данные
Киев 2017
Резюме
Какие проблемы решены:
• Нет конфликтов при добавлении тестовых
данных автотестами
Какие проблемы не решены:
• Нет информации о поведении серверной
части
• Информация об ошибке на уровне BlackBox
Эффективный поиск невоспроизводимых ошибок
Киев 2017
Логирование
Эффективный поиск невоспроизводимых ошибок
Логирование
Киев 2017
Итоги
Какие проблемы решены:
• Доступна расширенная информация о
поведении приложения в разрезе всей
архитектуры
Какие проблемы не решены:
• Информация об ошибке на уровне GreyBox
• Нет информации о характере ошибки
Эффективный поиск невоспроизводимых ошибок
Киев 2017
Логирование серверной части
Эффективный поиск невоспроизводимых ошибок
• Статистика производительности приложения
• Потребление ресурсов сервера приложения
• Определение узких мест при обработке запросов
• Профайлинг HTTP запросов
• Профайлинг SQL запросов
• Логирование ошибок сервера
• Тригеры производительности
• Установка допустимых норм производительности
• Получение снэпшотов
Киев 2017
Логирование сервера БД
Эффективный поиск невоспроизводимых ошибок
• Статистика производительности БД
• Информация о тяжёлых запросах
• Информация об ошибках выполнения запросов
• Информация о пустых ответах БД
• Логирование блокировок таблиц
• Тригеры производительности
• Установка допустимых норм производительности
• Получение снэпшотов
Киев 2017
Итоги
Какие проблемы решены:
• Доступна расширенная информация о
поведении серверной части и БД
• Информация об ошибке на уровне WhiteBox
Эффективный поиск невоспроизводимых ошибок
Киев 2017
Расширение и применение модели
Эффективный поиск невоспроизводимых ошибок
Тестирование производительности системы
• Тестирование стабильности
• Стресс тестирование
• Конфигурационное тестирование
Тестирование производительности системы в
распределённой архитекторе
• Тестирование при конкурентном
распределении аппаратных ресурсов
• Тестирование интеграций и сервисов
Киев 2017
Выводы
• Автоматизация тестирования включает в себя
автоматизацию инструментов
• Даже при мануальном тестировании важно
получать информацию об ошибке на уровне
WhiteBox
• Упавший автотест всегда сообщает о наличии
ошибки
• Раннее тестирование производительности
упреждает плавающие ошибки в будущем
Эффективный поиск невоспроизводимых ошибок
Киев 2017
Вопросы
Спасибо за внимание!
Skype: ae.lazarev
Teregram: @Andrey_Lazarev
Email: aelazarev@gmail.com
Эффективный поиск невоспроизводимых ошибок
1 of 16

Recommended

QA Fest 2017.Александр Неделяев.Тестирование и мониторинг производительности ... by
QA Fest 2017.Александр Неделяев.Тестирование и мониторинг производительности ...QA Fest 2017.Александр Неделяев.Тестирование и мониторинг производительности ...
QA Fest 2017.Александр Неделяев.Тестирование и мониторинг производительности ...QAFest
373 views36 slides
QA Fest 2017. Роман Горин. Системы тест менеджмента: обзор и краткое введение... by
QA Fest 2017. Роман Горин. Системы тест менеджмента: обзор и краткое введение...QA Fest 2017. Роман Горин. Системы тест менеджмента: обзор и краткое введение...
QA Fest 2017. Роман Горин. Системы тест менеджмента: обзор и краткое введение...QAFest
943 views30 slides
QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагруз... by
QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагруз...QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагруз...
QA Fest 2017. Никита Кричко. Как сэкономить время на анализе отчетов о нагруз...QAFest
788 views68 slides
QA Fest 2017. Анастасия Павленко. А ты готов к интеграционному тестированию? by
QA Fest 2017. Анастасия Павленко. А ты готов к интеграционному тестированию?QA Fest 2017. Анастасия Павленко. А ты готов к интеграционному тестированию?
QA Fest 2017. Анастасия Павленко. А ты готов к интеграционному тестированию?QAFest
630 views48 slides
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч... by
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...
QA Fest 2017. Екатерина Шепелева. О тестирование доступности: зачем, как, к ч...QAFest
843 views36 slides
QA Fest 2017. Надежда Шкуда. Работает ли A/B тестирование? by
QA Fest 2017. Надежда Шкуда. Работает ли A/B тестирование?QA Fest 2017. Надежда Шкуда. Работает ли A/B тестирование?
QA Fest 2017. Надежда Шкуда. Работает ли A/B тестирование?QAFest
586 views34 slides

More Related Content

What's hot

QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ... by
QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ...QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ...
QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ...QAFest
3.8K views40 slides
QA Fest 2017. Олег Лимарчук. Создаём универсальный конвейер тестирования для ... by
QA Fest 2017. Олег Лимарчук. Создаём универсальный конвейер тестирования для ...QA Fest 2017. Олег Лимарчук. Создаём универсальный конвейер тестирования для ...
QA Fest 2017. Олег Лимарчук. Создаём универсальный конвейер тестирования для ...QAFest
329 views13 slides
QA Fest 2017. Никита Галкин. Контрактное тестирование на примерах или Contrac... by
QA Fest 2017. Никита Галкин. Контрактное тестирование на примерах или Contrac...QA Fest 2017. Никита Галкин. Контрактное тестирование на примерах или Contrac...
QA Fest 2017. Никита Галкин. Контрактное тестирование на примерах или Contrac...QAFest
1.2K views36 slides
QA Fest 2016. Дмитрий Химион. Векторы развития систем автоматизации тестиров... by
QA Fest 2016. Дмитрий Химион.  Векторы развития систем автоматизации тестиров...QA Fest 2016. Дмитрий Химион.  Векторы развития систем автоматизации тестиров...
QA Fest 2016. Дмитрий Химион. Векторы развития систем автоматизации тестиров...QAFest
1.1K views35 slides
Технологии vs коммуникации: что важнее? by
Технологии vs коммуникации: что важнее?Технологии vs коммуникации: что важнее?
Технологии vs коммуникации: что важнее?Badoo Development
4.7K views26 slides
Как автотесты ускоряют релизы в OK.ru by
Как автотесты ускоряют релизы в OK.ruКак автотесты ускоряют релизы в OK.ru
Как автотесты ускоряют релизы в OK.ruBadoo Development
4.6K views55 slides

What's hot(20)

QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ... by QAFest
QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ...QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ...
QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ...
QAFest3.8K views
QA Fest 2017. Олег Лимарчук. Создаём универсальный конвейер тестирования для ... by QAFest
QA Fest 2017. Олег Лимарчук. Создаём универсальный конвейер тестирования для ...QA Fest 2017. Олег Лимарчук. Создаём универсальный конвейер тестирования для ...
QA Fest 2017. Олег Лимарчук. Создаём универсальный конвейер тестирования для ...
QAFest329 views
QA Fest 2017. Никита Галкин. Контрактное тестирование на примерах или Contrac... by QAFest
QA Fest 2017. Никита Галкин. Контрактное тестирование на примерах или Contrac...QA Fest 2017. Никита Галкин. Контрактное тестирование на примерах или Contrac...
QA Fest 2017. Никита Галкин. Контрактное тестирование на примерах или Contrac...
QAFest1.2K views
QA Fest 2016. Дмитрий Химион. Векторы развития систем автоматизации тестиров... by QAFest
QA Fest 2016. Дмитрий Химион.  Векторы развития систем автоматизации тестиров...QA Fest 2016. Дмитрий Химион.  Векторы развития систем автоматизации тестиров...
QA Fest 2016. Дмитрий Химион. Векторы развития систем автоматизации тестиров...
QAFest1.1K views
Технологии vs коммуникации: что важнее? by Badoo Development
Технологии vs коммуникации: что важнее?Технологии vs коммуникации: что важнее?
Технологии vs коммуникации: что важнее?
Badoo Development4.7K views
Как автотесты ускоряют релизы в OK.ru by Badoo Development
Как автотесты ускоряют релизы в OK.ruКак автотесты ускоряют релизы в OK.ru
Как автотесты ускоряют релизы в OK.ru
Badoo Development4.6K views
Багфиксинг процесса разработки в iOS: взгляд с двух сторон by Badoo Development
Багфиксинг процесса разработки в iOS: взгляд с двух сторонБагфиксинг процесса разработки в iOS: взгляд с двух сторон
Багфиксинг процесса разработки в iOS: взгляд с двух сторон
Badoo Development6.6K views
QA Fes 2016. Святослав Логин. Как тестировать фичи прямо на продакшене с помо... by QAFest
QA Fes 2016. Святослав Логин. Как тестировать фичи прямо на продакшене с помо...QA Fes 2016. Святослав Логин. Как тестировать фичи прямо на продакшене с помо...
QA Fes 2016. Святослав Логин. Как тестировать фичи прямо на продакшене с помо...
QAFest2.5K views
Новый процесс тестирования на "старом" проекте by SQALab
Новый процесс тестирования на "старом" проектеНовый процесс тестирования на "старом" проекте
Новый процесс тестирования на "старом" проекте
SQALab944 views
QA Fest 2016. Александр Неделяев. Браузерные помощники тестировщика by QAFest
QA Fest 2016. Александр Неделяев. Браузерные помощники тестировщикаQA Fest 2016. Александр Неделяев. Браузерные помощники тестировщика
QA Fest 2016. Александр Неделяев. Браузерные помощники тестировщика
QAFest3.2K views
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования by SQALab
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
SQALab774 views
Делаем автоматизацию проектных KPIs by SQALab
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
SQALab361 views
QA Fes 2016. Александр Неделяев. Система мониторинга производительности своим... by QAFest
QA Fes 2016. Александр Неделяев. Система мониторинга производительности своим...QA Fes 2016. Александр Неделяев. Система мониторинга производительности своим...
QA Fes 2016. Александр Неделяев. Система мониторинга производительности своим...
QAFest1.4K views
Архитектура автоматизированных тестов: представление предметной области by SQALab
Архитектура автоматизированных тестов: представление предметной областиАрхитектура автоматизированных тестов: представление предметной области
Архитектура автоматизированных тестов: представление предметной области
SQALab1.4K views
Шаблоны проектирования нагрузочных скриптов by SQALab
Шаблоны проектирования нагрузочных скриптовШаблоны проектирования нагрузочных скриптов
Шаблоны проектирования нагрузочных скриптов
SQALab810 views
Об автоматическом тестировании бэкенда в Media markt by Igor Lyubin
Об автоматическом тестировании бэкенда в Media marktОб автоматическом тестировании бэкенда в Media markt
Об автоматическом тестировании бэкенда в Media markt
Igor Lyubin90 views
Добиваемся эффективности каждого из 9000+ UI-тестов by SQALab
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
SQALab580 views
QA Fest 2016. Антон Серпутько. Автоматизация запуска тестов с помощью Jenkins... by QAFest
QA Fest 2016. Антон Серпутько. Автоматизация запуска тестов с помощью Jenkins...QA Fest 2016. Антон Серпутько. Автоматизация запуска тестов с помощью Jenkins...
QA Fest 2016. Антон Серпутько. Автоматизация запуска тестов с помощью Jenkins...
QAFest1.4K views
Сетевые снифферы в тестировании by SQALab
Сетевые снифферы в тестированииСетевые снифферы в тестировании
Сетевые снифферы в тестировании
SQALab3.1K views

Similar to QA Fest 2017. Андрей Лазарев.Эффективный поиск невоспроизводимых ошибок

Организация процесса ручного тестирования by
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестированияIT61
1.4K views19 slides
Cовременные подходы организации процессов разработки by
Cовременные подходы организации процессов разработкиCовременные подходы организации процессов разработки
Cовременные подходы организации процессов разработкиАлександр Шамрай
524 views56 slides
Улучшить KPI в два раза? Сделано! by
Улучшить KPI в два раза? Сделано!Улучшить KPI в два раза? Сделано!
Улучшить KPI в два раза? Сделано!SQALab
1.6K views26 slides
Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн... by
Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн...Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн...
Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн...ScrumTrek
178 views27 slides
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске" by
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"Yandex
952 views62 slides

Similar to QA Fest 2017. Андрей Лазарев.Эффективный поиск невоспроизводимых ошибок(20)

Организация процесса ручного тестирования by IT61
Организация процесса ручного тестированияОрганизация процесса ручного тестирования
Организация процесса ручного тестирования
IT611.4K views
Cовременные подходы организации процессов разработки by Александр Шамрай
Cовременные подходы организации процессов разработкиCовременные подходы организации процессов разработки
Cовременные подходы организации процессов разработки
Улучшить KPI в два раза? Сделано! by SQALab
Улучшить KPI в два раза? Сделано!Улучшить KPI в два раза? Сделано!
Улучшить KPI в два раза? Сделано!
SQALab1.6K views
Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн... by ScrumTrek
Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн...Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн...
Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн...
ScrumTrek178 views
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске" by Yandex
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Артём Ерошенко, Станислав Селиверстов "Поиск багов в поиске"
Yandex952 views
Введение в performance management by SQALab
Введение в performance managementВведение в performance management
Введение в performance management
SQALab2K views
Виктор Розаев - Как не сломать обратную совместимость в Public API by MoscowJS
Виктор Розаев - Как не сломать обратную совместимость в Public APIВиктор Розаев - Как не сломать обратную совместимость в Public API
Виктор Розаев - Как не сломать обратную совместимость в Public API
MoscowJS807 views
Automation from the trenches by Gleb Rybalko
Automation from the trenchesAutomation from the trenches
Automation from the trenches
Gleb Rybalko352 views
Один за всех, или как помочь тестированию многих компонентов одной системы by SQALab
Один за всех, или как помочь тестированию многих компонентов одной системыОдин за всех, или как помочь тестированию многих компонентов одной системы
Один за всех, или как помочь тестированию многих компонентов одной системы
SQALab469 views
Нагрузочное тестирование: Нестандартные методы анализа потока данных в прилож... by SQALab
Нагрузочное тестирование: Нестандартные методы анализа потока данных в прилож...Нагрузочное тестирование: Нестандартные методы анализа потока данных в прилож...
Нагрузочное тестирование: Нестандартные методы анализа потока данных в прилож...
SQALab463 views
Нагрузочное тестирование web проектов by SQALab
Нагрузочное тестирование web проектовНагрузочное тестирование web проектов
Нагрузочное тестирование web проектов
SQALab1.4K views
Асинхронный биллинг для службы такси - IzhDevCom November 2014 by Egor Konovalov
Асинхронный биллинг для службы такси - IzhDevCom November 2014Асинхронный биллинг для службы такси - IzhDevCom November 2014
Асинхронный биллинг для службы такси - IzhDevCom November 2014
Egor Konovalov938 views
Great functional testing with WebDriver and Thucydides by Mikalai Alimenkou
Great functional testing with WebDriver and ThucydidesGreat functional testing with WebDriver and Thucydides
Great functional testing with WebDriver and Thucydides
Mikalai Alimenkou8.9K views
Аналитика как основа принятия решений для развития интернет-магазина, Андрей ... by OWOX
Аналитика как основа принятия решений для развития интернет-магазина, Андрей ...Аналитика как основа принятия решений для развития интернет-магазина, Андрей ...
Аналитика как основа принятия решений для развития интернет-магазина, Андрей ...
OWOX748 views

More from QAFest

QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин by
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQAFest
979 views44 slides
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future by
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQAFest
931 views44 slides
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe... by
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QAFest
322 views131 slides
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и... by
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QAFest
336 views92 slides
QA Fest 2019. Никита Галкин. Как зарабатывать больше by
QA Fest 2019. Никита Галкин. Как зарабатывать большеQA Fest 2019. Никита Галкин. Как зарабатывать больше
QA Fest 2019. Никита Галкин. Как зарабатывать большеQAFest
389 views40 slides
QA Fest 2019. Сергей Пирогов. Why everything is spoiled by
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQA Fest 2019. Сергей Пирогов. Why everything is spoiled
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQAFest
342 views33 slides

More from QAFest(20)

QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин by QAFest
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилинQA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QA Fest 2019. Сергій Короленко. Топ веб вразливостей за 40 хвилин
QAFest979 views
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future by QAFest
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The FutureQA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QA Fest 2019. Анна Чернышова. Self-healing test automation 2.0. The Future
QAFest931 views
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe... by QAFest
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QA Fest 2019. Doug Sillars. It's just too Slow: Testing Mobile application pe...
QAFest322 views
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и... by QAFest
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
QA Fest 2019. Катерина Спринсян. Параллельное покрытие автотестами и другие и...
QAFest336 views
QA Fest 2019. Никита Галкин. Как зарабатывать больше by QAFest
QA Fest 2019. Никита Галкин. Как зарабатывать большеQA Fest 2019. Никита Галкин. Как зарабатывать больше
QA Fest 2019. Никита Галкин. Как зарабатывать больше
QAFest389 views
QA Fest 2019. Сергей Пирогов. Why everything is spoiled by QAFest
QA Fest 2019. Сергей Пирогов. Why everything is spoiledQA Fest 2019. Сергей Пирогов. Why everything is spoiled
QA Fest 2019. Сергей Пирогов. Why everything is spoiled
QAFest342 views
QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием by QAFest
QA Fest 2019. Сергей Новик. Между мотивацией и выгораниемQA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QA Fest 2019. Сергей Новик. Между мотивацией и выгоранием
QAFest249 views
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н... by QAFest
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...
QA Fest 2019. Владимир Никонов. Код Шредингера или зачем и как мы тестируем н...
QAFest338 views
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV... by QAFest
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
QA Fest 2019. Владимир Трандафилов. GUI automation of WEB application with SV...
QAFest227 views
QA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster by QAFest
QA Fest 2019. Иван Крутов. Bulletproof Selenium ClusterQA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
QA Fest 2019. Иван Крутов. Bulletproof Selenium Cluster
QAFest282 views
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе... by QAFest
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
QA Fest 2019. Николай Мижигурский. Миссия /*не*/выполнима: гуманитарий собесе...
QAFest251 views
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз... by QAFest
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
QA Fest 2019. Володимир Стиран. Чим раніше – тим вигідніше, але ніколи не піз...
QAFest301 views
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation by QAFest
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automationQA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
QA Fest 2019. Дмитрий Прокопук. Mocks and network tricks in UI automation
QAFest225 views
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в... by QAFest
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
QA Fest 2019. Екатерина Дядечко. Тестирование медицинского софта — вызовы и в...
QAFest243 views
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa... by QAFest
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
QA Fest 2019. Катерина Черникова. Tune your P’s: the pop-art of keeping testa...
QAFest376 views
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT by QAFest
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях ITQA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
QA Fest 2019. Алиса Бойко. Какнезапутаться в коммуникативных сетях IT
QAFest209 views
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении by QAFest
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложенииQA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении
QA Fest 2019. Святослав Логин. Как найти уязвимости в мобильном приложении
QAFest607 views
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр... by QAFest
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
QA Fest 2019. Катерина Шепелєва та Інна Оснач. Що українцям потрібно знати пр...
QAFest321 views
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр... by QAFest
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
QA Fest 2019. Антон Серпутько. Нагрузочное тестирование распределенных асинхр...
QAFest296 views
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22 by QAFest
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QA Fest 2019. Петр Тарасенко. QA Hackathon - The Cookbook 22
QAFest164 views

QA Fest 2017. Андрей Лазарев.Эффективный поиск невоспроизводимых ошибок

  • 1. Киев 2017 Первый в Украине фестиваль тестирования Эффективный поиск невоспроизводимых ошибок Лазарев Андрей QA Technical Lead @ Terrasoft
  • 2. Киев 2017 Предисловие • Опыт получен на собственных ошибках в тестировании • Информация применима для тестирования Web приложений • Всё описанное уже находится в опытной эксплуатации • Или очень скоро там будет Эффективный поиск невоспроизводимых ошибок
  • 3. Киев 2017 О чем пойдёт речь • Симптомы и причины невоспроизводимых ошибок • Причины возникновения • Примеры неправильной организации тестирования • Рекомендуемые подходы и метрики Эффективный поиск невоспроизводимых ошибок
  • 4. Киев 2017 Симптомы таких ошибок • Плавающие ошибки в приложении • Случайно падающие автотесты • Ошибка воспроизводится только на проде • Воспроизведение ошибки может кардинально меняться Эффективный поиск невоспроизводимых ошибок
  • 5. Киев 2017 Почему так происходит • Недостаточное покрытие тестами • Неверное применение инструментов в тестировании • Описание ошибки на уровне BlackBox Эффективный поиск невоспроизводимых ошибок
  • 6. Киев 2017 Автотесты Эффективный поиск невоспроизводимых ошибок Тестовые данные
  • 7. Киев 2017 Автотесты Эффективный поиск невоспроизводимых ошибок Тестовые данные
  • 8. Киев 2017 Резюме Какие проблемы решены: • Нет конфликтов при добавлении тестовых данных автотестами Какие проблемы не решены: • Нет информации о поведении серверной части • Информация об ошибке на уровне BlackBox Эффективный поиск невоспроизводимых ошибок
  • 9. Киев 2017 Логирование Эффективный поиск невоспроизводимых ошибок Логирование
  • 10. Киев 2017 Итоги Какие проблемы решены: • Доступна расширенная информация о поведении приложения в разрезе всей архитектуры Какие проблемы не решены: • Информация об ошибке на уровне GreyBox • Нет информации о характере ошибки Эффективный поиск невоспроизводимых ошибок
  • 11. Киев 2017 Логирование серверной части Эффективный поиск невоспроизводимых ошибок • Статистика производительности приложения • Потребление ресурсов сервера приложения • Определение узких мест при обработке запросов • Профайлинг HTTP запросов • Профайлинг SQL запросов • Логирование ошибок сервера • Тригеры производительности • Установка допустимых норм производительности • Получение снэпшотов
  • 12. Киев 2017 Логирование сервера БД Эффективный поиск невоспроизводимых ошибок • Статистика производительности БД • Информация о тяжёлых запросах • Информация об ошибках выполнения запросов • Информация о пустых ответах БД • Логирование блокировок таблиц • Тригеры производительности • Установка допустимых норм производительности • Получение снэпшотов
  • 13. Киев 2017 Итоги Какие проблемы решены: • Доступна расширенная информация о поведении серверной части и БД • Информация об ошибке на уровне WhiteBox Эффективный поиск невоспроизводимых ошибок
  • 14. Киев 2017 Расширение и применение модели Эффективный поиск невоспроизводимых ошибок Тестирование производительности системы • Тестирование стабильности • Стресс тестирование • Конфигурационное тестирование Тестирование производительности системы в распределённой архитекторе • Тестирование при конкурентном распределении аппаратных ресурсов • Тестирование интеграций и сервисов
  • 15. Киев 2017 Выводы • Автоматизация тестирования включает в себя автоматизацию инструментов • Даже при мануальном тестировании важно получать информацию об ошибке на уровне WhiteBox • Упавший автотест всегда сообщает о наличии ошибки • Раннее тестирование производительности упреждает плавающие ошибки в будущем Эффективный поиск невоспроизводимых ошибок
  • 16. Киев 2017 Вопросы Спасибо за внимание! Skype: ae.lazarev Teregram: @Andrey_Lazarev Email: aelazarev@gmail.com Эффективный поиск невоспроизводимых ошибок