Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Киев 2017
Первый в Украине фестиваль тестирования
Эффективный поиск
невоспроизводимых ошибок
Лазарев Андрей
QA Technical L...
Киев 2017
Предисловие
• Опыт получен на собственных ошибках в
тестировании
• Информация применима для тестирования
Web при...
Киев 2017
О чем пойдёт речь
• Симптомы и причины невоспроизводимых
ошибок
• Причины возникновения
• Примеры неправильной о...
Киев 2017
Симптомы таких ошибок
• Плавающие ошибки в приложении
• Случайно падающие автотесты
• Ошибка воспроизводится тол...
Киев 2017
Почему так происходит
• Недостаточное покрытие тестами
• Неверное применение инструментов в
тестировании
• Описа...
Киев 2017
Автотесты
Эффективный поиск невоспроизводимых ошибок
Тестовые данные
Киев 2017
Автотесты
Эффективный поиск невоспроизводимых ошибок
Тестовые данные
Киев 2017
Резюме
Какие проблемы решены:
• Нет конфликтов при добавлении тестовых
данных автотестами
Какие проблемы не реше...
Киев 2017
Логирование
Эффективный поиск невоспроизводимых ошибок
Логирование
Киев 2017
Итоги
Какие проблемы решены:
• Доступна расширенная информация о
поведении приложения в разрезе всей
архитектуры...
Киев 2017
Логирование серверной части
Эффективный поиск невоспроизводимых ошибок
• Статистика производительности приложени...
Киев 2017
Логирование сервера БД
Эффективный поиск невоспроизводимых ошибок
• Статистика производительности БД
• Информаци...
Киев 2017
Итоги
Какие проблемы решены:
• Доступна расширенная информация о
поведении серверной части и БД
• Информация об ...
Киев 2017
Расширение и применение модели
Эффективный поиск невоспроизводимых ошибок
Тестирование производительности систем...
Киев 2017
Выводы
• Автоматизация тестирования включает в себя
автоматизацию инструментов
• Даже при мануальном тестировани...
Киев 2017
Вопросы
Спасибо за внимание!
Skype: ae.lazarev
Teregram: @Andrey_Lazarev
Email: aelazarev@gmail.com
Эффективный ...
Upcoming SlideShare
Loading in …5
×

QA Fest 2017. Андрей Лазарев.Эффективный поиск невоспроизводимых ошибок

264 views

Published on

Ошибки бывают разные, но что делать с теми которые трудно воспроизвести? Поговорим о том, как правильно выстроить процесс тестирования для поиска ошибок которые не всегда удаётся воспроизвести.

Published in: Education
  • Be the first to comment

QA Fest 2017. Андрей Лазарев.Эффективный поиск невоспроизводимых ошибок

  1. 1. Киев 2017 Первый в Украине фестиваль тестирования Эффективный поиск невоспроизводимых ошибок Лазарев Андрей QA Technical Lead @ Terrasoft
  2. 2. Киев 2017 Предисловие • Опыт получен на собственных ошибках в тестировании • Информация применима для тестирования Web приложений • Всё описанное уже находится в опытной эксплуатации • Или очень скоро там будет Эффективный поиск невоспроизводимых ошибок
  3. 3. Киев 2017 О чем пойдёт речь • Симптомы и причины невоспроизводимых ошибок • Причины возникновения • Примеры неправильной организации тестирования • Рекомендуемые подходы и метрики Эффективный поиск невоспроизводимых ошибок
  4. 4. Киев 2017 Симптомы таких ошибок • Плавающие ошибки в приложении • Случайно падающие автотесты • Ошибка воспроизводится только на проде • Воспроизведение ошибки может кардинально меняться Эффективный поиск невоспроизводимых ошибок
  5. 5. Киев 2017 Почему так происходит • Недостаточное покрытие тестами • Неверное применение инструментов в тестировании • Описание ошибки на уровне BlackBox Эффективный поиск невоспроизводимых ошибок
  6. 6. Киев 2017 Автотесты Эффективный поиск невоспроизводимых ошибок Тестовые данные
  7. 7. Киев 2017 Автотесты Эффективный поиск невоспроизводимых ошибок Тестовые данные
  8. 8. Киев 2017 Резюме Какие проблемы решены: • Нет конфликтов при добавлении тестовых данных автотестами Какие проблемы не решены: • Нет информации о поведении серверной части • Информация об ошибке на уровне BlackBox Эффективный поиск невоспроизводимых ошибок
  9. 9. Киев 2017 Логирование Эффективный поиск невоспроизводимых ошибок Логирование
  10. 10. Киев 2017 Итоги Какие проблемы решены: • Доступна расширенная информация о поведении приложения в разрезе всей архитектуры Какие проблемы не решены: • Информация об ошибке на уровне GreyBox • Нет информации о характере ошибки Эффективный поиск невоспроизводимых ошибок
  11. 11. Киев 2017 Логирование серверной части Эффективный поиск невоспроизводимых ошибок • Статистика производительности приложения • Потребление ресурсов сервера приложения • Определение узких мест при обработке запросов • Профайлинг HTTP запросов • Профайлинг SQL запросов • Логирование ошибок сервера • Тригеры производительности • Установка допустимых норм производительности • Получение снэпшотов
  12. 12. Киев 2017 Логирование сервера БД Эффективный поиск невоспроизводимых ошибок • Статистика производительности БД • Информация о тяжёлых запросах • Информация об ошибках выполнения запросов • Информация о пустых ответах БД • Логирование блокировок таблиц • Тригеры производительности • Установка допустимых норм производительности • Получение снэпшотов
  13. 13. Киев 2017 Итоги Какие проблемы решены: • Доступна расширенная информация о поведении серверной части и БД • Информация об ошибке на уровне WhiteBox Эффективный поиск невоспроизводимых ошибок
  14. 14. Киев 2017 Расширение и применение модели Эффективный поиск невоспроизводимых ошибок Тестирование производительности системы • Тестирование стабильности • Стресс тестирование • Конфигурационное тестирование Тестирование производительности системы в распределённой архитекторе • Тестирование при конкурентном распределении аппаратных ресурсов • Тестирование интеграций и сервисов
  15. 15. Киев 2017 Выводы • Автоматизация тестирования включает в себя автоматизацию инструментов • Даже при мануальном тестировании важно получать информацию об ошибке на уровне WhiteBox • Упавший автотест всегда сообщает о наличии ошибки • Раннее тестирование производительности упреждает плавающие ошибки в будущем Эффективный поиск невоспроизводимых ошибок
  16. 16. Киев 2017 Вопросы Спасибо за внимание! Skype: ae.lazarev Teregram: @Andrey_Lazarev Email: aelazarev@gmail.com Эффективный поиск невоспроизводимых ошибок

×