Impact Analysis в тестировании
В непрерывном процессе разработки продукта появляются и реализуются различные фичи, дополнительные возможности, мы работаем с меняющимися требованиями заказчика, наш продукт постоянно улучшается и изменяется.
В таких условиях можно столкнуться с неприятной ситуацией, когда становится трудно отследить последствия производимых изменений и модификаций: оценить, какие же части программы могут быть затронуты и насколько сильно.
В итоге: тестирование проведено в соответствии с лучшими практиками, но какая-то часть продукта, какой-то его модуль или функционал может быть упущен из внимания или недостаточно глубоко проверен.
Но изменения в продукте не всегда являются проблемой, если применять методику анализа этих изменений или Импакт Анализ. В ISTQB данная методика трактуется, как часть планомерной работы с рисками.
Этот анализ помогает отслеживать последствия изменений в продукте. Он помогает выяснить, какие части программы могут быть затронуты, и оценить, насколько сильно скажутся эти изменения непосредственно на измененной функциональности, а также на остальном продукте. Все это дает возможность правильно спланировать процесс тестирования и не упустить из вида никакие части тестируемого продукта.
Я хочу рассказать о своем опыте введения и использования "Impact analysis" в ряде проектов нашей компании:
- о причинах введения этого анализа на проектном уровне;
- о том, как именно и в каком виде мы используем IA в своих проектах;
- о некоторых важных особенностях внедрения подобной методики;
- о полученной практической пользе от этого нововведения.
С помощью "Impact analysis" наша компания смогла решить проблемы, с которыми мы сталкивались достаточно длительное время.
Доклад будет полезен специалистам, которые сталкиваются с необходимостью учитывать и анализировать изменения в продукте. Теперь этот процесс станет проще и удобнее.
As an organization grows, the body of code that needs to be regression tested constantly increases. However, to maintain high velocity and deliver new features, teams need to minimize the amount of manual regression testing. Eric Smith shares his lessons learned in automating RESTful API tests using JMeter, RSpec, and Spock. Gain insights into the pros and cons of each tool, take back practical knowledge about the tools available, and explore reasons why your shop should require RESTful automation as part of its acceptance test criteria. Many decisions must be made to automate API tests: choosing the platform; how to integrate with the current build and deploy process; and how to integrate with reporting tools to keep key stakeholders informed. Although the initial transition caused his teams to bend their traditional roles, Eric says that ultimately the team became more cross-functionally aligned and developed a greater sense of ownership for delivering a quality product.
Cypress has been gaining popularity during last couple of years. This tool aims to redefine a lot of established concepts that were present in end-to-end testing. Starting with Cypress feels like taking on a totally new testing journey. To be honest, it IS a different journey, but an exciting one. In this webinar, Cypress Ambassador Filip Hric, walks you through the first steps of how to start working with Cypress. Take away a solid understanding of what this tool can and cannot do for you.
클라우드 기반의 실시간 비딩 시스템 아키텍처를 구축하는 방법에 대해 설명하는 백서 [Building a Real-Time Bidding Platform on AWS]의 내용을 AWS 코리아의 김필중 솔루션즈 아키텍트가 한글로 요약한 슬라이드입니다. 어떻게 클라우드가 RTB의 필수 요소인 낮은 지연시간과 확장성을 확보하는 데 도움이 될 수 있는지 설명하고, 실제 고객 사례를 통해 이러한 아키텍처를 구성하는 법을 살펴보실 수 있습니다.
API Testing. Streamline your testing process.Andrey Oleynik
Slides from IT talk: «API Testing. Streamline your testing process. A step by step tutorial»
Code on github: https://github.com/a-oleynik/soap-ui
Webinar on youtube: https://www.youtube.com/watch?v=x2ALtuCjuUo
DataArt P. https://www.meetup.com/ru-RU/DataArt-Wroclaw-IT-talk/events/246967484/?eventId=246967484 Wroclaw, 2018, February 15
Advanced OSSEC Training: Integration Strategies for Open Source SecurityAlienVault
During this technical one-hour session, Santiago Gonzalez, an OSSEC core team member (System integration, rules & SIEM) and AlienVault Director of Professional Services, will demonstrate how to integrate OSSEC with other 3rd party applications for greater security visibility and response.
To learn more, check out the video: https://www.alienvault.com/resource-center/webcasts/advanced-ossec-training-integration-strategies-for-open-source-security
Performance testing with 100,000 concurrent users in AWSMatthias Matook
M-Square build an easy scalable performance test solution on AWS, using open source tools & CI servers, to allow cost-effective testing at scale. The solution is suitable for any organisation type, from startup to enterprise.
The talk covers VPC, EC2, S3, ELB’s, AWS API scripting, automation and interesting performance issues when running massive workloads on AWS.
There might be two different scenarios while API testing. One when you are consuming API from other providers and the other one when you are designing API for your own application.
When you are developing API for your application, you should start for white box testing. The basic approaches are : unit testing, integration testing, edge test cases and security testing.
This presentation is row of demos that introduce how to use Application Insights, how it works and how to build your own application telemetry on top of it. Two surprise demos show audience some case studies how to use Application Insights to plan hosting of global web site and how to support sales and logistics departments in real-time.
Lateral Movement: How attackers quietly traverse your NetworkEC-Council
After successfully attacking an endpoint and gaining a foothold there, sophisticated attackers know that to get to the valuable data within an organization they must quietly pivot. From reconnaissance to escalation of privileges to stealing credentials, learn about the tactics and tools that attackers are using today.
Handling QA process in Agile development model. How PM, dev and QA teams should work together to bring and effective and efficient process of software validation and ensuring customer quality expectations
As an organization grows, the body of code that needs to be regression tested constantly increases. However, to maintain high velocity and deliver new features, teams need to minimize the amount of manual regression testing. Eric Smith shares his lessons learned in automating RESTful API tests using JMeter, RSpec, and Spock. Gain insights into the pros and cons of each tool, take back practical knowledge about the tools available, and explore reasons why your shop should require RESTful automation as part of its acceptance test criteria. Many decisions must be made to automate API tests: choosing the platform; how to integrate with the current build and deploy process; and how to integrate with reporting tools to keep key stakeholders informed. Although the initial transition caused his teams to bend their traditional roles, Eric says that ultimately the team became more cross-functionally aligned and developed a greater sense of ownership for delivering a quality product.
Cypress has been gaining popularity during last couple of years. This tool aims to redefine a lot of established concepts that were present in end-to-end testing. Starting with Cypress feels like taking on a totally new testing journey. To be honest, it IS a different journey, but an exciting one. In this webinar, Cypress Ambassador Filip Hric, walks you through the first steps of how to start working with Cypress. Take away a solid understanding of what this tool can and cannot do for you.
클라우드 기반의 실시간 비딩 시스템 아키텍처를 구축하는 방법에 대해 설명하는 백서 [Building a Real-Time Bidding Platform on AWS]의 내용을 AWS 코리아의 김필중 솔루션즈 아키텍트가 한글로 요약한 슬라이드입니다. 어떻게 클라우드가 RTB의 필수 요소인 낮은 지연시간과 확장성을 확보하는 데 도움이 될 수 있는지 설명하고, 실제 고객 사례를 통해 이러한 아키텍처를 구성하는 법을 살펴보실 수 있습니다.
API Testing. Streamline your testing process.Andrey Oleynik
Slides from IT talk: «API Testing. Streamline your testing process. A step by step tutorial»
Code on github: https://github.com/a-oleynik/soap-ui
Webinar on youtube: https://www.youtube.com/watch?v=x2ALtuCjuUo
DataArt P. https://www.meetup.com/ru-RU/DataArt-Wroclaw-IT-talk/events/246967484/?eventId=246967484 Wroclaw, 2018, February 15
Advanced OSSEC Training: Integration Strategies for Open Source SecurityAlienVault
During this technical one-hour session, Santiago Gonzalez, an OSSEC core team member (System integration, rules & SIEM) and AlienVault Director of Professional Services, will demonstrate how to integrate OSSEC with other 3rd party applications for greater security visibility and response.
To learn more, check out the video: https://www.alienvault.com/resource-center/webcasts/advanced-ossec-training-integration-strategies-for-open-source-security
Performance testing with 100,000 concurrent users in AWSMatthias Matook
M-Square build an easy scalable performance test solution on AWS, using open source tools & CI servers, to allow cost-effective testing at scale. The solution is suitable for any organisation type, from startup to enterprise.
The talk covers VPC, EC2, S3, ELB’s, AWS API scripting, automation and interesting performance issues when running massive workloads on AWS.
There might be two different scenarios while API testing. One when you are consuming API from other providers and the other one when you are designing API for your own application.
When you are developing API for your application, you should start for white box testing. The basic approaches are : unit testing, integration testing, edge test cases and security testing.
This presentation is row of demos that introduce how to use Application Insights, how it works and how to build your own application telemetry on top of it. Two surprise demos show audience some case studies how to use Application Insights to plan hosting of global web site and how to support sales and logistics departments in real-time.
Lateral Movement: How attackers quietly traverse your NetworkEC-Council
After successfully attacking an endpoint and gaining a foothold there, sophisticated attackers know that to get to the valuable data within an organization they must quietly pivot. From reconnaissance to escalation of privileges to stealing credentials, learn about the tactics and tools that attackers are using today.
Handling QA process in Agile development model. How PM, dev and QA teams should work together to bring and effective and efficient process of software validation and ensuring customer quality expectations
Как провести юзабилити-тестирование самостоятельноНетология
Видеозапись открытого занятия «Оценка эффективности SMM-кампании: как достичь цели?» можно посмотреть здесь - http://bit.ly/1swilQC
Юзабилити-тестирование позволяет узнать, насколько хорошо интерфейс вашего сайта позволяет решать задачи пользователей. Узнайте, как организовать аудит сайта самостоятельно, и что для этого потребуется.
— Что такое юзабилити-текстирование?
— Что такое юзабилити-экспертиза?
— Когда и как проводить тестирование?
— Когде не надо проводить юзабилити-тестирование?
— Этапы ю-тестирования
— Различные варианты ю-тестирования
Anton Stoliar SQADays2012 Управление качеством в Agile. Как опередить баги.Anton Stoliar
1. Цель презентации:
• Побудить аудиторию пользоваться описанными техниками, которые могут помочь уменьшить количество «фейлов» со стороны QA команды в Agile-based проектах.
• Сфокусировать внимание на «фишках» которые особенно пропагандируются в Agile, которые помогают выпускать более качественный продукт
2. Какова практическая ценность презентации для аудитории:
• Поделиться конкретным опытом использования всяческих Agile-техник : Sprint Planning на основе QA оценок, Создание командного Vision-a на основе Product Canvas, First Release Baseline
• Поделиться некоторыми hint-ами когда ты вроде бы test team lead, но по факту менеджишь еще и команду разработки.
3. Для кого предназначена:
• QA которые уже работали по Agile (Scrum в частности)
• Начинающие ПМs и QA Team Leads
• Ребята которым скоро придется лидать Agile-проекты
4. Короткий план презентации по шагам:
• Чего могут жать от работы QA команды к зависимости от специфики проекта\компании
• Чего ожидают от QA в Agile
• Какие техники могут помочь выпустить более правильный\успешный\ качественный продукт
o Как формировать у команды общий Vision и как это помогает снижать дефекты в продукте
o Как планировать спринт отталкиваясь от QA-команды чтобы снизить овертаймы
o Как First Release Baseline помогает спланировать регрессию, когда совсем не осталось на нее времени
TPI Next®: оптимизируем процессы тестирования по-взрослому
Думали ли вы когда-либо о том, к какому уровню зрелости принадлежит ваш процесс тестирования? Или, например, как ответить на вопрос о том, насколько эффективно работает ваша команда тестировщиков? Здесь легче всего дать субъективный ответ, и, например, сказать: мы работаем хорошо, у нас все автоматизировано и мы находим много дефектов.
Однако нельзя расценивать подобный ответ, как корректный. Оценить зрелость и эффективность процесса тестирования по-настоящему можно лишь используя ту или иную модель оценки, каждая из которых имеет массу своих особенностей и не всегда применима в большинстве случаев.
TPI® Next – модель оценки зрелости процессов тестирования в масштабах компании или отдельного проекта. Она помогает понять какими сильными и слабыми сторонами обладает ваш процесс и дает представление о том, в каком направлении двигаться для его оптимизации.
TPI® Next разбивает процесс тестирования на ключевые подобласти, каждая из которых подвергается анализу и получает свою оценку зрелости – от начальной до оптимальной. Делается это на основе четко описанных критериев для той или иной области, что дает возможность дать конкретный ответ на вопрос о том, чего не хватает процессу для перехода на следующую ступень зрелости.
Используя подход, описанный в TPI® Next, я провел оценку зрелости процесса тестирования в нескольких проектах компании в разные периоды их развития. Подвергнув полученные данные анализу, я смог определить каких практик и подходов не хватает той или иной команде для того, чтобы считать свои проекты более зрелыми и эффективными.
Использовав получе
Последовательное выполнение функциональных тестов занимает очень долгое время. Особенно если нужно тестировать со многими конфигурациями. Необходимо уменьшать время прохождения тестов.
Этого можно достигнуть при помощи уменьшения количества тестов, их оптимизации и атомизирования.
Второй путь - запускать тесты параллельно. Хотя оптимизация не помеха запускать тесты параллельно, чтобы получать Для того, чтобы получать действительно классные результаты тестируя при помощи Selenium2, служит еще один дополнительных инструмент - SeleniumGrid 2.
В моем докладе вы также ознакомитесь с тем, как:
Конфигурировать тесты для работы с хабом
Разворачивать SeleniumGrid 2
Настраивать запуск тестов
Область автоматизации web-приложений переживает бурный рост. Самый популярный инструмент это Selenium, который занимает большую часть рынка. Но не стоит забывать, что существуют и другие инструменты, которые помогают автоматизировать функциональное тестирование.
Мой доклад будет более практический, чем теоретический. Я расскажу об инструменте Watir, как его использовать, и напишу несколько простых тестов разными способами:
Ruby Application;
Test Unit;
Rspec;
Cucumber;
Составить, написать тесты и запустить их это еще не всё нагрузочное тестирование. Теперь надо понять, а что собственно произошло? Достигли мы своих целей?
Поговорим с вами о всяких подводных камнях нагрузочного тестирования, возможных вариантах их обхода и том, где, как и на что смотреть в этой области.
В последнее время Android стал самой быстрорастущей мобильной платформой, вытеснив с первой позиции морально устаревший Symbian. Nokia же, получив обратную связь от пользователей своей мобильной ОС Maemo, решила объединить усилия с Intel в разработке совместной ОС, которая получила название MeeGo.
Являясь операционными системами разрабатываемыми для схожих сегментов рынка, целевыми устройствами для них выступают смартфоны, планшеты, телевизоры, а также автомобили оснащенные бортовым компьютером. Помимо этого факта их объединяет и то, что рассматриваемые ОС базируются на Linux, хотя и в разной степени.Так у Android на Linux основано только ядро, в то время как MeeGo позиционирует себя как полноценный «Linux в кармане».
Благодаря описанным особенностям появилась идея создания доклада, целью которого является вводный обзор по автоматизированному тестированию для каждой платформы. В предлагаемом докладе будут описаны общие архитектурные решения построения фреймворка для автоматизированного тестирования и рассмотрены программные средства доступные для этих целей в Android и Meego.
Все разработчики автоматизированных тестов рано или поздно сталкиваются с проблемой - "то, что есть в тулзе, которую я юзаю, явно не достаточно и надо что-то делать".
Мы поговорим с чего начать и чем продолжить, так чтоб получить действительно хорошее решение для автоматизированного тестирования. Обсудим интеграцию с continues integration и реализации систем репортинга. За опорный пример возьму фреймворк на базе Selenium.
При автоматизации тестирования один из самых главных параметров - покрытие кода. Насколько хорошо тестируется приложение в автоматическом режиме и можно ли доверять результатам тестирования? Как можно увеличить покрытие кода, не увеличивая при этом время выполнения автоматических скриптов? Какие проблемы при этом возникают и как их можно решить? Что такое model-based тестирование и как его можно применить в условиях ограниченного времени на тестирование? На эти вопросы я попытаюсь ответить с примерами из реального проекта, объясню с какими проблемами мы столкнулись и как их решали.
Наталья Новотная, попробовав себя в роли тест-аналитика, будет рассказывать обо всем множестве требований, которые встречаются в проекте. В своем докладе “Автопарк требований” она коснется бизнес-, и функциональных видов требований, расскажет о том, сформировать vision продукта и поделится тем, как выглядит процесс работы с требованиями в ее проекте.
More from QA Dnepropetrovsk Community (Ukraine) (20)
2. План
Impact Analysis:
- ЧТО ЭТО?
- ДЛЯ ЧЕГО?
- КАК ИСПОЛЬЗОВАТЬ?
- ОСОБЕННОСТИ
- РЕЗУЛЬТАТ
Anna Sheretova, SQA Days 10, Impact Analysis
3. «Моя Семья»
Сноха?
Как Вы назовете дочь первого мужа бывшей
снохи Вашей бывшей супруги (супруга)?
Anna Sheretova, SQA Days 10, Impact Analysis
4. Проблема
Anna Sheretova, SQA Days 10, Impact Analysis
5. Что Это?
Импакт Анализ
- это анализ зависимостей в продукте
с целью выявления потенциальных
последствий изменений в нем
Anna Sheretova, SQA Days 10, Impact Analysis
6. Когда?
• Изменения в требованиях
• Изменения в продукте:
- Новая функциональность
- Изменения существующей
Anna Sheretova, SQA Days 10, Impact Analysis
7. Жизнь ДО - Реквесты
Hi Test Team,
New build of <Картошка> is here: ………
Hello <Вася>,
Версия не рабочая
Anna Sheretova, SQA Days 10, Impact Analysis
8. Жизнь ДО - Проблемы
• Объем и последовательность тестирования
(Full/Smoke/Acceptance)
• Приоритеты тестирования
• Тестировали то, что не нужно
• Не тестировали то, что нужно
Anna Sheretova, SQA Days 10, Impact Analysis
9. Зачем?
• Что задето? Как сильно?
• Что тестировать? Как сильно?
• Тестовый процесс в целом?
(Коррективы/Новые инструменты/доп.
знания?)
• Какие новые тест кейсы?
(Для новой функциональности и ее
связей с существующими)
• Сроки?
Anna Sheretova, SQA Days 10, Impact Analysis
10. Что Это?
Импакт Анализ
- это мощный инструмент
позволяет уменьшить затраты времени и
ресурсов на тестирование
значительно повышая его эффективность
Anna Sheretova, SQA Days 10, Impact Analysis
11. Как?
• Таблица (Excel)
• Список
фич/модулей/функциональностей
• Заполняется программистом перед
реквестом
Anna Sheretova, SQA Days 10, Impact Analysis
12. Пример - крупный проект с
большим количеством фич
Main
Sub- Sub-
Features/ Sub- Sub- Sub- Sub-
Feature Feature
Sub- Feature1 Feature2 Feature3 Feature6
4 5
Features
Main
3 2 1
Feature1
MF2
MF3
MF4
MF5
MF6
Anna Sheretova, SQA Days 10, Impact Analysis
13. Дополнение
Непосредственно в ячейках:
• Конфигурация
• Смежные продукты
• Проблема с данной фичей в
предыдущих версиях
• Планы разработчика
• Другие полезности
Anna Sheretova, SQA Days 10, Impact Analysis
14. Система
Разработчик:
• Работает над своей задачей
• По окончании задачи заполняет шаблон IA
• Пишет запрос на тестирование
• В запрос - всю необходимую информацию
• Не заменяет запрос, а дополняет!
• Прикрепляет заполненную таблицу IA к
письму
• Или же обязательно пишет, что IA не
делался
Anna Sheretova, SQA Days 10, Impact Analysis
15. Система
Тестировщик:
• Изучает запрос
• Изучает таблицу IA
• Планирование, приоритеты, виды
тестирования
• Отчет о тестировании
• В отчете - ответ по состоянию каждого
пункта в таблице IA
Anna Sheretova, SQA Days 10, Impact Analysis
16. Что Это?
Импакт Анализ
- это попытка вытащить …
… из программистов информацию,
основанную на знании архитектуры проекта
для определения объема, степени и
последовательности тестирования
Anna Sheretova, SQA Days 10, Impact Analysis
17. Особенности
Основные аргументы программистов
«против!»
• Зачем вам это нужно?
• Зачем нам это нужно?
Это лишняя работа для нас
• Делайте это сами, вы хорошо знаете
проект
• Множество возражений по форме
таблицы, процедуре ее заполнения и
отправки
Anna Sheretova, SQA Days 10, Impact Analysis
18.
19. Особенности
Наши аргументы «за!»
• Нам это нужно! Чтобы правильно
определить объемы тестирования
• Магия:«Вы сами жалуетесь, когда
серьезные баги находятся в последнюю
очередь!»
• Нет, мы не знаем внутренних связей
проекта
• Да, вы их знаете, хотя бы отчасти
• Возражения по процедуре
использования - в рабочем порядке
Anna Sheretova, SQA Days 10, Impact Analysis
20. Психологическая работа
• Объясните ИМ проблему
• Убедитесь, что ОНИ поняли
и поняли правильно
• Как то, что вы предлагаете, решит проблему?
• Будьте готовы: они будут задавать вопросы.
Много. И спорить.
Anna Sheretova, SQA Days 10, Impact Analysis
21. Психологическая работа
• На НИХ не надо давить!
Директива от начальства – не выход!
Anna Sheretova, SQA Days 10, Impact Analysis
22. Психологическая работа
• Третий источник
• «За» и «Против»
• Польза для НИХ и для Проекта
Anna Sheretova, SQA Days 10, Impact Analysis
23. Психологическая работа
• Пусть убедят сами себя
- у них общий язык!
• Чтобы расколоть фисташку...
... надо думать, как фисташка!
• Пусть ОНИ перестанут бояться!
Anna Sheretova, SQA Days 10, Impact Analysis
24. Психологическая работа
• Помните:
ОНИ сразу не сдадутся.
Не надейтесь.
• Учтите ИХ пожелания
• Все приготовления – на себя
• Не пускайте на самотек
Anna Sheretova, SQA Days 10, Impact Analysis
25. Психологическая работа
• Не забывайте: вы с НИМИ в одной лодке
• Анализ результатов.
Покажите эффективность – она мотивирует!
Anna Sheretova, SQA Days 10, Impact Analysis
27. Результат
• Качество тестирования
(Правильные приоритеты, объемы и
глубина)
• Время тестирования
• Отлаженная схема работы
• Ответственность разработчика
(Чек лист)
• Ответственность тестировщика
Anna Sheretova, SQA Days 10, Impact Analysis
28. Результат
• Риск обнаружения ошибок
на последних стадиях
• Знания по проекту
(Фичи, их взаимосвязь)
• Опыт по выявлению зависимостей
• Важность информации
Anna Sheretova, SQA Days 10, Impact Analysis
29. Повторение – Мать Учения
• Что такое Импакт Анализ и зачем он
нужен
• Почему возникла необходимость в нем
• Как с ним работать
• Трудности
• Как эти трудности решать
• Польза
Статья «Impact Analysis in Testing»:
http://apriorit.com/our-company/qa-blog/252-
impact-analysis»
Anna Sheretova, SQA Days 10, Impact Analysis
30. Анна
Шеретова
Skype: aleftinalex
aleftinalex@rambler.ru