QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...QAFest
Принципы «правильной» автоматизации всем хорошо известны, но почему-то даже опытные автоматизаторы не всегда им следуют. Допуская ошибки одну за другой, мы и не замечаем, как укорачиваем жизнь нашим авто-тестам. В результате, нередко случается так, что наши решения со временем забрасываются и не выживают, либо же превращаются в «чемодан без ручки» - когда нести тяжело, а выбросить жалко.
Я предлагаю по-новому взглянуть на автоматизацию в проектах и увидеть общие ошибки. Я расскажу о 10 принципах автоматизации, к которым пришла моя команда на собственном опыте, и которые помогут не наступать на одни и те же грабли.
Доклад смогут «прочувствовать» все тестировщики, работающие на проектах, где есть автоматизация.
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.QAFest
- История проекта (с чего началось внедрение SCRUM в QA команде, какая была команда и тп)
- Тестирование в идеальном Agilе (как происходит построение процесса в идеале и что мы можем получить)
- Советы тестировщику в Agile
- Показатели или что от нас хочет Product Owner
- Что мы добавили в обычное SCRUM тестирование и какой получили результат
Выводы что дал SCRUM команде и как поменялась
Techleads Meetup #1
"Как автотесты ускоряют релизы в OK.ru"
Никита Макаров, руководитель отдела тестирования (Одноклассники)
Описание:
начиная с 2012 года Одноклассники прошли огромный путь в области ускорения релизов.
Одним из факторов успеха была автоматизация тестирования, которую внедряли «с нуля».
В своем докладе я расскажу:
— о том как мы учили тестировщиков писать автотесты;
— сколотили команду автоматизаторов и построили инфраструктуру автоматизации тестирования;
— о наших ошибках, поражениях, полезных практиках и процессах.
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QAFest
В докладе будут представлены самые важные вопросы, которые должен и может задавать окружающим лидер группы тестировщиков перед началом каждого проекта для того, чтобы проект был успешно запилен.
QA Fest 2015. Александра Волкова. 10 принципов автоматизации, которые я не пр...QAFest
Принципы «правильной» автоматизации всем хорошо известны, но почему-то даже опытные автоматизаторы не всегда им следуют. Допуская ошибки одну за другой, мы и не замечаем, как укорачиваем жизнь нашим авто-тестам. В результате, нередко случается так, что наши решения со временем забрасываются и не выживают, либо же превращаются в «чемодан без ручки» - когда нести тяжело, а выбросить жалко.
Я предлагаю по-новому взглянуть на автоматизацию в проектах и увидеть общие ошибки. Я расскажу о 10 принципах автоматизации, к которым пришла моя команда на собственном опыте, и которые помогут не наступать на одни и те же грабли.
Доклад смогут «прочувствовать» все тестировщики, работающие на проектах, где есть автоматизация.
QA Fest 2015. Виктор Гожий. SCRUM в QA команде и как с этим жить.QAFest
- История проекта (с чего началось внедрение SCRUM в QA команде, какая была команда и тп)
- Тестирование в идеальном Agilе (как происходит построение процесса в идеале и что мы можем получить)
- Советы тестировщику в Agile
- Показатели или что от нас хочет Product Owner
- Что мы добавили в обычное SCRUM тестирование и какой получили результат
Выводы что дал SCRUM команде и как поменялась
Techleads Meetup #1
"Как автотесты ускоряют релизы в OK.ru"
Никита Макаров, руководитель отдела тестирования (Одноклассники)
Описание:
начиная с 2012 года Одноклассники прошли огромный путь в области ускорения релизов.
Одним из факторов успеха была автоматизация тестирования, которую внедряли «с нуля».
В своем докладе я расскажу:
— о том как мы учили тестировщиков писать автотесты;
— сколотили команду автоматизаторов и построили инфраструктуру автоматизации тестирования;
— о наших ошибках, поражениях, полезных практиках и процессах.
QA Fest 2015. Алена Черненко-Дыба и Алексей Лупан. Секреты успешного проекта...QAFest
В докладе будут представлены самые важные вопросы, которые должен и может задавать окружающим лидер группы тестировщиков перед началом каждого проекта для того, чтобы проект был успешно запилен.
"Thinking Strategically About Testing" with Fiona CharlesTEST Huddle
View webinar: http://www.eurostarconferences.com/community/member/webinar-archive/webinar-76-thinking-strategically-about-testing
To test software effectively, you need to have a strategy. That's true whether you are testing a minor feature, an entire application or an integrated suite of applications.
A test strategy is the set of big-picture ideas that embody the direction or design of a test effort. It's not a detailed plan. It's the thinking you've done about how to make the best use of time and all the other resources available to you, to find important bugs and provide your stakeholders with information that really matters to them about the software.
Most testers are not taught to think strategically about testing. Instead, we're given document templates derived from a standard, and told to go off and populate the sections with tedious and repetitious detail that rarely has much to do with how we're actually going to test the software.
It's time to question the common belief that a test strategy has to be a big prose document that's expensive and time-consuming to produce, yet delivers little value to our stakeholders. It's time to start thinking strategically about how to test effectively.
In this presentation, Fiona Charles focuses on what's essential in a test strategy and outlines some simple yet powerful techniques to develop it quickly, asking questions that will help you learn to think strategically.
Biography
Fiona Charles teaches testers project skills "beyond process"- skills essential to thrive and excel on any kind of software project. An expert test consultant and manager, she has been in the thick of it through 30+ years of challenging projects across the business spectrum on both sides of the Atlantic. Throughout her career, Fiona has advocated, designed, implemented and taught pragmatic and humane practices to deliver software worth having. Fiona's articles appear frequently, and she conducts experiential workshops at international conferences and in-house for clients. She is co-founder/host of the Toronto Workshop on Software Testing, a testing peer conference. She edited The Gift of Time, celebrating Jerry Weinberg's work, and the "Women of Influence" issue of STP Magazine in which she was also featured.
Поплоухина Елена, Руководитель отдела тестирования в Usetech
https://vk.com/lena_flower
Расскажу об опыте организации процесса внутреннего тестирования проекта со строго формализованным техническим заданием от момента получения технического задания для тестирования требований до момента передачи релиза на приемочное тестирование.
Доклад является обобщением моего опыт по работе с системами мониторинга серверных приложений в Qiwi.
Цель доклада:
- Получить общее представление о подходах к мониторингу серверных приложений
- Разобраться с популярными средствами для мониторинга серверных приложений
Оглавление:
- Мотивация
- Теория
---- Определение
---- Модель системы с точки зрения мониторинга
---- Классификация систем мониторинга
---- Уровни мониторинга
---- Инструменты мониторинга
- Практика
---- Системы мониторинга и сбора логов
---- Интерфейсы мониторинга
---- Инструменты мониторинга в JVM-based приложениях
Автоматизация нагрузочного тестирования в связке JMeter + TeamСity + Grafana ...Positive Hack Days
1. Описание старого процесса сбора данных о тестах: как было до, что хорошего, что плохого
2. Influxdb, как хранилище time-series данных,
3. Zabbix - мониторинг нагрузочных стендов: windows и linux агенты, активный сбор данных, autodiscovery виртуальных машин в esx
4. Grafana, как способ превратить графики и дашборды в конфетку
5. Автоматизация нагрузки от пользователей через web-UI при помощи Jmeter, отображение статистики в реальном времени, CI в Teamcity
Система управления жизненным циклом разработки программного обеспечения Devpr...Evgeny Savitsky
Devprom - российская компания-разработчик инструментов в области управления проектами
Дата образования: июнь 2008
Количество сотрудников: 9 человек
Количество загрузок дистрибутива: 8600
Количество зарегистрированных пользователей: 4800
Цикл выпуска новых версий продукта: 1 месяц
Как оценивать состояние проекта по разработке с помощью формальных метрик и о...Dmitry Andreev
Можете ли вы завтра утром в 8:05 положить на стол руководства детальный отчет по прогрессу разрабатываемой системы, количестве ошибок в разрезе подсистем и требований, качестве юнит-тестов, скорости внесения изменений в код и возникновения ошибок? Можете ли вы с помощью средств аналитики оценить узкие места проекта, например, ответив на вопрос «какая подсистема имеет самое большое количество вновь возникающих ошибок»? Если вы хотите узнать, как это сделать то приходите на доклад о возможностях подсистем отчетности Visual Studio Team System 2010. В докладе будут рассмотрены подходы по созданию формальной системы метрик, индикаторов, отчетов для оценки прогресса и состояния проекта по разработке программного обеспечения.
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
Введение в performance management
1. Software quality assurance days
19 Международная конференция
по вопросам качества ПО
sqadays.com
Санкт-Петербург. 20–21 мая 2016
Андрей Дмитриев
Санкт-Петербург
Введение в Performance Management
4. • Научить вас проводить performance-
тестирование
Введение в Performance Management
Цель
5. • Научить вас проводить performance-
тестирование
Введение в Performance Management
Цель
6. • Научить вас проводить performance-
тестирование
• Поделиться своим опытом
Введение в Performance Management
Цель
7. • Научить вас проводить performance-
тестирование
• Поделиться своим опытом
Введение в Performance Management
Цель
8. • Научить вас проводить performance-
тестирование
• Поделиться своим опытом
• Научить вас задавать правильные вопросы
при подготовке к тестированию у заказчика
Введение в Performance Management
Цель
9. • Научить вас проводить performance-
тестирование
• Поделиться своим опытом
• Научить вас задавать правильные вопросы
при подготовке к тестированию у заказчика
Введение в Performance Management
Цель
10. • Чего не будет
• Как проводить performance-замеры
• Как управлять командой
• Как общаться с заказчиком
Введение в Performance Management
План
11. • Чего не будет
• Как проводить performance-замеры
• Как управлять командой
• Как общаться с заказчиком
• Что будет
• Какие deliverables выдавать
• Какие требовать ресурсы
• Как готовиться к тестированию у заказчика
• Как готовить отчет
Введение в Performance Management
План
12. • Хорошее тестовое покрытие успешно
“выполнилось”
Введение в Performance Management
Чего хочет заказчик?
13. • Хорошее тестовое покрытие успешно
“выполнилось”
• Быть уверенным в том, что решение
выдержит требуемую нагрузку
Введение в Performance Management
Чего хочет заказчик?
15. • В систему будет поступать в среднем 3000 запросов
в сутки
• Длительность теста - 1 час
• Сколько запросов должно быть выполнено?
• А: 375
• B: 125
• C: 3000
• D: Ответить невозможно
Введение в Performance Management
Простой пример #1
16. • В систему будет поступать в среднем 3000 запросов
в сутки
• Длительность теста - 1 час
• Сколько запросов должно быть выполнено?
• А: 375
• B: 125
• C: 3000
• D: Ответить невозможно
Введение в Performance Management
Простой пример #1
• КАРТИНКА с характером нагрузки
17. • NFR документ
• Strategy документ
• Проектный план
• Финальный отчет
Введение в Performance Management
Ладно, что за Deliverables?
18. • Кто готовит этот документ?
• Что содержит этот документ?
Введение в Performance Management
NFR документ
19. • Снимаемые метрики:
o DB server host CPUmemory load
o DB instance Average Active Session
o DB server host IO load
o AWR report для каждого сервера
o App server host CPUmemory load
o App server threads usage для каждой ноды (active, waiting,
available, total)
o App server JDBC pool usage (number of activeidle sessions)
o App server JVM GC log activity
o APP server JMS queues length, etc.
Введение в Performance Management
NFR документ
21. • Количество мигрированных данных:
Введение в Performance Management
NFR документ
Phases Description Data volume Dates:
P h a s e 1
preparation
Set up datasources on onsite Test
environment:
1. BORIS (Oracle)
2. ONPS (Oracle)
3. Cisco ISC (Sybase)
4. ProJEN (Oracle)
14.500
Engineerin
g Orders
XYZ
P h a s e 1
execution
Executing data migration on onsite
Test environment
14.500
Engineerin
g Orders
XYZ
P h a s e 2
preparation
Set up all datasources on onsite
Test environment:
1.BORIS (Oracle)
2.eDesigner Evolve VPN
(MySQL)
3.eDesigner Evolve EWAN
(MySQL)
4. ONPS (Oracle)
34.500
non-
Engineerin
g Orders
XYZ
22. • Объем мигрированных данных:
Введение в Performance Management
NFR документ
Legacy system S o u r c e
d a t a
volume
Data volume after
m i g r a t i o n i n t o
Company Database
Data type for both
migration phases
(total)
System X (Oracle) 50 Gb 50 Gb 32mil records
System X VPN (MySQL) 1 Gb 1 Gb 2 0 0 K r e c o r d s
(service instances +
service design)
System X E1 (MySQL) 0,1 Gb 0,1 Gb 2K records (service
instances + service
design)
System X1 (Oracle) 350 Gb 350 Gb 410mil records
System X2 (Sybase) 0.5 Gb 0.5 Gb * 1,5 * 2,5 = 1.5
Gb at most
17K records
System X3 (Oracle) 0.5 Gb 0.5 Gb * 1,5 * 2,5 = 1.5
Gb at most
1K records
TOTAL SIZE 402 Gb 404 Gb 442mil records
23. • Бизнес-кейсы
Введение в Performance Management
NFR документ
# Are
a
Phase Description Report Criteria Tx
/h
(av
g)
Resp
onse
time
1
FUF
Phase
2
Order performance with
respect to the order target
date
M o n t h l y o r
Q u a r t e r l y
performance
16 1min
2
FUF
Phase
2
Order performance with
respect to the Estimated
Delivery Date -Commitment
Date
M o n t h l y o r
Q u a r t e r l y
performance
16 3 0 m i
n
3
FUF
Phase
2
Order Volumes – Created M o n t h l y o r
Q u a r t e r l y
performance
16 5min
4
FUF
Phase
2
Order Volumes – Delivered M o n t h l y o r
Q u a r t e r l y
performance
16 2min
5
RI
Phase
2
Network Element report
16 5min
24. • UI tests
Введение в Performance Management
NFR документ
# Home page User group Users
i n
group
Openi
n g s
p e r
hour
1 Design and
Provisioning Home
Page
Design & Provisioning
1258
1258
2 Order Creation Home
Page
Order Creation 566
566
3 Project Management
Home Page
Project Management 6
6
4 Team Leader View Team Leader 100-7
00
700
25. • Любая страница открывается за 3 сек
Введение в Performance Management
Примеры плохих NFR
26. • Любая страница открывается за 3 сек
• А как быть с отчетами, виджетами,
поисками???
Введение в Performance Management
Примеры плохих NFR
27. • Любая страница открывается за 3 сек
• А как быть с отчетами, виджетами,
поисками???
• Любой отчет строится максимум за 5 минут
Введение в Performance Management
Примеры плохих NFR
28. • Любая страница открывается за 3 сек
• А как быть с отчетами, виджетами,
поисками???
• Любой отчет строится максимум за 5 минут
• А если отчет не выдает никаких данных???
Введение в Performance Management
Примеры плохих NFR
29. • Нужно ли презентовать стратегию заказчику, а не только
выдавать?
Введение в Performance Management
Strategy документ
31. • Алгоритм маппинга результатов
Введение в Performance Management
Strategy документ
32. • Тесты
• Длительности тестов
• Ожидания от замеров
Введение в Performance Management
Strategy документ
33. 1. Оборудование, сеть и т.д. доступно
2. Заглушки развернуты
3. Сегменты сети одинаковые
4. Порты открыты, права выданы (weblogic, oracle, etc.)
5. Генератор нагрузки развернут с нужным ПО
6. Нужная версия продукта установлена
7. Доступность окружения (за N дней до и M дней после)
8. Поддержка DBA на протяжении замеров
9. SLA на наши запросы не более чем 1 день
Введение в Performance Management
Strategy документ:
ваши требования*
34. • Классический проектный план
• Пересечение с другими работами на серверах
Введение в Performance Management
Проектный план
35. • Таблица со статусами запусков теста
Введение в Performance Management
Простой пример #2
1-May 8-May 15-May
Test #1 4h/3mil obj/
Warn
12h/6mil obj/
Error
24h/8mil obj/
Ok
Test #2 1h/3000obj/
Warn
1.5h/4000obj/
Warn
0.5h/4000obj/
Ok
36. Введение в Performance Management
Какие ресурсы потребуются?
Нагружаемая
система -
APP
Нагружаемая
система - DB
37. Введение в Performance Management
Какие ресурсы потребуются?
Нагружаемая
система -
APP
Нагружаемая
система - DB
Нагружающа
я система -
injector
38. Введение в Performance Management
Какие ресурсы потребуются?
Нагружаемая
система -
APP
Нагружаемая
система - DB
Нагружающа
я система -
injector
Нагружающа
я система -
injector
39. Введение в Performance Management
Какие ресурсы потребуются?
Нагружаемая
система -
APP
Нагружаемая
система - DB
Нагружающа
я система -
injector
Stub-система
Нагружающа
я система -
injector
40. Введение в Performance Management
Какие ресурсы потребуются?
Нагружаемая
система -
APP
Нагружаемая
система - DB
Нагружающа
я система -
injector
Stub-система
Stub-система
Нагружающа
я система -
injector
41. Введение в Performance Management
Какие ресурсы потребуются?
Нагружаемая
система -
APP
Нагружаемая
система - DB
Нагружающа
я система -
injector
Stub-система
Stub-система
Нагружающа
я система -
injector
Бридж в
систему
заказчика
42. Введение в Performance Management
Какие ресурсы потребуются?
Нагружаемая
система -
APP
Нагружаемая
система - DB
Нагружающа
я система -
injector
Stub-система
Stub-система
Нагружающа
я система -
injector
Бридж в
систему
заказчика
Что угодно
еще
44. • Кто готовит шаблон отчета (мы или заказчик)?
• Утилизация ресурсов (CPU, io, memory)
• TBD скриншоты отчета:
• TestF таблица HighLevelReport
• Графики
• Scalability таблицы
• Что будет, если не все тесты пройдены?
• Указывать ли список тикетов в отчете?
• Важность валидации отчета с проектной командой
Введение в Performance Management
(Итоговый) Отчет
54. • Что будет, если вы переделаете вашу
систему?
Введение в Performance Management
Какие вопросы задавать
заказчику не стоит
55. • Что будет, если вы переделаете вашу
систему?
• Очень хочется, чтобы заказчик пришел к
нам с этим вопросом.
Введение в Performance Management
Какие вопросы задавать
заказчику не стоит
56. • Что будет, если вы переделаете вашу
систему?
• Очень хочется, чтобы заказчик пришел к
нам с этим вопросом.
• Что будет, если выйдет из строя датацентр?
Введение в Performance Management
Какие вопросы задавать
заказчику не стоит
57. • Что будет, если вы переделаете вашу
систему?
• Очень хочется, чтобы заказчик пришел к
нам с этим вопросом.
• Что будет, если выйдет из строя датацентр?
• Это уже спросили Архитекторы
Введение в Performance Management
Какие вопросы задавать
заказчику не стоит
58. • Что будет, если вы переделаете вашу
систему?
• Очень хочется, чтобы заказчик пришел к
нам с этим вопросом.
• Что будет, если выйдет из строя датацентр?
• Это уже спросили Архитекторы
• Или не спросили?
Введение в Performance Management
Какие вопросы задавать
заказчику не стоит
59. • Кто за что отвечает у заказчика?
ContactPerson, области ответственности
(админы, PM, другие?)
• Будет ли внешнее тестирование? Их
целевые показатели отличаются от наших?
• Есть ли отличия офсайт-онсайт?
• Батчи, отчеты, поиски, типы запросов к БД,
реакция third-party систем, размеры
сущностей в БД, миграции (какие типы,
какого размера, сколько из них мигрируют),
ночные работы (night jobs), количествоВведение в Performance Management
Итоги
Чеклист: вопросы заказчику (1/2)
60. • Согласованный план работ и ожиданий
• Пример: заказчик не знал, что нам понадобится доступ к БД
для отката состояния базы
• Пример: БД и APP были физически в разных сегментах сети
• Отчетность
• Все характеристики, которые могут понадобиться
• 100500 пунктов из стратегии
• Акцент на бизнес-задачах, что его беспокоит (в первую
очередь)
• Пересечение с другими работами на серверах
Введение в Performance Management
Итоги
Чеклист: вопросы заказчику (2/2)
62. Тest environment has been established in network and that environment is available for NC which includes: Application, Database and RDB
instances.
Test environment installed including hardware, network configuration, appropriate versions of software.
Test stubs for all Network Elements in scope of WS1.2 project are installed and configured including test data setup into separate hardware.
Network connectivity between Test environment and stubs instance is established.
Necessary firewalls between Test environment and stubs instance are opened.
Separate machine (load generator) should be provided in Customer network to generate workload on Test server solution; This environment is
intended to emulate the user workload.
• Appropriate ports (required for Activation interface and sftp interfaces for batch files) are opened towards Test server.
• Load generator machine should be in the same network with other Test servers;
Company is granted Access to Test environment to enable test execution, software and data updates to occur. Including file system access, web
access, DB access.
Appropriate permissions are provided to NetСracker for Test environment. This includes permissions to:
• To setup WS1.2 code drops on Test environment (application servers and database servers) in order to install updates on the solution;
• To copy Oracle database source files on the Test Database machine in order to backup and restore Oracle instance;
• To copy WebLogic, Oracle and Company solution log files into some file storage available for Company team (for example to Postman);
• To execute sudo operations on load generator machine;
• To establish ftp or ssh connect to (from) APP & ODB machines from (to) the load generator machine.
Test environment should have Company Product codebase and WS1.2 project code drop installed;
Test environments should have all necessary configurations and test data;
Test environment should have operation systems, application server’s (Oracle Weblogic) version and DB server’s (Oracle DB) version same as on
Production environment;
Test Application, Database and RDB machines should have following 3rd party tools installed:
• Test Framework;
• Anaconda pack (http://continuum.io/downloads, a requirement for TestF);
• JDK 7;
• Python v3;
• sar monitoring tool;
• Oracle tool set (sqlplus, statspack, AWR Report, etc.);
• netstat;
• iostat;
• GCViewer;
• kSar;
• DomainHealth;
• Profiler.
Test environment must be available for Company not later than three weeks before the on-site Test activities are planned to start in order to
perform initial Test tools configuration and smoke tests;
Test Environments and Code bases are stable (should not change) for the duration of scripting, test preparation and execution;
Введение в Performance Management
Приложение