Презентация нашего технического директора Сергея Бойко с внутренней обучающей сессии. Из нее Вы узнаете о новинках систем Umi и Bitrix, а также о критериях выбора между ними.
astramg.ru
VIQA Инструмент для тестирования Web UI.
Вика старается сделать для вас процесс тестирование удобным и понятным, позаботится о логировании всех ваших действий и будет рада узнать что-нибудь новенькое, если вы захотите ее обучить.
Инструмент VIQA использует популярный шаблон PageObjects расширяя его до таких понятий как сайт и страница. Все используемые элементы интуитивно понятны, не требуют от вас лишних действий для работы с ними и обладают широкими возможностями для настройки работы с ними.
Каждое действие элемента можно подстроить под свое приложение, либо настроить общую работу элементов.
Вика желает вам интересной и приятной работы.
Презентация нашего технического директора Сергея Бойко с внутренней обучающей сессии. Из нее Вы узнаете о новинках систем Umi и Bitrix, а также о критериях выбора между ними.
astramg.ru
VIQA Инструмент для тестирования Web UI.
Вика старается сделать для вас процесс тестирование удобным и понятным, позаботится о логировании всех ваших действий и будет рада узнать что-нибудь новенькое, если вы захотите ее обучить.
Инструмент VIQA использует популярный шаблон PageObjects расширяя его до таких понятий как сайт и страница. Все используемые элементы интуитивно понятны, не требуют от вас лишних действий для работы с ними и обладают широкими возможностями для настройки работы с ними.
Каждое действие элемента можно подстроить под свое приложение, либо настроить общую работу элементов.
Вика желает вам интересной и приятной работы.
New Model Testing: A New Test Process and ToolTEST Huddle
Paul Gerrard presented a new test process and tool called Cervaya that combines elements of structured and exploratory testing. The process involves testers surveying features using Cervaya to iteratively build system models and test plans. This shifts testing earlier in the development process. Cervaya logs tester activity, supports real-time collaboration, and could generate documentation. The goal is to make testing more aligned with agile and continuous delivery approaches. Gerrard invited collaboration on further developing Cervaya.
The document discusses 10 signs that an organization's software testing may not be enough. These include having excessive production bugs, bugs found during user acceptance testing, growing bug counts over test cycles, not investing in testing compared to competitors, lacking clear criteria for what constitutes "enough" testing, testers advising against releasing software, weak prevention efforts like code reviews, lack of developer unit testing, frequently reduced testing periods causing deadline problems, and high tester turnover. The document advocates treating testing as risk management, increasing test reuse and automation, and addresses common challenges and questions around software testing.
The document discusses a new model for testing that focuses on exploration of knowledge sources to build test models that inform testing. It outlines three patterns of software development (structured, agile, continuous) and argues testing involves exploring knowledge sources and building test models, with all testing being exploratory in nature. A new test process is proposed involving exploration support tools that capture testing plans and activity in real-time. The roles of developers and testers may become blurred in the future under this new model.
“Можно ли перевернуть пирамиду?” – автоматизируем тестирование с меньшим числ...Igor Khrol
Когда мы говорим об автоматизации тестирования, чаще всего вспоминается Selenium, Microsoft Coded UI, QTP и другие аналогичные инструменты. Мы хотим воспроизводить действия ручного тестирования с максимальной точностью, чтобы можно было с уверенностью сказать, что тот или иной тест-скрипт повторяет какую-то часть сложившихся на проекте тестов. Когда же тестов становится чуть больше, то мы обнаруживаем, что наши тесты запускаются долго, работают нестабильно. После чего мы начинаем говорить о параллелизации, виртуализации, четырёхслойной архитектуре фреймворка и прочих жутко интересных вещах… Это всё очень хорошо, но главная цель где-то остаётся в стороне – контроль качества нашего продукта.
В своём докладе я попытаюсь слегка задать направление другой альтернативе: отойти от автотестов через пользовательский интерфейс в сторону более низкоуровневых, которые значительно быстрее и стабильнее. Если вас также волнует “переворачивание” пирамиды автоматизации тестирования, то приглашаю присоединиться к обсуждению этой сложной и важной темы.
Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн...ScrumTrek
В наши дни возраст многих информационных систем достигает нескольких десятков лет. Если за это время применяемые технологии и процессы разработки не эволюционировали, а уровень технического долга должным образом не контролировался, то дальнейшее развитие таких систем сильно затруднено, а стоимость внесения изменений чрезмерно высока. Не минует эта учесть и государственные системы, с одной из которых нашей команде и пришлось столкнуться. Нам было поручено дальнейшее развитие системы, автоматизирующей предоставление услуг населению в режиме 24х7. Разработка системы более 15 лет велась различными подрядчиками, качество работ в последние годы значительно ухудшилось, участились срывы сроков. Нам требовалось вывести процесс разработки на новый уровень и выполнить контрактные обязательства по развитию функционала! В докладе речь пойдет о том, как мы успешно прошли этот путь, применяя современные процессные и инженерные Agile практики: как провели аудит системы, какие риски учли, а какие нет, какие практики применили, какой порядок работ выработали. Материалы доклада можно рассматривать как практические советы.
New Model Testing: A New Test Process and ToolTEST Huddle
Paul Gerrard presented a new test process and tool called Cervaya that combines elements of structured and exploratory testing. The process involves testers surveying features using Cervaya to iteratively build system models and test plans. This shifts testing earlier in the development process. Cervaya logs tester activity, supports real-time collaboration, and could generate documentation. The goal is to make testing more aligned with agile and continuous delivery approaches. Gerrard invited collaboration on further developing Cervaya.
The document discusses 10 signs that an organization's software testing may not be enough. These include having excessive production bugs, bugs found during user acceptance testing, growing bug counts over test cycles, not investing in testing compared to competitors, lacking clear criteria for what constitutes "enough" testing, testers advising against releasing software, weak prevention efforts like code reviews, lack of developer unit testing, frequently reduced testing periods causing deadline problems, and high tester turnover. The document advocates treating testing as risk management, increasing test reuse and automation, and addresses common challenges and questions around software testing.
The document discusses a new model for testing that focuses on exploration of knowledge sources to build test models that inform testing. It outlines three patterns of software development (structured, agile, continuous) and argues testing involves exploring knowledge sources and building test models, with all testing being exploratory in nature. A new test process is proposed involving exploration support tools that capture testing plans and activity in real-time. The roles of developers and testers may become blurred in the future under this new model.
“Можно ли перевернуть пирамиду?” – автоматизируем тестирование с меньшим числ...Igor Khrol
Когда мы говорим об автоматизации тестирования, чаще всего вспоминается Selenium, Microsoft Coded UI, QTP и другие аналогичные инструменты. Мы хотим воспроизводить действия ручного тестирования с максимальной точностью, чтобы можно было с уверенностью сказать, что тот или иной тест-скрипт повторяет какую-то часть сложившихся на проекте тестов. Когда же тестов становится чуть больше, то мы обнаруживаем, что наши тесты запускаются долго, работают нестабильно. После чего мы начинаем говорить о параллелизации, виртуализации, четырёхслойной архитектуре фреймворка и прочих жутко интересных вещах… Это всё очень хорошо, но главная цель где-то остаётся в стороне – контроль качества нашего продукта.
В своём докладе я попытаюсь слегка задать направление другой альтернативе: отойти от автотестов через пользовательский интерфейс в сторону более низкоуровневых, которые значительно быстрее и стабильнее. Если вас также волнует “переворачивание” пирамиды автоматизации тестирования, то приглашаю присоединиться к обсуждению этой сложной и важной темы.
Сергей Смирнов, Виталий Александров. Оздоровление унаследованной информационн...ScrumTrek
В наши дни возраст многих информационных систем достигает нескольких десятков лет. Если за это время применяемые технологии и процессы разработки не эволюционировали, а уровень технического долга должным образом не контролировался, то дальнейшее развитие таких систем сильно затруднено, а стоимость внесения изменений чрезмерно высока. Не минует эта учесть и государственные системы, с одной из которых нашей команде и пришлось столкнуться. Нам было поручено дальнейшее развитие системы, автоматизирующей предоставление услуг населению в режиме 24х7. Разработка системы более 15 лет велась различными подрядчиками, качество работ в последние годы значительно ухудшилось, участились срывы сроков. Нам требовалось вывести процесс разработки на новый уровень и выполнить контрактные обязательства по развитию функционала! В докладе речь пойдет о том, как мы успешно прошли этот путь, применяя современные процессные и инженерные Agile практики: как провели аудит системы, какие риски учли, а какие нет, какие практики применили, какой порядок работ выработали. Материалы доклада можно рассматривать как практические советы.
Badoo — это большая социальная сеть с более чем 180 млн. пользователей. Большинство новых фич в нашей компании мы предварительно оцениваем посредством A/B тестирования. Вот уже примерно год мы используем собственный высоконагруженный фреймворк тестирования, при этом по моему мнению он очень прост, понятен, и не требует огромных ресурсов на разработку и поддержку. В докладе я расскажу вам о том, почему мы пришли к собственному решению, его архитектуру и принципы работы. Я уверен, каждый из вас может сделать что-то подобное для своего проекта и начать принимать более обоснованные решения.
Тезисы:
* Как мы раньше тестировали
* Почему мы сделали свой инструмент
* Архитектура: API, граф. интерфейсы, транспорт, скрипты, БД
* Структура теста
* Основные правила А/Б тестирования
* Оценка результатов, примеры отчетов
* И заключительная часть про то, что от человека с головой полностью не избавиться
Для кого доклад:
Для разработчиков и техн. менеджеров соц. сетей, сайтов объявлений, блогов с рассылками, проектов, продающих что-то через e-mail расслыки, разных коммьюнити-сайтов, банков и вообще проектов, где взаимодействие с каждым клиентом долгосрочное.
Сложность:
Несмотря на то, что конференция называется Highload++, я уверяю, что представленную здесь архитектуру может потянуть проект с посещаемостью в 1000 чел в день и тремя программистами в штате. Закодить все, что здесь рассказано на PHP займет меньше недели одного человека. А результат, между прочим, пожно вполне изменрять в живой прибыли.
Особенности MVP в Enterprise / Владимир Васильев (Почта России)Ontico
- Зачем в Enterprise нужен MVP;
- что значит "минимально жизнеспособный" продукт для большой организации;
- как оргструктура влияет на продукт;
- какие ограничения может накладывать Enterprise на MVP;
- какие практики MVP наиболее полезны в Enterprise.
Презентация аналитической системы РАБИС.
Система предназначена для оценки кредитоспособности заемщиков.
Внедряется в кредитных и микрокредитных организациях.
Подробности http://rabis.biz
Презентация создавалась в 2010-м, дополнена коллегами в 2014-м году
HighLoad++ 2017
Зал Дели + Калькутта, 7 ноября, 13:00
Тезисы:
http://www.highload.ru/2017/abstracts/2867.html
Последние несколько лет в продуктовой разработке проблемы масштабирования решаются через переход на микросервисную архитектуру. На эту тему было сказано много про подходы, плюсы и минусы, но мало кто рассматривал эту проблематику со стороны фронтенда.
В ЦИАН мы идем по пути перехода от монолита к микросервисам, в том числе и на фронтенде. Задачи и проблемы, с которыми мы сталкиваемся, очень близки к аналогичным на бэкенде, но в то же время совершенно другие.
Последние несколько лет в продуктовой разработке проблемы масштабирования решаются через переход на микросервисную архитектуру. На эту тему было сказано много про подходы, плюсы и минусы, но мало кто рассматривал эту проблематику со стороны фронтенда.
В ЦИАН мы идем по пути перехода от монолита к микросервисам, в том числе и на фронтенде. Задачи и проблемы, с которыми мы сталкиваемся, очень близки к аналогичным на бэкенде, но в то же время совершенно другие.
В своем докладе я расскажу про архитектуру фронтенда (и так называемого миддленда) в ЦИАН: какие задачи перед нами стояли, что мы решили, где мы находимся сейчас и с какими проблемами мы столкнулись.
- Повышение среднего чека;
- Настройка маркетинговых акции за 5 минут;
- Товарные рекомендации;
- Готовые решения для разных отраслей;
- Магазин полезных приложений.
This document discusses continuous performance testing (CPT) and introduces the Jagger CPT solution. It provides an overview of why performance testing is important, outlines the principles and goals of CPT, and describes the key parts of the Jagger CPT platform including load generation, metrics collection, test data management, and environment management. It also provides an example customer success story where Jagger was used for continuous performance testing of a large ecommerce site.
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
This document provides an overview of the JDI (Java UI test automation framework). It discusses features of JDI including being UI element oriented, providing common UI elements and solutions to common problems. It provides examples of how to write tests using JDI annotations and page object pattern. The document also summarizes benefits of JDI such as reducing test code, improving test clarity, reuse across projects. Finally it outlines new features planned for JDI 2.0 including layout verification, page object generator, integration with Selenium and expanding JDI to other languages like Python.
The document discusses testing of geolocation systems. It provides an overview of geolocation, including definitions and importance. It then outlines the speaker's experience and work testing GIS systems. The rest of the document details approaches to testing geolocation, including simulating calls, checking responses and databases, and verifying accuracy. It also discusses common data formats, projections, tools like PostGIS and QGIS, and potential bugs to watch for like coordinate jumbling. The conclusion emphasizes starting simple, practicing to improve, and for tests to grow with knowledge as geolocation is important for future IT.
2. 2CONFIDENTIAL
Обо мне
• Chief QA Automation
• Руководитель отдела тестирования
• Более 8 лет в автомтаизации
Роман Иовлев
3. 3CONFIDENTIAL
Оглавление
• MBT – что это?
• Модели в ручном и автоматизированном тестировании
• Эволюция тестирования. Примеры
• Pro et contra, обзор инструментов
• Микро модели
5. 5CONFIDENTIAL
Model-based testing
• MBT - Тестирование системы на основании ее
поведенческой модели
• Модель – упрощенное представление чего-либо
• Поведенческая модель – модель поведения
пользователя
9. 9CONFIDENTIAL
Тест-кейс
• Create Basket
• Register User
• Pay
• Fail Delivery
• Move to archive
Check State Created
Check State Registered
Check State Paid
Check Delivery Rejected
Check State In Archive
↓Input Data
17. 17CONFIDENTIAL
As User
When
I Open Search Page
I Search for “IPhone”
Then
I see “10” results
I see “IPhone” in all results
loginAs(user);
searchPage.open();
searchPage.search(“IPhone”);
checkResults.Count(10);
checkResults.Contains(“IPhone”);
3 BDD
19. 19CONFIDENTIAL
Пример 4.1 Повторяющиеся действия
• Login(as User)
• Open Search Page
• Do Search
• Check Search Results
• Login(as User)
• Open About Page
• Check About Page Content
• Login(as Admin)
• Open Products page
• Add New Product
• Check Product in List
…
• Login(as User)
• Check User Logged In as User
• Login(as Admin)
• Check User Logged In as Admin
• Login(as User)
• Check User Logged In as User
• Login(as Admin)
• Check User Logged In as Admin
20. 20CONFIDENTIAL
Extended Search
• Login(as VIP User)
• Open Search Page
• Open Extended search filter
• Set Extended Search mode
• Do Default Search
OnExtendedSearchResults
• Check Extended info
OnExtendedSearchResults
• Do “One Click” payment on
product
• Check product in Basket
OnExtendedSearchResults
• Use “Reserve immediately“
function
• Check Product state in DB
Пример 4.2 Состояния
21. 21CONFIDENTIAL
Extended Search
• If (Page == “Extended Search”)
– return
• If (User.Type != VIP)
– Logout
– Login(as VIP User)
• Open Search Page
• Open Extended search filter
• Set Extended Search mode
• Do Default Search
OnExtendedSearchResults
• Check Extended info
OnExtendedSearchResults
• Do “One Click” payment on
product
• Check product in Basket
OnExtendedSearchResults
• Use “Reserve immediately“
function
• Check Product state in DB
Пример 4.2 Состояния
25. 25CONFIDENTIAL
Тест-кейс
• Create Basket
• Register User
• Pay
• Fail Delivery
• Move to archive
Check State Created
Check State Registered
Check State Paid
Check Delivery Rejected
Check State In Archive
↓Input Data
26. 26CONFIDENTIAL
↓Input Data (Unknown User)
• Create Basket
• Check State Created
• Register User
• Check State Registered
• Pay
• Check State Paid
• Fail Delivery
• Check State Delivery Rejected
• Move to archive
• Check State In Archive
↓Input Data 2 (Known User)
• Create Basket
• Check State Created
• Pay
• Check State Paid
• Deliver
• Check State Delivering
• Get Item
• Check State Delivered
• Move to archive
• Check State In Archive
Пример 5.1 Общие состояния
27. 27CONFIDENTIAL
↓Input Data (Unknown User)
• Create Basket
• Check State Created
• Register User
• Check State Registered
• Pay
• Check State Paid
• Fail Delivery
• Check State Delivery Rejected
• Move to archive
• Check State In Archive
↓Input Data 2 (Known User)
• Create Basket
• Check State Created
• Pay
• Check State Paid
• Deliver
• Check State Delivering
• Get Item
• Check State Delivered
• Move to archive
• Check State In Archive
Пример 5.1 Общие состояния
28. 28CONFIDENTIAL
Пример 5.2 Глубина проверок
↓Input Data (Unknown User)
• Create Basket
• Check State Created UI
• Check State Created DB
• Register User
• Check State Registered
• Pay
• Check State Paid UI
• Check State Paid DB
• Check State Paid Email
↓Input Data 2 (Known User)
• Create Basket
• Check State Created UI
• Check State Created DB
• Pay
• Check State Paid UI
• Check State Paid DB
• Check State Paid Email
• Deliver
• Check State Delivering
29. 29CONFIDENTIAL
Пример 5.3 Смоук
↓Input Data (Unknown User)
• Create Basket
• Check State Created UI
• Check State Created DB
• Register User
• Check State Registered
• Pay
• Check State Paid UI
• Check State Paid DB
• Check State Paid Email
↓Input Data 2 (Known User)
• Create Basket
• Check State Created UI
• Check State Created DB
• Pay
• Check State Paid UI
• Check State Paid DB
• Check State Paid Email
• Deliver
• Check State Delivering
32. 32CONFIDENTIAL
Регрессия
• Какие кейсы надо
включить
• Важность тестирования (поверхностное/полное)
• Области (наборы функциональности, технологии)
• Покрытие (все дуги/ все состояния + циклы 2 раза)
• Время (быстро, < 2часов)
• Что надо
протестировать
33. 33CONFIDENTIAL
Генерация модели из тестов
• Есть тесты
• Есть Page Object модель
• Собираем статистику посещения страниц, переходов
SQA Days 16 Алексей Лязгунов
http://sqadays.com/ru/talk/26051
34. 34CONFIDENTIAL
Pro
• Наглядность (формализация модели)
• Автогенерация тестов
• Метрики, понятное покрытие, отчеты
• Возможность разделения труда
• Легче поддержка (меньше издержек в средне-
долгосрочной перспективе)
• Управляемые выборки тестов
40. 40CONFIDENTIAL
Nobody knows
• Нет простых хороших OpenSource инструментов
– Все бесплатные не поддерживаются или изначально не удобные
– Платные ориентированы на большой бизнес, имеют массу
– функций, которые делают их сложными в освоении
• Сложные большие модели
41. 41CONFIDENTIAL
Contra
• Надо менять парадигму мышления (Нет классических
тестовых сценариев)
• Долгий первый результат
• Дополнительно нужно поддерживать модель
• Не применимо для «небольших» проектов
43. 43CONFIDENTIAL
Примеры моделей
• Ролевая модель
• Модель покупки/подписки/услуги и пр.
• Модель поиска (текстового, по фильтрам, карта)
• Обзорная модель сайта
• Рейтинговая модель
46. 46CONFIDENTIAL
Contra
• Надо менять парадигму мышления (Нет
классических тестовых сценариев)
• Долгий первый результат
• Дополнительно нужно поддерживать модель
• Не применимо для «небольших» проектов
Микро модели
47. 47CONFIDENTIAL
Contra
• Надо менять парадигму мышления (Нет
классических тестовых сценариев)
• Долгий первый результат
• Дополнительно нужно поддерживать модель
• Не применимо для «небольших» проектов
Микро модели
Проще чем разбираться в
разбросанных тестах
48. 48CONFIDENTIAL
Contra
• Надо менять парадигму мышления (Нет
классических тестовых сценариев)
• Долгий первый результат
• Дополнительно нужно поддерживать модель
• Не применимо для «небольших» проектов
Микро модели
Проще чем разбираться в
разбросанных тестах
Микро модели Развитие
инструметов
Автоматизации
Дублирование кода, если это простые проверки assert equals…
Дублирование кода, если это простые проверки assert equals…
Дублирование кода, если это простые проверки assert equals…
Дублирование кода, если это простые проверки assert equals…
покрытие состояний — каждое ли состояние было посещено
покрытие путей — каждый ли путь был пройден
покрытие значений параметров — все ли типовые и граничные значения параметров были проверены
Наглядность – модель есть и при обычном подходе, модель может быть взята из разработки, проще строить покрытие
Автогенерация – правда все шаги все равно придется написать
Поддержка – в силу наглядности, есть возможность править проверки отдельных состояний или просто добавлять переходы. Тесты генерируются автоматически
Разделение труда – теоретически диаграмма может приходить от разработки/архитектуры
Spec Explorer не поддерживает последнюю студию
Наглядный выбор тестовых наборов в графе по входным ограничениям