Планирование развития автотестов, Кирилл Раткин, СКБ Контур

Выступление на конференции DUMP-2016.

Internet

Планирование
развития автотестов
Раткин Кирилл

О нас
• Тестируем веб-приложение
• Группа тестирования 9 человек
• Команда разработки 10+15
• Нагрузка 30+ релизов в месяц
• Автотесты на C#
• Непрерывная интеграция TeamCity

Планирование
• База сценариев
• Поддержка

Планирование
• База сценариев
• Поддержка
• Техническая часть

Планирование
• База сценариев
• Поддержка
• Техническая часть
• Структура проекта

Планирование
• База сценариев
• Поддержка
• Техническая часть
• Структура проекта
Метрики?

Факторы, оказывающие
влияние:
• Навыки сотрудников
• Риски тестирования
• Определение критичного функционала
• Покрытие
• Генерация тестовых данных

Атрибуты планирования
1. Разработка документации
2. Стандарты проектирования
2.1 Когда
2.2 Что
2.3 Как

1. Документация
• гайд для новичков
• обеспечение согласованности
• унификация
• облегчение поддержки

2. Стандарты проектирования.
Когда?
Проектирование параллельно с разработкой ПО?
Плюсы:
• оценка трудозатрат на автоматизацию
• понимание полноты покрытия, сложности
• оценка тестопригодности кода (возможность
повлиять)
Минусы:
• могут измениться критерии

2. Стандарты проектирования.
Что?
Хороший тест должен покрывать:
• требования (ТЗ)
• ожидаемые входные и выходные данные

2. Стандарты проектирования.
Как?
• Шаблоны
• Соглашения по именованию, структуре проекта
• Обеспечение повторного использования
• Независимость тестов
• Контекстная независимость
• Атомарность проверок

Уровни зрелости TMM
Группа тестирования Автотесты
I Хаотичый характер
Нет специальных людей
Экспериментальная автоматизация
Затруднено повторное использование
Нет сопровождения
II Выполнение тестов после кодирования
Основная цель: соответствие спецификации
Сопутствующая автоматизация
Тесты модифицируются
Нет стандартов, документации
III Интеграция в жизненный цикл разработки
Существует подразделение тестирования
Стандарты проектирования
Планирование
IV Контроль качества
База тестовых сценариев
Фиксация и приоритизация дефектов
Отслеживание дефектов после релизов
Работа совместно с разработчиками
Continuous Integration
V Предотвращение дефектов
Полностью поддерживаемые автотесты
Сбор и анализ метрик
Сбор и анализ метрик

Спасибо за внимание!
Вопросы?
ratkin@skbkontur.ru

Системное интеграционное тестирование является важным этапом тестирования и обязательным для больших проектов, но обычно это плохо изученная и часто плохо управляемая фаза тестирования. В своем докладе я хочу продемонстировать один из подходов к интеграционному тестированию на практике банковского проекта, рассказать об особенностях и на что стоит обратить внимание при организации и проведении интеграционного тестирования систем. Основной фокус доклада - раскрыть все «изюминки» интеграционного тестирования и дать общие рекомендации по тому как не наступить на грабли.

QA Fest 2017. Святослав Логин. Как провести тестирование на безопасность Web ...

QAFest

В своем докладе на практических примерах поведаю вам, как проводить поиск различных видов уязвимостей для улучшения безопасности веб-приложений. Специальными гостями нашей программы будут: - xss - sql injection - man in the middle - brute force

Как подружить команду админов с N командами разработки / Денис Яковлев (2ГИС)

РИТ++ 2017, Root Conf Зал Пекин + Шанхай, 5 июня, 12:00 Тезисы: http://rootconf.ru/2017/abstracts/2750.html Web-отдел 2ГИС - это 5 команд разработки и более 20 проектов разного калибра. Это означает множество релизов каждый день и постоянные изменения. Что мы имели раньше? Команда - bottleneck из нервных админов, работающих часто сверхурочно. Что сейчас - команда инфраструктурных инженеров, предоставляющая сервисы для команд разработки. В своем докладе я расскажу, чем первое отличается от второго, как мы к этому пришли, и почему теперь нервов стало меньше.

CI для тестировщиков или как отказаться от релизов

Как не налететь на рифы в море преимуществ Scrum: организация и оптимизация т...

QA Fest 2017. Алексей Буль.Тестирование геолокационных систем

QAFest

Let's Talk About Junit 5

Представьте себе ситуацию: к вам приходит заказчик, у него уже есть продукт, и вам надо организовать процесс и создать соответствующую инфраструктуру так, чтобы сделать работу над продуктом максимально удобной и эффективной. Какие шаги были сделаны и почему, какие проблемы встретились и как были решены проектной командой в вышеописанной ситуации, к чему всё это привело на данный момент — об этом и будет рассказано в докладе.

Повышение качества тестов и автоматическая валидация REST API документации

Автоматическое тестирование Web api

Igor Lyubin

Современный мир ускоряется, и от тестирования требуется быстрые и стабильные тесты. В этом мастер-классе предлагается уйти от UI автоматизации и перейти на уровень ниже "пирамиды тестирования", на уровень WEB API. Не обещаю теорию, но будет много практических кейсов. В качестве примера я возьму популярный веб сайт с открытым API и покажу как за относительно небольшое время можно создавать хорошие тесты! Причем тесты мы будем создавать совместно, и особых навыков программирования от участников здесь не потребуется, достаточно включить логику и желание освоить что-то новое.

Jenkins 2. Как сделать мажорный релиз и не развалить сообщество?

Организация процесса ручного тестирования

Поплоухина Елена, Руководитель отдела тестирования в Usetech https://vk.com/lena_flower Расскажу об опыте организации процесса внутреннего тестирования проекта со строго формализованным техническим заданием от момента получения технического задания для тестирования требований до момента передачи релиза на приемочное тестирование.

Jenkins 2.0: Организуем тестирование в составе Continuous Delivery

КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"Alexander Akbashev

Как развивать библиотеку компонентов, не ломая ее / Артур Удалов (Mail.Ru Group)

HighLoad++ 2017 Зал «Пекин + Шанхай», 8 ноября, 17:00 Тезисы: http://www.highload.ru/2017/abstracts/2991.html Нынче стало модно выделять UI-компоненты в отдельную библиотеку и использовать её в нескольких проектах. Мы в команде почты Mail.ru делаем так же, но столкнулись с проблемой: каждый разработчик, меняя библиотеку под свои нужды, обязательно ломает что-нибудь, что работало у других. Я расскажу о том, как мы решили эту проблему, и о том, какие инструменты для этого можно использовать. Storybook, BackstopJS, Jest, Webdriver.io, TypeScript - в их числе.

Багфиксинг процесса разработки в iOS: взгляд с двух сторон

Badoo Development

Techleads Meetup #1 "Багфиксинг процесса разработки в iOS: взгляд с двух сторон" Екатерина Николаенко, iOS QA Lead и Катерина Трофименко, iOS Developer (Badoo) Описание: Приложение Badoo для iOS существует около 7 лет и пережило уже 4 реинкарнации. Наши процессы и подходы не всегда были оптимальны и мы не единственные, кто познали релизы через боль и страдание всех участников процесса разработки. Чтобы найти идеальный баланс между скоростью и качеством мы решили отрефакторить процессы разработки и тестирования в iOS команде и добились релизов раз в неделю. Из нашего доклада вы узнаете об эволюции команды с точки зрения разработки и тестирования. А так же мы расскажем как мы уменьшили crash-rate в 40 раз.

Scrum глазами тестировщика или как создать стратегию для любой задачи

Елена Кузнецова, QA engineer в VIAcode https://vk.com/nedotroga401 Как я попала в scrum-команду и это изменило мое представление о тестировании и разработке программного обеспечения. Я расскажу как заменить чек-листы стратегиями, что диаграммы связей - это не страшно, почему общаться с клиентом каждый день - здорово, а четкие требования не сделают продукт лучше.

Инструмент ChangelogBuilder для автоматической подготовки Release Notes

Positive Hack Days

Python Development process in Yandex

Python tools for web development (Python meetup Almaty #ALAPY)

Github Flow. Тестировщики против тестирования

Visual Studio Team Services /TFS helps doing devops

Konstantin Neradovsky

CodeFest 2013. Давыдов М. — Проект на бою. Работает? Стабильно? Эффективно? М...CodeFest

Continuous Delivery, или волшебная кнопка для релизов по запросу, Денис Яковл...

Мифы о DevOps / Александр Титов, Иван Евтухович (Экспресс 42)

РИТ++ 2017, Root Conf Зал Пекин + Шанхай, 5 июня, 10:00 Тезисы: http://rootconf.ru/2017/abstracts/2830.html Про DevOps, как и про Agile, сейчас говорят все, но все равно ничего не понятно. Часто послушаешь доклад и ощущение, что все в компании и так по DevOps, и не надо ничего делать, или, наоборот, ощущение, что это совершенно дикая история, и DevOps-практики категорически противопоказаны. Мы не хотим рассказывать, что такое DevOps, а расскажем о мифах, которые вредят пониманию. Их не так много, но важно о них знать, потому что эти мифы для вас будут маркерами неправильных управленческих и инженерных решений: 1) DevOps может делать DevOps-отдел или DevOps-инженер. 2) DevOps — это про то, что надо нанимать специалистов-многостаночников, которые умеют все. ...

Тестируем производительность с помощью Selenium

QAradise, Евгений Сабиров, Хост

Правильно тестируем сетевую часть мобильного приложения, Андрей Усов, 2ГИС, ...

What's hot

Артем Титаренко

CodeFest

AzovDevMeetup 2016 | Выстраивание процесса и применение Best Practices с нуля...

JSC “Arcadia Inc”

Повышение качества тестов и автоматическая валидация REST API документации

Автоматическое тестирование Web api

Igor Lyubin

Jenkins 2. Как сделать мажорный релиз и не развалить сообщество?

Организация процесса ручного тестирования

Jenkins 2.0: Организуем тестирование в составе Continuous Delivery

КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"Alexander Akbashev

Как развивать библиотеку компонентов, не ломая ее / Артур Удалов (Mail.Ru Group)

Багфиксинг процесса разработки в iOS: взгляд с двух сторон

Badoo Development

Scrum глазами тестировщика или как создать стратегию для любой задачи

Инструмент ChangelogBuilder для автоматической подготовки Release Notes

Positive Hack Days

Python Development process in Yandex

Python tools for web development (Python meetup Almaty #ALAPY)

Github Flow. Тестировщики против тестирования

Visual Studio Team Services /TFS helps doing devops

Konstantin Neradovsky

CodeFest 2013. Давыдов М. — Проект на бою. Работает? Стабильно? Эффективно? М...CodeFest

Continuous Delivery, или волшебная кнопка для релизов по запросу, Денис Яковл...

Мифы о DevOps / Александр Титов, Иван Евтухович (Экспресс 42)

Тестируем производительность с помощью Selenium

What's hot (20)

Артем Титаренко

AzovDevMeetup 2016 | Выстраивание процесса и применение Best Practices с нуля...

Повышение качества тестов и автоматическая валидация REST API документации

Автоматическое тестирование Web api

Jenkins 2. Как сделать мажорный релиз и не развалить сообщество?

Организация процесса ручного тестирования

Jenkins 2.0: Организуем тестирование в составе Continuous Delivery

КРИ-2013. "Нагрузочное тестирование или Боты - санитары сервера"

Как развивать библиотеку компонентов, не ломая ее / Артур Удалов (Mail.Ru Group)

Багфиксинг процесса разработки в iOS: взгляд с двух сторон

Scrum глазами тестировщика или как создать стратегию для любой задачи

Инструмент ChangelogBuilder для автоматической подготовки Release Notes

Python Development process in Yandex

Python tools for web development (Python meetup Almaty #ALAPY)

Github Flow. Тестировщики против тестирования

Visual Studio Team Services /TFS helps doing devops

CodeFest 2013. Давыдов М. — Проект на бою. Работает? Стабильно? Эффективно? М...

Continuous Delivery, или волшебная кнопка для релизов по запросу, Денис Яковл...

Мифы о DevOps / Александр Титов, Иван Евтухович (Экспресс 42)

Тестируем производительность с помощью Selenium

Viewers also liked

QAradise, Евгений Сабиров, Хост

Правильно тестируем сетевую часть мобильного приложения, Андрей Усов, 2ГИС, ...

Автоматизация инфраструктуры. Зачем мы это делаем? Денис Яковлев, 2ГИС, Ново...

Moira: Realtime alerting, Алексей Ларьков, СКБ Контур

Как в E96.ru устроено продуктивное окружение, Данила Штань, ex-e96.ru

Профилирование распределенных систем, Александр Казаков, СКБ Контур

The document contains log entries from a distributed system on March 23, 2016. It logs information about various services, components and requests. Some key details include: - It logs the start and completion of asynchronous tasks across multiple services including "PageAsyncTask" and "ConcurrentAsyncTaskManager". - It logs successful requests to a "ZebraSearch" component with response times between 0-9 seconds for some requests. - Other log lines provide details on the response size, remote server IP addresses, and cache updates for file downloads.

Релиз-инжениринг Mail.ru. Взгляд изнутри. Максим Глеков, Mail.Ru Group, Москва

Continuous Integration под микроскопом, Александр Кириллов, Evrone, Саратов

Appium+Cucumber+Ruby: мобильная автоматизация малой кровью, Андрей Малых, Аб...

Виктор Лисицын, East Media Как учитывать время разработчиков, чтобы их не тош...Svetlana Gulyaeva

Первухин Даниил. Веб-интерфейсы.Svetlana Gulyaeva

Александр Чернин. Система грэйдов и категорий — внедрение и развитие.Svetlana Gulyaeva

Дмитрий Качмар, Яндекс - Сервис Яндекс.Авто Svetlana Gulyaeva

Николай Яремко. Использование вики методик при разработке Яндекс.Почты.Svetlana Gulyaeva

Никита Шляхов. Учёт времени разработчиковSvetlana Gulyaeva

YoctoDB в Яндекс.Вертикалях

This document summarizes YoctoDB, an embedded Java library for horizontally partitioned immutable databases developed by Yandex to power its classified search services. It provides very low latency and high throughput for indexing and querying large datasets by using an immutable data model with field-based filtering and sorting. It has improved performance versus Lucene for Yandex's auto search workloads, reducing latency percentiles and CPU usage. YoctoDB's data model and implementation provide benefits like simplified concurrency, fast reindexing, and no need for garbage collection tuning.

DUMP-2013 Проектирование интерфейсов - Бац-бац, и в продакшен! - Зотов Андрейit-people

DUMP-2013 Проектирование интерфейсов - Как мы делаем креатив в дизайне - Кула...it-people

DUMP-2013 Проектирование интерфейсов - Путь воина в проектировании интерфейсо...it-people

DUMP-2013 Проектирование интерфейсов - А где же яйца? - Клевакин Денисit-people

Viewers also liked (20)

QAradise, Евгений Сабиров, Хост

Правильно тестируем сетевую часть мобильного приложения, Андрей Усов, 2ГИС, ...

Автоматизация инфраструктуры. Зачем мы это делаем? Денис Яковлев, 2ГИС, Ново...

Moira: Realtime alerting, Алексей Ларьков, СКБ Контур

Как в E96.ru устроено продуктивное окружение, Данила Штань, ex-e96.ru

Профилирование распределенных систем, Александр Казаков, СКБ Контур

Релиз-инжениринг Mail.ru. Взгляд изнутри. Максим Глеков, Mail.Ru Group, Москва

Continuous Integration под микроскопом, Александр Кириллов, Evrone, Саратов

Appium+Cucumber+Ruby: мобильная автоматизация малой кровью, Андрей Малых, Аб...

Виктор Лисицын, East Media Как учитывать время разработчиков, чтобы их не тош...

Первухин Даниил. Веб-интерфейсы.

Александр Чернин. Система грэйдов и категорий — внедрение и развитие.

Дмитрий Качмар, Яндекс - Сервис Яндекс.Авто

Николай Яремко. Использование вики методик при разработке Яндекс.Почты.

Никита Шляхов. Учёт времени разработчиков

YoctoDB в Яндекс.Вертикалях

DUMP-2013 Проектирование интерфейсов - Бац-бац, и в продакшен! - Зотов Андрей

DUMP-2013 Проектирование интерфейсов - Как мы делаем креатив в дизайне - Кула...

DUMP-2013 Проектирование интерфейсов - Путь воина в проектировании интерфейсо...

DUMP-2013 Проектирование интерфейсов - А где же яйца? - Клевакин Денис

Similar to Планирование развития автотестов, Кирилл Раткин, СКБ Контур

Java Presentation.pptx

PavelKhankevich1

Cовременные подходы организации процессов разработки

Александр Шамрай

Система управления жизненным циклом разработки программного обеспечения Devpr...

Evgeny Savitsky

Devprom - российская компания-разработчик инструментов в области управления проектами Дата образования: июнь 2008 Количество сотрудников: 9 человек Количество загрузок дистрибутива: 8600 Количество зарегистрированных пользователей: 4800 Цикл выпуска новых версий продукта: 1 месяц

Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ

Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков

GoIT

На долгожданной встрече 05.02.2015, посвященной Front-end-у участники: • Узнали, с чего начинать новичкам Front-end разработки • Поняли основы Front-end разработки • Узнали о подводных камнях в данной IT-сферы • Переняли опыт успехов и ошибок Front-end разработчиков из Яндекс и Terrasoft • Получили информацию о возможностях карьерного роста в сфере. Данную презентацию подготовил для нас: Сергей Пузанков - обладает 13-летним опытом веб-разработки, с 2008 года руководит группой разработки поисковых интерфейсов в Яндексе.

Андрій Лазарєв “Автоматизація тестування Enterprise систем”

Dakiry

Знакомство с проектом

Nazira Sheraly

электронный проектный офисДенис Олешкевич

Проект без рисков – удел неудачников! Главные причины провалов проектов

Проектирование архитектуры крупных веб-систем

TKConf

Точка кипения: проектирование крупных веб-систем

Roman Ivliev

Agile days `16 summary

Anton Zhukov

Управление изменениями и коллективная разработка в Caché. InterSystems Meetup...

InterSystems

Web application testing architecture

Andrey Lazarev

AgileMageCloud

Management of projectsMageCloud

Планирование трудозатрат на тестирование

Softengi

Доклад Александры Ковалевой, Test Lead в QA Service, Softengi, Украина. В презентации представлен симбиоз теории планирования и практического опыта компании QA Service в оценке трудозатрат на тестирование. Руководители отдела тестирования, ведущие тестировщики узнают: Чем отличаются стратегические, тактические и оперативные планы? - Что такое планирование с точки зрения тестировщика? Кто в отвечает за планирование трудозатрат на тестирование? Какие существуют методы оценки? Всегда ли имеет смысл детальное планирование и оценка? Подводные камни планирование сроков тестирования и связь с другими активностями проекта. Как начать внедрение системы планирования и оценки «снизу»? Тестировщикам доклад поможет посмотреть на оценку сроков с точки зрения менеджмента и ответить на вопросы: Как я оцениваю свои задачи? Как это делают другие? Можно ли что-то улучшить? Как заставить лида перестать спрашивать о сроках? Чем отличаются трудозатраты на выполнение задачи и сроки завершения задачи. Как сдавать задачи в срок?

доклад на SQADays 2011 в Казаниmargo-qa

Rambler.iOS #4: Как мы стали писать бизнес-логику

RAMBLER&Co

How to estimate time for testingAlexandr Zinovyev

Similar to Планирование развития автотестов, Кирилл Раткин, СКБ Контур (20)

Java Presentation.pptx

Cовременные подходы организации процессов разработки

Система управления жизненным циклом разработки программного обеспечения Devpr...

Становление процесса автоматизированного тестирования в интернет-магазине ОКЕЙ

Встреча "Front-end: на старт, внимание, разработка!", Сергей Пузанков

Андрій Лазарєв “Автоматизація тестування Enterprise систем”

Знакомство с проектом

электронный проектный офис

Проект без рисков – удел неудачников! Главные причины провалов проектов

Проектирование архитектуры крупных веб-систем

Точка кипения: проектирование крупных веб-систем

Agile days `16 summary

Управление изменениями и коллективная разработка в Caché. InterSystems Meetup...

Web application testing architecture

Agile

Management of projects

Планирование трудозатрат на тестирование

доклад на SQADays 2011 в Казани

Rambler.iOS #4: Как мы стали писать бизнес-логику

How to estimate time for testing

More from it-people

«Про аналитику и серебряные пули» Александр Подсобляев, Rambler&Co

«Scrapy internals» Александр Сибиряков, Scrapinghub

- Scrapy is a framework for web scraping that allows for extraction of structured data from HTML/XML through selectors like CSS and XPath. It provides features like an interactive shell, feed exports, encoding support, and more. - Scrapy is built on top of the Twisted asynchronous networking framework, which provides an event loop and deferreds. It handles protocols and transports like TCP, HTTP, and more across platforms. - Scrapy architecture includes components like the downloader, scraper, and item pipelines that communicate internally. Flow control is needed between these to limit memory usage and scheduling through techniques like concurrent item limits, memory limits, and delays between calls.

«Отладка в Python 3.6: Быстрее, Выше, Сильнее» Елизавета Шашкова, JetBrains

The document discusses debugging in Python 3.6. It describes tracing and frame evaluation debuggers. Tracing debuggers slow code execution significantly by calling the tracing function on every line. Python 3.6 introduced a new frame evaluation API that allows evaluating frames directly, avoiding the performance issues of tracing. The document demonstrates how to build a debugger using this approach, including setting breakpoints and stepping through code by inserting temporary breakpoints on each line. Frame evaluation allows building a debugger that is faster than tracing debuggers without significant performance penalties.

«Gevent — быть или не быть?» Александр Мокров, Positive Technologies

Gevent is a concurrency library for Python that uses greenlets, or lightweight coroutines, to provide asynchronous operations and non-blocking I/O. It allows developing highly concurrent applications using a simple and familiar synchronous style. The document compares gevent to other concurrency options like asyncio and discusses how it provides features like asynchronous task execution, event loops, and inter-greenlet communication using queues and callbacks.

«Ещё один Поиск Яндекса» Александр Кошелев, Яндекс

«How I Learned to Stop Worrying and Love the BFG: нагрузочное тестирование со...

«Write once run anywhere — почём опиум для народа?» Игорь Новиков, Scalr

«Gensim — тематическое моделирование для людей» Иван Меньших, Лев Константино...

«Тотальный контроль производительности» Михаил Юматов, ЦИАН

«Детские болезни live-чата» Ольга Сентемова, Тинькофф Банк

«Микросервисы наносят ответный удар!» Олег Чуркин, Rambler&Co

«Память и Python. Что надо знать для счастья?» Алексей Кузьмин, ЦНС

«Что такое serverless-архитектура и как с ней жить?» Николай Марков, Aligned ...

The document discusses what serverless computing is and how it can be used for building applications. Serverless applications rely on third party services to manage server infrastructure and are event-triggered. Popular serverless frameworks like AWS Lambda, Google Cloud Functions, Microsoft Azure Functions, and Zappa allow developers to write code that runs in a serverless environment and handle events and triggers without having to manage servers.

«Python на острие бритвы: PyPy project» Александр Кошкин, Positive Technologies

The document describes a talk on optimizing Python performance through just-in-time compilation. It discusses how the CPython interpreter works by evaluating bytecode through an evaluation loop. It then talks about how PyPy achieves faster performance through jit compilation of hot loops detected via tracing. The talk dives into the RPython language used to implement PyPy and shows an example of compiling a small Python program to C with RPython. It also discusses using partial evaluation to specialize an interpreter for constant inputs.

«PyWat. А хорошо ли вы знаете Python?» Александр Швец, Marilyn System

«(Без)опасный Python», Иван Цыганов, Positive Technologies

The document discusses various security vulnerabilities in Python web applications. It begins with an overview of the OWASP Top 10 security risks, with sections focusing on risks related to using components with known vulnerabilities (A9) and insufficient attack protection (A7). For A9, it provides examples of vulnerabilities in popular Python packages and recommends checking changelogs and vulnerability databases. For A7, it recommends implementing attack protections like login attempts logging, rate limiting, and use of a web application firewall. The document also covers security misconfiguration (A5), giving examples like using default settings in production and exposing tracebacks.

«Python of Things», Кирилл Борисов, Яндекс

«Как сделать так, чтобы тесты на Swift не причиняли боль» Сычев Александр, Ra...

«Клиенту и серверу нужно поговорить» Прокопов Никита, Cognician

«Кошелек или деньги: сложный выбор между памятью и процессором» Алексеенко Иг...