The talk reviews the most significant elements of organization of automation for a project. It might help you decide whether automation is needed on your project.
Report reviews the possible strategies of implementing the automation into life, touches upon the planning of the automation process and how can the profit acquired from automation be estimated by providing the return of investment calculation.
Алексей Халайджи, Mail.Ru Group, «Как мы автоматизируем UI-тестирование в iOS...Mail.ru Group
Алексей рассказал, какие задачи и проблемы стояли перед командой в начале пути, какие технологии используются для автоматизации тестирования, какие проблемы при этом возникают и как решаются, а также поделится достигнутыми результатами.
Алексей Петров, Mail.Ru Group, "Организация конвейера автоматизации тестирова...Mail.ru Group
Доклад о том, с чего начать выстраивать конвейер автоматизации тестирования. Как не утопить автоматизацию в мнимых штампах и стереотипах, построив по-настоящему эффективный процесс автоматизации тестирования.
Поделюсь опытом и расскажу:
- о том, с чего начать автоматизацию тестирования;
- о том, что делает автоматизированные тесты выгодными;
- как научить "зарабатывать" автотесты;
- о том, как превратить точечное написание автоматизирвоанных тестов в стройный конвейер с отлаженными процессами;
- о популярных ошибках и заблуждениях автоматизации тестирования и о том, как их избегать;
- о сопутствующих инструментах и лайфхаках из практики.
Доклад содержит полезные советы, как для тех, кто только думает внедрить автоматизацию тестирования, так и для тех, кто уже вовсю автоматизирует, но сталкивается с проблемами их эффективной работы или желает сделать автотесты еще более полезными.
Вот настал прекрасный момент и у вас появился проект по автоматизации. У вас не было опыта? С чего начать? и что делать дальше? В своем докладе я расскажу:
- как выглядит инициация проекта по автоматизации
- заказчик и его позиция
- основные принципы организации проекта автоматизации
- как выбирать и формировать команду
- ключевые процессы, которые нужно сделать до начала проекта
- как настроить среду для работы
- и как выполнить сам проект с успешным финалом
Изучай python и автоматизацию на тестирования на python на http://lessons2.ru
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...Mail.ru Group
Существует мнение, что от разработчиков системы автоматизированных тестов требуется высокая квалификация в области разработки программного обеспечения и солидный багаж знаний. Обычно таких людей в команде тестирования не много. Но можно начать работы по качественной автоматизации тестирования, даже не имея такого опыта. В докладе речь пойдет о:
отборе рекрутов в программу обучения автоматизации тестирования;
первичном пороге для вхождения в рекруты;
составлении учебной программы;
промежуточном контроле и испытаниях;
начале работы над реальными проектами;
подводных камнях и ошибках, которые можно допустить.
Применение этих знаний на собственном опыте позволило компании получить высокое покрытие проекта тестами и достичь результатов, когда каждый из команды разрабатывает и поддерживает автотесты, а также самостоятельно автоматизирует новые проекты.
The talk reviews the most significant elements of organization of automation for a project. It might help you decide whether automation is needed on your project.
Report reviews the possible strategies of implementing the automation into life, touches upon the planning of the automation process and how can the profit acquired from automation be estimated by providing the return of investment calculation.
Алексей Халайджи, Mail.Ru Group, «Как мы автоматизируем UI-тестирование в iOS...Mail.ru Group
Алексей рассказал, какие задачи и проблемы стояли перед командой в начале пути, какие технологии используются для автоматизации тестирования, какие проблемы при этом возникают и как решаются, а также поделится достигнутыми результатами.
Алексей Петров, Mail.Ru Group, "Организация конвейера автоматизации тестирова...Mail.ru Group
Доклад о том, с чего начать выстраивать конвейер автоматизации тестирования. Как не утопить автоматизацию в мнимых штампах и стереотипах, построив по-настоящему эффективный процесс автоматизации тестирования.
Поделюсь опытом и расскажу:
- о том, с чего начать автоматизацию тестирования;
- о том, что делает автоматизированные тесты выгодными;
- как научить "зарабатывать" автотесты;
- о том, как превратить точечное написание автоматизирвоанных тестов в стройный конвейер с отлаженными процессами;
- о популярных ошибках и заблуждениях автоматизации тестирования и о том, как их избегать;
- о сопутствующих инструментах и лайфхаках из практики.
Доклад содержит полезные советы, как для тех, кто только думает внедрить автоматизацию тестирования, так и для тех, кто уже вовсю автоматизирует, но сталкивается с проблемами их эффективной работы или желает сделать автотесты еще более полезными.
Вот настал прекрасный момент и у вас появился проект по автоматизации. У вас не было опыта? С чего начать? и что делать дальше? В своем докладе я расскажу:
- как выглядит инициация проекта по автоматизации
- заказчик и его позиция
- основные принципы организации проекта автоматизации
- как выбирать и формировать команду
- ключевые процессы, которые нужно сделать до начала проекта
- как настроить среду для работы
- и как выполнить сам проект с успешным финалом
Изучай python и автоматизацию на тестирования на python на http://lessons2.ru
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...Mail.ru Group
Существует мнение, что от разработчиков системы автоматизированных тестов требуется высокая квалификация в области разработки программного обеспечения и солидный багаж знаний. Обычно таких людей в команде тестирования не много. Но можно начать работы по качественной автоматизации тестирования, даже не имея такого опыта. В докладе речь пойдет о:
отборе рекрутов в программу обучения автоматизации тестирования;
первичном пороге для вхождения в рекруты;
составлении учебной программы;
промежуточном контроле и испытаниях;
начале работы над реальными проектами;
подводных камнях и ошибках, которые можно допустить.
Применение этих знаний на собственном опыте позволило компании получить высокое покрытие проекта тестами и достичь результатов, когда каждый из команды разрабатывает и поддерживает автотесты, а также самостоятельно автоматизирует новые проекты.
Промышленный подход к автоматизации тестирования или Keyword-driven testing в...Maksim Grinevich
Доклад описывает промышленный подход к организации процесса автоматизации тестирования. Если у вас серьезный проект ни на один человекогод и необходимо внедрять автоматизацию, либо сделать так, чтобы она, наконец, заработала – предлагаю рассмотреть нашу реализацию как один из возможных выходов из ситуации.
Автотесты генерируют специалисты в предметной области, а не тестировщики-программисты. Сценарии тестирования пишутся в формате xml с использованием "стандартных операций". Эти операции поддерживаются генератором автотестов и автоматизированы на VBScript (QuickTestPro).
Доклад может быть интересен тем, кто вплотную занимается автоматизацией либо пытается разобраться в этом вопросе.
Доклад посвящен различным способам построения математического описания ОУ с точностью достаточной для разработки алгоритмов управления. Мы продемонстрируем как построить модель, имея математическое описание и данные экспериментов, снятые с объекта. Покажем как совместить имеющиеся модели и эксперименты для повышения точности.
VivaMP, система выявления ошибок в коде параллельных программ на языке С++, и...Tatyanazaxarova
В статье приводятся результаты исследований ошибок, которые допускают программисты, использующие С++ и OpenMP. Для автоматического обнаружения этих ошибок предлагается использование статического анализа. Описывается интегрирующийся в среду Visual Studio анализатор VivaMP, реализующий поставленную задачу.
The document discusses code coverage and provides guidance on how to properly use and interpret code coverage metrics and data. It cautions against aiming for 100% coverage and instead advocates using coverage information to identify areas for improving test cases and finding dead code. The document also warns of potential misuses of code coverage like assuming it guarantees quality or that test generation tools can replace manual testing.
Промышленный подход к автоматизации тестирования или Keyword-driven testing в...Maksim Grinevich
Доклад описывает промышленный подход к организации процесса автоматизации тестирования. Если у вас серьезный проект ни на один человекогод и необходимо внедрять автоматизацию, либо сделать так, чтобы она, наконец, заработала – предлагаю рассмотреть нашу реализацию как один из возможных выходов из ситуации.
Автотесты генерируют специалисты в предметной области, а не тестировщики-программисты. Сценарии тестирования пишутся в формате xml с использованием "стандартных операций". Эти операции поддерживаются генератором автотестов и автоматизированы на VBScript (QuickTestPro).
Доклад может быть интересен тем, кто вплотную занимается автоматизацией либо пытается разобраться в этом вопросе.
Доклад посвящен различным способам построения математического описания ОУ с точностью достаточной для разработки алгоритмов управления. Мы продемонстрируем как построить модель, имея математическое описание и данные экспериментов, снятые с объекта. Покажем как совместить имеющиеся модели и эксперименты для повышения точности.
VivaMP, система выявления ошибок в коде параллельных программ на языке С++, и...Tatyanazaxarova
В статье приводятся результаты исследований ошибок, которые допускают программисты, использующие С++ и OpenMP. Для автоматического обнаружения этих ошибок предлагается использование статического анализа. Описывается интегрирующийся в среду Visual Studio анализатор VivaMP, реализующий поставленную задачу.
The document discusses code coverage and provides guidance on how to properly use and interpret code coverage metrics and data. It cautions against aiming for 100% coverage and instead advocates using coverage information to identify areas for improving test cases and finding dead code. The document also warns of potential misuses of code coverage like assuming it guarantees quality or that test generation tools can replace manual testing.
Keyword-driven testing, Геннадий Алпаев
Keyword-driven подход к автоматизации тестирования был описан в литературе более 10ти лет назад, однако в русскоязычных источниках по этой теме информации довольно мало. В докладе Геннадий расскажет о том, в чем заключается подход, когда применяется, его достоинства и недостатки, а также покажет пример практической реализации Keyword-driven подхода для простого тестируемого приложения с помощью TestComplete и SilkTest.
Многие из нас слышали, что при создании тестовых систем необходимо понимать из каких слоев они должны состоять. Но начинающим специалистам очень сложно четко понять за чем эти слои нужны и какие функции они выполняют. В своем докладе я хотел бы внести ясность по данному вопросу и ответить на все все вопросы.
Glib Rybalko, GlobalLogic’s Test Lead, consultant and trainer was among 26 known Ukrainian and international experts who took a word on IT Weekend Ukraine 2013. Glib discussed features of automated software testing, benefits and feasibility of using this approach on various projects. During his speech, Glib pointed all necessary steps of automated testing implementation and gave homework for those who were interested in this field and wanted to implement it in their projects.
Лучшие практики исполнения проекта в соответствии с методологией IBM RationalLuxoftTraining
В своем выступлении Михаил рассматривает различные аспекты реализации проекта, начиная от управления требованиями и заканчивая управлением изменениями и конфигурациями. Описывает лучшие практики минимизации рисков провала проекта, в соответствии с методологией IBM Rational:
Итеративная разработка;
Подход к управлению требованиями;
Компонентная архитектура;
Визуальное моделирование;
Постоянный контроль качества;
Управление изменениями и конфигурациями.
А также рассматривается специфика Agile-проектов в сравнении с другими методологиями.
Модели в профессиональной инженерии и тестировании программ. Александр Петрен...yaevents
Александр Петренко, ИСП РАН
Профессор, доктор физико-математических наук, заведующий отделом технологий программирования Института системного программирования (ИСП РАН), профессор ВМК МГУ. Основные работы в областях: формализация требований, генерация тестов на основе формализованных требований и формальных моделей (model based testing – MBT). Приложения: тестирование операционных систем и распределенных систем, тестирование компиляторов, верификация дизайна микропроцессоров, формализация стандартов на API операционных систем и телекоммуникационных протоколов. Сопредседатель оргкомитетов International MBT workshop (http://www.mbrworkshop.org/), Spring Young Researcher Colloquium on Software Engineering – SYRCoSE (http://syrocose.ispras.ru), городского семинара по технологиям разработки и анализа программ ТРАП/SDAT (http://sdat.ispras.ru/).
Тема доклада
Модели в профессиональной инженерии и тестировании программ.
Тезисы
Model Based Software Engineering (MBSE) является расширением подхода к разработке программ на основе моделей. В MBSE в отличие, например, от MDA (Model Driver Architecture) существенное внимание уделяется не только задачам собственно проектирования и разработки кода, но и задачам других фаз жизненного цикла – анализу требований, верификации и валидации, управлению требованиями на всех фазах жизненного цикла. Model Based Testing (MBT) хронологически возник гораздо раньше, чем MBSE и MDA, однако его место в разработке программ в полной мере раскрылось вместе с развитием MBSE. По этой причине MBT и MBSE следует рассматривать в тесной связке. В докладе будут рассмотрены концепции MBSE-MDA-MBT, основные источники и виды моделей, которые используются в этих подходах, методы генерации тестов на основе моделей, известные инструменты для
QA Fes 2016. Анастасия Асеева. Роль тестирования в DevopsQAFest
В своем докладе я расскажу, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование. Также расскажу с какими проблемами столкнулись, и как мы их устраняли. И да, каких результатов смогли добиться уже через полгода. А самое интересное, покажу как мы смогли добиться того, чтоб у нас pull request долетал до боя за 3 часа со всеми этапами тестирования.
Доклад будет содержать большое количество лайфхаков и обзоров инструментария, который мы использовали.
Практический доклад о том, как мы внедряли devops в банке, а конкретнее какую роль в этом процессе сыграло тестирование.
В докладе рассмотрены основные проблемы, с которыми команда столкнулась при внедрении и способы их устранения.
Продемонстрированы результаты, которых смогли достичь в течении полугода.
Доклад содержит большое количество лайфхаков и обзоров инструментария, который использовался для достижения цели.
Практически все известные мне передовые проекты используют Agile, как способ быстрой разработки ПО. За счет чего обеспечивается быстрая разработка? Правильно, множеством процессов, один из которых «автоматизация тестирования ПО».
Хорошо когда у вас есть время выработать фреймфорк, который хорошо ложиться в ваш проект. Но когда времени нет, то надо двигаться быстро. Зачастую выбор падает в сторону уже существующих фреймворков, с помощью которых можно быстро выполнить необходимую автоматизацию и максимально решить ваши задачи.
RobotFramework – это фреймворк высокого уровня, с помощью которого можно строить keyword-driven, data-driven и acceptance авто-тесты. В своем докладе я расскажу, что такое RobotFramework, где он используется и как его можно применить.
Изучай python и автоматизацию на тестирования на python на http://lessons2.ru
Модельно-ориентированная инженерия в MATLAB и SimulinkAlexander Efremov
Презентация, показанная на семинаре по разработке симуляторов (стендов реального времени) в MATLAB и Simulink.
Подробности: http://aeshnik.livejournal.com/5211.html
Совершенный тестовый фреймворк, Андрей Иваровский
Идеальный тестовый фреймворк – миф или реальность? Поиск “философского камня”.
Расширяемость – как впихнуть “невпихуемое” и объять необъятное?
Кейворд-дривен, дата-дривен – извращения или путь к совершенству?
Многопоточность – мультиплексор или “каждой твари по паре”?
Обо всем этом, а также о кое-чем еще я расскажу в своем докладе.
Об измерениях в разработке ПО слышали все. Но какая от польза от их внедрения? И какие необходимые условия внедрения?
Вашему вниманию будут представлены различные способы измерения качества продукта, как их можно использовать для улучшений рабочих процессов, определения проблем, поддержки контрактных обязательств, оценки достижения целей индивидуума, отдела или компании. Также вы узнаете, как выбрать и внедрить действительно нужные метрики.
This document discusses continuous performance testing (CPT) and introduces the Jagger CPT solution. It provides an overview of why performance testing is important, outlines the principles and goals of CPT, and describes the key parts of the Jagger CPT platform including load generation, metrics collection, test data management, and environment management. It also provides an example customer success story where Jagger was used for continuous performance testing of a large ecommerce site.
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииSQALab
This document provides an overview of the JDI (Java UI test automation framework). It discusses features of JDI including being UI element oriented, providing common UI elements and solutions to common problems. It provides examples of how to write tests using JDI annotations and page object pattern. The document also summarizes benefits of JDI such as reducing test code, improving test clarity, reuse across projects. Finally it outlines new features planned for JDI 2.0 including layout verification, page object generator, integration with Selenium and expanding JDI to other languages like Python.
The document discusses testing of geolocation systems. It provides an overview of geolocation, including definitions and importance. It then outlines the speaker's experience and work testing GIS systems. The rest of the document details approaches to testing geolocation, including simulating calls, checking responses and databases, and verifying accuracy. It also discusses common data formats, projections, tools like PostGIS and QGIS, and potential bugs to watch for like coordinate jumbling. The conclusion emphasizes starting simple, practicing to improve, and for tests to grow with knowledge as geolocation is important for future IT.
2. KEYWORD-DRIVEN ФРЕЙМВОРК
Автор доклада – Михаил Субоч
• 8 лет в
автоматизации
• Автор 3-х
фреймворков
• Создатель TAF Core
• Misha.Suboch@gmail
.com
• @Scorpibear
• http://lifeidea.org/
2
3. KEYWORD-DRIVEN ФРЕЙМВОРК
Agenda
– Архитектура
– Артефакты
– Процесс использования
– Как минимизировать время поддержки
– Как не наступить на грабли
– Характеристики идеального фреймворка
– Быстрое внедрение подхода на проекте
3
5. АРХИТЕКТУРА KEYWORD-DRIVEN ФРЕЙМВОРКА
Архитектура Keyword-Driven TAF
Test Scenario 1
Test Scenario 2 Test Bug List
Test Scenario N
Automation Tool TAF
Custom
Run TAF.exe TAF Core
Automation tool
Another
Automation tool
XML
HTML Test Reports
Tool Specific
5
Строгое разделение логики теста от реализации даёт основные преимущества keyword-driven подхода
Существует универсальный контроллерСвязь Ядро-агент позволяет гибко масштабировать автоматизацию.
Простейший протокол общения между инструментом\\языком и фреймворком ускоряет внедрение новых инструментов.Всё что непривязано к инструменту и приложению должно оставаться за рамками инструмента и специфичного для приложения кода.
Сценарий позволяет удобно читать и конструировать новые тестыСо сценарием в первую очередь должно быть удобно работать тестировщику.
Сценарий позволяет удобно читать и конструировать новые тестыСо сценарием в первую очередь должно быть удобно работать тестировщику.
Степ является самостоятельным кирпичиком переиспользуемый в разных тестах
Тестовые данные должны максимально переиспользоватьсяДизайн работы с тестовыми данными должен изначально предполагать локализацию и параллелизацию.
Тест должен быстро и ясно сообщать в чём ошибка
Тесты постоянно запускаютсяДва CI настроенные сразу – для стабилизации тестов и для тестирования приложения обеспечивают выживание фреймворка.
Автоматизаторы пишут код, тестировщики пишут тесты.Фреймворк не позволяющий нарушить идеальный процесс минимизирует риски в разы.
Хранение данных отдельно позволяет гибко изменять тесты без необходимости влазить в код или устанавливать специальные инструменты.Все живучие фреймворки приходят к разделению на 5 слоёв. Data/Scenario/Step/Utils/Object.
Хороший фреймворк позволяет быстро адаптироваться к изменениям.Периодическое ведение хронометража выявляет самые медленные процессы
Программирование в Excel убивает подход на корню.
ROI – return of investmentMET – manual test execution time + bugs submitting timeAET – automation execution timeTRA – automation test results analysis + bugs submitting timeWST – week support timeASD – automation script creation timeНезапускаемые тесты означают нулевую пользу, никто не поддержит.Мышление автоматизатора позволяет постоянно повышать эффективность фреймворка.
Чёткое разделение по ролям дизайнера теста и заставляющего это заработать.
Возможность составлять комплексные степы из базовых помогают выживать фреймворку в долгосрочной перспективе.Держите данные, логику, степы, утилиты и объекты в разных местах.
Независимость от технологии позволяет быстро адаптироваться в быстро изменяющемся миреВозможность аккумуляции требований разных проектов позволяет жить вечно и эволюционировать.Тесты можно придумывать тем, кто может придумывать тесты.Если любой человек сможет его использовать, значит, его будут использовать.
Единый keyword-driven фреймворк обеспечивает быстрое и успешное внедрение автоматизацииЕсть возможность скачать ядро, использовать и расширять дальше.Ведётся работа над реализацией новых фич, можно присоединиться.