Часто о нагрузочном тестировании рассказывают через призму используемого инструментария, хорошо раскрывая слово «нагрузочное» и часто оставляя слово «тестирование» за кадром. Так давайте же попробуем поговорить о месте именно тестирования в нагрузочном тестировании.
Часто о нагрузочном тестировании рассказывают через призму используемого инструментария, хорошо раскрывая слово «нагрузочное» и часто оставляя слово «тестирование» за кадром. Так давайте же попробуем поговорить о месте именно тестирования в нагрузочном тестировании.
Современный мир ускоряется, и от тестирования требуется быстрые и стабильные тесты. В этом мастер-классе предлагается уйти от UI автоматизации и перейти на уровень ниже "пирамиды тестирования", на уровень WEB API. Не обещаю теорию, но будет много практических кейсов. В качестве примера я возьму популярный веб сайт с открытым API и покажу как за относительно небольшое время можно создавать хорошие тесты! Причем тесты мы будем создавать совместно, и особых навыков программирования от участников здесь не потребуется, достаточно включить логику и желание освоить что-то новое.
“Можно ли перевернуть пирамиду?” – автоматизируем тестирование с меньшим числ...Igor Khrol
Когда мы говорим об автоматизации тестирования, чаще всего вспоминается Selenium, Microsoft Coded UI, QTP и другие аналогичные инструменты. Мы хотим воспроизводить действия ручного тестирования с максимальной точностью, чтобы можно было с уверенностью сказать, что тот или иной тест-скрипт повторяет какую-то часть сложившихся на проекте тестов. Когда же тестов становится чуть больше, то мы обнаруживаем, что наши тесты запускаются долго, работают нестабильно. После чего мы начинаем говорить о параллелизации, виртуализации, четырёхслойной архитектуре фреймворка и прочих жутко интересных вещах… Это всё очень хорошо, но главная цель где-то остаётся в стороне – контроль качества нашего продукта.
В своём докладе я попытаюсь слегка задать направление другой альтернативе: отойти от автотестов через пользовательский интерфейс в сторону более низкоуровневых, которые значительно быстрее и стабильнее. Если вас также волнует “переворачивание” пирамиды автоматизации тестирования, то приглашаю присоединиться к обсуждению этой сложной и важной темы.
Алексей Петров, Mail.Ru Group, "Организация конвейера автоматизации тестирова...Mail.ru Group
Доклад о том, с чего начать выстраивать конвейер автоматизации тестирования. Как не утопить автоматизацию в мнимых штампах и стереотипах, построив по-настоящему эффективный процесс автоматизации тестирования.
Поделюсь опытом и расскажу:
- о том, с чего начать автоматизацию тестирования;
- о том, что делает автоматизированные тесты выгодными;
- как научить "зарабатывать" автотесты;
- о том, как превратить точечное написание автоматизирвоанных тестов в стройный конвейер с отлаженными процессами;
- о популярных ошибках и заблуждениях автоматизации тестирования и о том, как их избегать;
- о сопутствующих инструментах и лайфхаках из практики.
Доклад содержит полезные советы, как для тех, кто только думает внедрить автоматизацию тестирования, так и для тех, кто уже вовсю автоматизирует, но сталкивается с проблемами их эффективной работы или желает сделать автотесты еще более полезными.
Андрей Похилько — Нагрузочное тестирование типичного интернет сервисаYandex
Нагрузочное тестирование интернет-сервиса начинается с того, что мы выясняем ожидаемый профиль нагрузки. Вооружившись подходящим инструментом, мы проводим типовую последовательность тестов и измеряем основные показатели производительности: ёмкость, скорость и надёжность. При этом особое внимание необходимо уделять наблюдению за состоянием ресурсов тестируемой системы.
Система мониторинга Zabbix в процессах разработки и тестирования | Алексей БуровPositive Hack Days
1. Система мониторинга ресурсов различных отделов
2. Шаблоны и роли серверов, разграничение доступа и зон ответственности
3. ptzabbixtools - конфигурация мониторинга на целевых серверах
4. Пример встраивания системы мониторинга в процессы разработки/тестирования
Алексей Халайджи, Mail.Ru Group, «Как мы автоматизируем UI-тестирование в iOS...Mail.ru Group
Алексей рассказал, какие задачи и проблемы стояли перед командой в начале пути, какие технологии используются для автоматизации тестирования, какие проблемы при этом возникают и как решаются, а также поделится достигнутыми результатами.
Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)AvitoTech
Любой проект со временем растет и наполняется новыми функциональными возможностями. QA-процессы должны оперативно и адекватно на это реагировать. Например, увеличением количества тестов всех видов. В этом докладе мы будем говорить про UI-тесты, которые играют важную роль в создании качественного продукта.
Количество тестов постепенно растет: от 1000 к 3000, от 6000 к 9000+ и т.д. Чтобы эта лавина не "накрыла" наш QA-процесс, нужно с самого раннего этапа развития проекта автоматизации думать про эффективность всей системы и каждого теста в ней.
В этом докладе я расскажу, как сделать систему гибкой к изменениям, а также про эффективное использование каждого из тестов. Кроме того, мы поговорим про оценку и метрики не только процессов автоматизации, но и всего QA.
Avito Automation Meetup (26.08.2017)
https://avitotech.timepad.ru/event/542380/
Поплоухина Елена, Руководитель отдела тестирования в Usetech
https://vk.com/lena_flower
Расскажу об опыте организации процесса внутреннего тестирования проекта со строго формализованным техническим заданием от момента получения технического задания для тестирования требований до момента передачи релиза на приемочное тестирование.
Современный мир ускоряется, и от тестирования требуется быстрые и стабильные тесты. В этом мастер-классе предлагается уйти от UI автоматизации и перейти на уровень ниже "пирамиды тестирования", на уровень WEB API. Не обещаю теорию, но будет много практических кейсов. В качестве примера я возьму популярный веб сайт с открытым API и покажу как за относительно небольшое время можно создавать хорошие тесты! Причем тесты мы будем создавать совместно, и особых навыков программирования от участников здесь не потребуется, достаточно включить логику и желание освоить что-то новое.
“Можно ли перевернуть пирамиду?” – автоматизируем тестирование с меньшим числ...Igor Khrol
Когда мы говорим об автоматизации тестирования, чаще всего вспоминается Selenium, Microsoft Coded UI, QTP и другие аналогичные инструменты. Мы хотим воспроизводить действия ручного тестирования с максимальной точностью, чтобы можно было с уверенностью сказать, что тот или иной тест-скрипт повторяет какую-то часть сложившихся на проекте тестов. Когда же тестов становится чуть больше, то мы обнаруживаем, что наши тесты запускаются долго, работают нестабильно. После чего мы начинаем говорить о параллелизации, виртуализации, четырёхслойной архитектуре фреймворка и прочих жутко интересных вещах… Это всё очень хорошо, но главная цель где-то остаётся в стороне – контроль качества нашего продукта.
В своём докладе я попытаюсь слегка задать направление другой альтернативе: отойти от автотестов через пользовательский интерфейс в сторону более низкоуровневых, которые значительно быстрее и стабильнее. Если вас также волнует “переворачивание” пирамиды автоматизации тестирования, то приглашаю присоединиться к обсуждению этой сложной и важной темы.
Алексей Петров, Mail.Ru Group, "Организация конвейера автоматизации тестирова...Mail.ru Group
Доклад о том, с чего начать выстраивать конвейер автоматизации тестирования. Как не утопить автоматизацию в мнимых штампах и стереотипах, построив по-настоящему эффективный процесс автоматизации тестирования.
Поделюсь опытом и расскажу:
- о том, с чего начать автоматизацию тестирования;
- о том, что делает автоматизированные тесты выгодными;
- как научить "зарабатывать" автотесты;
- о том, как превратить точечное написание автоматизирвоанных тестов в стройный конвейер с отлаженными процессами;
- о популярных ошибках и заблуждениях автоматизации тестирования и о том, как их избегать;
- о сопутствующих инструментах и лайфхаках из практики.
Доклад содержит полезные советы, как для тех, кто только думает внедрить автоматизацию тестирования, так и для тех, кто уже вовсю автоматизирует, но сталкивается с проблемами их эффективной работы или желает сделать автотесты еще более полезными.
Андрей Похилько — Нагрузочное тестирование типичного интернет сервисаYandex
Нагрузочное тестирование интернет-сервиса начинается с того, что мы выясняем ожидаемый профиль нагрузки. Вооружившись подходящим инструментом, мы проводим типовую последовательность тестов и измеряем основные показатели производительности: ёмкость, скорость и надёжность. При этом особое внимание необходимо уделять наблюдению за состоянием ресурсов тестируемой системы.
Система мониторинга Zabbix в процессах разработки и тестирования | Алексей БуровPositive Hack Days
1. Система мониторинга ресурсов различных отделов
2. Шаблоны и роли серверов, разграничение доступа и зон ответственности
3. ptzabbixtools - конфигурация мониторинга на целевых серверах
4. Пример встраивания системы мониторинга в процессы разработки/тестирования
Алексей Халайджи, Mail.Ru Group, «Как мы автоматизируем UI-тестирование в iOS...Mail.ru Group
Алексей рассказал, какие задачи и проблемы стояли перед командой в начале пути, какие технологии используются для автоматизации тестирования, какие проблемы при этом возникают и как решаются, а также поделится достигнутыми результатами.
Добиваемся эффективности каждого из 9000+ UI-тестов - Максим Сахаров (Tutu.ru)AvitoTech
Любой проект со временем растет и наполняется новыми функциональными возможностями. QA-процессы должны оперативно и адекватно на это реагировать. Например, увеличением количества тестов всех видов. В этом докладе мы будем говорить про UI-тесты, которые играют важную роль в создании качественного продукта.
Количество тестов постепенно растет: от 1000 к 3000, от 6000 к 9000+ и т.д. Чтобы эта лавина не "накрыла" наш QA-процесс, нужно с самого раннего этапа развития проекта автоматизации думать про эффективность всей системы и каждого теста в ней.
В этом докладе я расскажу, как сделать систему гибкой к изменениям, а также про эффективное использование каждого из тестов. Кроме того, мы поговорим про оценку и метрики не только процессов автоматизации, но и всего QA.
Avito Automation Meetup (26.08.2017)
https://avitotech.timepad.ru/event/542380/
Поплоухина Елена, Руководитель отдела тестирования в Usetech
https://vk.com/lena_flower
Расскажу об опыте организации процесса внутреннего тестирования проекта со строго формализованным техническим заданием от момента получения технического задания для тестирования требований до момента передачи релиза на приемочное тестирование.
Андрей Сильчук: "Автоматическое тестирование".Hub-IT-School
Выступление Андрея Сильчука об автоматическом тестировании ПО на Hub QA meetup #1.
Больше мероприятий:
https://vk.com/hub.itschool
https://facebook.com/Hub.IT.School
Автоматическое тестирование и с чем его едятMarina Peregud
Agenda
Автоматизация? Какая еще автоматизация? Автоматическое тестирование ПО. Зачем вообще?
Отличие от мануального тестирования ПО, или Ручник vs человек разумный.
Имею желание, но не имею возможности, или какие знания были бы полезны в этой области.
Когда стоит внедрять автоматизацию.
ROI и другие непонятные слова на три буквы.
Доклад на бизнес-завтраке «Контактный центр как хедлайнер процессов обслуживания в розничном банкинге» (Екатеринбург, 16 апреля 2014 г.).
Спикер: Сергей Шувалов, заместитель генерального директора по финансовому сектору, Naumen
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
Построение процесса тестирования производительности игрового клиента
1. Построение процесса тестирования
производительности игрового клиента
С чего начать и куда двигаться
Чура Олег | Шинкарев Александр
Руководитель отдела Нагрузочного Тестирования | Старший специалист отдела Нагрузочного тестирования
2. Тестирование производительности игрового клиента 2
Для кого мы рассказываем?
• Тестировщики производительности
• Менеджеры проектов, тимлиды QA
• Функциональные тестировщики
Что в докладе?
• Процесс тестирования производительности
• Требования к продукту
• Hardware, Software
• Данные, хранение и предоставление
• Автоматизация
4. Тестирование производительности игрового клиента 4
Зачем тестировать производительность?
• Играют только в быстрый и стабильный продукт
• Системные требования четкие и адекватные
• Конкурентное преимущество на рынке
• Результат–конечнаяприбыльибольшеепокрытиеЦА!
6. Тестирование производительности игрового клиента 6
Как тестировать?
Руками
Бенчмарками
Реплеями
Просто, можно
приступать сразу,
низкая точность
Эффективно, хорошо для
фиксированных технологий
Высокая точность
Эффективно, легко
реализовать, реальный
пользовательский опыт
7. Тестирование производительности игрового клиента 7
Что тестировать? Всё!
Компоненты
игры и геймплей
Стабильность и
Выживаемость
Совместимость
В тормоза никто не
играет
Падения, утечки, деградация
производительности
Игроку важно знать,
пойдет ли игра на его
стандартном или не
очень железе
9. Тестирование производительности игрового клиента 9
Требования к игре
Требования к жанру
• FPS
• Время отклика
• Ресурсы системы
Требования Издателя
• Системные требования (минимальные и рекомендуемые)
• Настройки игры
• Время запуска
• Размер дистрибутива
Требования рынка
• Аналогичные продукты
• Совместимость
• Целевая аудитория
11. Тестирование производительности игрового клиента 11
Тестовые стенды – что это и зачем
Тестовые ПК нужны для:
• Покрытия пользовательских конфигураций и настроек игры
• Поддержки совместимого железа и ОС
• Независимости от загрузки рабочей станции и мусора в системе
• Повышения престижа отдела
Тестовый ПК – предполагаемый ПК целевой аудитории
12. Тестирование производительности игрового клиента 12
Тестовый стенд - важное
• Отсутствие корпоративных политик и сервисных задач
• Минимум стороннего софта
• Хорошее охлаждение и расположение на стойке
• Подключение к монитору через KVM-свитч
19. Тестирование производительности игрового клиента 19
Что делать с данными?
• Регулярно предоставлять данные в виде отчетов по
• Тестам
• Версиям
• Направлениям разработки
• Хранить данные за весь период разработки
• Для сравнения версий
• Понимания прогресса
• Прогнозирования проблем
21. Тестирование производительности игрового клиента 21
Как стоит делать отчет?
Версия игры
Информация о тесте
Резолюция
(Pass | Fail | Complete)
Результаты теста
(Графики, таблицы)
Тестовое окружение
(Описание стендов)
29. Спасибо за внимание!
Чура Олег
Руководитель отдела нагрузочного тестировния
29Тестирование производительности игрового клиента
Шинкарев Александр
Старший специалист отдела нагрузочного тестировния
Editor's Notes
Тестовый стенд – игровой пк подходящий под нужные критерии
Мы знаем на каком железе играют наши пользователи из статистики Steam и World of Tanks
Одна из «четверок» тестовых стендов покрывает один из вариантов Low, Medium, High, Very High
Несколько слабых машин выделены для QA в других отделах
Железо подобрано с учетом года производства
Несколько слабых конфигураций для выявления проблем
Минимальный набор ПО для автоматизации процесса тестирования:
Python 2.7
Необходимые Python-библиотеки
TortoiseSVN
Visual C++ Redistributable 2005-2012
Zabbix Agent
7-zip
MSI Afterburner
Несколько наборов тестовых стендов потому что:
Большое количество поступающих задач (~15 в неделю)
Нужно покрыть большое количество пользовательских конфигураций
Большая часть стендов – для автоматизации
Часть стендов для ручных проверок и исследований
Тестовый стенд – игровой пк подходящий под нужные критерии
Мы знаем на каком железе играют наши пользователи из статистики Steam и World of Tanks
Одна из «четверок» тестовых стендов покрывает один из вариантов Low, Medium, High, Very High
Несколько слабых машин выделены для QA в других отделах
Железо подобрано с учетом года производства
Несколько слабых конфигураций для выявления проблем
Минимальный набор ПО для автоматизации процесса тестирования:
Python 2.7
Необходимые Python-библиотеки
TortoiseSVN
Visual C++ Redistributable 2005-2012
Zabbix Agent
7-zip
MSI Afterburner
Несколько наборов тестовых стендов потому что:
Большое количество поступающих задач (~15 в неделю)
Нужно покрыть большое количество пользовательских конфигураций
Большая часть стендов – для автоматизации
Часть стендов для ручных проверок и исследований