20 проектов, 6 платформ, больше миллиона строк кода, 3 qa инженера. Дмитрий Кривенцов. Debug time#2 2014

Technology

20проектов,6 платформ,
большемиллионастроккода,
3QAинженера
Дмитрий Кривенцов

UNIGINE
• 5 платформ, 2 версии продукта
• 3 варианта комплектации
• 30 дистрибутивов каждый релиз
• Over 1 000 000 строк кода
• 5000 функций API, 20 архитектур GPU
• Выпуск: 1 раз в месяц
• Время на стабилизацию: неделя
Тестируем постоянно

Тестируем регулярно
• Приложения на движке, веб-проекты...
• Более 10 отдельных проектов
• Состав и кол-во версий: варьируется
• Выпуск: 2-4 раза в год
• Время на стабилизацию: 1 неделя - 2 месяца

Тестируем один раз
• Отдельные сцены, сэмплы и целые симуляторы
• Небольшие приложения и веб-проекты
• Выпуск: разовый
• Время на стабилизацию: 1-3 недели

Эффективный QA
Как успеть и покрыть тестами
как можно больше?

Приоткройте чёрный ящик
Понимание продукта

Понимание продукта
• Учимся выделять следствия
• Симптомов - недостаточно. Докапываемся
до причин!
Возникновение многих проблем можно предугадать.
Приоткройте чёрный ящик

Планирование
• Расставляем приоритеты
• Контролируем
• Гнём тест-план
• Работаем над ошибками
“Чем раньше найдём ошибку, тем
дешевле она нам обойдётся!” (С)
Эффективный QA

Регресс-тесты
• Пополняйте "стандартный" набор тестов
• Ведите учёт "уязвимых" мест
• Автоматизируйте
Эффективный QA

Итого
• Понимание
• Планирование
• Регрессионные тесты
Эффективный QA

А зачем?
• Гибкий контроль
• Ускорение обработки входящих задач
• В любой кризис - есть тот, кто справится
• Сохраняем взгляд свежим
• Обмен опытом
Универсальный солдат

Работа в команде
• Поговори с разработчиком
• Изучай новое
• Пополняй общую копилку знаний
Среднее время обработки задач - ускорится
Эффективный QA

Пользователь
• Источник багов
• Источник знаний
• Исследователь-статистик
Эффективный QA

Тестовые окружения
• Hardware / software Разработчики -
ещё один источник багов
• Заботимся о тестовой ферме
• Учитываем при планировании
Эффективный QA

Эффективный QA
Спасибо за внимание!
Дмитрий Кривенцов
• mailto: necris@unigine.com
• skype: necristheone
• linkedin: http://www.linkedin.com/in/kriventsov/

В разработке игр существует множество сопутствующих проблем, которые приходиться решать разработчику, но которые напрямую не связаны с игровым процессом. Автоматизация рутинных задач - лучшее решение, позволяющее сэкономить время для воплощения творческого замысла в условиях компактных команд и компаний.

Как развивать библиотеку компонентов, не ломая ее / Артур Удалов (Mail.Ru Group)

HighLoad++ 2017 Зал «Пекин + Шанхай», 8 ноября, 17:00 Тезисы: http://www.highload.ru/2017/abstracts/2991.html Нынче стало модно выделять UI-компоненты в отдельную библиотеку и использовать её в нескольких проектах. Мы в команде почты Mail.ru делаем так же, но столкнулись с проблемой: каждый разработчик, меняя библиотеку под свои нужды, обязательно ломает что-нибудь, что работало у других. Я расскажу о том, как мы решили эту проблему, и о том, какие инструменты для этого можно использовать. Storybook, BackstopJS, Jest, Webdriver.io, TypeScript - в их числе.

Winium — это как Selenium, только под Windows

Инструмент ChangelogBuilder для автоматической подготовки Release Notes

Как 3 тестировщика играючи тестируют приложение для 10млн пользователей

Денис Чистяков: Workflow. Работа над проектом в ЯндексеYandex

Extreme banking

Andrei Solntsev

Доклад для XP Days Kiev 2013. Many people think that Agile works only for small or unimportant projects. Forget it! We use extreme programming for developing Bank Saint Petersburg which hit the TOP-3 of Russia internet banks. During the session we will share our XP experience and demonstrate pair programming, TDD, and UI tests on a real example of internet bank. Still unbelievable? So come and see!

В современном мире все меняется очень быстро. Слишком быстро. И требования заказчика в том числе. Гибкие методологии разработки позволяют адаптироваться к быстро меняющимся требованиям. Но как сохранить стабильность приложения в данных условиях, как оставить заказчика удовлетворенным и при этом сберечь психическое здоровье разработчиков? Этот доклад о том, как быстро двигаться вперед без опаски оступиться. Презентация подготовлена по материалам выступления Евгения Гавриленко на витебской конференции “Developer's Software Conference” (12.11.2016).

Аналитика в проектах: TFS + Qlik

1. Что такое BI. Зачем он нужен. 2. Что такое Qlik View / Sense 3. Способ интеграции. Как это работает. 4. Метрики, KPI, планирование ресурсов команд, ретроспектива релиза продукта, тренды. 5. Подключение внешних источников данных (Excel, БД СКУД, переговорные комнаты).

Самодиагностика сервисов на базе платформы .NET

Andrew Gubskiy

Подводная часть айсберга: что делать, чтобы автотесты не превратились в Титаник

TechLeads meetup: Макс Лапшин, Erlyvideo

Badoo Development

Использование анализатора кода SonarQube

Алексей Рыбак (Badoo)

CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестированияCodeFest

Free Desktop QA Engineers: implement automation testing

Alexandr Zinovyev

Scrum глазами тестировщика или как создать стратегию для любой задачи

IT61

Елена Кузнецова, QA engineer в VIAcode https://vk.com/nedotroga401 Как я попала в scrum-команду и это изменило мое представление о тестировании и разработке программного обеспечения. Я расскажу как заменить чек-листы стратегиями, что диаграммы связей - это не страшно, почему общаться с клиентом каждый день - здорово, а четкие требования не сделают продукт лучше.

Ten Top Tips for Figure Skating Competitions

Elizabeth Ryan

Intro warm-up-computers-k3-literacysallyeverson

What's hot

Visual Studio Team Services /TFS helps doing devops

Konstantin Neradovsky

Тестируем мобильное приложение в суровых реалиях Интернета

Типовая сборка и деплой продуктов в Positive Technologies

Дефицит ресурсов тестирования... или нет?

DevOps в реальном времени

Andriy Samilyak

GUI-автоматизация в Telerik Test Studio

Нагрузочное тестирование: Нестандартные методы анализа потока данных в прилож...

Развитие сообщества Open DevOps Community

«Тестируем веб приложения», Павел Сташевский

DevDay

Как мы собираем проекты в выделенном окружении в Windows Docker

Выбираем стратегию создания бранчей

Vitebsk DSC

Аналитика в проектах: TFS + Qlik

Самодиагностика сервисов на базе платформы .NET

Andrew Gubskiy

Подводная часть айсберга: что делать, чтобы автотесты не превратились в Титаник

TechLeads meetup: Макс Лапшин, Erlyvideo

Badoo Development

Использование анализатора кода SonarQube

Алексей Рыбак (Badoo)

CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестированияCodeFest

Free Desktop QA Engineers: implement automation testing

Alexandr Zinovyev

Scrum глазами тестировщика или как создать стратегию для любой задачи

IT61

What's hot (20)

Visual Studio Team Services /TFS helps doing devops

Тестируем мобильное приложение в суровых реалиях Интернета

Типовая сборка и деплой продуктов в Positive Technologies

Дефицит ресурсов тестирования... или нет?

DevOps в реальном времени

GUI-автоматизация в Telerik Test Studio

Нагрузочное тестирование: Нестандартные методы анализа потока данных в прилож...

Развитие сообщества Open DevOps Community

«Тестируем веб приложения», Павел Сташевский

Как мы собираем проекты в выделенном окружении в Windows Docker

Выбираем стратегию создания бранчей

Аналитика в проектах: TFS + Qlik

Самодиагностика сервисов на базе платформы .NET

Подводная часть айсберга: что делать, чтобы автотесты не превратились в Титаник

TechLeads meetup: Макс Лапшин, Erlyvideo

Использование анализатора кода SonarQube

Алексей Рыбак (Badoo)

CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестирования

Free Desktop QA Engineers: implement automation testing

Scrum глазами тестировщика или как создать стратегию для любой задачи

Viewers also liked

Ten Top Tips for Figure Skating Competitions

Elizabeth Ryan

Intro warm-up-computers-k3-literacysallyeverson

Suport curs tic matematicavaliobagiu

Dealer Funding Checklist - Fillable v12-28-15John Hughes

Manual cpmdsalles1511

Social Travel Britain 2015 conference: Targeting the 40+ quality traveller

Mark Frary

Evaluation 2

06tomasymm

Giác ngộtrannhantong

Pitch pdfzxa96

6단 2번 김민서dangeeminseo

Middle Earth 12 Board Approval

thielmann

EECU JA in a Day

eecudfw

Halloween Party - UV ESL Center

UV ESL Center

капустник 10аoznob

tagxedokawanbyrd1

Chelsea roadppsebhawker

12 month loansShaun Marsh

Презентация МИС Интерин PROMISinterins

Steve keenan wtm video ppMark Frary

Weekly Clipping 1 - 8 Nov

HolidayInnSalmiya

Viewers also liked (20)

Ten Top Tips for Figure Skating Competitions

Intro warm-up-computers-k3-literacy

Suport curs tic matematica

Dealer Funding Checklist - Fillable v12-28-15

Manual cpmd

Social Travel Britain 2015 conference: Targeting the 40+ quality traveller

Evaluation 2

Giác ngộ

Pitch pdf

6단 2번 김민서

Middle Earth 12 Board Approval

EECU JA in a Day

Halloween Party - UV ESL Center

капустник 10а

tagxedo

Chelsea roadpp

12 month loans

Презентация МИС Интерин PROMIS

Steve keenan wtm video pp

Weekly Clipping 1 - 8 Nov

Similar to 20 проектов, 6 платформ, больше миллиона строк кода, 3 qa инженера. Дмитрий Кривенцов. Debug time#2 2014

Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...

РИТ++ 2017, AppsConf Зал Найроби + Касабланка, 5 июня, 16:00 Тезисы: http://appsconf.ru/2017/abstracts/2807.html - Как мы решили связаться с автоматизацией тестирования и что из этого вышло. - Наша инфраструктура для тестирования. Что тестируем, как тестируем и как следим за результатами. - Как получать пользу от автоматизации, если продукт сильно меняется минимум раз в год. - Особенности текущего инструментария. Что стоит учитывать и на что обратить внимание.

Как hh.ru дошли до 500 релизов в квартал без потери в качестве

Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...

Badoo Development

Доклад о том, как выжить в условиях двух релизов в день, не понижая планку качества проекта и дать разработчикам и QA-инженерам больше времени на полезные дела. Подробно: Прослушав доклад, вы узнаете: 1. Что НА САМОМ ДЕЛЕ называется непрерывной интеграцией; 2. Кому и зачем нужно переходить на Continious Integration; 3. Почему процесс контроля качества начинается ещё до написания кода; 4. Как программисты учавствуют в процессе тестирования; 5. Как устроен наш поток тестирования с пятью (!) уровнями контроля; 6. Как наши QA-инженеры тестируют задачи до релиза в максимально реалистичных условиях; 7. Как помогает тестированию плотная интеграция Git, Jira и TeamCity; 8. Зачем нужны более 20 тысяч автоматических тестов и кто их должен разрабатывать и поддерживать; 9. Чем непрерывно занимаются более 10 агентов-тестировщиков в нашей TeamCity; 10. Какими средствами мы добились того, чтобы пункты 8 и 9 не превращал QA-процесс в долгое и унылое действо.

Team workflow

Даниил Зайцев

Лучшие практики на практике

Denis Tuchin

Видео: http://www.youtube.com/watch?v=vz0U3jQpHSM Это обзор опыта применения лучших практик разработки программного обеспечения на разных проектах от госзаказов до видеоконференций в командах от 5 до 50 человек. В докладе будут описаны не только практики, но и то, как они применяются на реальных проектах и какие выгоды они действительно приносят.

Кирилл Комлев. О реализации continuous integration для web проектов

Olesya_V

Доклад на конференции WebDev 2015 С развитием веб-проектов в качестве SaaS по agile-технологиям основной проблемой становиться своевременной обновление разрабатываемого ПО на множестве подконтрольных доменов. В этом случае достаточно удобно использовать системы непрерывной интеграции, которые позволяют оценить новый код, произвести тестирование и развертывание веб-проекта. В докладе представлена общая картинка организации системы непрерывной интеграции и рассмотрены основные инструменты для тестирования, оценки качества кода и организации развертывания веб-проекта под UNIX-подобные системы с использованием бесплатного ПО.

Иван Кожин «Saritasa Tools или ещё один подход к архитектуре приложения»

SpbDotNet Community

Повышаем и следим за качеством PHP кода

Aleksandr Makhomet

Доклад на hotcode.org о инструментах и методиках которые помогают нам повышать и следить за качеством PHP кода. Среди затронутых тем: - Стандарты в коде - Средства для статического анализа кода. - Git хуки - Непрерывная интеграция - IDE - Code review

Olha Malinina - Organizing of the cross-browser and mobile testing

Ievgenii Katsan

YaC 2013 Notes

Anton Ignatov

Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...

HappyDev

Матерый enterprise проект с "зоопарком" из разнообразных технологий. Часто меняющаяся команда и требовательный заказчик. Менеджер, активно пытающийся вытянуть проект... Все составляющие для сюжета, достойного Титаника. Было перепробовано множество практик для улучшения процесса разработки, и больше всего это влияло на нас, разработчиков. В одночасье рушились привычные устои, а новые, не успев прижиться, менялись снова. Разве возможна нормальная работа в такой нервной обстановке? Автор критически оценит парное программирование, тестирование, code review и прочие практики из мира улучшения разработки, а также расшарит набитые шишки и обнаруженные грабли.

Развитие процессов тестирования в Badoo за три года

Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...

WrikeTechClub

Имплементация инженерных практик для 1C

Alexey Lustin

Максим Гуртовенко - The future is wild | HappyDev'12HappyDev

1. yandex mapsOntico

Сергей Константинов (Яндекс)Ontico

Улучшить KPI в два раза? Сделано!

Илья Кудинов

CodeFest

Continuous Deployment (in Russian)Smartling

Similar to 20 проектов, 6 платформ, больше миллиона строк кода, 3 qa инженера. Дмитрий Кривенцов. Debug time#2 2014 (20)

Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...

Как hh.ru дошли до 500 релизов в квартал без потери в качестве

Доклад Ильи Кудинова на DevConf 2013. "Организация автоматизированного тестир...

Team workflow

Лучшие практики на практике

Кирилл Комлев. О реализации continuous integration для web проектов

Иван Кожин «Saritasa Tools или ещё один подход к архитектуре приложения»

Повышаем и следим за качеством PHP кода

Olha Malinina - Organizing of the cross-browser and mobile testing

YaC 2013 Notes

Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...

Развитие процессов тестирования в Badoo за три года

Илья Кудинов «Развитие процессов тестирования в Badoo за три года, или как мы...

Имплементация инженерных практик для 1C

Максим Гуртовенко - The future is wild | HappyDev'12

1. yandex maps

Сергей Константинов (Яндекс)

Улучшить KPI в два раза? Сделано!

Илья Кудинов

Continuous Deployment (in Russian)

More from Unigine Corp.

С одним плюсом (Андрей Аксёнов)

Презентация с конференции "Город IT" Томск, 19 ноября 2016 года. Андрей Аксёнов, ведущий разработчик Unigine. Доклад: «С одним плюсом». — К чему надо стремиться, разрабатывая на C++ (и не только)? — Как писать элегантно на C++’03 и что делать с новыми стандартами? — Как на C++ делать не надо? — Об идеальном коде и Идеальной Архитектуре.

Продажи на азиатский рынок (Ден Шергин)

Презентация с конференции "Город IT" Томск, 18 ноября 2016 года. Ден Шергин, CEO Unigine. Доклад: «Продажи на азиатский рынок». — Азия разная: специфика по странам — Переговоры по-китайски — Выставки и семинары — Онлайн-продвижение — Особое отношение к контрактам — Подводные камни в выборе партнеров Все это - на примере 12 лет практического опыта продаж в Азии.

Технический писатель: ожидание vs реальность (Ольга Кириченко) - DocFactor 2016

«Суровые сибирские техписатели читают и пишут код на С++!», и другие реальные истории из жизни штатного сотрудника томской компании UNIGINE, разрабатывающей собственную платформу 3D-графики. В своем докладе я расскажу про: Роль отдела технической документации для продукта; Процессы и инструменты разработки документации в нашей компании; Оценку качества разработанной документации; Плюсы и минусы профессии; Пути развития и карьерный рост специалистов; Личные качества и знания, необходимые для достижения успеха в нашей отрасли.

Анатомия одного кадра в Unigine Engine (Леонид Лубенко) - DEBUG TiME #3 2016

Базовые понятия 3D графики (Ден Шергин) - DEBUG TiME #3 2016

Переход к визуализации с учетом физических свойств материалов на примере 3D п...

Доклад посвящен практическим аспектам реализации визуализации с учетом физических свойств материалов. Приводятся примеры реализации на OpenGL 4 и DirectX 11, и сравнительный анализ с традиционным подходом. - Проблема традиционного подхода к материалам - Физическая модель процессов, металлы и диэлектрики - Сохранение энергии - Двулучевая функция отражательной способности GGX - Учет эффекта Френеля и показателя преломления - Разные подходы к наборам текстур - Практические результаты перехода

Коротенько про веб-тесты. Екатерина Попова. Debug time#2 2014Unigine Corp.

Геймификация - играя делаем игры. Наталья Оглоблина. Unigine Open Air 2013

Как впихнуть утро в сосновом лесу в 4 килобайта. Иван Авдеев. UNIGINE Open Ai...

Просто, нудно, сложно. Андрей Аксенов. Unigine Open Air 2013

Низкоуровневые оптимизации. Андрей Аксенов. Unigine Open Air 2013

Портирование C++ приложений на FLASCC: опыт Unreal Engine 3. Павел Наказненко...

Технологии Alawar для создания игр: какие есть сегодня и какие будут завтра. ...

Руководство для программистов по устройству на работу в Unigine

Особенности разработки программных продуктов для международного рынка (Unigin...

Разработка мультиплатформенных 3D игр (Unigine, CodeFest2012)