Киев 2016
Первый в Украине фестиваль тестирования
Как тестировать фичи прямо на продакшене
с помощью Release-train и Feature flags
Святослав Логин

Киев 2016<Как тестировать фичи прямо на продакшене с помощью Release-train и Feature flags>
О себе:
- Святослав Логин
- QA --} Automation QA --} QA Lead
в Evo.company
- 4 года в отрасли тестирования
- 4 проекта

Киев 2016<Как тестировать фичи прямо на продакшене с помощью Release-train и Feature flags>

Киев 2016<Как тестировать фичи прямо на продакшене с помощью Release-train и Feature flags>
В evo.company входят такие проекты:

Киев 2016
Обещает помочь,
но не помогает
Исчезает в самом начале и
появляется только в конце
Делает 99%
всей работы
Вообще не понимает,
что происходит
В любой команде найдутся такие люди:

Киев 2016
Основные проблемы в процессе разработки
- Ошибки при проработке требований
- PM уделяют большое внимание найденным багам
- Поддержка большого кол-ва версий
- Отсутствие итерационности
- Компетентность сотрудников желает быть лучше

Киев 2016
К чему приводят такие проблемы?

Киев 2016
Какой выход из ситуации?
- Тестирование начинать с первых дней
- Делиться как можно больше информацией
- Внедрить методику <Release-train>
- Покрыть критичные места автотестами

Киев 2016
Отлаженный процесс на проекте Prom+

Киев 2016
Стейджы на проекте Prom+

Киев 2016
Стейджы на проекте Prom+
production
Чт
Пн trunk (default)
stable (RC)
Pre-default

Киев 2016
Как работает Release-train в проекте Prom+
- Создание нового branch’а 2 раза в неделю

Киев 2016
Как работает Release-train в проекте Prom+
- Деплой нового branch’а 2 раза в неделю

Киев 2016
Как работает Release-train в проекте Prom+
Обновление на новый branch
по времени:
- Satu.kz, Deal.by - до 11:00
- Tiu.ru, Prom.ua -
с 14:00 по 15:00
Branch
Пн Вт Ср Чт Пт
1.1
2.2
3.3
12:00
12:00
12:00
default stable(RC)
default
default
stable
stable
Дни недели
default

Киев 2016
Плюсы методики Release-train:
1) Нет накопления кода

Киев 2016
Плюсы методики Release-train:
2) Раннее тестирование

Киев 2016
Плюсы методики Release-train:
3) Нет проблем c поддержкой branch’s

Киев 2016
Плюсы методики Release-train:
4) Планирования выхода фичей

Киев 2016
Минусы методики Release-train:
- Очень быстро уходят изменения в продакшен

Киев 2016
Как работает Release-train в проекте Prom+
Что помогает не отображать новые фичи, которые не
завершены?
- это “Feature flags”

Киев 2016
Значение
для привязки
Конкатенация
Название
функционального флага
Кондишен
под аудиторию компаний
Работа с Feature flags

Киев 2016
Нагрузка на сервер
Работа с Feature flags

Киев 2016
Ошибки на сервере
Работа с Feature flags

Киев 2016
РЕЗУЛЬТАТ +35%
Feature flags А/Б тест

Киев 2016
Бета-компаниями

Киев 2016
Бета-компаниями

Киев 2016
- Запуск новой фичи в любую минуту
- Возможность проверить новую фичу на продакшене
- Легкая реализация для проведение А/Б теста
- Запуск функционала на определенном кругу людей
(Бета-тестировщики)
Преимущества Feature flags?

Киев 2016
Подведем итог:

Киев 2016
Спасибо за внимание!
Вопросы?