SlideShare a Scribd company logo
Команда
• 12 разработчиков
• 3 тестировщика
Что такое EDI
• Быстро принять, преобразовать, переслать и отобразить в морде
много сообщений (400 000 в день)
Терминология
unit, системные, браузерные, на интеграцию
код EDI
Часть кода EDI, в которой сосредоточена бизнес-логика
Функциональный макет на реакте
EDI
Тесты
EDI для
девочек
Макет
Цепочки производства:
1. Нефункциональные задачи
Программист Бой
(и с ближайшим релизом)
Код Тесты
Цепочки производства:
2. Код конвертеров, всякие мелочи
Аналитик Тестировщик Бой
Тесты Еще тесты
EDI для
девочек
Цепочки производства:
3. Обычные задачи (попроще)
Программист Тестировщик Бой
EDI Тесты Еще тесты
Цепочки производства:
3. Обычные задачи (посложнее)
Программист Проектировщик Фронтендер Тестировщик Бой
Тесты Еще тестыEDI Макет Морда
Цепочки производства:
3. Большие задачи
Проектировщик Программист Бой
Фронтендер Тестировщик
Тесты
EDIМакет
Морда
Цепочки производства
Аналитик Проектировщик Фронтендер Программист Ревью Тестировщик Ревью Бой
EDI для девочек
Фуллстек таск
Задача на производительность мимо тестирования
Обычная задачка
Релизы
• 1-2 релиза в неделю
• Еще столько же нагрузочных релизов мимо тестеров
• Не релизим после 13:00, и по пятницам
• С 2-4 фичами каждый релиз
• Есть блог релизов в вики
Презентация архитектурных решений
• Несколько за год, по большим задачам
• Собираются программисты, но слушать можно всем
Что тестируем
• Новые фичи, новые интерфейсы
• Регрессии нет, верим тестам
Где тестируем
• 1й тестинг с боевыми интеграциями
• 2й тестинг начали создавать
• Основная работа - локально
Тестинг
• 45 сервисов
• 7 баз
• 10+ виртуалок
• 3 больших железки
• 18 000$
Когда тестируем
Разработчик:
• Код – тесты – полный прогон тестов – Ревью
Тестировщик:
• Еще тесты – полный прогон тестов
• Выкатываем на тестинг и гоняем на старых данных
• Заливаем в мастер – полный прогон тестов
• Прогон основного кейса на тестинге (5 минут)
• Релиз
После тестирования
Разборы полетов:
• Не написал тест = не проверял
Передача знаний:
• Ревью кода
Числа по тестам
• 6496 тестов всех уровней (на 4 марта 2016)
0 500 1000 1500 2000 2500 3000
Юнит
Системные
Браузерные
Числа по тестам
• Время прохождения тестов (без очереди) 9 часов =(
• Параллелим в 24 потока, но по типам тестов:
11+10+5+42+14+9+250+2+2+1+13+7+11+55+31+15+230+77+54+37+
528+20+40 (минут)
• Полное время прогона в 1 поток: 25 часов
• 14 агентов
Поток задач (прочеканы 30+ штук)
Параметр
Минимум,
дни
Максимум,
дни
Среднее, дни 90% за, дни
Время ожидания
задачи в очереди
0 10 2 4
Время в тестировании 0 42 6 13
Время ожидания
релиза
0 6 3 5
От готовности к тесту
до релиза
0 44 11 16
От создания до релиза 3 47 13 16
Практики
• Код приложения читают все (я понимаю не всё, но всё равно
читаю)
• Код тестов пишут и читают все
• Стараемся писать контракты в вики
• Демо задач проводилось, но умерло
• Частая ситуация: разработчик чинит код с машины тестера. Этакая
парная разработка
Планы
В основном связаны с тестирующей системой и исполнением
контрактов:
• Ревью кода
• Регламент релиза
• Оптимизация времени прохождения тестов
• Понижение уровня тестов (browser system, systemunit)
• Повышение стабильности тестов
О тестировании в EDI
О тестировании в EDI

More Related Content

What's hot

Построение процесса тестирования производительности игрового клиента
Построение процесса тестирования производительности игрового клиентаПостроение процесса тестирования производительности игрового клиента
Построение процесса тестирования производительности игрового клиента
SQALab
 
Илья Аблеев – Zabbix в Badoo: реагируем быстро и качественно
Илья Аблеев – Zabbix в Badoo: реагируем быстро и качественноИлья Аблеев – Zabbix в Badoo: реагируем быстро и качественно
Илья Аблеев – Zabbix в Badoo: реагируем быстро и качественно
Badoo Development
 
Дело тестера боится: как в опытных руках могут заиграть Java и TestNg
Дело тестера боится: как в опытных руках могут заиграть Java и TestNgДело тестера боится: как в опытных руках могут заиграть Java и TestNg
Дело тестера боится: как в опытных руках могут заиграть Java и TestNg
IT61
 
Artem Shabarshin. CSEDays
Artem Shabarshin. CSEDaysArtem Shabarshin. CSEDays
Artem Shabarshin. CSEDaysLiloSEA
 
Архитектура автоматизированных тестов
Архитектура автоматизированных тестовАрхитектура автоматизированных тестов
Архитектура автоматизированных тестовSQALab
 
Визуализация покрытия автоматизированными UI тестами
Визуализация покрытия автоматизированными UI тестамиВизуализация покрытия автоматизированными UI тестами
Визуализация покрытия автоматизированными UI тестами
SQALab
 
CI для тестировщиков или как отказаться от релизов
CI для тестировщиков или как отказаться от релизовCI для тестировщиков или как отказаться от релизов
CI для тестировщиков или как отказаться от релизов
SQALab
 
Проверка на прочность или нагрузочное тестирование с Jmeter
Проверка на прочность или нагрузочное тестирование с JmeterПроверка на прочность или нагрузочное тестирование с Jmeter
Проверка на прочность или нагрузочное тестирование с Jmeter
Aleksey Derkach
 
Нагрузочное тестирование теория Кожухов
Нагрузочное тестирование теория КожуховНагрузочное тестирование теория Кожухов
Нагрузочное тестирование теория КожуховИлья Кожухов
 
Александр Зобнин, Grafana Labs
Александр Зобнин, Grafana LabsАлександр Зобнин, Grafana Labs
Александр Зобнин, Grafana Labs
Badoo Development
 
Grail: шаги для ваших Python-тестов
Grail: шаги для ваших Python-тестовGrail: шаги для ваших Python-тестов
Grail: шаги для ваших Python-тестов
CodeFest
 
Поиск багов в поиске
Поиск багов в поискеПоиск багов в поиске
Поиск багов в поискеyaevents
 
Андрей Денисов – В ожидании мониторинга баз данных
Андрей Денисов – В ожидании мониторинга баз данныхАндрей Денисов – В ожидании мониторинга баз данных
Андрей Денисов – В ожидании мониторинга баз данных
Badoo Development
 
vSphereTools - инструмент для автоматизации работы с vSphere | Тимур Гильмуллин
vSphereTools - инструмент для автоматизации работы с vSphere | Тимур ГильмуллинvSphereTools - инструмент для автоматизации работы с vSphere | Тимур Гильмуллин
vSphereTools - инструмент для автоматизации работы с vSphere | Тимур Гильмуллин
Positive Hack Days
 
6 лекция. тестирование производительности
 6 лекция. тестирование производительности 6 лекция. тестирование производительности
6 лекция. тестирование производительности
vyacheslavmaslov
 
Selenium grid on-demand
Selenium grid on-demandSelenium grid on-demand
Selenium grid on-demand
SQALab
 
So Your WAF Needs a Parser
So Your WAF Needs a ParserSo Your WAF Needs a Parser
So Your WAF Needs a Parser
yalegko
 
TDD или как я стараюсь писать код
TDD или как я стараюсь писать кодTDD или как я стараюсь писать код
TDD или как я стараюсь писать код
MoscowDjango
 
Анализируем результаты тестирования производительности с Graphite и Grafana
Анализируем результаты тестирования производительности с Graphite и GrafanaАнализируем результаты тестирования производительности с Graphite и Grafana
Анализируем результаты тестирования производительности с Graphite и Grafana
SQALab
 
Ангелы и демоны многопоточного программирования / Алексей Федоров (Одноклассн...
Ангелы и демоны многопоточного программирования / Алексей Федоров (Одноклассн...Ангелы и демоны многопоточного программирования / Алексей Федоров (Одноклассн...
Ангелы и демоны многопоточного программирования / Алексей Федоров (Одноклассн...
Ontico
 

What's hot (20)

Построение процесса тестирования производительности игрового клиента
Построение процесса тестирования производительности игрового клиентаПостроение процесса тестирования производительности игрового клиента
Построение процесса тестирования производительности игрового клиента
 
Илья Аблеев – Zabbix в Badoo: реагируем быстро и качественно
Илья Аблеев – Zabbix в Badoo: реагируем быстро и качественноИлья Аблеев – Zabbix в Badoo: реагируем быстро и качественно
Илья Аблеев – Zabbix в Badoo: реагируем быстро и качественно
 
Дело тестера боится: как в опытных руках могут заиграть Java и TestNg
Дело тестера боится: как в опытных руках могут заиграть Java и TestNgДело тестера боится: как в опытных руках могут заиграть Java и TestNg
Дело тестера боится: как в опытных руках могут заиграть Java и TestNg
 
Artem Shabarshin. CSEDays
Artem Shabarshin. CSEDaysArtem Shabarshin. CSEDays
Artem Shabarshin. CSEDays
 
Архитектура автоматизированных тестов
Архитектура автоматизированных тестовАрхитектура автоматизированных тестов
Архитектура автоматизированных тестов
 
Визуализация покрытия автоматизированными UI тестами
Визуализация покрытия автоматизированными UI тестамиВизуализация покрытия автоматизированными UI тестами
Визуализация покрытия автоматизированными UI тестами
 
CI для тестировщиков или как отказаться от релизов
CI для тестировщиков или как отказаться от релизовCI для тестировщиков или как отказаться от релизов
CI для тестировщиков или как отказаться от релизов
 
Проверка на прочность или нагрузочное тестирование с Jmeter
Проверка на прочность или нагрузочное тестирование с JmeterПроверка на прочность или нагрузочное тестирование с Jmeter
Проверка на прочность или нагрузочное тестирование с Jmeter
 
Нагрузочное тестирование теория Кожухов
Нагрузочное тестирование теория КожуховНагрузочное тестирование теория Кожухов
Нагрузочное тестирование теория Кожухов
 
Александр Зобнин, Grafana Labs
Александр Зобнин, Grafana LabsАлександр Зобнин, Grafana Labs
Александр Зобнин, Grafana Labs
 
Grail: шаги для ваших Python-тестов
Grail: шаги для ваших Python-тестовGrail: шаги для ваших Python-тестов
Grail: шаги для ваших Python-тестов
 
Поиск багов в поиске
Поиск багов в поискеПоиск багов в поиске
Поиск багов в поиске
 
Андрей Денисов – В ожидании мониторинга баз данных
Андрей Денисов – В ожидании мониторинга баз данныхАндрей Денисов – В ожидании мониторинга баз данных
Андрей Денисов – В ожидании мониторинга баз данных
 
vSphereTools - инструмент для автоматизации работы с vSphere | Тимур Гильмуллин
vSphereTools - инструмент для автоматизации работы с vSphere | Тимур ГильмуллинvSphereTools - инструмент для автоматизации работы с vSphere | Тимур Гильмуллин
vSphereTools - инструмент для автоматизации работы с vSphere | Тимур Гильмуллин
 
6 лекция. тестирование производительности
 6 лекция. тестирование производительности 6 лекция. тестирование производительности
6 лекция. тестирование производительности
 
Selenium grid on-demand
Selenium grid on-demandSelenium grid on-demand
Selenium grid on-demand
 
So Your WAF Needs a Parser
So Your WAF Needs a ParserSo Your WAF Needs a Parser
So Your WAF Needs a Parser
 
TDD или как я стараюсь писать код
TDD или как я стараюсь писать кодTDD или как я стараюсь писать код
TDD или как я стараюсь писать код
 
Анализируем результаты тестирования производительности с Graphite и Grafana
Анализируем результаты тестирования производительности с Graphite и GrafanaАнализируем результаты тестирования производительности с Graphite и Grafana
Анализируем результаты тестирования производительности с Graphite и Grafana
 
Ангелы и демоны многопоточного программирования / Алексей Федоров (Одноклассн...
Ангелы и демоны многопоточного программирования / Алексей Федоров (Одноклассн...Ангелы и демоны многопоточного программирования / Алексей Федоров (Одноклассн...
Ангелы и демоны многопоточного программирования / Алексей Федоров (Одноклассн...
 

Viewers also liked

فهرست نسخه های خطی کتابخانه افشین عاطفی - 24
فهرست نسخه های خطی کتابخانه  افشین عاطفی - 24فهرست نسخه های خطی کتابخانه  افشین عاطفی - 24
فهرست نسخه های خطی کتابخانه افشین عاطفی - 24seyed sadegh ashkevari
 
Final - Marketing Graphic Design
Final - Marketing Graphic DesignFinal - Marketing Graphic Design
Final - Marketing Graphic Design
MyNgoc94
 
Tx 13 akce-kop
Tx 13 akce-kopTx 13 akce-kop
Tx 13 akce-kop
Pavel Paška
 
Aula0 engenharia mpog_9239
Aula0 engenharia mpog_9239Aula0 engenharia mpog_9239
Aula0 engenharia mpog_9239
Carina Rabelo Ventura
 
Content Marketing; 6 stappen om gaten te voorkomen
Content Marketing; 6 stappen om gaten te voorkomenContent Marketing; 6 stappen om gaten te voorkomen
Content Marketing; 6 stappen om gaten te voorkomen
SOCIALR B.V.
 
ACE
ACE ACE
Spot spotting
Spot spottingSpot spotting
Spot spotting
Mark Hager
 
国立印刷局の玉木浩貴さんを探しています - Part3
国立印刷局の玉木浩貴さんを探しています - Part3国立印刷局の玉木浩貴さんを探しています - Part3
国立印刷局の玉木浩貴さんを探しています - Part3
kyouryu0601
 
MythingsとIDCFチャンネル調査 20150824
MythingsとIDCFチャンネル調査 20150824MythingsとIDCFチャンネル調査 20150824
MythingsとIDCFチャンネル調査 20150824
Kouhei Ohi
 
ΝΟΜΟΣ ΠΙΕΡΙΑΣ
ΝΟΜΟΣ ΠΙΕΡΙΑΣΝΟΜΟΣ ΠΙΕΡΙΑΣ
ΝΟΜΟΣ ΠΙΕΡΙΑΣ
Μαρία Καραμανή
 
2012-5-Patientcentrering-Vårdanalys
2012-5-Patientcentrering-Vårdanalys2012-5-Patientcentrering-Vårdanalys
2012-5-Patientcentrering-VårdanalysPhilippa Göranson
 
Gabe Schwartzman - Successful Climate Policy Requires Rural Engagement
Gabe Schwartzman - Successful Climate Policy Requires Rural EngagementGabe Schwartzman - Successful Climate Policy Requires Rural Engagement
Gabe Schwartzman - Successful Climate Policy Requires Rural Engagement
ruralxchange
 
PEMBERDAYAAN MASYARAKAT MELALUI PEMBUDIDAYAAN IKAN TAWAR OLEH DINAS KELAUTAN
PEMBERDAYAAN MASYARAKAT MELALUI PEMBUDIDAYAAN IKAN TAWAR OLEH DINAS KELAUTANPEMBERDAYAAN MASYARAKAT MELALUI PEMBUDIDAYAAN IKAN TAWAR OLEH DINAS KELAUTAN
PEMBERDAYAAN MASYARAKAT MELALUI PEMBUDIDAYAAN IKAN TAWAR OLEH DINAS KELAUTAN
93220872
 

Viewers also liked (18)

فهرست نسخه های خطی کتابخانه افشین عاطفی - 24
فهرست نسخه های خطی کتابخانه  افشین عاطفی - 24فهرست نسخه های خطی کتابخانه  افشین عاطفی - 24
فهرست نسخه های خطی کتابخانه افشین عاطفی - 24
 
Final - Marketing Graphic Design
Final - Marketing Graphic DesignFinal - Marketing Graphic Design
Final - Marketing Graphic Design
 
Tx 13 akce-kop
Tx 13 akce-kopTx 13 akce-kop
Tx 13 akce-kop
 
Aula0 engenharia mpog_9239
Aula0 engenharia mpog_9239Aula0 engenharia mpog_9239
Aula0 engenharia mpog_9239
 
Content Marketing; 6 stappen om gaten te voorkomen
Content Marketing; 6 stappen om gaten te voorkomenContent Marketing; 6 stappen om gaten te voorkomen
Content Marketing; 6 stappen om gaten te voorkomen
 
5k_shirt_design
5k_shirt_design5k_shirt_design
5k_shirt_design
 
PT Certificate001
PT Certificate001PT Certificate001
PT Certificate001
 
Rose
RoseRose
Rose
 
семінар труд
семінар трудсемінар труд
семінар труд
 
ACE
ACE ACE
ACE
 
Spot spotting
Spot spottingSpot spotting
Spot spotting
 
国立印刷局の玉木浩貴さんを探しています - Part3
国立印刷局の玉木浩貴さんを探しています - Part3国立印刷局の玉木浩貴さんを探しています - Part3
国立印刷局の玉木浩貴さんを探しています - Part3
 
MythingsとIDCFチャンネル調査 20150824
MythingsとIDCFチャンネル調査 20150824MythingsとIDCFチャンネル調査 20150824
MythingsとIDCFチャンネル調査 20150824
 
ΝΟΜΟΣ ΠΙΕΡΙΑΣ
ΝΟΜΟΣ ΠΙΕΡΙΑΣΝΟΜΟΣ ΠΙΕΡΙΑΣ
ΝΟΜΟΣ ΠΙΕΡΙΑΣ
 
2012-5-Patientcentrering-Vårdanalys
2012-5-Patientcentrering-Vårdanalys2012-5-Patientcentrering-Vårdanalys
2012-5-Patientcentrering-Vårdanalys
 
ambit opp presentation
ambit opp presentationambit opp presentation
ambit opp presentation
 
Gabe Schwartzman - Successful Climate Policy Requires Rural Engagement
Gabe Schwartzman - Successful Climate Policy Requires Rural EngagementGabe Schwartzman - Successful Climate Policy Requires Rural Engagement
Gabe Schwartzman - Successful Climate Policy Requires Rural Engagement
 
PEMBERDAYAAN MASYARAKAT MELALUI PEMBUDIDAYAAN IKAN TAWAR OLEH DINAS KELAUTAN
PEMBERDAYAAN MASYARAKAT MELALUI PEMBUDIDAYAAN IKAN TAWAR OLEH DINAS KELAUTANPEMBERDAYAAN MASYARAKAT MELALUI PEMBUDIDAYAAN IKAN TAWAR OLEH DINAS KELAUTAN
PEMBERDAYAAN MASYARAKAT MELALUI PEMBUDIDAYAAN IKAN TAWAR OLEH DINAS KELAUTAN
 

Similar to О тестировании в EDI

Повышение качества тестов и автоматическая валидация REST API документации
Повышение качества тестов и автоматическая валидация REST API документацииПовышение качества тестов и автоматическая валидация REST API документации
Повышение качества тестов и автоматическая валидация REST API документации
CEE-SEC(R)
 
Автотестирование АБС. Конвейер разработки, конвейер данных, конвейер выполнения
Автотестирование АБС. Конвейер разработки, конвейер данных, конвейер выполненияАвтотестирование АБС. Конвейер разработки, конвейер данных, конвейер выполнения
Автотестирование АБС. Конвейер разработки, конвейер данных, конвейер выполнения
SQALab
 
Автоматизация тестирования
Автоматизация тестированияАвтоматизация тестирования
Автоматизация тестирования
Колёса Крыша Маркет
 
Автоматическое тестирование. Моя система
Автоматическое тестирование. Моя системаАвтоматическое тестирование. Моя система
Автоматическое тестирование. Моя система
Igor Lyubin
 
GUI-автоматизация в Telerik Test Studio
GUI-автоматизация в Telerik Test StudioGUI-автоматизация в Telerik Test Studio
GUI-автоматизация в Telerik Test Studio
SQALab
 
XP Days Ukraine 2014 - Refactoring legacy code
XP Days Ukraine 2014 - Refactoring legacy codeXP Days Ukraine 2014 - Refactoring legacy code
XP Days Ukraine 2014 - Refactoring legacy code
Dmytro Mindra
 
TestOps. Расширяем традиционные обязанности тестировщика
TestOps. Расширяем традиционные обязанности тестировщикаTestOps. Расширяем традиционные обязанности тестировщика
TestOps. Расширяем традиционные обязанности тестировщика
Alexander Nedeliaev
 
Лучшие практики на практике
Лучшие практики на практикеЛучшие практики на практике
Лучшие практики на практике
Denis Tuchin
 
Роль TestOps: расширяем традиционные обязанности тестировщика
Роль TestOps: расширяем традиционные обязанности тестировщикаРоль TestOps: расширяем традиционные обязанности тестировщика
Роль TestOps: расширяем традиционные обязанности тестировщика
SQALab
 
Проходим тест Джоэла
Проходим тест ДжоэлаПроходим тест Джоэла
Проходим тест Джоэла
0leGG
 
Оценка проектов тестирования
Оценка проектов тестированияОценка проектов тестирования
Оценка проектов тестирования
Rina Uzhevko
 
ACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом GoogleACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом Google
SQALab
 
Software Analytics in frontend
Software Analytics in frontendSoftware Analytics in frontend
Software Analytics in frontend
Denis Kolesnikov
 
Как мы измеряем наши проекты
Как мы измеряем наши проектыКак мы измеряем наши проекты
Как мы измеряем наши проекты
Rambler Android
 
Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...
Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...
Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...
HappyDev
 
Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...
Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...
Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...
Ontico
 
Team workflow
Team workflowTeam workflow
CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестирования
CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестированияCodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестирования
CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестированияCodeFest
 
Тест-план и исследовательское тестирование
Тест-план и исследовательское тестированиеТест-план и исследовательское тестирование
Тест-план и исследовательское тестирование
Vasiliy Burov
 
PostgreSQL performance recipes
PostgreSQL performance recipesPostgreSQL performance recipes
PostgreSQL performance recipes
Alexey Ermakov
 

Similar to О тестировании в EDI (20)

Повышение качества тестов и автоматическая валидация REST API документации
Повышение качества тестов и автоматическая валидация REST API документацииПовышение качества тестов и автоматическая валидация REST API документации
Повышение качества тестов и автоматическая валидация REST API документации
 
Автотестирование АБС. Конвейер разработки, конвейер данных, конвейер выполнения
Автотестирование АБС. Конвейер разработки, конвейер данных, конвейер выполненияАвтотестирование АБС. Конвейер разработки, конвейер данных, конвейер выполнения
Автотестирование АБС. Конвейер разработки, конвейер данных, конвейер выполнения
 
Автоматизация тестирования
Автоматизация тестированияАвтоматизация тестирования
Автоматизация тестирования
 
Автоматическое тестирование. Моя система
Автоматическое тестирование. Моя системаАвтоматическое тестирование. Моя система
Автоматическое тестирование. Моя система
 
GUI-автоматизация в Telerik Test Studio
GUI-автоматизация в Telerik Test StudioGUI-автоматизация в Telerik Test Studio
GUI-автоматизация в Telerik Test Studio
 
XP Days Ukraine 2014 - Refactoring legacy code
XP Days Ukraine 2014 - Refactoring legacy codeXP Days Ukraine 2014 - Refactoring legacy code
XP Days Ukraine 2014 - Refactoring legacy code
 
TestOps. Расширяем традиционные обязанности тестировщика
TestOps. Расширяем традиционные обязанности тестировщикаTestOps. Расширяем традиционные обязанности тестировщика
TestOps. Расширяем традиционные обязанности тестировщика
 
Лучшие практики на практике
Лучшие практики на практикеЛучшие практики на практике
Лучшие практики на практике
 
Роль TestOps: расширяем традиционные обязанности тестировщика
Роль TestOps: расширяем традиционные обязанности тестировщикаРоль TestOps: расширяем традиционные обязанности тестировщика
Роль TestOps: расширяем традиционные обязанности тестировщика
 
Проходим тест Джоэла
Проходим тест ДжоэлаПроходим тест Джоэла
Проходим тест Джоэла
 
Оценка проектов тестирования
Оценка проектов тестированияОценка проектов тестирования
Оценка проектов тестирования
 
ACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом GoogleACC - конструируем тест-план методом Google
ACC - конструируем тест-план методом Google
 
Software Analytics in frontend
Software Analytics in frontendSoftware Analytics in frontend
Software Analytics in frontend
 
Как мы измеряем наши проекты
Как мы измеряем наши проектыКак мы измеряем наши проекты
Как мы измеряем наши проекты
 
Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...
Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...
Виталий Шибаев - Креативный менеджмент глазами разработчика: как выжить в agi...
 
Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...
Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...
Автоматизация тестирования в iOS-проекте на примере ICQ / Д.Куркин, М.Манаев ...
 
Team workflow
Team workflowTeam workflow
Team workflow
 
CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестирования
CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестированияCodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестирования
CodeFest 2014. Павлов И. — Как делать прототипы в автоматизации тестирования
 
Тест-план и исследовательское тестирование
Тест-план и исследовательское тестированиеТест-план и исследовательское тестирование
Тест-план и исследовательское тестирование
 
PostgreSQL performance recipes
PostgreSQL performance recipesPostgreSQL performance recipes
PostgreSQL performance recipes
 

О тестировании в EDI

  • 2. Что такое EDI • Быстро принять, преобразовать, переслать и отобразить в морде много сообщений (400 000 в день)
  • 3. Терминология unit, системные, браузерные, на интеграцию код EDI Часть кода EDI, в которой сосредоточена бизнес-логика Функциональный макет на реакте EDI Тесты EDI для девочек Макет
  • 4. Цепочки производства: 1. Нефункциональные задачи Программист Бой (и с ближайшим релизом) Код Тесты
  • 5. Цепочки производства: 2. Код конвертеров, всякие мелочи Аналитик Тестировщик Бой Тесты Еще тесты EDI для девочек
  • 6. Цепочки производства: 3. Обычные задачи (попроще) Программист Тестировщик Бой EDI Тесты Еще тесты
  • 7. Цепочки производства: 3. Обычные задачи (посложнее) Программист Проектировщик Фронтендер Тестировщик Бой Тесты Еще тестыEDI Макет Морда
  • 8. Цепочки производства: 3. Большие задачи Проектировщик Программист Бой Фронтендер Тестировщик Тесты EDIМакет Морда
  • 9. Цепочки производства Аналитик Проектировщик Фронтендер Программист Ревью Тестировщик Ревью Бой EDI для девочек Фуллстек таск Задача на производительность мимо тестирования Обычная задачка
  • 10.
  • 11. Релизы • 1-2 релиза в неделю • Еще столько же нагрузочных релизов мимо тестеров • Не релизим после 13:00, и по пятницам • С 2-4 фичами каждый релиз • Есть блог релизов в вики
  • 12.
  • 13.
  • 14. Презентация архитектурных решений • Несколько за год, по большим задачам • Собираются программисты, но слушать можно всем
  • 15. Что тестируем • Новые фичи, новые интерфейсы • Регрессии нет, верим тестам
  • 16. Где тестируем • 1й тестинг с боевыми интеграциями • 2й тестинг начали создавать • Основная работа - локально
  • 17. Тестинг • 45 сервисов • 7 баз • 10+ виртуалок • 3 больших железки • 18 000$
  • 18. Когда тестируем Разработчик: • Код – тесты – полный прогон тестов – Ревью Тестировщик: • Еще тесты – полный прогон тестов • Выкатываем на тестинг и гоняем на старых данных • Заливаем в мастер – полный прогон тестов • Прогон основного кейса на тестинге (5 минут) • Релиз
  • 19. После тестирования Разборы полетов: • Не написал тест = не проверял Передача знаний: • Ревью кода
  • 20. Числа по тестам • 6496 тестов всех уровней (на 4 марта 2016) 0 500 1000 1500 2000 2500 3000 Юнит Системные Браузерные
  • 21. Числа по тестам • Время прохождения тестов (без очереди) 9 часов =( • Параллелим в 24 потока, но по типам тестов: 11+10+5+42+14+9+250+2+2+1+13+7+11+55+31+15+230+77+54+37+ 528+20+40 (минут) • Полное время прогона в 1 поток: 25 часов • 14 агентов
  • 22. Поток задач (прочеканы 30+ штук) Параметр Минимум, дни Максимум, дни Среднее, дни 90% за, дни Время ожидания задачи в очереди 0 10 2 4 Время в тестировании 0 42 6 13 Время ожидания релиза 0 6 3 5 От готовности к тесту до релиза 0 44 11 16 От создания до релиза 3 47 13 16
  • 23. Практики • Код приложения читают все (я понимаю не всё, но всё равно читаю) • Код тестов пишут и читают все • Стараемся писать контракты в вики • Демо задач проводилось, но умерло • Частая ситуация: разработчик чинит код с машины тестера. Этакая парная разработка
  • 24. Планы В основном связаны с тестирующей системой и исполнением контрактов: • Ревью кода • Регламент релиза • Оптимизация времени прохождения тестов • Понижение уровня тестов (browser system, systemunit) • Повышение стабильности тестов