SlideShare a Scribd company logo
Автоматизированное
тестирование не-тестировщиками
Никита Налютин,
Experian Decision Analytics
QA Manager/EMEA
Кто я?
1996-2002: разработчик
1999: получил Excellence in
Computer Science Award
2002: пришел в тестирование
2002-2013: самолеты-трейдинг-
видео-банки…
2007: книга «Верификация ПО,
издана при поддержке
2008: Кандидат технических наук
2012: Тест-менеджер
Работаем с банками.
В чем особенности и кто виноват?
Нет выделенных тестировщиков.
Почему так и что делать?
Зачем тогда автоматизация.
Роскошь или средство?
Почему не Selenium.
Вам честно или политкорректно?
Что видят технари.
Мы точно хотим это использовать?
Что видят не-тестировщики.
И толстый слой абстракции?
Как выстроили процесс.
Что это изменило в команде?
Хотим статистику.
Может Jenkins?
Работаем с банками
В чем особенности и кто виноват?
Много бюрократии
и мало порядка
Разные окружения
у разработчика и в банке
Нужно
быстро проводить smoke-тест
Нужно выходить на приемочное тестирование без
блокирующих ошибок
Нет выделенных тестировщиков
Почему так и что делать?
Так исторически сложилось
Есть хорошая команда разработчиков
и аналитиков, которые знают продукт
Им нужно помочь тестировать
систематизированно и чисто
Их нужно избавить от
рутинной работы
Зачем тогда автоматизация
Роскошь или средство?
Автоматизация – для решения
проблем людей …
Аналитики – избавить от рутины
ПМ – дать прозрачность процесса
… удобным для них способом …
В тестах много данных и состояний системы
и все привыкли использовать таблицы
… за обозримое время
Нужен ПМ, пилотный проект,
немного удачи и стойкости все внедрить
Почему не Selenium
Вам честно или политкорректно?
Честно – была идея использовать
«продвинутый record & play», может когда-
нибудь и сделаем 
Нужен был инструмент с низким порогом
вхождения
Политкорректно – проанализировали рынок
бесплатных систем автоматизации Web-а и
нашли …
Почему не Selenium
Вам честно или политкорректно?
Положительные факты:
JS-подобный скриптовой язык + record&play
Возможность тонкой настройки
Низкий порог вхождения
Дополнительно: http://www.sahi.co.in
Что видят технари
Мы точно хотим это использовать?
sc-project.sah
sc-project.xlsx
tc-create-app.sah
tc-create-app.xlsx1. Create Application
2. Security Check
3. Underwriter 0
4. Underwriter 1/2/3
5. Approval Notification
6. ...
Screen Field TC1 TC2
Login Username admin credins
Login Password 123 123
Login _button Next Next
... ... ... ...
Сценарии
Тесты
Что видят не-тестировщики
И толстый слой абстракции?
Контроллер
для запуска
Что видят не-тестировщики
И толстый слой абстракции?
Логические
сценарии
Что видят не-тестировщики
И толстый слой абстракции?
Логические
сценарии
Что видят не-тестировщики
И толстый слой абстракции?
Тест-кейсы
Что видят не-тестировщики
И толстый слой абстракции?
Тест-кейсы
Что видят не-тестировщики
И толстый слой абстракции?
Логи
Что видят не-тестировщики
И толстый слой абстракции?
Логи
Что видят не-тестировщики
И толстый слой абстракции?
А иногда
все это
одновременно
Что видят не-тестировщики
И толстый слой абстракции?
А иногда
все это
одновременно
Как выстроили процесс
Что это изменило в команде?
Тесты проектируют все
… сначала workflow …
… потом данные …
… потом интеграция
Последовательная
диагностика багов
Понимание влияния
чистых данных на тесты
Понимание причин
ошибок «на стыке» Видимый
результат
Хотим статистику
Может Jenkins?
Хотим статистику
Может Jenkins?
Минимальная обвязка для подготовки
тестового окружения
Встроенный генератор jUnit-отчетов
testrunner …-htmlLog true -htmlLogDir "%USERDATA_DIR%logshtml" -junitLog
true -junitLogDir "%USERDATA_DIR%logsjunit“
Для остального есть Groovy Postbuild Actions:
File file = new File(manager.build.getWorkspace().toString() +
'/userdata/logs/sc-obes.log')
if (file.exists()) {
summary = manager.createSummary("warning.gif")
summary.appendText("<pre>", false)
summary.appendText(file.text, false)
summary.appendText("</pre>", false)
}
Результаты
Полгода крутая погода, полгода совсем не беда?
• Большой проект для Одного Банка™:
– 645 человеко/дней весь проект
– 65 логических тестовых сценариев, общее время выполнения 12 часов
– Ещенощное выполнение и статистика
– 0 блокирующих дефектов во время приемочного тестирования
– Благодарственное письмо от Одного Банка™
• Маленький проект для Другого Банка™:
– 4 человека х 2 недели по плану тестирования
– 25 тестовых сценариев, все выходные данные на скриншотах
– сэкономили 1 человека и сработали втроем за 2 недели
– все найденные Другим Банком ™ дефекты не связаны с
протестированной функциональностью
Я все еще
Никита Налютин
Найти меня в сети
весьма просто
Пишите, пообщаемся
Вопросы?
Графика: © http://geek-and-poke.com

More Related Content

What's hot

Тестирование требований: Зачем - понятно, а вот Как?
Тестирование требований: Зачем - понятно, а вот Как?Тестирование требований: Зачем - понятно, а вот Как?
Тестирование требований: Зачем - понятно, а вот Как?
Grigoriy Pechenkin
 
Severity и Priority для неначинающих: очевидное и невероятное
Severity и Priority для неначинающих: очевидное и невероятноеSeverity и Priority для неначинающих: очевидное и невероятное
Severity и Priority для неначинающих: очевидное и невероятное
Deutsche Post
 
Тест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писатьТест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писать
SQALab
 
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Deutsche Post
 
зинченко татьяна тестирование в Agile
зинченко татьяна   тестирование в Agileзинченко татьяна   тестирование в Agile
зинченко татьяна тестирование в Agile
Tatiana Zinchenko
 
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
GTestClub
 
андрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаандрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчика
Alexei Lupan
 
Документация тестировщика - Александр Трибушный
Документация тестировщика - Александр ТрибушныйДокументация тестировщика - Александр Трибушный
Документация тестировщика - Александр Трибушный
DataArt
 
Lyanguzov preso sqadays8
Lyanguzov preso sqadays8Lyanguzov preso sqadays8
Lyanguzov preso sqadays8
Alexei Lupan
 
Высоцкий Неортодоксальный дизайн тестов
Высоцкий Неортодоксальный дизайн тестовВысоцкий Неортодоксальный дизайн тестов
Высоцкий Неортодоксальный дизайн тестов
qasib
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
GTestClub
 
Проблемы документирования в долгосрочных проектах - хотите поговорить об этом?
Проблемы документирования в долгосрочных проектах - хотите поговорить об этом?Проблемы документирования в долгосрочных проектах - хотите поговорить об этом?
Проблемы документирования в долгосрочных проектах - хотите поговорить об этом?
SQALab
 
Ivanova_M_ Kompetencii_testirovshhika
Ivanova_M_ Kompetencii_testirovshhikaIvanova_M_ Kompetencii_testirovshhika
Ivanova_M_ Kompetencii_testirovshhika
uransoft
 
Скандалы, расследования, тестирование
Скандалы, расследования, тестированиеСкандалы, расследования, тестирование
Скандалы, расследования, тестирование
SQALab
 
Мелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательностиМелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательности
Alexei Lupan
 
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interactionSqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Alexei Lupan
 

What's hot (17)

Тестирование требований: Зачем - понятно, а вот Как?
Тестирование требований: Зачем - понятно, а вот Как?Тестирование требований: Зачем - понятно, а вот Как?
Тестирование требований: Зачем - понятно, а вот Как?
 
Severity и Priority для неначинающих: очевидное и невероятное
Severity и Priority для неначинающих: очевидное и невероятноеSeverity и Priority для неначинающих: очевидное и невероятное
Severity и Priority для неначинающих: очевидное и невероятное
 
Тест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писатьТест-дизайн: проще читать или проще писать
Тест-дизайн: проще читать или проще писать
 
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестированииМетод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
Метод No-Tests-Cases: избавьтесь от тест-кейсов в тестировании
 
зинченко татьяна тестирование в Agile
зинченко татьяна   тестирование в Agileзинченко татьяна   тестирование в Agile
зинченко татьяна тестирование в Agile
 
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
Ярослав Пернеровский (QA Factory/GlobalLogic):"Рукописи не горят, но и не тон...
 
Sqa days
Sqa daysSqa days
Sqa days
 
андрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчикаандрей дмитриев взгляд со стороны разработчика
андрей дмитриев взгляд со стороны разработчика
 
Документация тестировщика - Александр Трибушный
Документация тестировщика - Александр ТрибушныйДокументация тестировщика - Александр Трибушный
Документация тестировщика - Александр Трибушный
 
Lyanguzov preso sqadays8
Lyanguzov preso sqadays8Lyanguzov preso sqadays8
Lyanguzov preso sqadays8
 
Высоцкий Неортодоксальный дизайн тестов
Высоцкий Неортодоксальный дизайн тестовВысоцкий Неортодоксальный дизайн тестов
Высоцкий Неортодоксальный дизайн тестов
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
 
Проблемы документирования в долгосрочных проектах - хотите поговорить об этом?
Проблемы документирования в долгосрочных проектах - хотите поговорить об этом?Проблемы документирования в долгосрочных проектах - хотите поговорить об этом?
Проблемы документирования в долгосрочных проектах - хотите поговорить об этом?
 
Ivanova_M_ Kompetencii_testirovshhika
Ivanova_M_ Kompetencii_testirovshhikaIvanova_M_ Kompetencii_testirovshhika
Ivanova_M_ Kompetencii_testirovshhika
 
Скандалы, расследования, тестирование
Скандалы, расследования, тестированиеСкандалы, расследования, тестирование
Скандалы, расследования, тестирование
 
Мелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательностиМелочь пузатая или Объем тест кейса против его содержательности
Мелочь пузатая или Объем тест кейса против его содержательности
 
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interactionSqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
Sqa.days.2010.beskov.system.analyst.and.test.engineers.interaction
 

Viewers also liked

Регрессионное тестирование методом свободного поиска
Регрессионное тестирование методом свободного поискаРегрессионное тестирование методом свободного поиска
Регрессионное тестирование методом свободного поиска
SQALab
 
Олег Громов: конкурентный анализ для стартапов
Олег Громов: конкурентный анализ для стартапов Олег Громов: конкурентный анализ для стартапов
Олег Громов: конкурентный анализ для стартапов
#tceh экосистема и коворкинг для стартапов.
 
Миграция JIRA - безобразие или безрассудство
Миграция JIRA - безобразие или безрассудствоМиграция JIRA - безобразие или безрассудство
Миграция JIRA - безобразие или безрассудство
SQALab
 
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
SQALab
 
Практически о виртуализации сервисов
Практически о виртуализации сервисовПрактически о виртуализации сервисов
Практически о виртуализации сервисов
SQALab
 
Практические аспекты организации процесса тестирования в государственных учре...
Практические аспекты организации процесса тестирования в государственных учре...Практические аспекты организации процесса тестирования в государственных учре...
Практические аспекты организации процесса тестирования в государственных учре...
SQALab
 
Internet of Tested Things
Internet of Tested ThingsInternet of Tested Things
Internet of Tested Things
SQALab
 
Continuous Integration для QA
Continuous Integration для QAContinuous Integration для QA
Continuous Integration для QA
Ivan Kolodyazhny
 
Тестирование в опенсорс
Тестирование в опенсорсТестирование в опенсорс
Тестирование в опенсорс
SQALab
 
Полная автоматизация развертываний ПО: общие концепции, пример реализации, ср...
Полная автоматизация развертываний ПО: общие концепции, пример реализации, ср...Полная автоматизация развертываний ПО: общие концепции, пример реализации, ср...
Полная автоматизация развертываний ПО: общие концепции, пример реализации, ср...
SQALab
 
Невыносимая переносимость кроссплатформенных приложений на примере десктопных...
Невыносимая переносимость кроссплатформенных приложений на примере десктопных...Невыносимая переносимость кроссплатформенных приложений на примере десктопных...
Невыносимая переносимость кроссплатформенных приложений на примере десктопных...
SQALab
 
Подход доктора Хауса в тестировании оптимизации запросов (5 серия)
Подход доктора Хауса в тестировании оптимизации запросов (5 серия)Подход доктора Хауса в тестировании оптимизации запросов (5 серия)
Подход доктора Хауса в тестировании оптимизации запросов (5 серия)
SQALab
 
Тестовая инфраструктура в облаке
Тестовая инфраструктура в облакеТестовая инфраструктура в облаке
Тестовая инфраструктура в облаке
SQALab
 
Теория и практика сокращения релизного цикла
Теория и практика сокращения релизного циклаТеория и практика сокращения релизного цикла
Теория и практика сокращения релизного цикла
SQALab
 
Инструменты тестирования, или хочешь сделать хорошо - сделай это сам
Инструменты тестирования, или хочешь сделать хорошо - сделай это самИнструменты тестирования, или хочешь сделать хорошо - сделай это сам
Инструменты тестирования, или хочешь сделать хорошо - сделай это сам
SQALab
 
VIQA - Тестирование UI с помощью Виртуального интеллекта
VIQA - Тестирование UI с помощью Виртуального интеллектаVIQA - Тестирование UI с помощью Виртуального интеллекта
VIQA - Тестирование UI с помощью Виртуального интеллекта
SQALab
 
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советы
SQALab
 
Особенности тестирования облачных сервисов
Особенности тестирования облачных сервисовОсобенности тестирования облачных сервисов
Особенности тестирования облачных сервисов
SQALab
 
Миссия тест-менеджера
Миссия тест-менеджераМиссия тест-менеджера
Миссия тест-менеджера
SQALab
 
Организация времени в тестировании
Организация времени в тестированииОрганизация времени в тестировании
Организация времени в тестировании
SQALab
 

Viewers also liked (20)

Регрессионное тестирование методом свободного поиска
Регрессионное тестирование методом свободного поискаРегрессионное тестирование методом свободного поиска
Регрессионное тестирование методом свободного поиска
 
Олег Громов: конкурентный анализ для стартапов
Олег Громов: конкурентный анализ для стартапов Олег Громов: конкурентный анализ для стартапов
Олег Громов: конкурентный анализ для стартапов
 
Миграция JIRA - безобразие или безрассудство
Миграция JIRA - безобразие или безрассудствоМиграция JIRA - безобразие или безрассудство
Миграция JIRA - безобразие или безрассудство
 
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?Как общаться с коллегами удалённо, чтобы не было мучительно больно?
Как общаться с коллегами удалённо, чтобы не было мучительно больно?
 
Практически о виртуализации сервисов
Практически о виртуализации сервисовПрактически о виртуализации сервисов
Практически о виртуализации сервисов
 
Практические аспекты организации процесса тестирования в государственных учре...
Практические аспекты организации процесса тестирования в государственных учре...Практические аспекты организации процесса тестирования в государственных учре...
Практические аспекты организации процесса тестирования в государственных учре...
 
Internet of Tested Things
Internet of Tested ThingsInternet of Tested Things
Internet of Tested Things
 
Continuous Integration для QA
Continuous Integration для QAContinuous Integration для QA
Continuous Integration для QA
 
Тестирование в опенсорс
Тестирование в опенсорсТестирование в опенсорс
Тестирование в опенсорс
 
Полная автоматизация развертываний ПО: общие концепции, пример реализации, ср...
Полная автоматизация развертываний ПО: общие концепции, пример реализации, ср...Полная автоматизация развертываний ПО: общие концепции, пример реализации, ср...
Полная автоматизация развертываний ПО: общие концепции, пример реализации, ср...
 
Невыносимая переносимость кроссплатформенных приложений на примере десктопных...
Невыносимая переносимость кроссплатформенных приложений на примере десктопных...Невыносимая переносимость кроссплатформенных приложений на примере десктопных...
Невыносимая переносимость кроссплатформенных приложений на примере десктопных...
 
Подход доктора Хауса в тестировании оптимизации запросов (5 серия)
Подход доктора Хауса в тестировании оптимизации запросов (5 серия)Подход доктора Хауса в тестировании оптимизации запросов (5 серия)
Подход доктора Хауса в тестировании оптимизации запросов (5 серия)
 
Тестовая инфраструктура в облаке
Тестовая инфраструктура в облакеТестовая инфраструктура в облаке
Тестовая инфраструктура в облаке
 
Теория и практика сокращения релизного цикла
Теория и практика сокращения релизного циклаТеория и практика сокращения релизного цикла
Теория и практика сокращения релизного цикла
 
Инструменты тестирования, или хочешь сделать хорошо - сделай это сам
Инструменты тестирования, или хочешь сделать хорошо - сделай это самИнструменты тестирования, или хочешь сделать хорошо - сделай это сам
Инструменты тестирования, или хочешь сделать хорошо - сделай это сам
 
VIQA - Тестирование UI с помощью Виртуального интеллекта
VIQA - Тестирование UI с помощью Виртуального интеллектаVIQA - Тестирование UI с помощью Виртуального интеллекта
VIQA - Тестирование UI с помощью Виртуального интеллекта
 
Обеспечение качества: Практические советы
Обеспечение качества: Практические советыОбеспечение качества: Практические советы
Обеспечение качества: Практические советы
 
Особенности тестирования облачных сервисов
Особенности тестирования облачных сервисовОсобенности тестирования облачных сервисов
Особенности тестирования облачных сервисов
 
Миссия тест-менеджера
Миссия тест-менеджераМиссия тест-менеджера
Миссия тест-менеджера
 
Организация времени в тестировании
Организация времени в тестированииОрганизация времени в тестировании
Организация времени в тестировании
 

Similar to Автоматизированное тестирование не-тестировщиками

Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?
Alexey Lyanguzov
 
Неудобство использования ПО - в чём вина тестировщиков?
Неудобство использования ПО - в чём вина тестировщиков?Неудобство использования ПО - в чём вина тестировщиков?
Неудобство использования ПО - в чём вина тестировщиков?
SQALab
 
About Testers
About TestersAbout Testers
About Testers
antsh
 
мартюшев почему юнит-тесты не работают. история большого проекта
мартюшев   почему юнит-тесты не работают. история большого проектамартюшев   почему юнит-тесты не работают. история большого проекта
мартюшев почему юнит-тесты не работают. история большого проекта
Magneta AI
 
мартюшев почему юнит-тесты не работают. история большого проекта
мартюшев   почему юнит-тесты не работают. история большого проектамартюшев   почему юнит-тесты не работают. история большого проекта
мартюшев почему юнит-тесты не работают. история большого проекта
Magneta AI
 
Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"
Dakiry
 
Unit Testing
Unit TestingUnit Testing
Unit Testing
Dima Denisenko
 
организация и проведение тестирования
организация и проведение тестированияорганизация и проведение тестирования
организация и проведение тестирования
Igor Pozumentov
 
10 принципов автоматизации, которые я не предам
10 принципов автоматизации, которые я не предам10 принципов автоматизации, которые я не предам
10 принципов автоматизации, которые я не предам
SQALab
 
Тестирование ПО: баг не пройдет!
Тестирование ПО: баг не пройдет!Тестирование ПО: баг не пройдет!
Тестирование ПО: баг не пройдет!
CUSTIS
 
Внедрение тестирования в Scrum
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в Scrum
Denis Petelin
 
Внедрение тестирования в Scrum
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в Scrum
Denis Petelin
 
чмв лекция №7
чмв   лекция №7чмв   лекция №7
чмв лекция №7
student_kai
 
CodeFest 2010. Емелина Т. — Trial-and-error: как мы начинали тестировать
CodeFest 2010. Емелина Т. — Trial-and-error: как мы начинали тестироватьCodeFest 2010. Емелина Т. — Trial-and-error: как мы начинали тестировать
CodeFest 2010. Емелина Т. — Trial-and-error: как мы начинали тестировать
CodeFest
 
What Tests Are For?
What Tests Are For?What Tests Are For?
What Tests Are For?
Mikalai_Kardash
 
Sef Streluk Agile
Sef Streluk AgileSef Streluk Agile
Sef Streluk Agile
sef2009
 
Постановка процесса тестирования в Agile
Постановка процесса тестирования в AgileПостановка процесса тестирования в Agile
Постановка процесса тестирования в Agile
SQALab
 
Эволюция корпоративных Web приложений. Молотков Андрей D2D Just.NET
Эволюция корпоративных Web приложений. Молотков Андрей D2D Just.NETЭволюция корпоративных Web приложений. Молотков Андрей D2D Just.NET
Эволюция корпоративных Web приложений. Молотков Андрей D2D Just.NET
Dev2Dev
 
Как мы тестировали ситуационный центр Центральной ППК
Как мы тестировали ситуационный центр Центральной ППККак мы тестировали ситуационный центр Центральной ППК
Как мы тестировали ситуационный центр Центральной ППК
Rina Uzhevko
 

Similar to Автоматизированное тестирование не-тестировщиками (20)

Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?Неудобство использования ПО. В чем вина тестировщиков?
Неудобство использования ПО. В чем вина тестировщиков?
 
Неудобство использования ПО - в чём вина тестировщиков?
Неудобство использования ПО - в чём вина тестировщиков?Неудобство использования ПО - в чём вина тестировщиков?
Неудобство использования ПО - в чём вина тестировщиков?
 
About Testers
About TestersAbout Testers
About Testers
 
мартюшев почему юнит-тесты не работают. история большого проекта
мартюшев   почему юнит-тесты не работают. история большого проектамартюшев   почему юнит-тесты не работают. история большого проекта
мартюшев почему юнит-тесты не работают. история большого проекта
 
мартюшев почему юнит-тесты не работают. история большого проекта
мартюшев   почему юнит-тесты не работают. история большого проектамартюшев   почему юнит-тесты не работают. история большого проекта
мартюшев почему юнит-тесты не работают. история большого проекта
 
Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"Олексій Брошков "Мистецтво Дослідницького Тестування"
Олексій Брошков "Мистецтво Дослідницького Тестування"
 
Unit Testing
Unit TestingUnit Testing
Unit Testing
 
организация и проведение тестирования
организация и проведение тестированияорганизация и проведение тестирования
организация и проведение тестирования
 
10 принципов автоматизации, которые я не предам
10 принципов автоматизации, которые я не предам10 принципов автоматизации, которые я не предам
10 принципов автоматизации, которые я не предам
 
Тестирование ПО: баг не пройдет!
Тестирование ПО: баг не пройдет!Тестирование ПО: баг не пройдет!
Тестирование ПО: баг не пройдет!
 
Внедрение тестирования в Scrum
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в Scrum
 
Внедрение тестирования в Scrum
Внедрение тестирования в ScrumВнедрение тестирования в Scrum
Внедрение тестирования в Scrum
 
чмв лекция №7
чмв   лекция №7чмв   лекция №7
чмв лекция №7
 
CodeFest 2010. Емелина Т. — Trial-and-error: как мы начинали тестировать
CodeFest 2010. Емелина Т. — Trial-and-error: как мы начинали тестироватьCodeFest 2010. Емелина Т. — Trial-and-error: как мы начинали тестировать
CodeFest 2010. Емелина Т. — Trial-and-error: как мы начинали тестировать
 
What Tests Are For?
What Tests Are For?What Tests Are For?
What Tests Are For?
 
Sef Streluk Agile
Sef Streluk AgileSef Streluk Agile
Sef Streluk Agile
 
Постановка процесса тестирования в Agile
Постановка процесса тестирования в AgileПостановка процесса тестирования в Agile
Постановка процесса тестирования в Agile
 
Qt tool evaluation
Qt tool evaluationQt tool evaluation
Qt tool evaluation
 
Эволюция корпоративных Web приложений. Молотков Андрей D2D Just.NET
Эволюция корпоративных Web приложений. Молотков Андрей D2D Just.NETЭволюция корпоративных Web приложений. Молотков Андрей D2D Just.NET
Эволюция корпоративных Web приложений. Молотков Андрей D2D Just.NET
 
Как мы тестировали ситуационный центр Центральной ППК
Как мы тестировали ситуационный центр Центральной ППККак мы тестировали ситуационный центр Центральной ППК
Как мы тестировали ситуационный центр Центральной ППК
 

More from SQALab

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
SQALab
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
SQALab
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
SQALab
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
SQALab
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
SQALab
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
SQALab
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
SQALab
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
SQALab
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
SQALab
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
SQALab
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
SQALab
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
SQALab
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
SQALab
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
SQALab
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
SQALab
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
SQALab
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
SQALab
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
SQALab
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
SQALab
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
SQALab
 

More from SQALab (20)

Готовим стажировку
Готовим стажировкуГотовим стажировку
Готовим стажировку
 
Куда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщикаКуда приводят мечты? или Искусство развития тестировщика
Куда приводят мечты? или Искусство развития тестировщика
 
Оптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержкиОптимизация Selenium тестов и ускорение их поддержки
Оптимизация Selenium тестов и ускорение их поддержки
 
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программированияАвтоматизация 0.0: 0 - бюджет, 0 - опыт программирования
Автоматизация 0.0: 0 - бюджет, 0 - опыт программирования
 
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
Нагрузочное тестирование нестандартных протоколов с использованием Citrix и J...
 
Continuous performance testing
Continuous performance testingContinuous performance testing
Continuous performance testing
 
Конфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нуженКонфиги вместо костылей. Pytestconfig и зачем он нужен
Конфиги вместо костылей. Pytestconfig и зачем он нужен
 
Команда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихииКоманда чемпионов в ИТ стихии
Команда чемпионов в ИТ стихии
 
API. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советовAPI. Серебряная пуля в магазине советов
API. Серебряная пуля в магазине советов
 
Добиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестовДобиваемся эффективности каждого из 9000+ UI-тестов
Добиваемся эффективности каждого из 9000+ UI-тестов
 
Делаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIsДелаем автоматизацию проектных KPIs
Делаем автоматизацию проектных KPIs
 
Вредные привычки в тест-менеджменте
Вредные привычки в тест-менеджментеВредные привычки в тест-менеджменте
Вредные привычки в тест-менеджменте
 
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизацииМощь переполняет с JDI 2.0 - новая эра UI автоматизации
Мощь переполняет с JDI 2.0 - новая эра UI автоматизации
 
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качествеКак hh.ru дошли до 500 релизов в квартал без потери в качестве
Как hh.ru дошли до 500 релизов в квартал без потери в качестве
 
Стили лидерства и тестирование
Стили лидерства и тестированиеСтили лидерства и тестирование
Стили лидерства и тестирование
 
"Давайте не будем про качество"
"Давайте не будем про качество""Давайте не будем про качество"
"Давайте не будем про качество"
 
Apache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектовApache.JMeter для .NET-проектов
Apache.JMeter для .NET-проектов
 
Тестирование геолокационных систем
Тестирование геолокационных системТестирование геолокационных систем
Тестирование геолокационных систем
 
Лидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопросЛидер или босс? Вот в чем вопрос
Лидер или босс? Вот в чем вопрос
 
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
От Зефира в коробке к Structure Zephyr или как тест-менеджеру перекроить внут...
 

Автоматизированное тестирование не-тестировщиками

  • 2. Кто я? 1996-2002: разработчик 1999: получил Excellence in Computer Science Award 2002: пришел в тестирование 2002-2013: самолеты-трейдинг- видео-банки… 2007: книга «Верификация ПО, издана при поддержке 2008: Кандидат технических наук 2012: Тест-менеджер
  • 3. Работаем с банками. В чем особенности и кто виноват? Нет выделенных тестировщиков. Почему так и что делать? Зачем тогда автоматизация. Роскошь или средство? Почему не Selenium. Вам честно или политкорректно?
  • 4. Что видят технари. Мы точно хотим это использовать? Что видят не-тестировщики. И толстый слой абстракции? Как выстроили процесс. Что это изменило в команде? Хотим статистику. Может Jenkins?
  • 5. Работаем с банками В чем особенности и кто виноват? Много бюрократии и мало порядка Разные окружения у разработчика и в банке Нужно быстро проводить smoke-тест Нужно выходить на приемочное тестирование без блокирующих ошибок
  • 6. Нет выделенных тестировщиков Почему так и что делать? Так исторически сложилось Есть хорошая команда разработчиков и аналитиков, которые знают продукт Им нужно помочь тестировать систематизированно и чисто Их нужно избавить от рутинной работы
  • 7. Зачем тогда автоматизация Роскошь или средство? Автоматизация – для решения проблем людей … Аналитики – избавить от рутины ПМ – дать прозрачность процесса … удобным для них способом … В тестах много данных и состояний системы и все привыкли использовать таблицы … за обозримое время Нужен ПМ, пилотный проект, немного удачи и стойкости все внедрить
  • 8. Почему не Selenium Вам честно или политкорректно? Честно – была идея использовать «продвинутый record & play», может когда- нибудь и сделаем  Нужен был инструмент с низким порогом вхождения Политкорректно – проанализировали рынок бесплатных систем автоматизации Web-а и нашли …
  • 9. Почему не Selenium Вам честно или политкорректно? Положительные факты: JS-подобный скриптовой язык + record&play Возможность тонкой настройки Низкий порог вхождения Дополнительно: http://www.sahi.co.in
  • 10. Что видят технари Мы точно хотим это использовать? sc-project.sah sc-project.xlsx tc-create-app.sah tc-create-app.xlsx1. Create Application 2. Security Check 3. Underwriter 0 4. Underwriter 1/2/3 5. Approval Notification 6. ... Screen Field TC1 TC2 Login Username admin credins Login Password 123 123 Login _button Next Next ... ... ... ... Сценарии Тесты
  • 11. Что видят не-тестировщики И толстый слой абстракции? Контроллер для запуска
  • 12. Что видят не-тестировщики И толстый слой абстракции? Логические сценарии
  • 13. Что видят не-тестировщики И толстый слой абстракции? Логические сценарии
  • 14. Что видят не-тестировщики И толстый слой абстракции? Тест-кейсы
  • 15. Что видят не-тестировщики И толстый слой абстракции? Тест-кейсы
  • 16. Что видят не-тестировщики И толстый слой абстракции? Логи
  • 17. Что видят не-тестировщики И толстый слой абстракции? Логи
  • 18. Что видят не-тестировщики И толстый слой абстракции? А иногда все это одновременно
  • 19. Что видят не-тестировщики И толстый слой абстракции? А иногда все это одновременно
  • 20. Как выстроили процесс Что это изменило в команде? Тесты проектируют все … сначала workflow … … потом данные … … потом интеграция Последовательная диагностика багов Понимание влияния чистых данных на тесты Понимание причин ошибок «на стыке» Видимый результат
  • 22. Хотим статистику Может Jenkins? Минимальная обвязка для подготовки тестового окружения Встроенный генератор jUnit-отчетов testrunner …-htmlLog true -htmlLogDir "%USERDATA_DIR%logshtml" -junitLog true -junitLogDir "%USERDATA_DIR%logsjunit“ Для остального есть Groovy Postbuild Actions: File file = new File(manager.build.getWorkspace().toString() + '/userdata/logs/sc-obes.log') if (file.exists()) { summary = manager.createSummary("warning.gif") summary.appendText("<pre>", false) summary.appendText(file.text, false) summary.appendText("</pre>", false) }
  • 23. Результаты Полгода крутая погода, полгода совсем не беда? • Большой проект для Одного Банка™: – 645 человеко/дней весь проект – 65 логических тестовых сценариев, общее время выполнения 12 часов – Ещенощное выполнение и статистика – 0 блокирующих дефектов во время приемочного тестирования – Благодарственное письмо от Одного Банка™ • Маленький проект для Другого Банка™: – 4 человека х 2 недели по плану тестирования – 25 тестовых сценариев, все выходные данные на скриншотах – сэкономили 1 человека и сработали втроем за 2 недели – все найденные Другим Банком ™ дефекты не связаны с протестированной функциональностью
  • 24. Я все еще Никита Налютин Найти меня в сети весьма просто Пишите, пообщаемся Вопросы? Графика: © http://geek-and-poke.com