SlideShare a Scribd company logo
1 of 23
Download to read offline
Тестирование в стиле «heavy metal*»
              Часть 2

                      * Хэви метал


                       Роман Ивлиев
Если это все-таки случилось, то

    как же быть?




                                  2
Как же быть?




                Во-первых,




               посчитаем



                             3
Как будем считать


•Учет ограничений бюджета или
 сроков.
•Аналогия с предыдущими проектами.
•Экспертная оценка.
•Декомпозиция работ.
•Эмпирические оценки.

                                 4
Что будем учитывать, чтобы не промахнуться

• Неполноту требований.
• Непредусмотренные проблемы,
  связанные с изменением оборудования.
• Непредусмотренные проблемы,
  связанные с использованием 3rd party.
• Условное время выполнения задачи.
• Время на интеграцию.
• Время на подготовку персонала.
                                             5
Как же быть?




               Во-вторых,




       добавим гибкости


                            6
Тестирование спешит на помощь




                                7
Two test or not too test


Тестируем только то, что необходимо

Тестер: «Я нашел баг, самолет
 не умеет летать задом на
 перед»
PM: «А с чего ты взял, что он
 должен это делать?»



                                      8
О пользе и вреде Unit-тестов


      Польза                   Вред
•Unit-тест показал,   •Unit-тест показал,
что код работает.     что код работает
•Unit-тест – верный   именно там, где его
путь к                выполнили;
автоматизации.        поэтому...



                                            9
Трассировка всего на все


 Трассируем:
 • код на требования,
 • код на железо,
 • код на тесты,
 • тесты на железо,
 • софт на железо,
 • софт на код,
  и т.д.


                           10
Конфигурационное тестирование



        И
  уделяем кучу
     внимания
конфигурационному
   тестированию


                                11
Чистота – залог успеха - 1



Ищем сразу, иначе:

• сложнее искать,
• сложнее исправлять,
• сложнее
 перепроверить.


                             12
Чистота – залог успеха - 2


Перепроверяем сразу после
 исправления, иначе:
• сложнее искать,
• сложнее перепроверить,
• «а был ли мальчик?» (с)




                             13
Готово = сделано + протестированно


То, что сделано, но не
 проверено:

• портит статистику,
• вводит в заблуждение,
• это неправда .



                                     14
Как же быть?




               В-третьих,

«повторение – мать учения»




                             15
Автоматизация всего, что можно
автоматизировать



Обширное ручное тестирование для
встраиваемых проектов достаточно
сложно, если вообще возможно, поэтому:
•ручное тестирование только для того,
чтобы потом его автоматизировать;
•ручное тестирование только там, где нет
возможности его автоматизировать.

                                           16
Два типа тестирования



Пакетный запуск




                 До первого падения


                                 17
Тестовые лаборатории

  Пример архитектуры тестовой лаборатории




                                            18
В результате…




                19
В результате-1



•Тратим время, чтобы оценить
 заранее и не тратить время потом.
•Следим за «чистотой».
•Думаем и тщательно выбираем,
 перед тем, как броситься нажимать
 кнопки.

                                     20
В результате-2


• Трассируем все на все.
• Пробуем построить атоматизированный
  стенд.
• Накапливаем и расширяем автотесты.
• Если удалось автоматизировать -95+% -
  очень хорошо.
• Гоняем автотесты в двух режимах.

                                          21
В результате-3




       Надеемся и верим




                           22
Спасибо за внимание!




              С уважением,
             Роман Ивлиев
     E-почта: Roman.ivliev@mail.ru
      http://dumtest.livejournal.com




                                       23

More Related Content

What's hot

Первый шаг на пути к тестированию белого ящика для сложных систем
Первый шаг на пути к тестированию белого ящика для сложных системПервый шаг на пути к тестированию белого ящика для сложных систем
Первый шаг на пути к тестированию белого ящика для сложных системSQALab
 
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения Iosif Itkin
 
Внедрение измениений. Рефакторинг Vs реинжиниринг
Внедрение измениений. Рефакторинг Vs реинжинирингВнедрение измениений. Рефакторинг Vs реинжиниринг
Внедрение измениений. Рефакторинг Vs реинжинирингRina Uzhevko
 
Автотесты и образ мышления
Автотесты и образ мышленияАвтотесты и образ мышления
Автотесты и образ мышленияAndrei Zubov
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...GTestClub
 
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...Mail.ru Group
 
Темная сторона метрик
Темная сторона метрикТемная сторона метрик
Темная сторона метрикRoman Ivliev
 
“Обезьянье тестирование” в мобильных проектах
“Обезьянье тестирование” в мобильных проектах“Обезьянье тестирование” в мобильных проектах
“Обезьянье тестирование” в мобильных проектахautomated-testing.info
 
Lean для автоматизаторов
Lean для автоматизаторовLean для автоматизаторов
Lean для автоматизаторовCOMAQA.BY
 
Марина Широчкина: Тестирование
Марина Широчкина: ТестированиеМарина Широчкина: Тестирование
Марина Широчкина: ТестированиеYandex
 
Фреймворк для регрессионного тестирования на основе WebDriver
Фреймворк для регрессионного тестирования на основе WebDriverФреймворк для регрессионного тестирования на основе WebDriver
Фреймворк для регрессионного тестирования на основе WebDriverautomated-testing.info
 
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...Mail.ru Group
 
Как добывать правду из пользователя и сок из менеджера. Михаил Фролов
Как добывать правду из пользователя и сок из менеджера. Михаил ФроловКак добывать правду из пользователя и сок из менеджера. Михаил Фролов
Как добывать правду из пользователя и сок из менеджера. Михаил ФроловПрофсоUX
 
A1QA Summer 2014 - Alien bugs
A1QA Summer 2014 - Alien bugsA1QA Summer 2014 - Alien bugs
A1QA Summer 2014 - Alien bugsPavel Novik
 
Марина Широчкина - Тестирование
Марина Широчкина - ТестированиеМарина Широчкина - Тестирование
Марина Широчкина - ТестированиеYandex
 
ROCS 2 - advanced platform for automated test execution in clustered environm...
ROCS 2 - advanced platform for automated test execution in clustered environm...ROCS 2 - advanced platform for automated test execution in clustered environm...
ROCS 2 - advanced platform for automated test execution in clustered environm...Rina Uzhevko
 
Грабли автоматизации. Учимся на чужих ошибках
Грабли автоматизации. Учимся на чужих ошибкахГрабли автоматизации. Учимся на чужих ошибках
Грабли автоматизации. Учимся на чужих ошибкахSQALab
 
QA Club Kiev #2 Vision of TL and PM
QA Club Kiev #2 Vision of TL and PMQA Club Kiev #2 Vision of TL and PM
QA Club Kiev #2 Vision of TL and PMQA Club Kiev
 
Test Automation Canvas - не наступайте на глабли автоматизации
Test Automation Canvas - не наступайте на глабли автоматизацииTest Automation Canvas - не наступайте на глабли автоматизации
Test Automation Canvas - не наступайте на глабли автоматизацииAndrey Rebrov
 

What's hot (20)

Первый шаг на пути к тестированию белого ящика для сложных систем
Первый шаг на пути к тестированию белого ящика для сложных системПервый шаг на пути к тестированию белого ящика для сложных систем
Первый шаг на пути к тестированию белого ящика для сложных систем
 
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения
КГТУ Лекция 6: Обеспечение Качества Программного Обеспечения
 
Внедрение измениений. Рефакторинг Vs реинжиниринг
Внедрение измениений. Рефакторинг Vs реинжинирингВнедрение измениений. Рефакторинг Vs реинжиниринг
Внедрение измениений. Рефакторинг Vs реинжиниринг
 
Автотесты и образ мышления
Автотесты и образ мышленияАвтотесты и образ мышления
Автотесты и образ мышления
 
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
Grammarly Test Club#2. Выступление Алексея Лупана (SysIQ, Inc.): "Без тест-ке...
 
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
Максим Богуславский, Banki.ru, «Как вырастить в себе автоматизатора и разрабо...
 
Темная сторона метрик
Темная сторона метрикТемная сторона метрик
Темная сторона метрик
 
“Обезьянье тестирование” в мобильных проектах
“Обезьянье тестирование” в мобильных проектах“Обезьянье тестирование” в мобильных проектах
“Обезьянье тестирование” в мобильных проектах
 
Lean для автоматизаторов
Lean для автоматизаторовLean для автоматизаторов
Lean для автоматизаторов
 
Марина Широчкина: Тестирование
Марина Широчкина: ТестированиеМарина Широчкина: Тестирование
Марина Широчкина: Тестирование
 
Фреймворк для регрессионного тестирования на основе WebDriver
Фреймворк для регрессионного тестирования на основе WebDriverФреймворк для регрессионного тестирования на основе WebDriver
Фреймворк для регрессионного тестирования на основе WebDriver
 
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...
Наталья Чуфырина, Mail.Ru Group, «Как создать команду по автоматизации тестир...
 
Как добывать правду из пользователя и сок из менеджера. Михаил Фролов
Как добывать правду из пользователя и сок из менеджера. Михаил ФроловКак добывать правду из пользователя и сок из менеджера. Михаил Фролов
Как добывать правду из пользователя и сок из менеджера. Михаил Фролов
 
A1QA Summer 2014 - Alien bugs
A1QA Summer 2014 - Alien bugsA1QA Summer 2014 - Alien bugs
A1QA Summer 2014 - Alien bugs
 
Марина Широчкина - Тестирование
Марина Широчкина - ТестированиеМарина Широчкина - Тестирование
Марина Широчкина - Тестирование
 
ROCS 2 - advanced platform for automated test execution in clustered environm...
ROCS 2 - advanced platform for automated test execution in clustered environm...ROCS 2 - advanced platform for automated test execution in clustered environm...
ROCS 2 - advanced platform for automated test execution in clustered environm...
 
Грабли автоматизации. Учимся на чужих ошибках
Грабли автоматизации. Учимся на чужих ошибкахГрабли автоматизации. Учимся на чужих ошибках
Грабли автоматизации. Учимся на чужих ошибках
 
QA Club Kiev #2 Vision of TL and PM
QA Club Kiev #2 Vision of TL and PMQA Club Kiev #2 Vision of TL and PM
QA Club Kiev #2 Vision of TL and PM
 
Test Automation Canvas - не наступайте на глабли автоматизации
Test Automation Canvas - не наступайте на глабли автоматизацииTest Automation Canvas - не наступайте на глабли автоматизации
Test Automation Canvas - не наступайте на глабли автоматизации
 
Watson
WatsonWatson
Watson
 

Viewers also liked

Heavy metal testing Part 1 and 2
Heavy metal testing Part 1 and 2Heavy metal testing Part 1 and 2
Heavy metal testing Part 1 and 2Roman Ivliev
 
Аквариум своими руками
Аквариум своими рукамиАквариум своими руками
Аквариум своими рукамиRoman Ivliev
 
Тестирование для программистов
Тестирование для программистовТестирование для программистов
Тестирование для программистовRoman Ivliev
 
Внедрение изменений: рефакторинг Vs реинжиниринг
Внедрение изменений: рефакторинг Vs реинжинирингВнедрение изменений: рефакторинг Vs реинжиниринг
Внедрение изменений: рефакторинг Vs реинжинирингRoman Ivliev
 
О фреймворках Backend conf 2016
О фреймворках Backend conf 2016О фреймворках Backend conf 2016
О фреймворках Backend conf 2016Roman Ivliev
 
Бывает так, что вас нет рядом
Бывает так, что вас нет рядомБывает так, что вас нет рядом
Бывает так, что вас нет рядомRoman Ivliev
 
Как мы помогаем тестировщикам делать их работу лучше
Как мы помогаем тестировщикам делать их работу лучшеКак мы помогаем тестировщикам делать их работу лучше
Как мы помогаем тестировщикам делать их работу лучшеRoman Ivliev
 
Как мы делаем Banki.ru
Как мы делаем Banki.ruКак мы делаем Banki.ru
Как мы делаем Banki.ruRoman Ivliev
 

Viewers also liked (9)

Heavy metal testing Part 1 and 2
Heavy metal testing Part 1 and 2Heavy metal testing Part 1 and 2
Heavy metal testing Part 1 and 2
 
Аквариум своими руками
Аквариум своими рукамиАквариум своими руками
Аквариум своими руками
 
Тестирование для программистов
Тестирование для программистовТестирование для программистов
Тестирование для программистов
 
Внедрение изменений: рефакторинг Vs реинжиниринг
Внедрение изменений: рефакторинг Vs реинжинирингВнедрение изменений: рефакторинг Vs реинжиниринг
Внедрение изменений: рефакторинг Vs реинжиниринг
 
О фреймворках Backend conf 2016
О фреймворках Backend conf 2016О фреймворках Backend conf 2016
О фреймворках Backend conf 2016
 
Бывает так, что вас нет рядом
Бывает так, что вас нет рядомБывает так, что вас нет рядом
Бывает так, что вас нет рядом
 
Как мы помогаем тестировщикам делать их работу лучше
Как мы помогаем тестировщикам делать их работу лучшеКак мы помогаем тестировщикам делать их работу лучше
Как мы помогаем тестировщикам делать их работу лучше
 
Как мы делаем Banki.ru
Как мы делаем Banki.ruКак мы делаем Banki.ru
Как мы делаем Banki.ru
 
Soa tester view
Soa tester viewSoa tester view
Soa tester view
 

Similar to Heavy metal testing Part 3

The fast and the continuous
The fast and the continuousThe fast and the continuous
The fast and the continuousSQALab
 
The fast and the continuous - SQA Days 16
The fast and the continuous - SQA Days 16The fast and the continuous - SQA Days 16
The fast and the continuous - SQA Days 16Andrei Solntsev
 
Марина Широчкина — «Тестирование»
Марина Широчкина — «Тестирование»Марина Широчкина — «Тестирование»
Марина Широчкина — «Тестирование»Yandex
 
Ольга Лужецька - Exploratory testing: Love it or Leave it?
Ольга Лужецька - Exploratory testing: Love it or Leave it?Ольга Лужецька - Exploratory testing: Love it or Leave it?
Ольга Лужецька - Exploratory testing: Love it or Leave it?DataArt
 
тестирование
тестированиетестирование
тестированиеYandex
 
Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Ontico
 
Экономически эффективный процесс тестирования (Codefest 2015)
Экономически эффективный процесс тестирования (Codefest 2015)Экономически эффективный процесс тестирования (Codefest 2015)
Экономически эффективный процесс тестирования (Codefest 2015)Andrei Solntsev
 
Экономически эффективный процесс тестирования
Экономически эффективный процесс тестированияЭкономически эффективный процесс тестирования
Экономически эффективный процесс тестированияCodeFest
 
Roman Marinsky "Ретроспектива вивчення UI автоматизації"
Roman Marinsky "Ретроспектива вивчення UI автоматизації"Roman Marinsky "Ретроспектива вивчення UI автоматизації"
Roman Marinsky "Ретроспектива вивчення UI автоматизації"Dakiry
 
The fast and the continuous (SeleniumCamp 2014)
The fast and the continuous (SeleniumCamp 2014)The fast and the continuous (SeleniumCamp 2014)
The fast and the continuous (SeleniumCamp 2014)Andrei Solntsev
 
AgileCamp’11 Новосибирск - Test Driven Development (TDD)
AgileCamp’11 Новосибирск - Test Driven Development (TDD)AgileCamp’11 Новосибирск - Test Driven Development (TDD)
AgileCamp’11 Новосибирск - Test Driven Development (TDD)Anton Katkov
 
денис танаев (Mail.ru) втаскиваем культуру a-b тестов в организацию
денис танаев (Mail.ru)   втаскиваем культуру a-b тестов в организациюденис танаев (Mail.ru)   втаскиваем культуру a-b тестов в организацию
денис танаев (Mail.ru) втаскиваем культуру a-b тестов в организациюPCampRussia
 
«Я спросил у сервера...», Илья Пастушков
«Я спросил у сервера...», Илья Пастушков«Я спросил у сервера...», Илья Пастушков
«Я спросил у сервера...», Илья ПастушковDevDay
 
Асхат Уразбаев, Руководство по организации тестирования в Agile
Асхат Уразбаев, Руководство по организации тестирования в AgileАсхат Уразбаев, Руководство по организации тестирования в Agile
Асхат Уразбаев, Руководство по организации тестирования в AgileSQADays_2009_Piter
 
Cовременный контроль качества: давай сделаем это по-быстрому...
Cовременный контроль качества: давай сделаем это по-быстрому...Cовременный контроль качества: давай сделаем это по-быстрому...
Cовременный контроль качества: давай сделаем это по-быстрому...Igor Khrol
 
Автоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производстваАвтоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производстваSQALab
 
SQA Days 10: Фишки просветлённых тест-менеджеров
SQA Days 10: Фишки просветлённых тест-менеджеровSQA Days 10: Фишки просветлённых тест-менеджеров
SQA Days 10: Фишки просветлённых тест-менеджеровNatalya Rukol
 
Полезные "фишки" для построения успешного процесса тестирования
Полезные "фишки" для построения успешного процесса тестированияПолезные "фишки" для построения успешного процесса тестирования
Полезные "фишки" для построения успешного процесса тестированияSQALab
 
Виталий Стрелюк
Виталий СтрелюкВиталий Стрелюк
Виталий СтрелюкSQALab
 

Similar to Heavy metal testing Part 3 (20)

The fast and the continuous
The fast and the continuousThe fast and the continuous
The fast and the continuous
 
The fast and the continuous - SQA Days 16
The fast and the continuous - SQA Days 16The fast and the continuous - SQA Days 16
The fast and the continuous - SQA Days 16
 
Марина Широчкина — «Тестирование»
Марина Широчкина — «Тестирование»Марина Широчкина — «Тестирование»
Марина Широчкина — «Тестирование»
 
Ольга Лужецька - Exploratory testing: Love it or Leave it?
Ольга Лужецька - Exploratory testing: Love it or Leave it?Ольга Лужецька - Exploratory testing: Love it or Leave it?
Ольга Лужецька - Exploratory testing: Love it or Leave it?
 
тестирование
тестированиетестирование
тестирование
 
Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)Наталья Руколь (Лаборатория Качества)
Наталья Руколь (Лаборатория Качества)
 
Экономически эффективный процесс тестирования (Codefest 2015)
Экономически эффективный процесс тестирования (Codefest 2015)Экономически эффективный процесс тестирования (Codefest 2015)
Экономически эффективный процесс тестирования (Codefest 2015)
 
Экономически эффективный процесс тестирования
Экономически эффективный процесс тестированияЭкономически эффективный процесс тестирования
Экономически эффективный процесс тестирования
 
Roman Marinsky "Ретроспектива вивчення UI автоматизації"
Roman Marinsky "Ретроспектива вивчення UI автоматизації"Roman Marinsky "Ретроспектива вивчення UI автоматизації"
Roman Marinsky "Ретроспектива вивчення UI автоматизації"
 
Testing schools overview
Testing schools overviewTesting schools overview
Testing schools overview
 
The fast and the continuous (SeleniumCamp 2014)
The fast and the continuous (SeleniumCamp 2014)The fast and the continuous (SeleniumCamp 2014)
The fast and the continuous (SeleniumCamp 2014)
 
AgileCamp’11 Новосибирск - Test Driven Development (TDD)
AgileCamp’11 Новосибирск - Test Driven Development (TDD)AgileCamp’11 Новосибирск - Test Driven Development (TDD)
AgileCamp’11 Новосибирск - Test Driven Development (TDD)
 
денис танаев (Mail.ru) втаскиваем культуру a-b тестов в организацию
денис танаев (Mail.ru)   втаскиваем культуру a-b тестов в организациюденис танаев (Mail.ru)   втаскиваем культуру a-b тестов в организацию
денис танаев (Mail.ru) втаскиваем культуру a-b тестов в организацию
 
«Я спросил у сервера...», Илья Пастушков
«Я спросил у сервера...», Илья Пастушков«Я спросил у сервера...», Илья Пастушков
«Я спросил у сервера...», Илья Пастушков
 
Асхат Уразбаев, Руководство по организации тестирования в Agile
Асхат Уразбаев, Руководство по организации тестирования в AgileАсхат Уразбаев, Руководство по организации тестирования в Agile
Асхат Уразбаев, Руководство по организации тестирования в Agile
 
Cовременный контроль качества: давай сделаем это по-быстрому...
Cовременный контроль качества: давай сделаем это по-быстрому...Cовременный контроль качества: давай сделаем это по-быстрому...
Cовременный контроль качества: давай сделаем это по-быстрому...
 
Автоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производстваАвтоматизация сборки и тестирования в разрезе эффективного производства
Автоматизация сборки и тестирования в разрезе эффективного производства
 
SQA Days 10: Фишки просветлённых тест-менеджеров
SQA Days 10: Фишки просветлённых тест-менеджеровSQA Days 10: Фишки просветлённых тест-менеджеров
SQA Days 10: Фишки просветлённых тест-менеджеров
 
Полезные "фишки" для построения успешного процесса тестирования
Полезные "фишки" для построения успешного процесса тестированияПолезные "фишки" для построения успешного процесса тестирования
Полезные "фишки" для построения успешного процесса тестирования
 
Виталий Стрелюк
Виталий СтрелюкВиталий Стрелюк
Виталий Стрелюк
 

More from Roman Ivliev

Точка кипения: проектирование крупных веб-систем
Точка кипения:  проектирование крупных веб-системТочка кипения:  проектирование крупных веб-систем
Точка кипения: проектирование крупных веб-системRoman Ivliev
 
Всему своё время Highload Junior 2016
Всему своё время   Highload Junior  2016Всему своё время   Highload Junior  2016
Всему своё время Highload Junior 2016Roman Ivliev
 
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузкиМой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузкиRoman Ivliev
 
Почему почта плохо работает
Почему почта плохо работаетПочему почта плохо работает
Почему почта плохо работаетRoman Ivliev
 
Тренеры и тренинги.
Тренеры и тренинги.Тренеры и тренинги.
Тренеры и тренинги.Roman Ivliev
 
Про построение нагруженных систем
Про построение нагруженных системПро построение нагруженных систем
Про построение нагруженных системRoman Ivliev
 
Про тестирование миграций
Про тестирование миграцийПро тестирование миграций
Про тестирование миграцийRoman Ivliev
 
Qualitative battle for the quantity final
Qualitative battle for the quantity finalQualitative battle for the quantity final
Qualitative battle for the quantity finalRoman Ivliev
 

More from Roman Ivliev (8)

Точка кипения: проектирование крупных веб-систем
Точка кипения:  проектирование крупных веб-системТочка кипения:  проектирование крупных веб-систем
Точка кипения: проектирование крупных веб-систем
 
Всему своё время Highload Junior 2016
Всему своё время   Highload Junior  2016Всему своё время   Highload Junior  2016
Всему своё время Highload Junior 2016
 
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузкиМой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
Мой рассказ на Codefest 2015 о том, как мы пережили рост нагрузки
 
Почему почта плохо работает
Почему почта плохо работаетПочему почта плохо работает
Почему почта плохо работает
 
Тренеры и тренинги.
Тренеры и тренинги.Тренеры и тренинги.
Тренеры и тренинги.
 
Про построение нагруженных систем
Про построение нагруженных системПро построение нагруженных систем
Про построение нагруженных систем
 
Про тестирование миграций
Про тестирование миграцийПро тестирование миграций
Про тестирование миграций
 
Qualitative battle for the quantity final
Qualitative battle for the quantity finalQualitative battle for the quantity final
Qualitative battle for the quantity final
 

Heavy metal testing Part 3

  • 1. Тестирование в стиле «heavy metal*» Часть 2 * Хэви метал Роман Ивлиев
  • 2. Если это все-таки случилось, то как же быть? 2
  • 3. Как же быть? Во-первых, посчитаем 3
  • 4. Как будем считать •Учет ограничений бюджета или сроков. •Аналогия с предыдущими проектами. •Экспертная оценка. •Декомпозиция работ. •Эмпирические оценки. 4
  • 5. Что будем учитывать, чтобы не промахнуться • Неполноту требований. • Непредусмотренные проблемы, связанные с изменением оборудования. • Непредусмотренные проблемы, связанные с использованием 3rd party. • Условное время выполнения задачи. • Время на интеграцию. • Время на подготовку персонала. 5
  • 6. Как же быть? Во-вторых, добавим гибкости 6
  • 8. Two test or not too test Тестируем только то, что необходимо Тестер: «Я нашел баг, самолет не умеет летать задом на перед» PM: «А с чего ты взял, что он должен это делать?» 8
  • 9. О пользе и вреде Unit-тестов Польза Вред •Unit-тест показал, •Unit-тест показал, что код работает. что код работает •Unit-тест – верный именно там, где его путь к выполнили; автоматизации. поэтому... 9
  • 10. Трассировка всего на все Трассируем: • код на требования, • код на железо, • код на тесты, • тесты на железо, • софт на железо, • софт на код,  и т.д. 10
  • 11. Конфигурационное тестирование И уделяем кучу внимания конфигурационному тестированию 11
  • 12. Чистота – залог успеха - 1 Ищем сразу, иначе: • сложнее искать, • сложнее исправлять, • сложнее перепроверить. 12
  • 13. Чистота – залог успеха - 2 Перепроверяем сразу после исправления, иначе: • сложнее искать, • сложнее перепроверить, • «а был ли мальчик?» (с) 13
  • 14. Готово = сделано + протестированно То, что сделано, но не проверено: • портит статистику, • вводит в заблуждение, • это неправда . 14
  • 15. Как же быть? В-третьих, «повторение – мать учения» 15
  • 16. Автоматизация всего, что можно автоматизировать Обширное ручное тестирование для встраиваемых проектов достаточно сложно, если вообще возможно, поэтому: •ручное тестирование только для того, чтобы потом его автоматизировать; •ручное тестирование только там, где нет возможности его автоматизировать. 16
  • 17. Два типа тестирования Пакетный запуск До первого падения 17
  • 18. Тестовые лаборатории Пример архитектуры тестовой лаборатории 18
  • 20. В результате-1 •Тратим время, чтобы оценить заранее и не тратить время потом. •Следим за «чистотой». •Думаем и тщательно выбираем, перед тем, как броситься нажимать кнопки. 20
  • 21. В результате-2 • Трассируем все на все. • Пробуем построить атоматизированный стенд. • Накапливаем и расширяем автотесты. • Если удалось автоматизировать -95+% - очень хорошо. • Гоняем автотесты в двух режимах. 21
  • 22. В результате-3 Надеемся и верим 22
  • 23. Спасибо за внимание! С уважением, Роман Ивлиев E-почта: Roman.ivliev@mail.ru http://dumtest.livejournal.com 23