Exploratory testing:
discover critical issues
before they are too expensive.
Introduction
Exploratory testing
як переїзд в інше місто.
• Product Owner не переїжджає в це місто, він його засновує.
• Project Manager не переїжджає в це місто, він організовує будівництво.
• Developer не переїжджає в це місто, він організовує будівництво.
• QA Engineer переїжджає в місто. Більше того, він спеціаліст з переїздів та
дослідження нового середовища. Йому комфортно в будь-якому місті.
How not to loose focus when product is
growing
There are no such things as sprints, 3rd
party libraries or auto tests coverage in
product. There are people’s and
industries tasks to be resolved
Абстрактний випадок, який відбувається в реальному житті
Use case: не мерзнути в очікуванні транспорту, а точно знати де
найближчий тролейбус.
Вирішення із сторони софтверу: еплікейшн що показує фактичну
позицію транспорту маючи дані із GPS надані "Київпастрансом“
Реальність: тролейбус на середині маршруту зникає — поїхав у
депо.
Вирішити із сторони софтверу неможливо, оскільки у даних немає
ознаки того що цей транспорт їде в депо. Щоб додати таку ознаку
необхідно встановити додатковий фізичний пристрій. Це занадто
дороге вирішення цієї задачі.
Вирішити задачу можна просто не вмикаючи GPS для транспорту,
який не закінчить маршрут
Реальний випадок
Use case: підтримка Space Navigator у новій версії
Altium Designer де був повністю переписаний Graphical
Engine
Варіант вирішення: розібратись із драйвером Space
Navigator та адаптувати свій код для його
використання.
Варіант вирішення №2: написати лист у 3D connexion
де попросити оновити конфігураційні файли.
Інший реальний випадок (почутий на одному з QA заходів)
Gambling платформа оновила API, тестування проводилось до оновлення і всі тести були успішні.
Після оновлення API платформи стала можлива ставка, яка перевищує баланс.
Замовник змушений заблокувати виграші та почати судові розбирання. Компанія розробник
припиняє проект і втрачає перманентного замовника.
Причина: не написаний вчасно автотест на інтеграцію, і перевірка тільки своєї частини, тому що
помилка у 3rd
party library.
Regression auto tests
can be harmful for product
Should do:
Push obstacles on same layer
Should not do:
Create new DRC violations
Create acute angles
Good news for people who
like bad news
Good news for people who
like bad news
Програмування — це не важко. Це автоматизація
якихось дій, яка відбувається без ексепшенів.
Розробка — це важко. Це вирішення проблем людей
через програмування.
Автотести — це програмування
Хороші автотести — це розробка
Requirements are QA’s responsibility
Application should work fine in Turkey
Application should work fine in Turkey
i > to upper > İ
I > to lower > ı
There should not be scenarios when solution stops working or
works not properly it's not clear why
There should not be scenarios when solution stops working or
works not properly it's not clear why
Text search should find words typed in text field
Text search should find words typed in text field
España ≠
Text search should find words typed in text field
España ≠
u0045u0073u0070u0061u00f1u0061
≠
u0045u0073u0070u0061u006eu0303u0061
Questions/Discussion
medium.com/@beyond_danube

Alexey Siniavtsesv "Exploratory testing: discover critical issues before they are too expensive"

  • 1.
    Exploratory testing: discover criticalissues before they are too expensive.
  • 2.
  • 5.
  • 6.
    • Product Ownerне переїжджає в це місто, він його засновує. • Project Manager не переїжджає в це місто, він організовує будівництво. • Developer не переїжджає в це місто, він організовує будівництво. • QA Engineer переїжджає в місто. Більше того, він спеціаліст з переїздів та дослідження нового середовища. Йому комфортно в будь-якому місті.
  • 8.
    How not toloose focus when product is growing
  • 18.
    There are nosuch things as sprints, 3rd party libraries or auto tests coverage in product. There are people’s and industries tasks to be resolved
  • 19.
    Абстрактний випадок, якийвідбувається в реальному житті Use case: не мерзнути в очікуванні транспорту, а точно знати де найближчий тролейбус. Вирішення із сторони софтверу: еплікейшн що показує фактичну позицію транспорту маючи дані із GPS надані "Київпастрансом“ Реальність: тролейбус на середині маршруту зникає — поїхав у депо. Вирішити із сторони софтверу неможливо, оскільки у даних немає ознаки того що цей транспорт їде в депо. Щоб додати таку ознаку необхідно встановити додатковий фізичний пристрій. Це занадто дороге вирішення цієї задачі. Вирішити задачу можна просто не вмикаючи GPS для транспорту, який не закінчить маршрут
  • 20.
    Реальний випадок Use case:підтримка Space Navigator у новій версії Altium Designer де був повністю переписаний Graphical Engine Варіант вирішення: розібратись із драйвером Space Navigator та адаптувати свій код для його використання. Варіант вирішення №2: написати лист у 3D connexion де попросити оновити конфігураційні файли.
  • 21.
    Інший реальний випадок(почутий на одному з QA заходів) Gambling платформа оновила API, тестування проводилось до оновлення і всі тести були успішні. Після оновлення API платформи стала можлива ставка, яка перевищує баланс. Замовник змушений заблокувати виграші та почати судові розбирання. Компанія розробник припиняє проект і втрачає перманентного замовника. Причина: не написаний вчасно автотест на інтеграцію, і перевірка тільки своєї частини, тому що помилка у 3rd party library.
  • 22.
    Regression auto tests canbe harmful for product
  • 35.
    Should do: Push obstacleson same layer Should not do: Create new DRC violations Create acute angles
  • 36.
    Good news forpeople who like bad news
  • 37.
    Good news forpeople who like bad news Програмування — це не важко. Це автоматизація якихось дій, яка відбувається без ексепшенів. Розробка — це важко. Це вирішення проблем людей через програмування. Автотести — це програмування Хороші автотести — це розробка
  • 38.
  • 39.
  • 40.
    Application should workfine in Turkey i > to upper > İ I > to lower > ı
  • 41.
    There should notbe scenarios when solution stops working or works not properly it's not clear why
  • 42.
    There should notbe scenarios when solution stops working or works not properly it's not clear why
  • 43.
    Text search shouldfind words typed in text field
  • 44.
    Text search shouldfind words typed in text field España ≠
  • 45.
    Text search shouldfind words typed in text field España ≠ u0045u0073u0070u0061u00f1u0061 ≠ u0045u0073u0070u0061u006eu0303u0061
  • 46.