Lviv Direction QADay 2023 (automation) МИХАЙЛО БОДНАРЧУК «Як AI змінить автоматизацію тестування і до чого нам треба готуватись?» QADay telegram: wwww.t.me/goqameetup fb: www.fb.com/goqaevent fb: www.fb.com/qaday.org linkedin: https://www.linkedin.com/company/goqa/ Сайт: www.qaday.org

1. ЯК AI
ЗМІНИТЬ АВТОМАТИЗАЦІЮ
ТЕСТУВАННЯ
І ДО ЧОГО НАМ ТРЕБА
ГОТУВАТИСЬ?
МИХАЙЛО
БОДНАРЧУК
TESTOMAT.IO

3. ПРО МЕНЕ
Михайло Боднарчук
CTO at Testomat.io
Next-gen test management system
Автор CodeceptJS
End2End Testing Framework

4. Що робить
CTO

5. Експерт в AI
1
Не знаю секретних промптів
2
Не знаю всього зоопарку AI-тулів
4
Не підписаний на ChatGPT+, Midjourney
3
писав на Python вже 15 років
5
Я не...

6. Категоризація
Розпізнавання
Генерація контенту
Аналіз тексту
Що вже
вміє AI

7. Приймати рішення
Реагувати на зміни
Розуміти потреби
Оперувати контекстом
Пояснювати вибір
Не галюцінувати
Що не вміє
AI

8. Обмеження AI
Швидкість
Та я швидше за пивком зганяю ніж
він те генерить
Хз?
Нема впевненості в правильності
результату
Ресурси
Або ви розгортаєте свою дорогу
систему на GPU, або платите бабки
OpenAI і пересилаєте їм всі свої
дані

9. Приймати рішення
Реагувати на зміни
Оперувати великим
контекстом
Пояснювати вибір
Не галюцінувати
Що не вміє
AI

10. Чи може автоматизація бути
автоматизованою?

11. Що робить
автоматизатор?
Аналізує
вимоги
Пише сценарії
Підтримує код

12. Авжеж!
ChatGPT,
будеш моїм
автоматизатором?

14. OpenAI не має доступу до
інтернету
OpenAI не може цей
перевірти код
Чому це не
спрацює?

15. А давайте додамо контекст!
Інтегруємо ChatGPT в CodeceptJS

17. Що ми
зробили?
Ми підключились до OpenAI
Ми відкрили booking.com
Ми створюємо prompt і включаємо HTML

18. OpenAI вміє писати код
OpenAI вміє аналізувати HTML
Ми можемо виконати код і
перевірити результат
Чому це спрацює?

19. OpenAI обмежений в контексті (4К токенів)
OpenAI не зберігає сесії
OpenAI обробляє реквест 10-30 секунд
Якщо GPT не впевнений в результаті, він марить
Чому це НЕ спрацює?

20. Як це
починити?

21. Вирізаємо не-інтерактивні HTML елементи
Мініфікуємо HTML
Розбиваємо HTML на чанки
Надсилаємо кілька реквестів і перевіряємо результат

24. Запити до OpenAI дорогі
Запити повільні
Вимагають розбиття HTML
Не дають можливість швидко
реагувати на зміни сторінки
Технічні обмеження

25. Лікування тестів.
Тест перед падінням може проаналізувати HTML і
спробувати поправити впавший крок
Де це ефективно?

27. Обмеження LLM
для автотестів
Відсутність
контекстуальної
пам'яті
Відсутність feeback
loop
Відсутність
візуальної інформації

28. Візуальний
AI

30. Обмеження
візуального AI
Не розуміння HTML
Без поняття що це таке
Потрібне навчання
Деякі компоненти
неочевидні
Інтерактивність
Не розуміння як дії міняють
стан системи

31. Як
забезпечити
feedback
loop?
База станів системи
База компонентів
Керування даними

32. Клієнтські сесії
ЯК НАВЧИТИ СИСТЕМУ
Анонімізуємо
клієнтські сесії.
Формуємо список
станів
Анонімізація даних
Відсікаємо клієнтські дані,
керуємо даними через API
Компоненти
Або як ми їх лагідно
називаємо - пейдж
обжекти

33. Оплатіть ChatGPT Plus щоб згенерувати решту слайдів
Безкоштовні слайди
скінчились
Увага!

34. Якщо ми це зробимо....
Continuous
Exploritary
Testing

35. Стан системи
Можна взяти поточний URL
Може бути прив'язаний до даних
Дія
Заповнення форми, клік
Інший стан
Зміна даних
Керування
станами

36. Як зміниться
робота
тестувальника?
Збираємо
вимоги
Описуємо
специфікації
через BDD
LLM їх аналізує AI їх виконує

37. AI автоматично зрозуміє як перейти до
потрібного стану
AI визначить яку форму треба заповнити
AI визначить що треба перевірити

38. Таймлайн
GPT as assistant
Аналізуємо HTML,
лікуємо локатори,
Візуальне
розпізнавання
Аналіз елементів
сторінки, прийняття
рішень
Стани, переходи
Опис специфікацій через
стани. Фідбек луп.
Continuous
Exploritary Testing
Автоматичнe виконання
тесткейсів

39. GPT As Assistant
вже скоро в CodeceptJS 3.5
(experimental)
codecept.io

40. Дякую!
Михайло Боднарчук
CTO at Testomat.io

41. Testomat.io
Сучасна TMS
Made in 🇺🇦
Manual + Automated
Markdown / BDD
JS/TS Focus
Reports
Analytics
CI Integration
Free for small teams