1.
Testing neural network, or how to
convince AI love the humans
t
WITH PASSION TO
QUALITY
Yurii Sychenko
QA CONFERENCE #1 IN UKRAINE, KYIV 2018

2.
- controlling the quality since 2014
- assured quality in 1 company, currently in the 2nd
one
- passionate about smart balance of
manual/automation tests
- moving forward to penetration testing
t WITH PASSION TO QUALITY
KYIV 2018
About me

3.
t WITH PASSION TO QUALITY
KYIV 2018
Elafris Inc
- будуємо чатботи
для страхових
компаній із США
- більше року на
ринку
- 2 клієнта в лайві

4.
- автоматизувати рутинні
процеси через повсякденні
канали спілкування
- бути на звязку з юзерами
24/7
t WITH PASSION TO QUALITY
KYIV 2018
Допомагаємо клієнтам

5.
краще сприймаємо
= NLPлюдську мову
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми

6.
надаємо зручні способи
(OCR)вводу інформації
+ маніпуляції даними
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми

7.
FAQпропонуємо вбудований модуль
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми

8.
побудувати процес
забезпечення якості в
продукті з купою інтеграцій і
нетривіальним алгоритмом
NLP, який постійно
еволюціонує
t WITH PASSION TO QUALITY
KYIV 2018
Мій челендж

9.
АІ
Платформа
Дашборд
/ /speech toФейсбук смс
text-text to speech
канал
t WITH PASSION TO QUALITY
KYIV 2018
Архітектура продукту

10.
t WITH PASSION TO QUALITY
KYIV 2018
Архітектура продукту

11.
АІ
=
нейромережа
+
алгоритм
t WITH PASSION TO QUALITY
KYIV 2018
Де тут Штучний інтелект?

12.
t WITH PASSION TO QUALITY
KYIV 2018
Нейромережа

13.
- ,інтент те чого хоче юзер
Yes= confirm
No = reject
FU = stop conversation
t WITH PASSION TO QUALITY
KYIV 2018
Нейромережа, інтент

14.
100% ,ніколи не дає точності в кращому випадку
96%
t WITH PASSION TO QUALITY
KYIV 2018
Проблема розробки нейромережі

15.
,важко віддебажити треба перенеавчати
t WITH PASSION TO QUALITY
KYIV 2018
Проблема розробки нейромережі

16.
- 'об єм і якість датасетів
- -кожна нова бізнес вимога
~ новий інтент
- =кожен новий інтент
переплетення з існуючим
t WITH PASSION TO QUALITY
KYIV 2018
Проблеми навчання нейромережі

17.
Факапи на демо
бізнес хоче показати
справжній NLP, технічно це
майже неможливо
t WITH PASSION TO QUALITY
KYIV 2018
Наслідки використання нейронки

18.
Класно провести демо
t WITH PASSION TO QUALITY
KYIV 2018
Що потрібно бізнесу

19.
- 100%зробити робочий демо сценарій
- user inputкраще розпізнавати
t WITH PASSION TO QUALITY
KYIV 2018
Як допомогти бізнесу провести демо

20.
Наш внутрішній інструмент для інтеграційного
тестування системи без участі ФБ
t WITH PASSION TO QUALITY
KYIV 2018
Flow checker для перевірки демо сценарію

21.
- збирати статистику нерозпізнаних інтентів- збирати статистику нерозпізнаних інтентів
- читати переписки юзерів- читати переписки юзерів
I love the app but ya have to be joking I would be
justified in coming there and smashing your quote chat
box with a hammer © usert WITH PASSION TO QUALITY
KYIV 2018
Краще розпізнавання — де його знайти

22.
,слек канал дашборд
UI→ АІ →
перенавчення → тест
t WITH PASSION TO QUALITY
KYIV 2018
Нерозпізнані/неправильно розпізнані фрази

23.
- my birthday is 30,02,2022
- i need your clothes your boots
and your motorcycle
- i wanna change my gender
t WITH PASSION TO QUALITY
KYIV 2018
Cкладнi фрази

24.
–Розпізнавання
нейромережа
–Результат
неправильне розуміння
параметру
t WITH PASSION TO QUALITY
KYIV 2018
my birthday is 30,02,2022 було

25.
–Розпізнавання
нейромережа
–Результат
неправильний поділ
або неправильний
параметр
t WITH PASSION TO QUALITY
KYIV 2018
multiple intents було

26.
–Розпізнавання
нейромережа
–Результат на кожен
параметр потрібен свій інтент =
переплетення інтентів
t WITH PASSION TO QUALITY
KYIV 2018
modify intent було

27.
Recognition service
- за списком
захардкоджених слів, в
обхід нейронки, розуміє
що пише юзер
t WITH PASSION TO QUALITY
KYIV 2018
Що зробили

28.
Розуміти параметр і значення
t WITH PASSION TO QUALITY
KYIV 2018
Завдання Recognition service

29.
=Точне знання параметру краща екстракція
значення
t WITH PASSION TO QUALITY
KYIV 2018
multiple intents + Recognition service

30.
modify intentЄдиний з
100%майже
розпізнаванням
=параметрів ніякого
переплетення інтентів
t WITH PASSION TO QUALITY
KYIV 2018
Change my gender + Recognition service

31.
Розпізнавати все
що не потрапило в
екстрактор
=рекогнішн сервісу
yes, no, sop
conversation, skip...
t WITH PASSION TO QUALITY
KYIV 2018
Функція нейронки тепер

32.
- -стоп слова для розпізнавання
- -стоп слова для навчання
t WITH PASSION TO QUALITY
KYIV 2018
Подальше покращення нейронки

33.
- розширюємо список трігерів для екстракторів
- апдейтимо датасети для навчання і тесту
нейронки
t WITH PASSION TO QUALITY
KYIV 2018
Як глобально покращуємо розпізнавання

34.
semantic similarityНа основі
t WITH PASSION TO QUALITY
KYIV 2018
FAQ

35.
Оптичне
розпізнавання
тексту
t WITH PASSION TO QUALITY
KYIV 2018
OCR

36.
Add/Delete entity
Reports
t WITH PASSION TO QUALITY
KYIV 2018
TODO

37.
-Точність у бізнес
=вимогах
точність в
результатах
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 1

38.
Нейромережа
круто підходить
,для тих випадків
коли вимоги не
можуть бути
точно
сформульовані
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 2

39.
Контроль якості не
може впоратись із
поставленими
задачами
самотужки
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 3

40.
Тільки
налагоджена
комунікація
,команди тільки
QA, тільки хардкор
:)
t WITH PASSION TO QUALITY
KYIV 2018
Висновок висновків

41.
!Прошу
t WITH PASSION TO QUALITY
KYIV 2018
Питання?

42.
https://www.linkedin.com/in/sychenko/
https://www.facebook.com/y.sychenko
t WITH PASSION TO QUALITY
KYIV 2018
Дякую за увагу :)

43.
Тема доклада
Тема доклада
Тема доклада
KYIV 2018
WITH PASSION TO QUALITY
QA CONFERENCE #1 IN UKRAINE