SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our User Agreement and Privacy Policy.
SlideShare uses cookies to improve functionality and performance, and to provide you with relevant advertising. If you continue browsing the site, you agree to the use of cookies on this website. See our Privacy Policy and User Agreement for details.
Successfully reported this slideshow.
Activate your 30 day free trial to unlock unlimited reading.
QA Fest 2018. Юрій Сиченко. Testing neural network, or how to convince AI love the humans
Основна ідея нашого продукту - розуміти живу людську мову (natural language processing - далі NLP) щоб допомогти страховим компаніям автоматизувати рутину. Спочатку ця функція майже повністю лежала на нейромережі. Проте разом із розумнішанням наших чатботів з цим підходом виникли проблеми, і юзери часто йшли з відчуттям що їх відверто потролили. Буду радий поділитись практиками, за допомогою яких наша команда розробки вивела NLP на якісно новий рівень. Ну і куди ж без веселих скріншотів переписок користувачів з ботами :)
Основна ідея нашого продукту - розуміти живу людську мову (natural language processing - далі NLP) щоб допомогти страховим компаніям автоматизувати рутину. Спочатку ця функція майже повністю лежала на нейромережі. Проте разом із розумнішанням наших чатботів з цим підходом виникли проблеми, і юзери часто йшли з відчуттям що їх відверто потролили. Буду радий поділитись практиками, за допомогою яких наша команда розробки вивела NLP на якісно новий рівень. Ну і куди ж без веселих скріншотів переписок користувачів з ботами :)
QA Fest 2018. Юрій Сиченко. Testing neural network, or how to convince AI love the humans
1.
Testing neural network, or how to
convince AI love the humans
t
WITH PASSION TO
QUALITY
Yurii Sychenko
QA CONFERENCE #1 IN UKRAINE, KYIV 2018
2.
- controlling the quality since 2014
- assured quality in 1 company, currently in the 2nd
one
- passionate about smart balance of
manual/automation tests
- moving forward to penetration testing
t WITH PASSION TO QUALITY
KYIV 2018
About me
3.
t WITH PASSION TO QUALITY
KYIV 2018
Elafris Inc
- будуємо чатботи
для страхових
компаній із США
- більше року на
ринку
- 2 клієнта в лайві
4.
- автоматизувати рутинні
процеси через повсякденні
канали спілкування
- бути на звязку з юзерами
24/7
t WITH PASSION TO QUALITY
KYIV 2018
Допомагаємо клієнтам
5.
краще сприймаємо
= NLPлюдську мову
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми
6.
надаємо зручні способи
(OCR)вводу інформації
+ маніпуляції даними
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми
7.
FAQпропонуємо вбудований модуль
t WITH PASSION TO QUALITY
KYIV 2018
Порівняно з конкурентами ми
8.
побудувати процес
забезпечення якості в
продукті з купою інтеграцій і
нетривіальним алгоритмом
NLP, який постійно
еволюціонує
t WITH PASSION TO QUALITY
KYIV 2018
Мій челендж
9.
АІ
Платформа
Дашборд
/ /speech toФейсбук смс
text-text to speech
канал
t WITH PASSION TO QUALITY
KYIV 2018
Архітектура продукту
10.
t WITH PASSION TO QUALITY
KYIV 2018
Архітектура продукту
11.
АІ
=
нейромережа
+
алгоритм
t WITH PASSION TO QUALITY
KYIV 2018
Де тут Штучний інтелект?
12.
t WITH PASSION TO QUALITY
KYIV 2018
Нейромережа
13.
- ,інтент те чого хоче юзер
Yes= confirm
No = reject
FU = stop conversation
t WITH PASSION TO QUALITY
KYIV 2018
Нейромережа, інтент
14.
100% ,ніколи не дає точності в кращому випадку
96%
t WITH PASSION TO QUALITY
KYIV 2018
Проблема розробки нейромережі
15.
,важко віддебажити треба перенеавчати
t WITH PASSION TO QUALITY
KYIV 2018
Проблема розробки нейромережі
16.
- 'об єм і якість датасетів
- -кожна нова бізнес вимога
~ новий інтент
- =кожен новий інтент
переплетення з існуючим
t WITH PASSION TO QUALITY
KYIV 2018
Проблеми навчання нейромережі
17.
Факапи на демо
бізнес хоче показати
справжній NLP, технічно це
майже неможливо
t WITH PASSION TO QUALITY
KYIV 2018
Наслідки використання нейронки
18.
Класно провести демо
t WITH PASSION TO QUALITY
KYIV 2018
Що потрібно бізнесу
19.
- 100%зробити робочий демо сценарій
- user inputкраще розпізнавати
t WITH PASSION TO QUALITY
KYIV 2018
Як допомогти бізнесу провести демо
20.
Наш внутрішній інструмент для інтеграційного
тестування системи без участі ФБ
t WITH PASSION TO QUALITY
KYIV 2018
Flow checker для перевірки демо сценарію
22.
,слек канал дашборд
UI→ АІ →
перенавчення → тест
t WITH PASSION TO QUALITY
KYIV 2018
Нерозпізнані/неправильно розпізнані фрази
23.
- my birthday is 30,02,2022
- i need your clothes your boots
and your motorcycle
- i wanna change my gender
t WITH PASSION TO QUALITY
KYIV 2018
Cкладнi фрази
24.
–Розпізнавання
нейромережа
–Результат
неправильне розуміння
параметру
t WITH PASSION TO QUALITY
KYIV 2018
my birthday is 30,02,2022 було
25.
–Розпізнавання
нейромережа
–Результат
неправильний поділ
або неправильний
параметр
t WITH PASSION TO QUALITY
KYIV 2018
multiple intents було
26.
–Розпізнавання
нейромережа
–Результат на кожен
параметр потрібен свій інтент =
переплетення інтентів
t WITH PASSION TO QUALITY
KYIV 2018
modify intent було
27.
Recognition service
- за списком
захардкоджених слів, в
обхід нейронки, розуміє
що пише юзер
t WITH PASSION TO QUALITY
KYIV 2018
Що зробили
28.
Розуміти параметр і значення
t WITH PASSION TO QUALITY
KYIV 2018
Завдання Recognition service
29.
=Точне знання параметру краща екстракція
значення
t WITH PASSION TO QUALITY
KYIV 2018
multiple intents + Recognition service
30.
modify intentЄдиний з
100%майже
розпізнаванням
=параметрів ніякого
переплетення інтентів
t WITH PASSION TO QUALITY
KYIV 2018
Change my gender + Recognition service
31.
Розпізнавати все
що не потрапило в
екстрактор
=рекогнішн сервісу
yes, no, sop
conversation, skip...
t WITH PASSION TO QUALITY
KYIV 2018
Функція нейронки тепер
32.
- -стоп слова для розпізнавання
- -стоп слова для навчання
t WITH PASSION TO QUALITY
KYIV 2018
Подальше покращення нейронки
33.
- розширюємо список трігерів для екстракторів
- апдейтимо датасети для навчання і тесту
нейронки
t WITH PASSION TO QUALITY
KYIV 2018
Як глобально покращуємо розпізнавання
34.
semantic similarityНа основі
t WITH PASSION TO QUALITY
KYIV 2018
FAQ
35.
Оптичне
розпізнавання
тексту
t WITH PASSION TO QUALITY
KYIV 2018
OCR
36.
Add/Delete entity
Reports
t WITH PASSION TO QUALITY
KYIV 2018
TODO
37.
-Точність у бізнес
=вимогах
точність в
результатах
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 1
38.
Нейромережа
круто підходить
,для тих випадків
коли вимоги не
можуть бути
точно
сформульовані
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 2
39.
Контроль якості не
може впоратись із
поставленими
задачами
самотужки
t WITH PASSION TO QUALITY
KYIV 2018
Висновок 3
40.
Тільки
налагоджена
комунікація
,команди тільки
QA, тільки хардкор
:)
t WITH PASSION TO QUALITY
KYIV 2018
Висновок висновків
41.
!Прошу
t WITH PASSION TO QUALITY
KYIV 2018
Питання?
42.
https://www.linkedin.com/in/sychenko/
https://www.facebook.com/y.sychenko
t WITH PASSION TO QUALITY
KYIV 2018
Дякую за увагу :)
43.
Тема доклада
Тема доклада
Тема доклада
KYIV 2018
WITH PASSION TO QUALITY
QA CONFERENCE #1 IN UKRAINE