Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

QA Fest 2018. Юрій Сиченко. Testing neural network, or how to convince AI love the humans

22 views

Published on

Основна ідея нашого продукту - розуміти живу людську мову (natural language processing - далі NLP) щоб допомогти страховим компаніям автоматизувати рутину. Спочатку ця функція майже повністю лежала на нейромережі. Проте разом із розумнішанням наших чатботів з цим підходом виникли проблеми, і юзери часто йшли з відчуттям що їх відверто потролили. Буду радий поділитись практиками, за допомогою яких наша команда розробки вивела NLP на якісно новий рівень. Ну і куди ж без веселих скріншотів переписок користувачів з ботами :)

Published in: Education
  • Be the first to comment

  • Be the first to like this

QA Fest 2018. Юрій Сиченко. Testing neural network, or how to convince AI love the humans

  1. 1. Testing neural network, or how to convince AI love the humans t WITH PASSION TO QUALITY Yurii Sychenko QA CONFERENCE #1 IN UKRAINE, KYIV 2018
  2. 2. - controlling the quality since 2014 - assured quality in 1 company, currently in the 2nd one - passionate about smart balance of manual/automation tests - moving forward to penetration testing t WITH PASSION TO QUALITY KYIV 2018 About me
  3. 3. t WITH PASSION TO QUALITY KYIV 2018 Elafris Inc - будуємо чатботи для страхових компаній із США - більше року на ринку - 2 клієнта в лайві
  4. 4. - автоматизувати рутинні процеси через повсякденні канали спілкування - бути на звязку з юзерами 24/7 t WITH PASSION TO QUALITY KYIV 2018 Допомагаємо клієнтам
  5. 5. краще сприймаємо = NLPлюдську мову t WITH PASSION TO QUALITY KYIV 2018 Порівняно з конкурентами ми
  6. 6. надаємо зручні способи (OCR)вводу інформації + маніпуляції даними t WITH PASSION TO QUALITY KYIV 2018 Порівняно з конкурентами ми
  7. 7. FAQпропонуємо вбудований модуль t WITH PASSION TO QUALITY KYIV 2018 Порівняно з конкурентами ми
  8. 8. побудувати процес забезпечення якості в продукті з купою інтеграцій і нетривіальним алгоритмом NLP, який постійно еволюціонує t WITH PASSION TO QUALITY KYIV 2018 Мій челендж
  9. 9. АІ Платформа Дашборд / /speech toФейсбук смс text-text to speech канал t WITH PASSION TO QUALITY KYIV 2018 Архітектура продукту
  10. 10. t WITH PASSION TO QUALITY KYIV 2018 Архітектура продукту
  11. 11. АІ = нейромережа + алгоритм t WITH PASSION TO QUALITY KYIV 2018 Де тут Штучний інтелект?
  12. 12. t WITH PASSION TO QUALITY KYIV 2018 Нейромережа
  13. 13. - ,інтент те чого хоче юзер Yes= confirm No = reject FU = stop conversation t WITH PASSION TO QUALITY KYIV 2018 Нейромережа, інтент
  14. 14. 100% ,ніколи не дає точності в кращому випадку 96% t WITH PASSION TO QUALITY KYIV 2018 Проблема розробки нейромережі
  15. 15. ,важко віддебажити треба перенеавчати t WITH PASSION TO QUALITY KYIV 2018 Проблема розробки нейромережі
  16. 16. - 'об єм і якість датасетів - -кожна нова бізнес вимога ~ новий інтент - =кожен новий інтент переплетення з існуючим t WITH PASSION TO QUALITY KYIV 2018 Проблеми навчання нейромережі
  17. 17. Факапи на демо бізнес хоче показати справжній NLP, технічно це майже неможливо t WITH PASSION TO QUALITY KYIV 2018 Наслідки використання нейронки
  18. 18. Класно провести демо t WITH PASSION TO QUALITY KYIV 2018 Що потрібно бізнесу
  19. 19. - 100%зробити робочий демо сценарій - user inputкраще розпізнавати t WITH PASSION TO QUALITY KYIV 2018 Як допомогти бізнесу провести демо
  20. 20. Наш внутрішній інструмент для інтеграційного тестування системи без участі ФБ t WITH PASSION TO QUALITY KYIV 2018 Flow checker для перевірки демо сценарію
  21. 21. - збирати статистику нерозпізнаних інтентів- збирати статистику нерозпізнаних інтентів - читати переписки юзерів- читати переписки юзерів I love the app but ya have to be joking I would be justified in coming there and smashing your quote chat box with a hammer © usert WITH PASSION TO QUALITY KYIV 2018 Краще розпізнавання — де його знайти
  22. 22. ,слек канал дашборд UI→ АІ → перенавчення → тест t WITH PASSION TO QUALITY KYIV 2018 Нерозпізнані/неправильно розпізнані фрази
  23. 23. - my birthday is 30,02,2022 - i need your clothes your boots and your motorcycle - i wanna change my gender t WITH PASSION TO QUALITY KYIV 2018 Cкладнi фрази
  24. 24. –Розпізнавання нейромережа –Результат неправильне розуміння параметру t WITH PASSION TO QUALITY KYIV 2018 my birthday is 30,02,2022 було
  25. 25. –Розпізнавання нейромережа –Результат неправильний поділ або неправильний параметр t WITH PASSION TO QUALITY KYIV 2018 multiple intents було
  26. 26. –Розпізнавання нейромережа –Результат на кожен параметр потрібен свій інтент = переплетення інтентів t WITH PASSION TO QUALITY KYIV 2018 modify intent було
  27. 27. Recognition service - за списком захардкоджених слів, в обхід нейронки, розуміє що пише юзер t WITH PASSION TO QUALITY KYIV 2018 Що зробили
  28. 28. Розуміти параметр і значення t WITH PASSION TO QUALITY KYIV 2018 Завдання Recognition service
  29. 29. =Точне знання параметру краща екстракція значення t WITH PASSION TO QUALITY KYIV 2018 multiple intents + Recognition service
  30. 30. modify intentЄдиний з 100%майже розпізнаванням =параметрів ніякого переплетення інтентів t WITH PASSION TO QUALITY KYIV 2018 Change my gender + Recognition service
  31. 31. Розпізнавати все що не потрапило в екстрактор =рекогнішн сервісу yes, no, sop conversation, skip... t WITH PASSION TO QUALITY KYIV 2018 Функція нейронки тепер
  32. 32. - -стоп слова для розпізнавання - -стоп слова для навчання t WITH PASSION TO QUALITY KYIV 2018 Подальше покращення нейронки
  33. 33. - розширюємо список трігерів для екстракторів - апдейтимо датасети для навчання і тесту нейронки t WITH PASSION TO QUALITY KYIV 2018 Як глобально покращуємо розпізнавання
  34. 34. semantic similarityНа основі t WITH PASSION TO QUALITY KYIV 2018 FAQ
  35. 35. Оптичне розпізнавання тексту t WITH PASSION TO QUALITY KYIV 2018 OCR
  36. 36. Add/Delete entity Reports t WITH PASSION TO QUALITY KYIV 2018 TODO
  37. 37. -Точність у бізнес =вимогах точність в результатах t WITH PASSION TO QUALITY KYIV 2018 Висновок 1
  38. 38. Нейромережа круто підходить ,для тих випадків коли вимоги не можуть бути точно сформульовані t WITH PASSION TO QUALITY KYIV 2018 Висновок 2
  39. 39. Контроль якості не може впоратись із поставленими задачами самотужки t WITH PASSION TO QUALITY KYIV 2018 Висновок 3
  40. 40. Тільки налагоджена комунікація ,команди тільки QA, тільки хардкор :) t WITH PASSION TO QUALITY KYIV 2018 Висновок висновків
  41. 41. !Прошу t WITH PASSION TO QUALITY KYIV 2018 Питання?
  42. 42. https://www.linkedin.com/in/sychenko/ https://www.facebook.com/y.sychenko t WITH PASSION TO QUALITY KYIV 2018 Дякую за увагу :)
  43. 43. Тема доклада Тема доклада Тема доклада KYIV 2018 WITH PASSION TO QUALITY QA CONFERENCE #1 IN UKRAINE

×