Нейросеть должна не только правильно классифицировать корректные запросы, но также отфильтровывать заведомо неправильные. Необходимо, чтобы обученная сеть на нерелевантные запросы давала ответ «не знаю», а не предлагала наиболее подходящую услугу. Например, на вопрос «где получить паспорт?», сетка должна назвать номер кабинета и услугу, а на вопрос «где получить паспорт пирата?» ответить «не знаю».

1. УЧЕТ НЕИЗВЕСТНЫХ ПРИЗНАКОВ
НЕЙРОМОДЕЛИ
НА ПРИМЕРЕ КЕЙСА МФЦ
http://cogsys.company
Артем Артемов,
«Когнитивные системы»

2. ПРОБЛЕМА БЛИЗКОГО ОТВЕТА
•Нейросети пытаются найти
наиболее близкий ответ на
любой запрос –
преимущество и проблема
•Особенно актуально в
языковых моделях и
диалоговых системах
• Часто это мешает – такой
ответ может ввести
пользователя в
заблуждение

3. ПРОБЛЕМА БЛИЗКОГО ОТВЕТА
Когда
отвечать
«не знаю»?

4. ЗАДАЧА МФЦ
Разработать нейромодель для
Промобота, консультирующего
посетителей по услугам в МФЦ.

5. ДАННЫЕ
Датасет из 10 000 классифицированных реальных запросов посетителей МФЦ
Запрос Тип услуги
Как получить страховое пенсионное
свидетельство?
Выдача СНИЛС
Как получить добавку к пенсии за службу? Перерасчет пенсии
Что нужно для заказа паспорта? Паспорт РФ
Нужно оформить загран паспорт ребенку? Заграничный Паспорт

6. В основе метода лежит информационный нейробайесовый подход
(ИНП) - весовые коэффициенты интерпретируются как мера
количества информации в признаках объекта для возможности
идентификации его класса.
МЕТОДОЛОГИЧЕСКАЯ ОСНОВА

7. ПРОБЛЕМА
Результаты первичного тестирования:
В первой итерации - 60% правильных классификаций.
Большинство заведомо неправильных запросов классифицировались системой
как корректные.
question true_class first_sim_precedent pred_class confidenсe
Мне необходимо
получить загран.
паспорт
основное|
услуга 5.0|
загран_заход
Документы,
необходимые
для выдачи
паспорта
услуга 2.0|
паспорт_заход|
основное
0,636
Мне надо
заказать льготу на
квартиру
основное|
услуга 15.0|
субсидиижкх_заход
Мне надо
заказать
регистрацию в
квартире
услуга 1.0|
прописка_заход|
основное
0,928

8. ПОСТАНОВКА
Нейросеть должна не только правильно классифицировать
корректные запросы, но также отфильтровывать заведомо
неправильные. Обученная сеть на нерелевантные запросы
должна давать ответ «не знаю», а не предлагать наиболее
подходящую услугу.
Пример: на вопрос «где получить паспорт?»,
модель должна назвать номер кабинета и услугу, а
на вопрос «где получить паспорт пирата?»
ответить – «не знаю».

9. РЕШЕНИЕ – УЧЕТ НЕИЗВЕСТНЫХ ПРИЗНАКОВ
Теорема: В условиях ограниченных данных, равное число одинаково неизвестных
признаков объекта не могут иметь разный вес.
!" = 1 − &"
'неизвест признаки
'все признаки
∑ 45" 65
Представленная модель дисконтирования весов универсальна и, благодаря
коэффициенту &7 , может быть адаптирована для различных функции активации.

10. УРОВЕНЬ УВЕРЕННОСТИ

11. «РЕЦЕПТ» РЕШЕНИЯ ПРОБЛЕМЫ
1. Слова каждого запроса лемматизируются и сводятся к
инвариантам.
2. Преобразованный запрос разбивается на биграммы и
отдельные слова.
3. Выбираем запросы из обучающего датасета, наиболее
полно соответствующих данным по биграммам и униграммам.
4. Степень соответствия определяется по трем функциям SMI, NI
и SRI, от значений которых считается среднее
арифметическое - уровень уверенности (УУ).

12. ОСНОВА РЕШЕНИЯ ПРОБЛЕМЫ
Уровень уверенности - мера оценки незнания системой ответа на
заданный вопрос.
Пользователю выдается ответ, если класс ответа соответствует
приемлемому уровню уверенности
Пользователю выдается сообщение «некорректный вопрос»,
если УУ ниже 60% – высокой вероятности неправильной
классификации.

13. РЕЗУЛЬТАТЫ
Модель показывает 93,64% правильных классификаций с
учетом использования в тесте заведомо корректных и
некорректных запросов*.
*тестовый датасет на 50 000 запросов
Artemov, A & Bolokhov, I & Kem, D & Khasenevich, I. (2019). Neural Network-based
Object Classification by Known and Unknown Features (Based on Text Queries). http://arxiv.org/abs/1906.00800

14. ВЫВОДЫ
Использование УУ позволяет системе :
A. Давать ответы на корректные запросы и отфильтровывать заведомо
неверные.
B. Распознавать парафразы и синонимы.
Пример: система должна давать верный ответ на различные формулировки
вопроса «как получить паспорт», «как получить удостоверение личности» и
т.п.
C. Система оценивает свою возможность дать корректный ответ с помощью
показателя «уровень уверенности» - мера соответствия заданного запроса
найденному. При низком уровне уверенности система дает ответ «не знаю».

15. СПАСИБО ЗА ВНИМАНИЕ
http://cogsys.company