Оптимизация бизнес-процессов и документооборота с использованием NLP технологий Бизнес-кейс: Цифровой аудитор

1. Оптимизация
бизнес-процессов и
документооборота
с использованием
NLP технологий
Бизнес-кейс:
Цифровой аудитор
Милков Максим
m.milkov@softline.com

2. Милков Максим
Технический директор, Lead Data Scientist
Департамента анализа данных (Softline AI)
Выпускник МФТИ, более 10 лет опыта реализации
консалтинговых проектов по анализу данных для
крупнейших российских и международных компаний
в сфере финансов, промышленности, ритейл и др.

4. НАПРАВЛЕНИЯ ДЕЯТЕЛЬНОСТИ
SOFTLINE AI
R&D в области
Data Science
Обучение
Data Science
Внедрение
и настройка
AI инструментов
Разработки
методик
по автоматизации
процесса анализа
данных

5. СОБСТВЕННЫЕ РАЗРАБОТКИ
НА ОСНОВЕ OPEN SOURCE
КОМАНДА
ЭКСПЕРТОВ
МЕЖДУНАРОДНЫЕ ВЕНДОРЫ,
ПЛАТФОРМЫ
ВЕДУЩИЕ
ВУЗЫ

6. 2020
Нормирование цен на примере рынка
канцелярских товаров
Softline AI
Конкурс DataContest
декабрь 2020

7. Проблематика
По причине отсутствия определения предельных цен
на широкий перечень товаров, работ, услуг,
приобретаемых государственными организациями,
а также методических рекомендаций по расчету
нормативных цен и ответственности за их завышение,
при проверке обоснованности расчётов обнаруживается
некорректность нормативных цен, рассчитываемых
организациями, что приводит к завышению
планируемых затрат при формировании бюджета.

8. Задачи
создать решение для:
• формирования справедливой нормативной цены
• с использованием ИИ
• сопоставления нормативных цен, цен закупки и справедливой цены
• оценка корректности
• прогнозирования динамики нормативных цен в будущих периодах
• может быть рекомендована органам
• глубокой аналитики и мониторинга
• с использованием информационных панелей

9. • Проблема
• Ограниченные возможности поиска (связанные с человеком, с площадкой)
• Длительная оценка коммерческого интереса тендерной закупки
• Задача
• Разработать программный продукт для автоматизированного/оптимизированного
поиска тендерных закупок
• Выгоды
• Снижение расходов на поиск тендерных закупок
• Рост скорости обнаружения тендерных закупок, вызывающих коммерческий интерес
• Перепрофилирование сотрудников отдела мониторинга тендеров на более
трудоемкую и значимую деятельность
• Цифровизация процесса для дальнейшего улучшения и моделирования

11. Торговые
площадки
Электронная
площадка(и)
закупок
Озеро данных
Сырые
(html / Word
/ PDF/ …)
Ядро
(реляци-
онные
таблицы)
Аналитика
(витрины)
Информационные
панели
сервисы
(роботы / парсинг / OCR / …)
Источники
данных
ML
микро-сервисы
Сервисы

12. Исторические данные по закупкам и НД
на zakupki.gov.ru / agregatoreat.ru
Актуальные прайс-листы торговых площадок

13. • Python скрипты
• Роботы-«пауки» (загрузка)
• zakupki.gov.ru (ЕИС) – ftp:xml API:json web:html
• agregatoreat.ru (Берёзка) – web:html
• коммерческие торговые площадки – API:json
web:html
• Парсинг (извлечение, трансформация, загрузка в
реляционные таблицы)
• json/xml – десериализация
• html – разбор вёрстки страниц

14. • конвертирование документов из «doc» в «docx»
• поиск релевантных таблиц (нечёткий поиск ключевых слов)
• поиск необходимых столбцов в таблице (нечёткий поиск по
паттернам)
• обработка вложенных подтаблиц
• обработка значений (форматирование, разделение на
наименование и атрибуты – NER модель)

17. Текстовое описание товара (работы, услуги) Векторное описание товара (частотный подход,
категориальный подход, word2vec)
Обучение и валидация модели
Определение справедливой цены из
распределения и категории отклонения

18. • каждый товар описывается
вероятностным распределением цены
• результат применения модели
• из параметров восстановленного
распределения определяется
• рекомендуемая (справедливая) цена
• категория отклонения цен
• шкала -4 – 4
Товар: Маркеры
*упрощённый пример
Характеристика
товара:
Тип
Цена

19. • Метрика определения точности - средняя абсолютная ошибка
(МАЕ), интерпретируемая в контексте данной задачи,
симметричная
• Модель определения справедливой цены (исторические
очищенные данные по закупкам) - 3,41 руб.
• Модель определения цены (прайс-листы торговых онлайн-
площадок) - 6,46 руб.
• Модель прогнозирования справедливой цены (по отдельной
категории “маркеры” на 9 месяцев вперед) - 9,05 руб.

20. • Продуктивная версия
• ЦОД
• Базы Данных / Big Data
• Python микро-сервисы
• SOICA
• BI платформа
• «Облако»
• Прототип
• * Случайная ограниченная выборка закупок
• * Выборка нормативных документов гос. органов
• Локальное файловое хранилище
• Выгрузки табличных данных в плоские файлы
• BI платформа c поддержкой скриптов Python

22. Пример
визуализации
закупки с
значительным
отклонением от
справедливой цены

23. Гео-аналитика в
разрезе
административно-
территориального
деления

24. Разработан
индикатор для
составления
рейтинга
организаций по
уровню отклонений
от справедливой
цены с учётом
объёма закупок

25. Статистика
отклонений от
справедливой цены
по закупкам
выбранного
государственного
органа

26. Уровень отклонения
от справедливой
цены в разрезе
товаров с учетом
объема закупок

27. Сравнение цен
закупки,
рекомендованной и
предельной

28. Цифровой аудитор
• инструмент глубокой аналитики для
• формирования нормативных цен
• мониторинга закупок и сопоставления цен
• прогнозирования цен
• визуального и интерактивного анализа
✓ Разработана методика выявления существенных
отклонений цен
✓ индикатор рейтинга организаций и закупок
✓ Разработан прототип решения

29. Цифровой аудитор
✓ Осуществляется операционный мониторинг
нормативных цен и аналитика процессов
закупочной деятельности
✓ Оптимизация распределения средств бюджета
✓ Формирование рекомендаций по регулированию
процессов формирования

30. • Проблема: При наличии в компании большого количества
регламентов, сотрудникам становится проблематично
находить ответы на вопросы по бизнес процессам.
• Решение: Пользователь задает вопрос в произвольной форме
относительно любого из процессов, описанных в корпоративных
документах, и получает на него ответ в виде фрагмента текста.
• Документы (тех. регламенты) разбиваются на разделы и содержимое каждого
раздела сохраняется в коллекцию документов.
• Обучается и применяется модель ранжирования документов. Для заданного
вопроса отбираются N фрагментов из коллекции документов, потенциально
содержащих ответ.
• Создается и применяется модель поиска ответа. Модель анализирует вопрос и
затем, читая последовательно по словам фрагмент текста, для каждого слова
принимает решение: может ли данное слово являться ответом.
• Дополнительно определяется оценка ответа, которая позволяет ранжировать
ответы если модель находит несколько возможных вариантов.

31. • Пример работы
Правильный ответ:
Вопрос 1: «Где заявитель проводит испытания образцов зерна для подтверждения соответствия?
Ответы:
Уверенность
модели в ответе
Оценка модели: 100
Оценка модели: 76
Альтернативный ответ:

32. Softline Digital
25+ лет на рынке
Глобальное
присутствие
3000+ партнеров
Техническая и
продуктовая экспертиза
Топовые позиции в
международных рейтингах
Команда экстра-класса с глобальной
отраслевой и технической экспертизой
Взаимодополняющие
направления бизнеса
Ведущие научные и
технологические партнеры:
HSE, SkolTech и т.д.
Заказная разработка для разных
отраслей и специфических задач
Быстрая оценка
и быстрый старт цифровой
трансформации