Successfully reported this slideshow.
Your SlideShare is downloading. ×

Almaz Monitoring

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Loading in …3
×

Check these out next

1 of 18 Ad

Almaz Monitoring

Download to read offline

Самообучающийся адаптивный мониторинг качества больших потоковых и агрегированных данных в финансовой, операционной отчетности и технологических процессах предприятия.
www.inleksys.ru

Компания "Инлексис" (Inleksys) является резидентом Инновационного центра Сколково и выполняет научные исследования для применения в системе Алмаз Мониторинг по промышленному контролю качества данных на основе полностью автономного машинного обучения. www.inleksys.ru

Самообучающийся адаптивный мониторинг качества больших потоковых и агрегированных данных в финансовой, операционной отчетности и технологических процессах предприятия.
www.inleksys.ru

Компания "Инлексис" (Inleksys) является резидентом Инновационного центра Сколково и выполняет научные исследования для применения в системе Алмаз Мониторинг по промышленному контролю качества данных на основе полностью автономного машинного обучения. www.inleksys.ru

Advertisement
Advertisement

More Related Content

Similar to Almaz Monitoring (20)

Advertisement

Recently uploaded (15)

Almaz Monitoring

  1. 1. Самообучающийся адаптивный мониторинг качества сервисов и отчетности «Алмаз» Проект является резидентом Инновационного центра «Сколково»
  2. 2. Отсутствие активного контроля качества Хранилище данных 5% данных занулилось Неверная финансовая отчетность Неверная операционная отчетность Анти- целевой маркетинг Почему выручка не соответствует операционным KPI? Этим данным нельзя верить! Мне это не нужно!
  3. 3. График технологического бизнес процесса Выявлено аномальное поведение! Отсутствие активного контроля качества Возможная Авария! Необходимо проверить процесс на наличие поломок реальные значения доверительный интервал выход за доверительный интервал. Возможны аварии
  4. 4. Требуются постоянно качественные данные в финансовой и оперативной отчетности, промышленных агрегатах и представлениях Требуется real-time мониторинг технологических, экономических и операционных KPI в больших потоковых данных Требуется своевременная реакция на любые нештатные ситуации до того как они окажут существенное влияние Задачи Решение Выгоды Непрерывный автономный мониторинг качества отчетности и потоковых данных Незамедлительная нотификация в случае обнаружения статистически значимых отклонений. Уведомления в мобильном приложении. Самообучающая на имеющихся данных и подстраивающаяся под действия пользователя система, не требующая экспертных знаний Надежные данные Рост доходов бизнеса за счет сокращения времени простоев Предотвращение принятия решений на неточных данных Беспристрастный контроль процессов и незамедлительные нотификации в чрезвычайных ситуациях Предсказания потенциальных сбоев Отсутствие активного контроля качестваБизнес задачи
  5. 5. Разовые всплески Пробелы в данных Статические выбросы Симметричные отклонения Скачок значений Мгновенное выявление атипичных значений с учетом: Сезонности Выходных и праздничных дней Временных суточных интервалов Статических выборов Специфики типовых отклонений Наглядно Сезонность данных Отсутствие активного контроля качестваСамообучающийся контроль качества данных
  6. 6. Машинный анализ тренда Качественно Непрерывное автоматизированное машинное обучение Скользящее среднее Доверительные долевые интервалы Автокорреляции Регрессии Набор специализированных типовых проверок Алгоритмы CUSUM и Shewhart Специализированные нейронные сети Отсутствие активного контроля качестваСамообучающийся контроль качества данных
  7. 7. Самообучающийся контроль качества данных Промышленный непрерывный мониторинг качества поступающих данных Регулярная BI отчетность Аналитические агрегаты Потоковые данные реального времени Операционная отчетность Высоконагруженные технологические процессы Большие данные Промышленно Отсутствие активного контроля качестваСамообучающийся контроль качества данных
  8. 8. Коннекторы к данным Модуль адаптивного самообучающегося анализа данных Модуль управления и отчетности Подсистема уведомлений Библиотека объектов мониторинга Настройка непрерывного адаптивного обучения Настройка параметров уведомлений Отчетность мониторинга … и многие другие MLlib Trello E-mail SMS Интеграционный слой Высоко- скоростная распреде-- ленная отказо- устойчивая система сообщений … и многие другие Отсутствие активного контроля качестваСхема решения Telegram API для внешних систем
  9. 9. Отсутствие активного контроля качестваБиблиотека объектов мониторинга
  10. 10. Система сканирует данные и определяет их тип и особенности (дискретные, строковые, непрерывные, справочные / категориально-долевые и т.п.) для выбора оптимальных моделей Отсутствие активного контроля качестваСоздание нового мониторинга Система позволяет задать поля и группировки мониторинга
  11. 11. Визуализация отклоненийОтсутствие активного контроля качестваВизуализация отклонений
  12. 12. Удобная среда и бизнес-процесс работы с инцидентами Нотификации в мобильном приложении Отсутствие активного контроля качестваУправление инцидентами в Trello
  13. 13. Подключение любых источников данных через API Создание любых производных KPI мониторинга через GUI API интеграции с внешними и отчетными системами инцидент менеджмента Отсутствие активного контроля качестваApache NiFi API для решения интеграционных задач
  14. 14. Kafka Oracle Hadoop PI System Log files Прочие источники данных, подключение с помощью Apache NiFi по открытому API Trello Zabbix E-mail gate SMS gate Jira Telegram Другие системы нотификаций и инцидент менеджмента; предоставляется открытый API WEB UI Zabbix API SMTP SMPP / SMTP2SMPP API Jira API jdbc, restful/soap API WebHDFS, REST/SOAP API https Kafka Streamer Trello API или SMTP to Trello API Виртуальные машины или выделенное железо: Compute Nodes, 2*10Core, 3GHz, 1 Tb SATA HDD, 256Gb RAM Интегра ционный модуль Apache NiFi Java App, Ignite Streaming, Spark SQL Kafka Высоко- скоростная распреде-- ленная отказо- устойчивая система сообщений MongoDB Внутреннее персистентное хранилище HDFS Внутреннее персистентное хранилище jdbc Java App SMTP gate Java Web App Пользовательский интерфейс optional Java App Система нотификаций и внешний API Redis Распределенный In-memory cache Spark Модуль машинного обучения Опциональный DMZ сервис для работы нотификаций вне корпоративного firewall Java App Модуль скоринга Модуль мониторинга собственной инфраструктуры и эластичности sftp Adaptive Machine LearningAdaptive Machine LearningАрхитектура решения Telegram API Apache NiFi
  15. 15. Отсутствие активного контроля качестваПример доверительного интервала На примере данных сетевых проб можно видеть, что машинное обучение системы «Алмаз» качественным образом описывает поведение потока, не смотря на сильные всплески в течение дня и значительные суточные колебания Ночные провалы Регулярные разовые всплески Границы доверительного интервала Тревожный интервал p-статистики
  16. 16. Data Quality нового поколения Самообучающийся адаптивный мониторинг качества сервисов и отчетности «Алмаз» Искусственный интеллект Самообучение Полная автономность Мониторинг и нотификации Состав классического Data Quality продукта Средство анализа/визуализации данных для исследователей Библиотека правил. Эксперты создают правила валидации, эксперты периодически обновляют правила валидации Проверка качества вводимых данных по шаблонам (адреса, e-mails и т.п.) Мониторинг и нотификации Informatica Proactive Monitoring for Data Quality SAS® Data Quality InfoSphere Information Server for Data Quality Trillium Software Data Quality SAP Data Quality Management Отсутствие активного контроля качестваПохожие продукты
  17. 17. Отсутствие активного контроля качестваЗачем ИИ для контроля качества данных?
  18. 18. Спасибо за внимание! Россия, г. Москва, тер. Сколково инновационного центра, Большой Бульвар, дом 42, строение 1 www.inleksys.ru Бахов Владимир ООО «Инлексис» Телефон: +7 (905) 716 54 46 E-mail: vbakhov@inleksys.ru

×