Документ описывает применение предиктивных моделей в операционной аналитике и их отличие от традиционной аналитики, акцентируя внимание на важности работы с большими данными и машинным обучением. Основное внимание уделяется четырем этапам построения моделей: обработка данных, выявление исторических сбоев, определение значимых признаков и создание предиктивной модели для повышения эффективности управления ИТ-операциями. Использование предиктивных моделей позволяет уменьшить время на устранение сбоев и повысить операционную эффективность.

1. ПРЕДИКТИВНЫЕ МОДЕЛИ
в задачах операционной аналитики

2. Предиктивные
модели
в
задачах
операционной
аналитики
Konstan<n
Obukhov,
Data
Scien+st
at
CleverDATA
25.02.2015

3. cleverdata.ru
|
info@cleverdata.ru
Agenda
1. Чем
занимается
Data
Science?
2. Предиктивная
аналитика
и
моделирование
3. Проблематика
IT
Opera<ons
4. Прогнозная
модель
сбоев
в
работе
систем

4. cleverdata.ru
|
info@cleverdata.ru
Предиктивная
аналитика
и
Data
Science
Объем
Скорость
Вариативность
Скрытые
знания
Конкурентное
преимущество
Анализ
и
обработка
Предиктивные
модели
Data
Science
превращает
объем,
скорость
и
вариативность
Big
Data
в
знания,
которые
позволяют
вывести
бизнес
на
новый
уровень
BIG
DATA

5. cleverdata.ru
|
info@cleverdata.ru
Отличие
Data
Science
от
традиционной
аналитики
Методы
традиционной
аналитики
опираются
на
гипотезу
Гипотеза:
Фактор
Х
влияет
на
эффективность
работы
системы
Аналитика:
0
2
4
6
8
10
1
2
3
4
5
6
7
Эффективность
X
Результат:
Для
увеличения
эффективности
необходимо
уменьшить
Х

6. cleverdata.ru
|
info@cleverdata.ru
Отличие
Data
Science
от
традиционной
аналитики
Данные:
Структурированные
и
Неструктурированные
данные
из
различных
источников
Результат:
Построена
прогнозная
модель
эффективности
работы
системы
В
Data
Science
данные
сами
порождают
анализ
Исследование:
Установлена
значимая
отрицательная
корреляция
фактора
Х
и
эффективности

7. cleverdata.ru
|
info@cleverdata.ru
Agenda
cleverdata.ru
|
info@cleverdata.ru
Технологии
Data
Science
Обработка
больших
данных
Предиктивная
аналитика
Машинное
обучение

8. cleverdata.ru
|
info@cleverdata.ru
Аналитика:
от
дескриптивной
к
предиктивной
Ценность
для
бизнеса
Технологическое
развитие
Описательные
отчеты
Аналитика
в
реальном
времени
Предиктивная
аналитика
• Информация
о
произошедших
событиях
• Ретроспективный
анализ
на
исторических
данных
• Мгновенное
оповещение
о
событиях
• Применение
необходимых
действий
по
реагированию
• Выявление
скрытых
знаний
в
больших
объемах
данных
• Построение
прогнозных
моделей
и
мониторинг
Дескриптивный
анализ
Предиктивное
моделирование

9. cleverdata.ru
|
info@cleverdata.ru
Актуальные
задачи
IT
Opera<ons
• Управление
ресурсами
• Мониторинг
инфраструктуры
• Дизайн
архитектуры
• Внедрение
новых
элементов
и
оборудования
• Выполнение
операций
• Поддержка
систем
Актуальной
проблемой
является
выявление
сбоев
в
работе
различных
систем

10. cleverdata.ru
|
info@cleverdata.ru
Неэффективность
традиционных
методов
прогнозирования
Простейшие
модели
выявления
сбоев
имеют:
• Низкую
точность
детектирования
–
настоящие
сбои
не
идентифицируются
системой
• Высокую
ошибку
ложной
тревоги
–
нормальная
работа
системы
может
считаться
сбоем
• Высокие
вычислительные
затраты
–
большая
нагрузка
на
систему,
невозможность
реагирования
на
ситуацию
в
реальном
времени
Основными
трудностями
задачи
прогнозирования
являются
множество
различных
неструктурированных
данных
из
разных
источников,
а
также
редкие
случаи
сбоев.
Для
решения
необходим
комплексный
подход
к
прогнозированию
с
помощью
алгоритмов
машинного
обучения.

11. cleverdata.ru
|
info@cleverdata.ru
4
этапа
построения
модели
1.
Необходимо
правильно
обработать
данные
• Модель
структурирования
потоковых
данных
позволяет
извлечь
из
машинных
данных
важные
признаки
• Без
обработки
данных
увеличивается
погрешность
прогнозирования
До
обработки
После
обработки
Паттерн
сбоя
2.
Необходимо
найти
сбои
в
исторических
данных
• Для
того,
чтобы
прогнозировать
сбои
в
будущем,
необходимо
«обучиться»
на
прошлых
ошибках.
• Вероятностная
модель
определяет
сбои
как
значимые
отклонения
от
нормального
состояния
работы
систем
Детектирование
значимых
отклонений
от
нормы

12. cleverdata.ru
|
info@cleverdata.ru
4
этапа
построения
модели
3.
Выявление
значимых
признаков
сбоев
• Выявив
сбои,
необходимо
автоматически
найти
причины
их
возникновения
• Методы
корреляционного
анализа
позволяют
найти
причины
прошедших
сбоев
• Используя
предвестники
сбоев
в
системах
можно
заранее
прогнозировать
ошибки
и
предотвратить
их
Корреляционная
матрица
признаков
сбоев
4.
Построение
предиктивной
модели
• Модель
обучается
на
исторических
данных,
сопоставляя
прошлым
наблюдениям
будущую
вероятность
сбоя
в
различных
временных
интервалах
• В
реальном
времени
модель
отслеживает
показатели
систем
и
триггеры
ошибок,
рассчитывая
будущую
вероятность
сбоя

13. cleverdata.ru
|
info@cleverdata.ru
Результаты
и
применение
Повышение
операционной
эффективности
Предиктивные
модели
позволят
извлекать
ценность
из
машинных
данных
и
соблюдать
SLA
Уменьшение
MTTR/MTTI
на
70%
Снижение
среднего
времени
между
отказами
(MTBF),
среднего
времени
на
поиск(MTTI)
и
устранение(MTTR)
сбоя
за
счет
проактивного
мониторинга
в
реальном
времени
Прогнозный
мониторинг
Уделяйте
больше
времени
на
развитие
вашего
бизнеса,
чем
на
мониторинг
сложной
ИТ
инфраструктуры
Планирование
ресурсов
IT
Детальное
представление
о
распределении
и
потреблении
вычислительных
мощностей