HighLoad++ 2017 Зал «Найроби+Касабланка», 7 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/2938.html Повсюду нас окружают данные, которые изменяются во времени. Их размерности растут, а интенсивности все время увеличиваются. Очень скоро нам будет не хватать даже самых больших мониторов, чтобы одновременно вывести их экран и наблюдать за происходящими изменениями. Нам скорее нужны хорошие алгоритмы для обнаружения необычной активности или аномалий в такого рода данных. ...

1. Обнаружение
аномалий во
временных рядах с
помощью
автоэнкодеров
Павел Филонов

6. CRoss Industry Standard Process for Data Mining
Ref: [6]

7. ref: [1, 2, 3]

11. Временной ряд

12. Аномалия

14. Tennessee Eastman Process Dataset
• Каждый пример представляет собой:
• временной ряд с размерностью 59
• длинной ~ 120 000 точек (~ 120 часов)
• Обучающая выборка:
• 438 примеров
• без аномалий
• Проверочная выборка:
• 406 примеров
• есть примеры с размеченными аномалиями
• Общий объем – 75 Gb
Ref: [4, 5]

16. The Numenta Anomaly Score
Ref: [7]

17. The Numenta Anomaly Score
Ref: [7]
-1.0
1.0
0.0
-1.0
0.999
ignore
-0.81
-1.0
• суммирует результаты
• нормируем от 0 до 100

19. Автокодировщик
Ref: [8, 9]

20. Обнаружение аномалий автоэнкодерами
AutoEncoder
Train
RECONSTRUCT
RECONSTRUCT
Low error
High error

21. Пример работы
Нормальный пример Выброс

22. Пример работы
Смена частоты Смена фазы

23. Архитектуры автоэнкодеров
• Полносвязный
• Рекуррентный
• Синхронный
• Seq2seq

24. Полносвязный автоэнкодер
Input Hidden Output
• Преимущества
• простая архитектура
• хорошо восстанавливает данные
• Недостатки
• пакетный режим работы
• большое число параметров
• аномалия плохо локализуется
• NAB score: 8.3
Time

25. Полносвязный автоэнкодер

26. Рекуррентный автоэнкодер
Input Hidden Output
• Преимущества
• меньше параметров
• Недостатки
• пакетный режим работы
• аномалия плохо локализуется
• NAB score: 10.9

27. Синхронный автоэнкодер
Input Hidden Output
• Преимущества
• мало параметров
• потоковый режим работы
• Недостатки
• аномалия плохо локализуется
• NAB score: 37.2

28. Seq2Seq
Input Hidden Output
• Преимущества
• мало параметров
• Недостатки
• пакетный режим работы
• NAB score: 26.9

29. Сравнительный анализ
1.9
8.3
10.9
26.9
37.2
MinMax
Полносвязный
Рекуррентный
Seq2Seq
Синхронный
NAB score

31. Источники
1. Stuxnet: первые жертвы – securelist
2. German Steel Mill Cyber Attack - ics.sans.org
3. BlackEnergy - habrahabr
4. Pavel Filonov, Fedor Kitashov, Andrey lavrentyev. RNN-based Early Cyber-Attack Detection for
the Tennessee Eastman Process - arxiv.org
5. Marina Krotofil. Damn Vulnerable Chemical Process, vol.2 – slideshare
6. CRISP-DM 1.0. Step-by-step data mining guide - ibm.com
7. Alexander Lavin, Subutai Ahmad. Evaluating Real-time Anomaly Detection Algorithms – the
Numenta Anomaly Benchmark - arxiv.org
8. Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep Learning - deeplearningbook.org
9. Francois Chollet. Building Autoencoders in Keras - keras.io

32. Спасибо за внимание!
email: Pavel.Filonov@Kaspersky.com
github: github.com/sdukshis
twitter: @filonovpv