Документ описывает автоматизацию анализа логов с использованием Elasticsearch и включает в себя его преимущества, такие как высокая скорость работы и легкая масштабируемость. Также обсуждаются инструменты Logstash и Kibana, их плюсы и минусы, а также примеры обработки данных и анализа инцидентов безопасности. В конце документа приведены полезные ссылки для дальнейшего изучения темы.

1. Автоматизация анализа
логов на базе
Elasticsearch

2. Схема реализации

3. Elasticsearch
Elasticsearch is a highly scalable open-
source full-text search and analytics
engine. It allows you to store, search,
and analyze big volumes of data quickly
and in near real time. It is generally
used as the underlying
engine/technology that powers
applications that have complex search
features and requirements.

4. Преимущества Elasticsearch
● Лёгкая масштабируемость на больших объёмах
данных
● Репликация данных
● Высокая скорость работы
● Удобный поисковый движок
● Наличие API (Java API, JavaScript API, Groovy API, .
NET API, PHP API, Perl API, Python API, Ruby API)
● Open source

5. Типовая структура данных в ELK
Index_0 Index_1 Index_n
node_0
node_1
node_n
0 1
2 3
nn-1
0 1
2
n-1
3
n
0
2
n-1
3
n
1

6. Logstash & Kibana?
Logstash
Преимущества:
● Высокая производительность
● Кроссплатформенность (Win &
Linux)
Недостатки:
● Java на всех источниках
событий
● Высокое потребление памяти
Kibana
Преимущества:
● Визуализация данных
● Удобный поиск
Недостатки:
● Отсутствие автоматического
анализа событий
● Нет возможности настроить
оповещения

7. Обработчик данных. Logparser.
● Кроссплатформенность (Win & Linux)
● Фильтрация данных
● Нормализация выходных данных
● Приемлемая скорость работы
● Поиск файлов по маске
● Потребление небольшого количества
ресурсов памяти
● Логирование ошибок

8. Back-end
● Обработка событий в режиме реального
времени
● Оповещение по почте
● Дублирование инцидентов в отдельный
индекс

9. IOA/IOC и RULES
IOA/IOC – простые списки с признаками
различных атак ( доменные имена, IP
адреса, hash-суммы и т.д.)
Rules – комплексные правила описывающие
атаки.

10. Web-интерфейс
● Статистика
● Отображение обнаруженных событий
● IOC и Rules менеджер

11. Статистика

12. Обнаруженные события

13. IOC менеджер

14. IOC менеджер

15. IOA/IOC,
Rules
Анализ публичной
информации
Схема работы
Анализ образцов
вредоносного ПО
Ручной анализ
журналов ИС
Расследование
инцидентов ИБ

16. Логи почты
Apr 25 03:21:50 10.10.10.10 exim[28149]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix LMS check accept:
250 OK
Apr 25 03:21:50 10.10.10.10 exim[28149]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix <=
avme1984@mail.ru H=f419.i.mail.ru P=esmtp S=87714
Apr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix =>
user_1@company.ru <user_1@company.ru> R=smarthost1 T=remote_smtp
Apr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix =>
user_2@company.ru <user_2@company.ru> R=smarthost2 T=remote_smtp
Apr 25 03:21:50 10.10.10.10 exim[28237]: 2015-04-25 03:21:50 1Ylnqv-0007K1-Ix Completed

17. Логи прокси-сервера
10.10.10.10 TCP_MISS/200 6102886 GET http://c2cweroguxu0s53.prettyload.ru/get_file/? user_1
HIER_DIRECT/5.149.255.179 application/octet-stream
10.10.10.10 TCP_MISS_ABORTED/200 2048107 GET http://gtiab0przigane6.battlequest.ru/get_file/?
user_2 HIER_DIRECT/5.149.255.179 application/octet-stream
10.10.10.10 TCP_MISS/200 6006762 GET http://gtiab0przigane6.battlequest.ru/get_file/? user_2
HIER_DIRECT/5.149.255.179 application/octet-stream

18. Логи доступа к флешкам
2015-04-14T12:23:27 WRITE-GRANTED E:ShowFiles.exe 45056 user_1
some_pc_name Removable exe Дисковый накопитель, Дисковый накопитель,
(Стандартные дисковые накопители) 57cec3d9c29184ec90bb60868a78467a1bf42fd7
CN=first_name last_name,OU=REGION
3979481d6bbae1dd28f46b9530cd4897a77c542e
2015-04-14T12:20:45 WRITE-GRANTED E:ShowFiles.exe 45056 user_1
some_pc_name Removable exe Дисковый накопитель, Дисковый накопитель,
(Стандартные дисковые накопители) 57cec3d9c29184ec90bb60868a78467a1bf42fd7
CN=first_name last_name,OU=REGION
3979481d6bbae1dd28f46b9530cd4897a77c542e

19. Пример IOA/IOC

20. Пример срабатывания системы

21. Полезные ссылки
1. https://www.elastic.co/ (Elastic)
2. https://pyes.readthedocs.org/en/latest/index.html (PyES
- Python Elastic Search)
3. https://github.com/aparo/pyes (PyES source)
4. https://discuss.elastic.co/c/meta (Elastic Community)
5. http://www.amcharts.com/ (AMCharts)

22. Вопросы?
gmail.com @knsemyonov
gmail.com @vschetvertakov