Log management i analizy > to czego nie widać

1. Log management i analizy
> to czego nie widać
Tomasz Sawiak

2. Agenda
 O Firmie
 Obszary analizy logów
 Splunk – co wyróżnia rozwiązanie
 Podejście do wdrożenia
 Use-casy

3. Safe Computing
3
„Doradztwo, projektowanie, implementacja
zabezpieczeń informatycznych i informacji
oraz przeprowadzanie audytów bezpieczeństwa
informatycznego i informacji”
Motto:
chronimy Twoje
informacje
ISO 9001: 2000
1994 rok
grupa
kapitałowa
COMP

4. Struktura usług SafeComputing
4
Bezpieczeństwo
aplikacji
Systemy monitorowania
bezpieczeństwa (ArcSight)
Usługi monitorowania
bezpieczeństwa
Usługi doradcze
i analityczne
Usługi
wdrożeniowe
nowoczesnych
technologii
§
Systemy kontroli treści
§
Systemy monitorujące
i zapobiegające wyciekowi
danych (DLP)
§
Systemy zarządzania ryzykiem
i monitorowania podatności
§
Systemy kontroli zapór
sieciowych
§
Systemy sieciowej kontroli
dostępu
§
Systemy antywirusowe
i antyszpiegowskie
§
Systemy szyfrowania danych

5. Splunk
Centrala: San Francisco, CA
•
Regionalne centra w Hong Kongu i Londynie
•
Powstała w 2004r, pierwsza wersja wydana w 2006r.
 ok. 500 pracowników łącznie w 8 krajach
Przychody: $100M+ w 2011r.
•
Roczny wzrost 112%
3500 Klientów
•
Klienci w 84 krajach
•
50 z fortune 100
5

6. Źródła logów - obszary
6
Zwiększająca się: ilość danych/logów, źródeł, typów
80-95% danych w organizacji jest nieustrukturyzowane
Często logi pozostają dostępne tylko domenach
funkcjonalnch swoich systemów
Nieustanny rozwój nowych technologii – nowe źródła
Zawierają informacje o zachowaniu i aktywności –
użytkowników, systemów, urządzeń, sieci …

7. Różnorodność i ilość technologii
7

8. Jakie są typy informacji w logach?
8
Różne perspektywy
analizy logów
(rożne typy zdarzeń)

9. Brak standardu dla formatu logów
9
Logi aplikacyjne
 Nieudokumentowany format logów
 Zmiany w aplikacjach skutkują często
generowaniem nowych typów zdarzeń
 Tradycyjne narzędzia do zarządzania
logami polegają na schemacie zdarzeń,
które mogą się zmienić
####<Sep 24, 2009 2:52:38 PM PDT> <Warning> <EJB> <virt3> < myserver> <[ACTIVE] ExecuteThread:
'224' for queue: 'weblogic.kernel.Default (self-tuning)'> <<anonymous>> <> <> <1253829158586>
<BEA-010065> <MessageDrivenBean threw an Exception in onMessage(). The exception was:
javax.ejb.EJBException: nested exception is: javax.ejb.ObjectNotFoundException: Bean with
primary key '10011968' was not found by 'findByPrimaryKey'..
javax.ejb.EJBException: nested exception is: javax.ejb.ObjectNotFoundException: Bean with
primary key '10011968' was not found by 'findByPrimaryKey'.
at
com.sun.j2ee.blueprints.opc.customerrelations.ejb.MailOrderApprovalMDB.onMessage(MailOrderApprov
alMDB.java:140)
at weblogic.ejb.container.internal.MDListener.execute(MDListener.java:429)
at weblogic.ejb.container.internal.MDListener.transactionalOnMessage(MDListener.java:335)
at weblogic.ejb.container.internal.MDListener.onMessage(MDListener.java:291)
at weblogic.jms.client.JMSSession.onMessage(JMSSession.java:4072)
at weblogic.jms.client.JMSSession.execute(JMSSession.java:3962)
at weblogic.jms.client.JMSSession$UseForRunnable.run(JMSSession.java:4490)
at weblogic.work.ServerWorkManagerImpl$WorkAdapterImpl.run(ServerWorkManagerImpl.java:518)
at weblogic.work.ExecuteThread.execute(ExecuteThread.java:209)
at weblogic.work.ExecuteThread.run(ExecuteThread.java:181)
[Thu Sep 24 14:57:33 2009] [error] [client 10.2.1.44] ap_proxy: trying GET /petstore/
enter_order_information.screen at backend host '127.0.0.1/7001; got exception
'CONNECTION_REFUSED [os error=0, line 1739 of ../nsapi/URL.cpp]: Error connecting to host
127.0.0.1:7001', referer: http://10.2.1.223/petstore/cart.do?action=purchase&itemId=EST-14

10. Różnorodność i ciągłe zmiany
 100 dostawców = 1000 formatów logów
009-9-18 8:27:58 Local7.Notice
192.168.202.1 Oct 15 2008 00:00:21 ASA
VDN1 : %ASA 5 106100: access list inbound
denied
Sep 24 2009 09:59:28 192.168.2.1
ns5gt-wlan: NetScreen device_id=ns5gt-
wlan [No Name]system-notification-
00257(traffic): start_time="2009-09-24
09:59:28”
Jul 28 2009 15:39:18 '<?xml version="1.0"
encoding="UTF-8" standalone="yes"?><events
Fri Sep 18_18:20:01_PDT_2009|peizhu-wxp02|
64.104.161.154|2389|449|2009-06-01
19:51:28.343|The process 'C:
1253289166.13 306 1.1.1.1 TCP_MISS/200 4215 GET
http://photos-e.ak.fbcdn.net/hphotos-ak-snc1/
Intrusion Detection System
Cisco Security Agent
Ironport Email Security

11. Podejście Splunk’a

12. Kompleksowe podejście do kolekcji i
analizy logów
12
Dowolna ilość logów, lokalizacja, źródło.
Brak narzuconego schematu zdarzeń
Brak tworzenia niestandardowych konektorów
Brak RDBMS

13. Dashboardy i widoki dla różnych ról
13
Analitycy
(Marketing
& Business)
Właściciele
biznesowi
systemów
IT
Audytorzy
Połączenie logów systemowych z
kontekstem biznesowym pozwala na
pokazanie nowego wymiaru analiz

14. Liniowa skalowalność systemu
14

15. Szerokie zastosowanie
15

16. Rosnąca społeczność użytkowników i
aplikacji
16
Ponad 200 Aplikacji dostępnych do wykorzystania dla
Użytkowników

17. Application Management Apps
17

18. IT Operations Management Apps
18

19. Security & Compliance Apps
19

20. Podejście do wdrożenia
20

21. Ewolucja podejścia do analizy logów
21
Wiadro na logi
proaktywne analizy,
wsparcie biznesu w
podejmowaniu
właściwych decyzji
ewolucja

22. Dojrzałość proces monitorowania
22
Analizy
ad’hoc
Proaktywny
monitoring
Doskonalenie procesów
operacyjnych (KPI, KRI)
Nadanie analizom
kontekstu biznesowego

23. Wartość logów dla biznesu i IT
23
10.2.1.44 - [25/Sep/2009:09:52:30 -0700]
type=USER_LOGIN msg=audit(1253898008.056:199891): user pid=25702 uid=0
auid=4294967295 msg='acct="TAYLOR": exe="/usr/sbin/sshd" (hostname=?,
addr=10.2.1.48, terminal=sshd res=failed)'
User IP Action Login Result
 Kontekst IT
•
Utrzymanie SLA i dostępności systemów
Zapewnienie bezpieczeństwa
•
Spełnienie wymogów complance
•
Szybkie analizy i rozwiązywanie problemów
10.2.1.80 - - [25/Jan/2010:09:52:30 -0700]
"GET /petstore/product.screen
?product_id=AV-CB-01 HTTP/1.1" 200 9967 "http://10.2.1.224/petstore/
category.screen?category_id=BIRDS" "Mozilla/5.0 (compatible; Konqueror/3.1;
Linux)”"JSESSIONID=xZDTK81Gjq9gJLGWnt2NXrJ2tpGZb1HyHHV8hJGYFj1DFByvL5L!-1539148667"
User IP Product Category
Kontekst biznesowy
•
Zachowanie klientów
•
Wykorzystanie usług i
produktów
•
Widok transakcji

24. Przykładowe use-casy
 Stworzenie centralnej konsoli (mash up)
integrującej różne konsole systemów
monitorowania – główny widok dla Operation
Center.
 Podstawowe narzędzie analizy logów dla IT
operations, wypełnienie zaleceń audytowych
 Wykorzystanie monitorowania logów do redukcji
kosztów związanych z przestojami
(monitorowania SLA)
 Wykorzystanie analizy logów do wspomagania
decyzji biznesowych
24

25. Use- casy
 Tworzenie raportów z wykorzystania licencji
użytkowników w środowisku SAP
 Complance – zmiana hasła po resecie w help-
desk
 Monitorowania na konta techniczne spoza
dopuszczonych IP
 Monitorowanie wykonania kluczowych
przetwarzań wsadowych w ciągu dnia
 Uzupełnienie ochrony AV – monitorowanie
odwołań do domen z blacklisty
 Logowania z IP na blackliście
 ….
25

26. Wzbogacanie danych
 Nadanie kontekstu zdarzeniom
 Mapa sieci (network modeling)
 Uzupełnianie ID użytkownika o nazwę
departamentu i dodatkowe informacje przy
analizach
 Tworzenie blacklist (np. labsecura.com -> ssh
honeypot)
26

27. Splunk> Ponad 3500 klientów
(w 84 krajach)
27

28. Dziękujemy za uwagę
28
flickr: juhansonin