Um Case de Arquitetura Distribuída
para Indexação, Armazenamento e
Análise de Logs em Tempo Real
Juan Lopes

COMPLEX EVENT
PROCESSING

TIME SERIES
REAL-TIME

LOGS

CENTENAS DE
SERVIDORES

marvin@goldenheart ~ $ ssh root@deepthought
****
WELCOME TO 1 OF YOUR 38,157,987 SERVERS.
TRY THE VEAL. IT'S THE BEST IN THIS FARM.
****
root@deepthought ~ $ tail -f /var/log.txt
COMO ACESSAR
OS LOGS?

COMO
"DEBUGAR"?

CENTRALIZAR
INDEXAR

3TB / DIA

3TB / DIA
10.000.000.000 MSGS / DIA
36 MB / SEGUNDO

TWITTER
400.000.000 MSGS / DIA
EM JUNHO/2012

LOGGLY
Amplamente utilizado
Primeira opção para cloud
Maior plano não-custom: 12GB/dia
Preço: $1,779/mês

GRAYLOG2
Open Source
Self-hosted
Arquitetura de partes móveis
MongoDB
ElasticSearch
AMQP

SPLUNK
Famoso na área de BigData
Destinado ao mundo Enterprise
Muitos gráficos e relatórios
$6,000 one-time fee: 500MB/dia
500MB < 3TB :(

JAVA

HOTSPOT

java.util.concurrent

VISÃO GERAL
Armazenar
mensagens Interpretar
Indexar

RFC 3164: SYSLOG
<34>Oct 11 22:14:15 mymachine su: 'su
root' failed for lonvick on /dev/pts/8
<priority = facility*8+severity>
<date/time>
<host>
<process>
<message>

CHAVE: VALOR
message <34>Oct 11 22:14:15 mymachine su: 'su root'
failed for lonvick on /dev/pts/8
text su, root, failed, for, lonvick, on, /dev/pts/8
facility AUTH
severity CRITICAL
date 20121011
time 221415
host mymachine
process su

?

MG4J
Egothor
Nutch
Oxyus
BDDBot
Zilverline
YaCy
Compass
Lius
Regain
Piscator
Hounder
HSearch

<FIELD:CONTENT, DOC*>
TEXT:ABACAXI ➜ 1, 3, 9
TEXT:BANANA ➜ 2, 3, 10, 42
TEXT:CAJU ➜ 3, 11, 50

BAIXA ENTROPIA

<10% de termos únicos
menor overhead por mensagem
MESSAGE BAG

VISÃO GERAL
Armazenar
Interpretar Bufferizar
Indexar

<DOC, FREQ, POSITION*>
1, 4 ➜ 5, 6, 10, 20
3, 1 ➜ 40
9, 4 ➜ 6, 7, 8, 9

SCORES NÃO
IMPORTAM

NORMAL
INDEXAÇÃO BUSCA
Field QueryParser
Document Query
IndexWriter IndexSearcher

HARDCORE
INDEXAÇÃO BUSCA
TokenStream TermPositions
Document FieldCache
IndexWriter IndexReader

CULPA DA WIDESCREEN
CULPA DA WIDESCREEN

WEB INTERFACE
Jersey (REST API)
Backbone.js
CometD

WEB INTERFACE
Jersey (REST API)
Backbone.js
CometD "app:apache http 404"?
engine browser
"OK. listen:
/comet/1234568790abcdef"

CULPA DA WIDESCREEN
CULPA DA WIDESCREEN

COMMAND-LINE INTERFACE
Cara e coragem
HttpClient
CometD
/intelie/lognit-cli

REALTIME (AKA TAIL -F)
EVENTS
subscriber

LIGHTWEIGHT TERM TRIE
ABRAÇO
ABRIGO
CHOCOLATE
<RAIZ>
ABR CHOCOLATE
AÇO IGO

AGREGAÇÃO (AKA WC -L)
EVENTS

~10.000 eventos / segundo
http

1 evento / segundo
http => count()

~100 eventos / segundo
http => count()
by host

~100 eventos / 30 segundos
http => count()
by host
every 30 seconds

~100 eventos / 30 segundos
http => avg(cputime#)
by host
every 30 seconds

CULPA DA WIDESCREEN
CULPA DA WIDESCREEN

É PRECISO
ESCALAR

taxa de leitura
MODERADA
taxa de escrita
ALTÍSSIMA
dependência entre os dados
BAIXA

SHARDING
engine
Load
UDP/TCP 514 engine
Balancer
engine

Cluster
engine
engine engine

Cluster
engine
engine
engine

Cluster
engine
Web HTTP
Server
engine engine usuário
Broker

Cluster
engine
Web HTTP
Server
engine engine usuário

Cluster
engine
Multicast engine HTTP
engine usuário

MULTICAST
JChannel channel = new JChannel();
channel.setReceiver(new ReceiverAdapter() {
public void receive(Message msg) {
System.out.println(
msg.getSrc() + ": " + msg.getObject());
}
});
channel.connect("meuCanalDeChat");
BufferedReader reader = new BufferedReader(
new InputStreamReader(System.in));
while(true) {
String line = reader.readLine();
channel.send(null, line);
}

STACK CONFIGURÁVEL

TUDO ESTÁ DISTRIBUÍDO

BUSCA
engine
10
mergesort, take 10
10 last 10 "http_status: 10
engine
404"
usuário
10
engine

BUSCA
engine
10
mergesort, take 10
10 last 10 "http_status: 10
engine 404"
before {id:84324814}
usuário
10
engine

AGREGAÇÃO
http 200 => count() by host
host count
foo 1234
bar 2345
baz 3456

AGREGAÇÃO
count() + count() + count()
engine engine engine

AGREGAÇÃO
http 200 => avg(time) by host
host avg_time
foo 0.888889
bar 0.224568
baz 5.623424

AGREGAÇÃO
avg(time) + avg(time) + avg(time)
?
engine engine engine

AGREGAÇÃO
sum(time) + sum(time) + sum(time)
count(time) + count(time) + count(time)
engine engine engine

AGREGAÇÃO
sum(time) + sum(time) + sum(time)
count(time) + count(time) + count(time)
engine engine engine

E EM PRODUÇÃO?

3.5BI DE MENSAGENS
1TB DE DADOS ORIGINAIS
180GB DE ÍNDICE
3 SERVIDORES (LOAD < 0.2)

UMA ÚLTIMA COISA

1700+
TESTS
99%
LINES
COVERED

OBRIGADO!
/juanplopes
@juanplopes
intelie.com.br