Il mio intervento al Data Driven Innovation 2017

1. DIVENTARE FAMOSI CON
LO STACK ELK
di Alfonso Iannotta

2. MI PRESENTO:
- Laureato in informatica
- Da 20 anni lavoro nell’IT
- Appassionato di tecnologie Open Source

3. TIMELINEPERCHÈ AVRETE SUCCESSO

4. COME APPLICARE LO STACKELK
6. Codivisione con:
Business, Sviluppo
Operations …
1. Acquisizione dei log da
Server, Network Device,
Business Application, Database...
2. Interazione con i sistemi di
Allarmistica e Ticketing
4. Troubleshooting efficiente
Analisi proattiva 3. Retention breve termine
Archiviazione lungo termine
5. Analisi Incident,
Report lungo periodo
Correlazione eventi

5. COSA È LO STACK ELK
• Ingestion
• Parsing
Step 1
Title
• Indicizzazione
• Aggregazione
Step 2
Title
• Presentazione
Step 3
Title

6. - Basato su
- Organizzato in Cluster
- Nodi specializzati: Data,Master,Ingestion,Coordinating
- Gestisce dati in formato Json
- Utilizza le Shards blocchi di dati replicati

7. - Scritto in jruby
- Input Plugin: file, SQL, JMX, EXEC, TCP/UDP …
- Filter Plugin: Grock, KV, XML, aggregate, …
- Output Plugin: Elasticsearch, Redis, Kafka, …
- Information enrichment: GeoIP,

8. - Costruisce grafici, tabelle o mappe
- Effettua query su Elasticsearch
- Supporta le Timeseries
- Realtime
- Drill down tramite filtri

9. ARCHITETTURA ELK
Data node
Sono i nodi del cluster
su cui risiedono i dati.
Master node
Sono i nodi che gestiscono
i Data node.
Coordinating node
Ospitano Kibana, ricevono tutte
le richieste di visualizzazione dei
dati.
Ingestion node
Sono i nodi che trasportano i dati
nella piattaforma Elasticsearch.

10. ECOSISTEMA ELK
- Broker messages:
- Twemproxy (Nutcracker)
- Curator
- Rsyslog

11. ELK È UN FRAMEWORK BIG DATA?
Perche si Perche no
Non supporta gli algoritmi tipici dei Big
Data
• Machine learning
• Data mining
• Analisi predittive
• Compliant con le 4V di Big Data
• Volume
• Velocità
• Varietà
• Veridicità
Near Real Time

12. ELK + HADOOP = ES-HADOOP

13. DOMANDE E RIFERIMENTI
Alfonso.iannotta@gmail.com