Nowadays we are drowning in data but starving for knowledge… Experience the challenging task of exploiting apparently unrelated data to address your information needs.
During the lab we will rely on the ELK stack to build up a state-of-the-art framework for data processing and visualization.
2. Chi siamo ?
in più punti diversi della superficie contemporaneamente.
• CY4GATE è una società italiana che si occupa di cyber
intelligence
• Principalmente utilizziamo e sviluppiamo prodotti basati
sullo stack ELK (Elasticsearch, Logstash, Kibana) per i
nostri compiti di data analysis
3. Che cosa faremo oggi ?
in più punti diversi della superficie contemporaneamente.
• Un laboratorio di programmazione che mostrerà
tecnologie nuove per risolvere problemi antichi
• Cercheremo di capire chi traffica stupefacenti all’interno
di carichi di caffè
4. Che cosa faremo oggi ?
in più punti diversi della superficie contemporaneamente.
• Caricheremo ed elaboreremo dei dati eterogenei
provenienti da diverse fonti di informazioni
• Creeremo delle visualizzazioni che permetteranno
all’analista di navigare ed analizzare i dati al meglio
5. Setup Virtual Machine
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
- Add/Active virtual network in Bridge
- Check the IP address
- Check Kibi Istance
- http://xxx.xxx.xxx.xxx:5606
6. Working Folder
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
- Download logtash
- https://download.elastic.co/logstash/logstash/logstash-2.4.1.zip
- Download Working Folder (demo.zip)
- Put into /home/codelab
- unzip demo.zip
7. Reference
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
- https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index.html
- https://www.elastic.co/guide/en/logstash/2.4/index.html
- https://docs.siren.solutions/kibi/community/4.5.4/
8. Step 1a
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
- Index
- transport-data-customs
- imsi-catcher-coffee
- lloyds-data-customs
- phone-tapping-padova
- phone-tapping-short
9. Step 1b
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
- Create Index on Kibi
10. Step 2a
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
- Manage Script upload data
- approdi_trimestre.conf
- brogliaccio_intercettazioni.conf
- imsi.conf
- lloyd_data.conf
- shipping_details.conf
- tabulato_corto.conf
11. Step 2b
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
#Analizzare lo schema su Kibi e impostare i tipi corretti
all’interno dei script di upload.
- Ad esempio:
convert => ["Latitude", "float"]
convert => ["Longitude", "float"]
#Creare un campo come tipo di dato Geopoint
#Creare un campo elapsed che esprima in millesecondi la
durata dell'evento (telefonata)
12. Step 2c
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
# Importare il date format ("dd/MM/yyyy HH:mm:ss") e il
timezone (UTC,it) per uno specifico campo
# Estrarre sottocampi
14. Step 3
- Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente.
• Creazione Join Filter
• Relations between Index Patterns
• Create a new visualization