Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

476 views

Published on

Nowadays we are drowning in data but starving for knowledge… Experience the challenging task of exploiting apparently unrelated data to address your information needs.
During the lab we will rely on the ELK stack to build up a state-of-the-art framework for data processing and visualization.

Published in: Technology
  • Be the first to comment

Master the chaos: from raw data to analytics - Andrea Pompili, Riccardo Rossi, Antonio Di Marco - Codemotion Milan 2016

  1. 1. COMPANY PROFILE
  2. 2. Chi siamo ? in più punti diversi della superficie contemporaneamente. • CY4GATE è una società italiana che si occupa di cyber intelligence • Principalmente utilizziamo e sviluppiamo prodotti basati sullo stack ELK (Elasticsearch, Logstash, Kibana) per i nostri compiti di data analysis
  3. 3. Che cosa faremo oggi ? in più punti diversi della superficie contemporaneamente. • Un laboratorio di programmazione che mostrerà tecnologie nuove per risolvere problemi antichi • Cercheremo di capire chi traffica stupefacenti all’interno di carichi di caffè
  4. 4. Che cosa faremo oggi ? in più punti diversi della superficie contemporaneamente. • Caricheremo ed elaboreremo dei dati eterogenei provenienti da diverse fonti di informazioni • Creeremo delle visualizzazioni che permetteranno all’analista di navigare ed analizzare i dati al meglio
  5. 5. Setup Virtual Machine - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. - Add/Active virtual network in Bridge - Check the IP address - Check Kibi Istance - http://xxx.xxx.xxx.xxx:5606
  6. 6. Working Folder - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. - Download logtash - https://download.elastic.co/logstash/logstash/logstash-2.4.1.zip - Download Working Folder (demo.zip) - Put into /home/codelab - unzip demo.zip
  7. 7. Reference - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. - https://www.elastic.co/guide/en/elasticsearch/reference/2.3/index.html - https://www.elastic.co/guide/en/logstash/2.4/index.html - https://docs.siren.solutions/kibi/community/4.5.4/
  8. 8. Step 1a - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. - Index - transport-data-customs - imsi-catcher-coffee - lloyds-data-customs - phone-tapping-padova - phone-tapping-short
  9. 9. Step 1b - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. - Create Index on Kibi
  10. 10. Step 2a - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. - Manage Script upload data - approdi_trimestre.conf - brogliaccio_intercettazioni.conf - imsi.conf - lloyd_data.conf - shipping_details.conf - tabulato_corto.conf
  11. 11. Step 2b - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. #Analizzare lo schema su Kibi e impostare i tipi corretti all’interno dei script di upload. - Ad esempio: convert => ["Latitude", "float"] convert => ["Longitude", "float"] #Creare un campo come tipo di dato Geopoint #Creare un campo elapsed che esprima in millesecondi la durata dell'evento (telefonata)
  12. 12. Step 2c - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. # Importare il date format ("dd/MM/yyyy HH:mm:ss") e il timezone (UTC,it) per uno specifico campo # Estrarre sottocampi
  13. 13. Esempi di dashboard
  14. 14. Step 3 - Uno schermo tattile multitocco si differenzia dai precedenti per il fatto che è sensibile al tocco in più punti diversi della superficie contemporaneamente. • Creazione Join Filter • Relations between Index Patterns • Create a new visualization

×