Big Data e la forza degli eventi - Intervento di Farina

672 views

Published on

Speech di Farina per l'evento "Big Data e la forza degli eventi" http://www.comunicareonline.it

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
672
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Big Data e la forza degli eventi - Intervento di Farina

  1. 1. Big Data e il monitoraggio diinfrastrutture di rete geograficheL’esperienza di GARRSpeaker: Fabio Farina (fabio.farina@garr.it)Contributi di: Massimo Carboni, Mauro Campanella, Pasquale Mandato, Cristiano ValliWorkshop «Big Data e la forza degli eventi»Università degli Studi di Milano-Bicocca, 1 marzo 2013
  2. 2. Outline Presentazione di GARR  I servizi  La dorsale GARR-X Monitoring nelle reti backbone  Perché e come  Stato degli apparati di rete  Raccolta e analisi del traffico a flussi Il monitoring nell’era della virtualizzazione  L’esperienza del progetto FEDERICA 2 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  3. 3. Consortium GARR Consortium GARR è la rete Italiana della Ricerca  È un’organizzazione non-profit sotto l’egida del Ministero dell’Istruzione dell’Università e della Ricerca  I Soci fondatori sono:  Consiglio Nazionale delle Ricerche, CNR  Ente Nazionale per le Energie Alternative, ENEA  Congrega dei Rettori delle Università Italiane, Fondazione CRUI  Istituto Nazionale di Fisica Nucleare, INFN La sua missione è la gestione e l’evoluzione della dorsale a banda ultra-larga nazionale per la Ricerca, l’Università e i servizi associati GARR partecipa anche a progetto Nazionali e Europei  R&D di networking, Future Internet  Progetti legati alla comunità biomedica, ai beni culturali, ai conservatori,… 3 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  4. 4. La dorsale in fibra GARR-X I numeri di GARR-X  50 Punti di Presenza  500 Gbps aggregati di backbone  280 Gbps aggregati degli accessi  6.500 km backbone e 2.000 di accesso Prestazioni di banda  minimo 10 Mbps per l’accesso degli enti soci  minimo 10 Gbps per i link di backbone  100 Gbps max su singolo link di backbone La comunità  oltre 500 le sedi connesse alla rete  2,5 milioni di docenti, ricercatori, studenti  100 Petabyte il volume totale di traffico nel 2012  Un approccio BigData «puro» non è applicabile Velocità e Volume, minore Variabilità 4 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  5. 5. I servizi di GARR www.servizi.garr.it Funzionamento della rete  GARR-NOC: Network Operations Center  GINS: Monitoring della rete GARR  GARR-NIC/LIR: assegnazione nomi di dominio e IP Sicurezza  GARR CERT: Servizi di sicurezza di rete  SCARR: Scansioni Ripetute a Richiesta Gestione di identità e mobilità  eduROAM: supporto alla mobilità degli utenti GARR  IDEM: Autenticazione e Autorizzazione federata Servizi applicativi  FileSender: il servizio GARR per linvio di file grandi  GARR-VCONF: servizio di multi-videoconferenza  GARR MIRROR 5 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  6. 6. Cosa è il monitoring? A cosa serve?
  7. 7. Chi? Cosa? Dove? Come? Quando? Chi sta accedendo la rete?  Studenti, Professori, Personale, Visitatori o altro Motivi dell’accesso alla rete?  Studi Accademici, Informazioni Generali, Affari, Uso Illegale Da dove stanno accedendo alla rete?  Interno, Esterno Come stanno accedendo alla rete?  Utenza Remota, LAN, WAN, Wi-Fi, VPN, IPSec/SSL Quando hanno acceduto alla rete?  Oggi, Ieri, da una settimana, da un mese … 7 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  8. 8. Chi gestisce la rete è interessato a:Protocolli di routingProtocolli di routingProtocolli di routingProtocolli di routing Precisione PrecisioneQualità del servizioQualità del servizioQualità del servizio Efficienza EfficienzaDiagnostica dei GuastiDiagnostica dei Guasti Asimmetrie Asimmetrie Gateway 1 Gateway 2 Gestione dei Servizi Fattibilità 8 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  9. 9. Fornitore Utente ServizioAgreement Verifica 9 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  10. 10. La necessità di misurare Ogni volta che si vuole dare una valutazione oggettiva Requisito vs Misura  Per ogni servizio ci sono delle grandezze che ne determinano caratteristiche, obiettivi e successo  Non si parla di assenza di servizio ma di misura della CONFORMITÀ rispetto a quanto richiesto Quindi con la misura si possono ottenere  Valutazione del servizio erogato  Ma anche supporto alla pianificazione  per chi gestisce la rete  per lutenza, comprendere meglio come gestire le applicazioni 10 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  11. 11. Active | Passive MonitoringActive Monitoring Passive Monitoring Spedizione di dati rappresentativi del  Si osserva il traffico reale traffico di rete  Da un punto di rete Si misura il comportamento  No traffic  No conclusion Vengono definite metriche End-to-End Proactive troubleshooting 11 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  12. 12. Il strumenti di monitoring in GARR-X 12 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  13. 13. Misure: uso e tecnologie Il punto di vista di chi amministra la rete, il NOC  Assicurarsi che i dispositivi funzionino come atteso  Sfruttare al meglio e bilanciare le potenzialità delle risorse disponibili  Investigare e risolvere rapidamente incidenti o eventuali attacchi Il punto di vista di usa la rete  Richieste fortemente dipendenti dalla applicazione  Per i data transfer massivi massimizzare la banda è il goal  Per le video-conferenze, lo streaming e la telemedicina sono sensibili alle latenze Strumenti devono  Permettere di misurare ciò che è rilevante  Presentare le informazioni in armonia al modus operandi di chi le osserva 13 Nome Cognome Occasione, Luogo, gg.mm.anno
  14. 14. Stato degli apparati di rete Vitale prima di tutto percepire lo stato di salute degli apparati di rete  614 dispositivi a tutti i livelli: ottico WDM, switching, routing  Lambda, peering BGP, MPLS/LSP e relativi servizi di VPN Architettura di monitoring basata su Splunk  Monitoring passivo raccolto ai server della Direzione  Sonde remote syslog con datagrammi UDP 14 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  15. 15. GARR Integrated Networking Suite - GINS Suite software sviluppata ad hoc: parte integrante del sistema informativo di GARR Strumenti di monitoring/statistica/diagnostica e tracking dei problemi  Stato e prestazioni costantemente monitorati  Garanzia di efficienza per l’Università e della Ricerca italiana  Strumento di indagine e di pianificazione Sistemi di acquisizione e visualizzazione delle statistiche di traffico  Statistiche accessi utente, ordinate per PoP di Livello 3 e 2  Backbone, Peering e Weathermap Reportistica dell’attività di rete  Report specifici su richiesta  Report periodici sullo stato e l’utilizzo della rete 15 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  16. 16. GARR Integrated Networking Suite - GINS 16 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  17. 17. GARR Integrated Networking Suite - GINS 17 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  18. 18. Tecnologie abilitanti: misure passive Raccolta, aggregazione e analisi del traffico in transito Visione mediata nel tempo: SNMP Campionamento statistico: Netflow  Visione parziale della reltà  Potenziali problemi di scalabilità nell’analisi  Concetto di flusso TCP/UDP ToS bits Logical Interface Source IP Dest IP Source Port Dest Port flag Type of Service Index 18 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  19. 19. GINS e il monitoring a flussi 19 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  20. 20. Tecnologie abilitanti: misure attive Attività di tipo intrusivo, ovvero si mescola con il traffico di produzione (pregiato) È un modello di monitoring di tipo perturbativo  Bisogna avere laccortezza di non diventare motivo di disservizio  Auto-Denial of Service Cosa possiamo misurare in questo modo?  Informazioni temporali  Delay // Jitter // Drop  Misura della banda disponibile verso punti prestabiliti di rete  Valutare la reale disponibilità di banda ad un istante determinato  Nessuna capacità predittiva solo verifica puntuale 20 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  21. 21. Reaction Trigger to Events Il sistema manda messaggi di Trap scatenati da alcuni eventi:  Connection Loss and Timeout Trigger  Round Trip Time Threshold • Immediate  Average Jitter Threshold • Consecutive • X of Y times  Unidirectional packet loss, latency, jitter • Average Exceeded Threshold No Alert Threshold Alert Violation Violation Alert 100 ms 50 ms Threshold Time violation Resolution 21 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  22. 22. Il monitoring nelle cloudL’esperienza nel progetto FEDERICA 22 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  23. 23. Il progetto FEDERICA http://www.fp7-federica.euFEDERICA = Federated E-infrastructure Dedicated to EuropeanResearchers Innovating in Computing network ArchitecturesDeploy and manage an e-Infrastructure based on virtualization in bothcomputers and network elements as a fundamental tool/playground forresearchers on current and Future Internet, its uses and technologies.Researchers has complete controlof their set of resources (a “slice”) Router/Switch Host for Virtual nodeswith minimal of constraints to enables Ethernet 1 Gbpsdisruptive experiments at allcommunication layers overa realistic substrate.Focus on reproducibility ofthe experiments andin the avoidance ofcomplexity. 23 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  24. 24. La facility FEDERICA Ogni PoP è equipaggiato con device con supporto alla virtualizzazione Nodi  Macchine Virtuali su Vmware 5.0  Router Logici su Juniper MX480 Circuiti fra PoP  1Gbps (IP/MPLS) Circuiti virtuali  Una VLAN di management per ogni slice  User Access Gateway VM  Numero VLAN variabile per il traffico dati a discrezione dello esperimento 24 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  25. 25. FEDERICA come servizio FEDERICA è sia una infrastruttura sia un servizio  Molteplici punti di vista: il gestore, gli utenti, i servizi di provisioning Il NOC  Garantire il corretto funzionamento della facility  Soddisfare richieste di progetti con esigenze peculiari I ricercatori della comunità Future Internet  Topologia scelta dall’utente  Garanzie di banda, latenza e jitter a seconda dell’esperimento  Riproducibilità e isolamento, se richiesti Il sistema di provisioning delle slice  Trovare la mappatura ottimale delle slice sul substrato bilanciando le risorse ed evitando overlap 25 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  26. 26. Prospettive differenti In FEDERICA esistono sempre due prospettive  Il piano di substrato fisico e quello virtuale delle slice  Conseguentemente si hanno due piani di monitoring 26 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  27. 27. Il monitoring in FEDERICA L`effetto della virtualizzazione è un fattore moltiplicativo sul volume di dati prodotti dall’infrastruttura Piattaforma G3 (CESNET) aggregazione e presenta de dati  Del substrato fisico  Monitoring passivo: SNMP, VMware monitoring rCLI, Netflow  Monitoring attivo: tool ad hoc HADES per il NOC  Delle risorse virtuali in ogni slice  Consumo CPU, RAM, disco e rete di ogni VM  Flusso di rete di ogni virtual router e consumo di banda 27 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  28. 28. FEDERICA: i numeri di G3 Entità osservate: 9 parametri per ogni entità  Strato fisico: 9 PoP collegati con 13 circuiti, 9 device di rete dedicati, 14 hypervisor, 1049 interfacce  Strato virtuale: 11 slice statiche, 66 VM, circa 15 slice dinamiche (30 VM e 15 logical router) Granularità e scala  20 sec, periodo 5 min  Misure distribuite nel giorno per evitare sovraccarichi Resultati – Grafici RRD  +6’000 grafici di substrato  126 grafici sugli hypevisor  600-800 grafici per le slice degli utenti 28 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  29. 29. Conclusioni GARR fa convergere al meglio i requisiti posti dalla comunità e le risorse disponibili definendo e mantenendo i propri servizi Profonda comprensione di cosa misurare e come ottenerlo  Ci permette di offrire una rete ottima per le esigenze delle comunità della Ricerca e dell’Università Italiana  Pieno controllo della rete La complessità  Deriva dai differenti punti di vista che i servizi devono considerare e privilegiare  Solo in seguito arrivano le tecnologie per la raccolta e l’aggregazione La mole delle informazioni, il Big Data, è una conseguenza della complessità degli obiettivi e della collaborazione tra le persone 29 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013
  30. 30. Conclusioni Grazie per l’attenzione Domande?Per maggiori informazioni: fabio.farina@garr.it 30 Fabio Farina - GARR WS Big Data, Univ. Milano-Bicocca, 01.03.2013

×