Copyright © 2013 Splunk, Inc.




Splunking Big Data

 Michele Guglielmo – Territory Manager Italy
Missione


Rendere i Dati Macchina accessibili,
utilizzabili e valorizzabili da chiunque



                    2
La situazione
    Data
Diversity
                  Data
                  Volume               “ Tra il 2009 and 2020addati
                                                              i
                                         digitali cresceranno un
                                         CAGR del 45%
                                                               “
                                         IDC 2010 Storage Market View

                     Traditional
                     Tools
                                       “Ipiù del 90% nell’universo
                                          dati non strutturati pesano

                                        digitale
                                                   “
                                        IDC 2011 Digital Universe Study:
                                        Extracting Value from Chaos

                        Desired Time
                        to Answer

 I Digital Data cresceranno in maniera esponenziale


                           3
Definizione di Big Data


 “Big Data is Data that exceeds the
processing capacity of conventional
        Database Systems”
             O’Reilly Radar, “What Is Big Data?”, January 2012




                       4
Definizione di Big Data


  Volume
  Velocità
   Varietà
 Variabilità
           5
La situazione
                                                                      “ Tra il 2009 and 2020addati
                                                                                             i
                                                                        digitali cresceranno un
                                                                        CAGR del 45%
                                                                                              “
Volumi e tipi di fonti dei dati stanno esplodendo
80-95% dei dati di un organizzazione non sono strutturati               IDC 2010 Storage Market View
Se conservati, lo sono secondo l’approccio silos
Non esiste uno standard per i log
Log di applicazioni custom sono variabili e non prevedibili
Nuove tecnologie aggiungono nuovi dati
                                                                      “Ipiù del 90% nell’universo
                                                                         dati non strutturati pesano

(SmartPhones, sensori, Scada, Gps, virtualizzazione, cloud)            digitale
                                                                                  “
I trend di Mercato rendono questi dati interessanti per il business
Ognuno contiene una categorizzazione di attività e comportamento
                                                                       IDC 2011 Digital Universe Study:
                                                                       Extracting Value from Chaos




I Digital Data cresceranno in maniera esponenziale = Big Data

                                                       6
I Big Data arrivano dalle Macchine
            Volume | Velocità | Varietà | Variabilità



Quello dei dati generati dalle Macchine
(Machine Data) è uno dei segmenti del
                                                                           GPS,
 BigData a crescita più veloce, tra i più                                 RFID,
     complessi e a maggior valore.                                   Hypervisor,
                                                                   Web Servers,
                                                               Email, Messaging
                                                          Clickstreams, Mobile,
                                                    Telephony, IVR, Databases,
                                                  Sensors, Telematics, Storage,
                                            Servers, Security Devices, Desktops




                                7
Come si presentano i Machine Data?
       Fonti


Processamento ordini




      Errori del
     Middleware




      Supporto
        IVR




       Twitter



                                 8
I Machine Data contengono informazioni critiche
   Fonti                                   Customer ID       Order ID              Product ID



Processamento
    Ordini
                                                               Order ID    Customer ID


  Errori del
 Middleware


                Tempo di attesa


                                  Customer ID
  Supporto
    IVR


                                                         Twitter ID       Tweet del cliente




   Twitter
                 Twitter ID Azienda


                                                 9
Ampio Utilizzo per l’IT ed il Business
      IT Operations Management                                               Web Intelligence



                   Application Management                          Business Analytics



                                         Security and Compliance




Customer                                                                                           LOB Owners/
 Support                                                                                            Executives


      Operations                                                                        Website/Business
        Teams                                                                              Analysts

                 System                                                          IT
               Administrator     Application    Security                     Executives
                                                              Auditors
                                 Developers     Analysts

                                                  10
Il mondo oltre l’Information Technology
Commercial Transport               Health and Safety             Power and Energy




Supporting the next gen airliner   Personal Activity Tracking   Building Power Consumption




  Cars as telemetry sensors        Flood monitoring warning     Home Energy Management

                                               11
Water Alert! by TCS




         12
Real Time Flights information




              13
Flight Info + Social Media




            14
SCADA For Energy Management




             15
SCADA For Energy Management




             16
SCADA For Energy Management




             17
Splunk>4Good: Social + Big Data
                 Demonstrating the positive Social Impact of Data


• Create social value data projects    Splunk4Good presented at the White House as part of the
• Enable nonprofits to create          FEMA think Tank on Innovations in Emergency
                                       Management.
  projects through the Splunk
  Nonprofit Licensing Program
• Advocate more access to data that
  can be used for public good
• Create social value data projects
• Enable nonprofits to create
  projects through the Splunk
  Nonprofit Licensing Program
• Advocate more access to data that
  can be used for public good




                                        18
Reducing Your Power Bills with Splunk
Gaining insight into building/ facility energy
use and expense
Correlates data generated by building
control systems, enterprise applications,
asset management systems and other
associated facility management applications
Monitoring temperature, humidity, power
quality for environmental monitoring,
modeling and real-time alerting
Optimizing facility and asset spend across
campuses or globally distributed chains




                                    Brian Gilmore
                                    Program Manager,
                                                              “ Splunk helpsandbridge the gap between building
                                                                intelligence
                                                                             us
                                                                                operational intelligence to
                                Enterprise Intelligence and
                               Automation Control Solutions
                                                                   power the intelligent enterprise.
                                                                                                       “

                                                              19
Chi è Splunk?



The World's Top 10 Most Innovative Companies in Big Data
1 Splunk For deploying its data crunchers to improve operations for its 5,000 clients, from Zynga to Rutgers University to Comcast to
the FBI.
http://www.fastcompany.com/most-innovative-companies/2013/industry/big-data

The World's Top Most Innovative Companies
4 Splunk For bringing Big Data to the Masses
http://www.fastcompany.com/most-innovative-companies/2013/splunk

BEST SECURITY INFORMATION/EVENT MANAGEMENT (SIEM) APPLIANCE GOLD WINNER
http://awards.scmagazine.com/best-security-informationevent-management-siem-appliance-0

Ventana Research names Splunk Best IT Performance Technology


Gartner Names Splunk an APM (Application Performance Management) innovator




                                                                      Source: Gartner, IT Metrics: IT Spending and Staffing Report, 2010


                                                                 20
Chi è Splunk
          •   Sede: San Francisco, CA
          •   Sedi Regionali in oltre 40 Paesi
          •   Fondata nel 2004, rilascio del primo software
              nel 2006
          •   Circa 700 dipendenti
          •   Quotata Nasdaq “SPLK” circa $3BN market
              value


          •   Fatturato: $198,9M FY2013
          •   Crescita 64% anno su anno

          •   5000+ Clienti
          •   Clienti in 78 Paesi // oltre 400 nuovi clienti in Q4
              FY013

          •   Più della metà tra i Fortune 100

     21
Oltre 5.000 Clienti in più di 85 Paesi



Cloud and Online Services   Education         Energy and Utilities   Financial Services and Insurance




      Government            Healthcare          Manufacturing                    Media




         Retail             Technology        Telecommunications           Travel and Leisure


                                         22
… più di 90 in Italia
Banche e Assicurazioni: Aletti Gestielle, Banca d’Italia, Banca Mediolanum, Banca Popolare
Sondrio, Banca Svizzera Italiana, Deutsche Bank, Finpiemonte, Generali Business Solutions, Intesa
Sanpaolo, Istituto Centrale Banche Popolari Italiane (CartaSi), Monte dei Paschi di Siena, Reale
Mutua Assicurazioni, SGSS, SinSys, UBISS, Unicredit (UBIS).
PAC/PAL: AO Crema, ARPA Piemonte, ASL Imola, CIC Ivrea, Comune Cento, CSI Piemonte,
Fondazione Poliambulanza, Gruppo Torinese Trasporti, ISTAT, Lombardia Informatica, Ministero
Ambiente, Ministero Beni Culturali, Ospedale Maggiore Bologna, Postecom, Publiacqua, Roma
Metropolitane, SAT, ULSS5 Vicenza, UNIRE, Università Bologna, Poste Italiane
Industria: AVIO Group, Eltek Group, Giesse Group, Lamberti, Northrop Grumman, Panini,
Pilkington (NSG Group), Pirelli & C, Radici Group, SAIPEM, Sanofi-Aventis, Siderurgica Gabrielli,
Tecnimont.
Software e Servizi: Almaviva, AscoTLC, Athesia, A-Tono, B-Source, Cadit, Compass, Coopservice,
Corofar, Costa Crociere, CSE, Engineering, Equens, Eisys, Fastweb, IFINET, Inarcassa, IRST, LIUC, MC-
link, Meta System, Microgame, Octo Telematics, SEAT-PG, Selex-Elsag, SGM Distribuzione,
SimphonyIRI, Siweb, Società Dolce, SKY.




                                                  23
Investiamo per il Futuro




                                           Cloud
                                 Content
                Developer
Enterprise

                            24
Grazie


Michele Guglielmo
Territory Manager Italy

Splunking big data

  • 1.
    Copyright © 2013Splunk, Inc. Splunking Big Data Michele Guglielmo – Territory Manager Italy
  • 2.
    Missione Rendere i DatiMacchina accessibili, utilizzabili e valorizzabili da chiunque 2
  • 3.
    La situazione Data Diversity Data Volume “ Tra il 2009 and 2020addati i digitali cresceranno un CAGR del 45% “ IDC 2010 Storage Market View Traditional Tools “Ipiù del 90% nell’universo dati non strutturati pesano digitale “ IDC 2011 Digital Universe Study: Extracting Value from Chaos Desired Time to Answer I Digital Data cresceranno in maniera esponenziale 3
  • 4.
    Definizione di BigData “Big Data is Data that exceeds the processing capacity of conventional Database Systems” O’Reilly Radar, “What Is Big Data?”, January 2012 4
  • 5.
    Definizione di BigData Volume Velocità Varietà Variabilità 5
  • 6.
    La situazione “ Tra il 2009 and 2020addati i digitali cresceranno un CAGR del 45% “ Volumi e tipi di fonti dei dati stanno esplodendo 80-95% dei dati di un organizzazione non sono strutturati IDC 2010 Storage Market View Se conservati, lo sono secondo l’approccio silos Non esiste uno standard per i log Log di applicazioni custom sono variabili e non prevedibili Nuove tecnologie aggiungono nuovi dati “Ipiù del 90% nell’universo dati non strutturati pesano (SmartPhones, sensori, Scada, Gps, virtualizzazione, cloud) digitale “ I trend di Mercato rendono questi dati interessanti per il business Ognuno contiene una categorizzazione di attività e comportamento IDC 2011 Digital Universe Study: Extracting Value from Chaos I Digital Data cresceranno in maniera esponenziale = Big Data 6
  • 7.
    I Big Dataarrivano dalle Macchine Volume | Velocità | Varietà | Variabilità Quello dei dati generati dalle Macchine (Machine Data) è uno dei segmenti del GPS, BigData a crescita più veloce, tra i più RFID, complessi e a maggior valore. Hypervisor, Web Servers, Email, Messaging Clickstreams, Mobile, Telephony, IVR, Databases, Sensors, Telematics, Storage, Servers, Security Devices, Desktops 7
  • 8.
    Come si presentanoi Machine Data? Fonti Processamento ordini Errori del Middleware Supporto IVR Twitter 8
  • 9.
    I Machine Datacontengono informazioni critiche Fonti Customer ID Order ID Product ID Processamento Ordini Order ID Customer ID Errori del Middleware Tempo di attesa Customer ID Supporto IVR Twitter ID Tweet del cliente Twitter Twitter ID Azienda 9
  • 10.
    Ampio Utilizzo perl’IT ed il Business IT Operations Management Web Intelligence Application Management Business Analytics Security and Compliance Customer LOB Owners/ Support Executives Operations Website/Business Teams Analysts System IT Administrator Application Security Executives Auditors Developers Analysts 10
  • 11.
    Il mondo oltrel’Information Technology Commercial Transport Health and Safety Power and Energy Supporting the next gen airliner Personal Activity Tracking Building Power Consumption Cars as telemetry sensors Flood monitoring warning Home Energy Management 11
  • 12.
  • 13.
    Real Time Flightsinformation 13
  • 14.
    Flight Info +Social Media 14
  • 15.
    SCADA For EnergyManagement 15
  • 16.
    SCADA For EnergyManagement 16
  • 17.
    SCADA For EnergyManagement 17
  • 18.
    Splunk>4Good: Social +Big Data Demonstrating the positive Social Impact of Data • Create social value data projects Splunk4Good presented at the White House as part of the • Enable nonprofits to create FEMA think Tank on Innovations in Emergency Management. projects through the Splunk Nonprofit Licensing Program • Advocate more access to data that can be used for public good • Create social value data projects • Enable nonprofits to create projects through the Splunk Nonprofit Licensing Program • Advocate more access to data that can be used for public good 18
  • 19.
    Reducing Your PowerBills with Splunk Gaining insight into building/ facility energy use and expense Correlates data generated by building control systems, enterprise applications, asset management systems and other associated facility management applications Monitoring temperature, humidity, power quality for environmental monitoring, modeling and real-time alerting Optimizing facility and asset spend across campuses or globally distributed chains Brian Gilmore Program Manager, “ Splunk helpsandbridge the gap between building intelligence us operational intelligence to Enterprise Intelligence and Automation Control Solutions power the intelligent enterprise. “ 19
  • 20.
    Chi è Splunk? TheWorld's Top 10 Most Innovative Companies in Big Data 1 Splunk For deploying its data crunchers to improve operations for its 5,000 clients, from Zynga to Rutgers University to Comcast to the FBI. http://www.fastcompany.com/most-innovative-companies/2013/industry/big-data The World's Top Most Innovative Companies 4 Splunk For bringing Big Data to the Masses http://www.fastcompany.com/most-innovative-companies/2013/splunk BEST SECURITY INFORMATION/EVENT MANAGEMENT (SIEM) APPLIANCE GOLD WINNER http://awards.scmagazine.com/best-security-informationevent-management-siem-appliance-0 Ventana Research names Splunk Best IT Performance Technology Gartner Names Splunk an APM (Application Performance Management) innovator Source: Gartner, IT Metrics: IT Spending and Staffing Report, 2010 20
  • 21.
    Chi è Splunk • Sede: San Francisco, CA • Sedi Regionali in oltre 40 Paesi • Fondata nel 2004, rilascio del primo software nel 2006 • Circa 700 dipendenti • Quotata Nasdaq “SPLK” circa $3BN market value • Fatturato: $198,9M FY2013 • Crescita 64% anno su anno • 5000+ Clienti • Clienti in 78 Paesi // oltre 400 nuovi clienti in Q4 FY013 • Più della metà tra i Fortune 100 21
  • 22.
    Oltre 5.000 Clientiin più di 85 Paesi Cloud and Online Services Education Energy and Utilities Financial Services and Insurance Government Healthcare Manufacturing Media Retail Technology Telecommunications Travel and Leisure 22
  • 23.
    … più di90 in Italia Banche e Assicurazioni: Aletti Gestielle, Banca d’Italia, Banca Mediolanum, Banca Popolare Sondrio, Banca Svizzera Italiana, Deutsche Bank, Finpiemonte, Generali Business Solutions, Intesa Sanpaolo, Istituto Centrale Banche Popolari Italiane (CartaSi), Monte dei Paschi di Siena, Reale Mutua Assicurazioni, SGSS, SinSys, UBISS, Unicredit (UBIS). PAC/PAL: AO Crema, ARPA Piemonte, ASL Imola, CIC Ivrea, Comune Cento, CSI Piemonte, Fondazione Poliambulanza, Gruppo Torinese Trasporti, ISTAT, Lombardia Informatica, Ministero Ambiente, Ministero Beni Culturali, Ospedale Maggiore Bologna, Postecom, Publiacqua, Roma Metropolitane, SAT, ULSS5 Vicenza, UNIRE, Università Bologna, Poste Italiane Industria: AVIO Group, Eltek Group, Giesse Group, Lamberti, Northrop Grumman, Panini, Pilkington (NSG Group), Pirelli & C, Radici Group, SAIPEM, Sanofi-Aventis, Siderurgica Gabrielli, Tecnimont. Software e Servizi: Almaviva, AscoTLC, Athesia, A-Tono, B-Source, Cadit, Compass, Coopservice, Corofar, Costa Crociere, CSE, Engineering, Equens, Eisys, Fastweb, IFINET, Inarcassa, IRST, LIUC, MC- link, Meta System, Microgame, Octo Telematics, SEAT-PG, Selex-Elsag, SGM Distribuzione, SimphonyIRI, Siweb, Società Dolce, SKY. 23
  • 24.
    Investiamo per ilFuturo Cloud Content Developer Enterprise 24
  • 25.