O Splunk é o mecanismo para os dados gerados por máquina
Sua infraestrutura de TI gera enormes quantidades de dados. Dados gerados por máquina - gerados por sites, aplicativos, servidores, redes, dispositivos móveis e afins. Ao monitorar e analisar tudo, de clickstreams e transações de clientes à atividade de rede para registrar chamadas, o Splunk transforma seus dados de máquina em percepções valiosas.
Solucione problemas e investigue incidentes de segurança em minutos (não horas ou dias). Monitore sua infraestrutura de ponta a ponta para evitar a degradação ou interrupções de serviço. E obtenha visibilidade em tempo real sobre a experiência, transações e comportamento dos clientes
2. Sobre a Splunk
Empresa (NASDAQ: SPLK)
Fundada em 2004, primeiro software em 2006
HQ: San Francisco / Region HQ: London, Hong Kong
Mais de 800 funcionários, em 12 países
FY2013 $198.9 million; +64% year-over-year
Prêmios
Splunk nomeado líder em SIEM no Quadrante Mágico do
Gartner 2013.
Escolhida pela a SCMagazine como a melhor solução de
Event Management (Siem) Appliance em 2013.
A Splunk foi escolhida pela a FastCompanyInc a solução #1
em BigData e a #4 empresa mais inovadora do mundo.
6,500 + Clientes
Clientes em mais de 80 países
60 deles na Fortune 100
Maior Licença: 100 Terabytes por dia
2
3. Marcos Importantes
2006 - Splunk v. 1 e 2 - 150 clientes
2007 - Splunk v.3 - 350 clientes
2008 - Expansão Ásia e Europa 900 clientes
2010 - Splunk V.4.1 - 2000 mil clientes
2011- 3000 clientes
2012- Abril IPO > 100% na valorização das Ações
2013- 5600 mil clientes
IPO
Splunk V. 4.1
Splunk v. 3
Splunk v. 1 e 2
IPO - Abril de 2012
4.000 mil Clientes
2006 - 150 Clientes
>
> 2010 – 2.000 Clientes
> Expansão
> 380 Funcionários
2007 - 350 Clientes
3
400 Novos Clientes – Trimestre
600K Downloads gratuitos
4. Splunk está criando uma nova categoria de software
Inovadora
Plataforma de Software
Explosão de Volumes
de Dados
Inteligência
Operacional
Crescimento da receita
Rápido Crescimento da Base de Clientes
$120
4,400
2,300
$66
1,400
400
2008
$35
800
2009
$9
2010
2011
2008
2012
Number of Customers (FYE January)
$18
2009
2010
2011
$ Millions (FYE January)
4
2012
5. Tornar os dados de máquina acessíveis, utilizáveis e
valorizados pela TI e pelo Negócio.
5
6. Transformar Dados de Máquina em Inteligência
Operacional
Ad hoc
search
Monitor
and alert
Report
and
analyze
Custom
dashboards
Developer
Platform
Coleta e Indexa
todos os dados
de Máquina
Splunk storage
6
Other Big Data stores
7. Inovador, Poderoso e Fácil de Usar
Ad hoc
search
Monitor
and alert
Report
and
analyze
Custom
dashboards
Developer
Platform
Qualquer quantidade, qualquer local, qualquer origem.
SemData collection pré-definida
estrutura
Sem and indexing
conectores customizados
Sem RDBMS
Splunk storage
Other Big Data stores
Sem necessidade de filtros e agentes
7
8. Desenvolvimento de novas soluções de pacotes e aplicativos
no Splunk
Mais de 400 Splunk Apps no
Weather
BigFix
Sendmail
PDF Report Server
F5
Radio Sta ons
WebSphere
XenDesktop
NetScaler
Mul cast
Ruby on Rails
Google Maps
Whois lookup
PCI Compliance
Puppet Conf. Mgt
Python Mail
NetFlow
Audible Alerts
Stock Quote
Twi
er
Security
Security
Windows
Javamail
SCOM
Nagios
Unix and Linux
BlueCoat ProxySG
Solera DeepSee
TCP/UDP Sending IronPort WSA
IronPort WSA
Sourcefire
Splunk Monitoring
RSS Input
FireEye Malware
YouTube
IMAP
SNORT
Encrypt/Decrypt
Enterprise Security
JMS receiver
Geo Loca on
Developer Platform (REST API, SDKs)
Small Data. Big Data. Huge Data.
8
VMware
POST/GET Rqsts
MS Exchange
FISMA Monitoring
Citrix NetScaler
AS/400 - iSeries Transac on Profiling
Fin. Inf. eXchange
Splunk Mobile
9. Investigação e Buscas Poderosas
Encontre e resolva problemas e incidentes dramaticamente mais rápido em toda a sua
organização
Web
Services
Shipping
RFID
Energy
Developers
Desktops
Servers
Security
Databases/
DWH
Telecoms
Web
Services
Online
Shopping
Carts
App Support
Social Media
GPS/Cellular
Storage
Networking
Manufacturing
Messaging
9
Clickstream
10. Como Dados de Máquina se parece?
Sources
Order Processing
Middleware
Error
Care IVR
Twitter
10
11. Dados Máquina contém insights críticos
Sources
Customer ID
Order ID
Product ID
Order Processing
Order ID
Customer ID
Middleware
Error
Time Waiting On Hold
Care IVR
Customer ID
Twitter ID
Twitter
Company’s Twitter ID
11
Customer’s Tweet
12. Dados de Máquina contém insights críticos
Sources
Customer ID
Order ID
Product ID
Order Processing
Order ID
Customer ID
Middleware
Error
Time Waiting On Hold
Care IVR
Customer ID
Twitter ID
Twitter
Company’s Twitter ID
12
Customer’s Tweet
13. E o que já fizemos (em horas, não meses):
Banco de Dados
Dados Estruturados
Visibilidade em tempo real
Correlação de
Dispositivos e
Informações
Registro de
Dispositivos
Identificação de novos dados/padrões/eventos
13
14. Splunk Monitora Incidentes Proativamente
Automaticamente monitore toda sua infraestrutura em tempo real para identificar incidentes, problemas e ataques
antes que estes impactem os seus serviços e clientes
RSS
Email
SNMP
Trouble
ticket
14
15. Monitoramento Proativo na BM&F BOVESPA
IT
Web
Application Security
&
Operations
Intelligence
Mgmt
Compliance
Mgmt
Problema
Business
Analytics
Ambiente extremamente complexo, diversas aplicações e serviços executando
operações de compra e venda de ações e gerenciados por equipes distintas.
A cada segundo, milhões de transações de compra e venda são efetuadas.
Monitoramento próativo de todo o ambiente em um único painel.
Solução
Alertas com visibilidade em tempo real e avisos antecipados.
Informações em tempo real de todas as aplicações em mais de 2.000 servidores.
Benefícios
Sincronismo total dos servidores e serviços.
Redução do risco de passivo potencial (perda ou atraso de ordens de compra/venda).
15
16. E-commerce / Pagamentos Online
Inteligência Operacional em Tempo Real
PagSeguro pode aumentar sua eficiência operacional
e imediatamente ganhar visão em seus processos de
missão crítica..
Os dashboards revelam em tempo real
componentes legado que causam lentidão ao
sistema, resultando em melhoria de disponibilidade
e aumentando a satisfação do cliente.
Payment volume comparison from today to last week
by credit card brand
O PagSeguro elevou sua segurança através da
monitoração contínua e relatórios centralizados de
acordo com os requisitos de PCI..
O Universo Online também está iniciando estudos
para utilizar Splunk para medir efetividade / ROI de
suas campanhas de marketing online..
Software Engineer
PagSeguro
“Nós conseguimos informações valiosas
em tempo real através dos dashboards
flexíveis do Splunk.”
16
17. Splunk Entrega Visibilidade Operacional
Tenha visibilidade end-to-end dos Indicadores de TI e tome decisões baseadas em informações
17
18. Visibilidade de Negócios em Impressão de Danfes
•
A cada minuto, milhares de transações de
compra são efetuadas no site.
•
Cada pacote transportado tem que ser
acompanhado por uma Nota Fiscal.
•
Monitoramento próativo e Informações em
tempo real de mais de 600 impressoras de 6
localidades em um único painel.
•
Alertas com visibilidade em tempo real e
avisos antecipados.
•
Correlação em tempo real do carrinho de
compras com as notas impressas.
•
Redução do risco do atraso da encomenda.
Satisfação garantida ao cliente.
•
Redução de custos e ligações ao centro de
atendimento.
18
19. Entregar Novos Insights para os Usuários
Obtenha uma nova visão dos dados operacionais para tomar melhores decisões de negócio.
Nos últimos 60 minutos.
1.
2.
3.
4.
Ativações de celulares.
Receita Média por Usuário.
Ativações Iphone.
Ativações Android.
1
2
3
Quais foram os Planos
vendidos?
19
4
20. Splunk Agrega Valor a TI e aos Negócios
Gerenciamento de
Aplicativos
Operações de
TI
Segurança
E
Compliance
Inteligência web
e digital.
Developer Platform (REST API, SDKs)
Small Data. Big Data. Huge Data.
20
Business
Analytics
Industrial
Data
21. Inteligência Operacional alinhando a TI aos Negócios
Gerenciamento de Operações de TI
Inteligência web e digital.
Gerenciamento de Aplicativos
Business Analytics
Segurança e Compliance
Customer
Support
LOB Owners/
Executives
Operations
Teams
Website/Business
Analysts
System
Administrator
Application
Developers
Security
Analysts
21
Auditors
IT
Executives
22. Por que a Experian Usa Splunk?
IT
Web
Application Security
&
Operations
Intelligence
Mgmt
Compliance
Mgmt
Problema
Business
Analytics
Serviço de e-marketing com mais de 40 milhões de disparos por dia, sem visão da
operação e agilidade nas métricas de resultado.
Demora na resolução de problemas de envio reportado pelos clientes.
Solução
Monitoramento e correlação de eventos em tempo real de várias aplicações distintas
para visão do desempenho das transações.
Painéis com indicadores da qualidade do disparo, IP’s comprometidos, análises de
qualidade do envio.
Benefícios
Visão em tempo real da qualidade dos envios (volume, tipos de bounces, domínios e
IP’s).
Informações de negócios em minútos, não dias (relatório de 3 horas são feitos em 5
minutos).
22
25. Splunk Entrega Visibilidade Operacional
Splunk reduz a frequência de
interrupção, proporcionando um ROI
anual de US $ 1.3M
Planejamento de capacidade e
manutenção dos ativos
Ty Prikkhi
“ Em questão de horas, Splunk nosepermite
construir painéis para comparar correlacionar
“
Entrega painéis aos executivos
mostrando vendas/ativações por
minuto, por loja, por mercado, por
tipo de dispositivo em horas e não em
semanas ou meses
o que queremos, nada mais nos permite fazer
isso.
Senior Operations Manager
25
PrêmiosEscolhidapela a SCMagazinecomo a melhorsolução de Event Management (Siem) Appliance em 2013.A Splunkfoiescolhidapela a FastCompanyInc a solução #1 emBigData e a #4 empresamaisinovadora do mundo! Somenteatrás da Nike, Amazon e Square
At Splunk, our mission is to make machine data accessible, usable and valuable to everyone. Andthis overarching mission is what drives our company and product priorities.
Splunk’s flagship product is Splunk Enterprise. Splunk Enterprise is a fully featured, powerful platform for collecting, searching, monitoring and analyzing machine data.Splunk collects machine data securely and reliably from wherever it’s generated. It stores and indexes the data in real time in a centralized location and protects it with role-based access controls. You can even leverage other data stores. Splunk lets you search, monitor, report and analyze your real-time and historical data. Now you have the ability to quickly visualize and share your data, no matter how unstructured, large or diverse it may be. Troubleshoot problems and investigate security incidents in minutes (not hours or days). Monitor your end-to-end infrastructure to avoid service degradation or outages. Gain real-time visibility and critical insights into customer experience, transactions and behavior. Use Splunk and make your data accessible, usable and valuable across the enterprise.Splunk é uma plataforma para dados da sua máquina. Ele coleta dados de qualquer fonte, dando-lhe visibilidade em tempo real e inteligência para o que está acontecendo em toda a sua infraestrutura de TI - seja física, virtual ou na nuvem.Estes são apenas um exemplo de algumas das fontes de dados de máquina. Por exemplo, uma transação de usuário único pode se estender por vários sistemas e fontes de tais dados, ou um único serviço depende de muitos sistemas subjacentes.Splunk lhe dá um lugar para pesquisar, relatar, analisar e visualizar todos os dados.
Splunk collects and indexes any machine data from virtually any source, format or location in real time. This includes data streaming from packaged and custom applications, app servers, web servers, databases, networks, virtual machines, telecoms equipment, OS’s, sensors, and much more. There’s no requirement to “understand” the data upfront. Just point Splunk at your data or deploy Splunk forwarders to reliably stream data from remote systems at scale. Splunk immediately starts collecting and indexing, so you can start searching and analyzing. Splunknãoprecisa de banco de dados e de conectores. Nãoprecisa de estruturaprédefinida e de filtros. Não anecessidade de investimentos extras como BD, ConnectoresNo more armies of consultants, or a DBA to make it work.
Customers start by using Splunk Enterprise to address one specific solution area. Then they leverage it and their machine data to solve other pressing problems over time.Consequently, Splunk Enterprise has many critical uses across IT and the business: Application Management: provide end-to-end visibility across distributed infrastructures; troubleshoot across application environments; monitor for performance degradation; trace transactions across distributed systems and infrastructure.Development: accelerate development and test cycles; support advanced development methodologies like agile, continuous; integrate enterprise applications with SDKs and a robust API; build enterprise applications that leverage Splunk software.Infrastructure and Operations Management: proactively monitor across IT silos to ensure uptime; rapidly pinpoint and resolve problems; report on SLAs/track SLAs of service providers.Security and Compliance: provide rapid incident response, real-time correlation and in-depth monitoring across data sources; statistical analysis for advance pattern detection and threat defense.Web and Business Analytics: gain visibility and intelligence on customers, services and transactions; identify trends and patterns in real time; fully understand the impact of new product features on back-end services.
Using Splunk, organizations identify and resolve issues up to 70% faster and reduce costly escalations by up to 90%. Splunk is one place to find and fix problems, and investigate incidents across all your IT systems and infrastructure - your applications, websites, servers, networks, virtual machines, security devices, and more. This alone eliminates much of the "human latency" experienced in the trenches.1. Coletainformaçõespara se tornarumapoderosaferramenta de buscas.
Unlike traditional structured data or multi-dimensional data– for example data stored in a traditional relational database for batch reporting – machine data is non-standard, highly diverse, dynamic and high volume. You will notice that machine data events are also typically time-stamped – it is time-series data. Take the example of purchasing a product on your tablet or smartphone: the purchase transaction fails, you call the call center and then tweet about your experience. All these events are captured - as they occur - in the machine data generated by the different systems supporting these different interactions. Each of the underlying systems can generate millions of machine data events daily. Here we see small excerpts from just some of them.
When we look more closely at the data we see that it contains valuable information – customer id, order id, time waiting on hold, twitter id … what was tweeted. What’s important is first of all the ability to actually see across all these disparate data sources, but then to correlate related events across disparate sources, to deliver meaningful insight.
If you can correlate and visualize related events across these disparate sources, you can build a picture of activity, behavior and experience. And what if you can do all of this in real-time? You can respond more quickly to events that matter. You can extrapolate this example to a wide range of use cases – security and fraud, transaction monitoring and analysis, web analytics, IT operations and so on.Dado de Máquinaéuma Mina de Ouro!Vejamos um exemplo de dados de máquina. Clienteincluiprodutosaoseucarrinho de compras (website/e-commerce)Eventos de máquina são gerados a cada vez que um cliente realiza uma ação na web, como adicionarum produto ao seu carrinho de compras, ou quando completar uma transação com cartão de crédito, ou quando um servidor escreve em um banco de dados. Clientefinaliza a compra com cartão de créditoEstes eventos de máquina são o registrosde que a ação foi realizada - quando, quem, como, onde ocorreu, e se ele foi bem sucedido ou não. Tentativa de registro do web server no banco de dadosEstes eventos fornecem informações operacionais de várias formas - eles fornecem insights/conhecimentos sobre as ações dos clientes, podem detectar atividades fraudulentas ou maliciosas e mostram a fonte de erros nos sistemas próprios.
This example highlights the power of Splunk integrating to external data sources at search time. This example highlights a low-cost long distance telecoms company, where multiple carrier partners exist to route calls to a destination. In this real-world example, Splunk performs an external lookup of partner tariffs from an external RDBMS and calculates the partner carrier fee for using their network based on actual call detail records. Performing this at search times helps mitigate risk in a variable pricing environment, where tariffs may change frequently. By doing this, Splunk is able to pinpoint the lowest-cost partners for a specific customers destination, enabling the telecoms company to optimize their partnerships and consequently revenue. This is one of many use cases of Splunk correlating business data with machine data to provide better insight and intelligence. Another is providing dashboard visibility into Average Revenue Per User (ARPU), an important KPI for telecoms businesses.The Splunk solution in this particular example took 1 week, whereas traditional approaches to this problem were taking many weeks without success – with Splunk, there is no need to write database queries, or buy expensive reporting packages to query/report or visualize your data. At a time when the business is demanding more from IT at lower cost, Splunk provides a fast, flexible way to unlock powerful new insight and intelligence from your machine data.
Depois, crie os eventos para que o Splunk monitore-os pró-ativamente para você e defina os alertas a serem disparados. Esses alertas podem ser um feedrss, ou email ou até mesmo a execução de algum script. Esses eventos podem ser um simples problema no seu ambiente, já gerando um ticket de suporte ou até mesmo um evento de segurança.1. Tendo essas informações no Splunk. Você pode criar alertas quando um problema estiver ocorrendo.2. Correlacionar eventos
Before Splunk, Macy’s.com had experienced holiday downtime for six straight seasons. With more than a million unique daily visitors, downtime means lost revenue and a poor customer experience Now Macys uses Splunk to ingest all the machine data from their online store infrastructure – including web servers, e-commerce servers, and app servers. With Splunk, Macys has eliminated holiday downtime, reduced the time to identify problems by 90%, and increased their customer satisfaction.
Crie indicadores e painéis de controle, correlacionando eventos e disponibilizando para sua equipe tomar decisões mais bem embasadas. Os painéis são totalmente customizáveis e você pode criar painéis para os mais diversos perfis de usuário.
Packages in Brazil can’t be shipped unless an invoice is included in each package
*Claro CustomerInter-Call: howmuchothercustomersspendon Claro Services andthehowistheir are impactedbythisuser (exemple: Mario spendonly R$ 20,00/month, but João spends R$ 300,00/monthand Mario represents 30% ofallJoão’scalls. Probably João willnotchangehistelcooperatorbecause Claro to Claro calls are cheaperthenothertelcoto Claro calls.
Customers start by using Splunk Enterprise to address one specific solution area. Then they leverage it and their machine data to solve other pressing problems over time.Consequently, Splunk Enterprise has many critical uses across IT and the business: Application Management: provide end-to-end visibility across distributed infrastructures; troubleshoot across application environments; monitor for performance degradation; trace transactions across distributed systems and infrastructure.Development: accelerate development and test cycles; support advanced development methodologies like agile, continuous; integrate enterprise applications with SDKs and a robust API; build enterprise applications that leverage Splunk software.Infrastructure and Operations Management: proactively monitor across IT silos to ensure uptime; rapidly pinpoint and resolve problems; report on SLAs/track SLAs of service providers.Security and Compliance: provide rapid incident response, real-time correlation and in-depth monitoring across data sources; statistical analysis for advance pattern detection and threat defense.Web and Business Analytics: gain visibility and intelligence on customers, services and transactions; identify trends and patterns in real time; fully understand the impact of new product features on back-end services.
Both IT and business professionals can analyze machine data to get real-time visibility and operational intelligence.With our data engine and our customers' machine data, organizations can meaningfully improve their performance in a wide range of areas e.g. meet service levels, reduce costs, mitigate security risks, maintain compliance and gain insights.
Before Splunk, Macy’s.com had experienced holiday downtime for six straight seasons. With more than a million unique daily visitors, downtime means lost revenue and a poor customer experience Now Macys uses Splunk to ingest all the machine data from their online store infrastructure – including web servers, e-commerce servers, and app servers. With Splunk, Macys has eliminated holiday downtime, reduced the time to identify problems by 90%, and increased their customer satisfaction.
Problem: With over 5 million subscribers and annual growth rates of 10-20%, Cricket Communications has rapidly become a leading US-based provider of “no signed contracts, no limits” mobile cellular phone services (including voice, text, broadband and data). Cricket Communications regularly handles 3,000 new subscriber requests per hour – about 50 activations per minute. In order to keep up with this tremendous demand for its trademark services, Cricket Communications automated its order processing system and workflows, eliminating manually introduced errors. However, the carrier soon discovered that all its complex applications and systems needed to work without fail in order to keep the flow of orders going. If any part or subsystem experienced a failure or degradation, the whole system would quickly come to a grinding halt. Solution: Cricket Communications deployed Splunk to quickly detect and analyze system performance issues. Using proactive triggers to send alerts from Splunk, the carrier has been able to address problems before they escalate to their event management team. The Applications Operations team calculated that with Splunk in place, they have reduced outage frequency by about 15%, translating into an annual positive revenue protection impact of $1,200,000. The team also gained new operational efficiencies using Splunk and as a result was able to reassign one Full Time Employee (an approximate savings of $100,000) to other tasks. Lastly, by loading log data into Splunk and creating relevant executive dashboards, the company was also able to start looking at business trends on activations, cancellations and other critical business metrics. Benefits: In addition to tremendous cost-savings, Cricket saw the following benefits with Splunk: ROI – Cricket reported an annual ROI savings of $1,300,000 by using SplunkApplication Monitoring – Helps prevent downtime and ensure rapid account activationVendor Management – Rapid recognition and understanding of where problems lie – with Cricket Communications’ applications or those provided by third partiesOperational Intelligence – Direct visibility into business transactions and subscriber selections