Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification f...
Transformando GrandesVolumes de Dados emInsight em Tempo Realusando Fast Data & CEPusando Fast Data & CEPRicardo FerreiraJ...
Big Data Analysisversus Fast DataCopyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information P...
A Era da Informação: Big Data e os “4 V’s”SOCIALBLOG101100101001001001101010Copyright © 2012, Oracle and/or its affiliates...
Explosão deDadosAs redes sociais ealguns websitesforam os primeiros5foram os primeirosa serem afetados...
… mas agora isso já é problema dascorporações também… butenterprises arealso facing itnow6Empresas implantando sensores in...
Storage is the first obviousproblem.Analysis is next.Storage é o primeiro dos problemas.Análise é sem dúvida o segundo.“Bi...
1. Big Data ≠ Storage InfinitoSim, storage é barato mas você precisafiltrar os dados e eliminar as redundâncias2. Apache H...
Diferenciando-se em Big Data: Fast Data!Filtragem,correlação1. Filtragem de Dados & CorrelaçãoElimine os “ruídos” tais com...
Fast Data versus Big DataPrincipais cenários e casos de utilizaçãoBig Datamins, hrsµs, msFast Data:deepHistoricaldepth:sha...
Demonstração deCaso de Utilização11
KPIs Inteligentes usando Fast Data• Crie quantos tweets pudersobre um determinado:– Produto– AtendimentoCenário usando CEP...
KPIs Inteligentes usando Fast Data• Crie quantos tweets pudersobre um determinado:– Produto– AtendimentoCenário usando CEP...
Monitor do NegócioProcessamento das TransaçõesVisão Lógica da Arquitetura da SoluçãoOracle Coherence4 JVMs em GridOracle C...
Event Processing,CEP & Fast DataCopyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Pr...
Processamento de Dados TradicionalQueries16 | © 2013 Oracle Corporation | The Developers Conference 2013LegendaDados estru...
Processamento de Dados Tradicional• Pergunta: “Quantos carros vermelhos existem nestemomento no estacionamento do hotel Oc...
Processamento de Dados Tradicional• Pergunta: “Quantos carros vermelhos existem nestemomento no estacionamento do hotel Oc...
Processamento de Dados Tradicional• Pergunta: “Quantos carros vermelhos pegaram a rua doMarisco na última hora para chegar...
Processamento de Dados Tradicional• Pergunta: “Quantos carros vermelhos pegaram a rua doMarisco na última hora para chegar...
Processamento Contínuo de Eventos• Pergunta: “Quantos carros vermelhos pegaram a rua doMarisco na última hora para chegar ...
Processamento Contínuo de Eventos• Pergunta: “Quantos carros vermelhos pegaram a rua doMarisco na última hora para chegar ...
Processamento Contínuo de DadosDados EstruturadosDados Não-Estruturados23 | © 2013 Oracle Corporation | The Developers Con...
Tipos de Processamento de Dados em CEP• Time-Window– Filtros criados a partir deum intervalo temporal– Assume que cada eve...
Tipos de Processamento de Dados em CEP• Agregações– Agrupamento de múltiploseventos a partir de umadeterminada propriedade...
Tipos de Processamento de Dados em CEP• Relacionamentos– Usados para representaralguma casualidade dotipo: “O evento B oco...
Monitoração do Processamento Contínuo• Monitore processos de negócioe transações em tempo real– Key Performance Indicator ...
HPC na Práticausando SDPCopyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection...
High Performance Computing na PráticaDe onde veio o Sockets Direct Protocol?“TheNetworkIs theCopyright © 2012, Oracle and/...
Buffer de AplicaçãoBuffer de AplicaçãoI/O em Hardware PadrãoHigh Performance Computing na PráticaRemovendo I/O de rede usa...
Buffer de AplicaçãoBuffer de AplicaçãoI/O em Hardware PadrãoHigh Performance Computing na PráticaRemovendo I/O de rede usa...
Serviço de Rededo Data Center(10Gb Ethernet)10 GbEGatewaysNM2-GWX4170M2Compute NodesExalogicElastic Cloud(Visão Interna)• ...
bind 192.168.0.16 *connect 192.168.0.12 8001connect 192.168.0.14 1521sdp.confSuporte à SDP no JDK 1.7Copyright © 2012, Ora...
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification f...
Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification f...
Upcoming SlideShare
Loading in …5
×

Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast Data & CEP

540 views
521 views

Published on

Palestra que proferi em 24 de Maio de 2013 em Floriaópolis - evento do The Developers Conference

Published in: Technology
4 Comments
3 Likes
Statistics
Notes
No Downloads
Views
Total views
540
On SlideShare
0
From Embeds
0
Number of Embeds
3
Actions
Shares
0
Downloads
0
Comments
4
Likes
3
Embeds 0
No embeds

No notes for slide

Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast Data & CEP

  1. 1. Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 121
  2. 2. Transformando GrandesVolumes de Dados emInsight em Tempo Realusando Fast Data & CEPusando Fast Data & CEPRicardo FerreiraJava, FMW & Engineered Systems Expertricardo.s.ferreira@oracle.com
  3. 3. Big Data Analysisversus Fast DataCopyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 123
  4. 4. A Era da Informação: Big Data e os “4 V’s”SOCIALBLOG101100101001001001101010Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 124Volume Velocidade Variedade ValorSMARTMETER001001101010101011100101010100100101
  5. 5. Explosão deDadosAs redes sociais ealguns websitesforam os primeiros5foram os primeirosa serem afetados...
  6. 6. … mas agora isso já é problema dascorporações também… butenterprises arealso facing itnow6Empresas implantando sensores inteligentes?200x mais informação indo aos data centers!Fonte: http://www.oracle.com/us/corporate/press/1704764
  7. 7. Storage is the first obviousproblem.Analysis is next.Storage é o primeiro dos problemas.Análise é sem dúvida o segundo.“Big Data Is Not About theCreated Content, nor Is ItEven Its Consumption— It Is the Analysis of Allthe Data Surrounding or7Swirling Around It“IDC’s Digital UniverseStudy, June 2011
  8. 8. 1. Big Data ≠ Storage InfinitoSim, storage é barato mas você precisafiltrar os dados e eliminar as redundâncias2. Apache Hadoop é orientado a batch, eImplementando Big Data: Alguns dos DesafiosBig Data resolve realmente tudo?82. Apache Hadoop é orientado a batch, eexiste nele uma grande latência inerente"With the paths that go through Hadoop [atYahoo!], the latency is about fifteen minutes[…] it will never be true real-time. " *Raymie Stata, Yahoo! CTO(June 2011)*: http://www.theregister.co.uk/2011/06/30/yahoo_hadoop_and_realtime/mins, hrs
  9. 9. Diferenciando-se em Big Data: Fast Data!Filtragem,correlação1. Filtragem de Dados & CorrelaçãoElimine os “ruídos” tais como leituras de tickssem alteração de dados. Crie contextos paraos dados correlacionando múltiplas fontes deAplicando Event Processing, CEP9os dados correlacionando múltiplas fontes dedados simultâneamente.2. Identifique situações críticas do negócio(oportunidades ou ameaças) a medidaque os dados são inseridos no HDFSMova a parte de análise que é crítica esensível a tempo para o inicio do processo
  10. 10. Fast Data versus Big DataPrincipais cenários e casos de utilizaçãoBig Datamins, hrsµs, msFast Data:deepHistoricaldepth:shallowExemplo:Análise de padrõesde tráfego e doscongestionamentospara planejamentourbano de cidades.10Historicaldepth:deepHistoricaldepthshallowExemplo:Monitoração decâmeras de tráfegopara garantir que amesma placa nãoesteja sendo usadaem dois veículos.Adicione mais “profundidade” ao seu Fast Datamesclando eventos com as saídas do Map/Reduce
  11. 11. Demonstração deCaso de Utilização11
  12. 12. KPIs Inteligentes usando Fast Data• Crie quantos tweets pudersobre um determinado:– Produto– AtendimentoCenário usando CEP, In-Memory Data Grid & BAM12– Atendimento– Serviço• Cite adjetivos como “bom”,“ruim”, “fraco”, “lento” etc• Cite o usuário @oraclefmwapps
  13. 13. KPIs Inteligentes usando Fast Data• Crie quantos tweets pudersobre um determinado:– Produto– AtendimentoCenário usando CEP, In-Memory Data Grid & BAMHoje foi um dia daqueles. Tive um péssimoatendimento na empresa XPTO, além de13 | © 2012 Oracle Corporation | The Developers Conference 2012– Atendimento– Serviço• Cite adjetivos como “bom”,“ruim”, “fraco”, “lento” etc• Cite o usuário @oraclefmwappsatendimento na empresa XPTO, além deperder minha carteira @oraclefmwapps
  14. 14. Monitor do NegócioProcessamento das TransaçõesVisão Lógica da Arquitetura da SoluçãoOracle Coherence4 JVMs em GridOracle CEP2 JVMs em ClusterInjetor de Transações(Simulador de Eventos)Rede Ethernet10 GB/s (TCP)14 | © 2012 Oracle Corporation | The Developers Conference 2012Oracle CoherenceOracle Coherence4 JVMs em GridOracle CEPOracle CEP2 JVMs em ClusterWebLogic ClusterManaged Server 1(JMS Topics)Managed Server 2(JMS Topics)Rede Ethernet10 GB/s (TCMP)Rede Ethernet10 GB/s (TCP)10 GB/s (TCP)
  15. 15. Event Processing,CEP & Fast DataCopyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 1215
  16. 16. Processamento de Dados TradicionalQueries16 | © 2013 Oracle Corporation | The Developers Conference 2013LegendaDados estruturados que foramcapturados e salvos no SGBDConsultas criadas para extrairinformações úteis ao negócio
  17. 17. Processamento de Dados Tradicional• Pergunta: “Quantos carros vermelhos existem nestemomento no estacionamento do hotel Oceania?”Respondendo como um banco de dados relacional:• Caminhar até o estacionamento• Contar todos os veículos que são:17 | © 2013 Oracle Corporation | The Developers Conference 2013– Vermelhos– Carros
  18. 18. Processamento de Dados Tradicional• Pergunta: “Quantos carros vermelhos existem nestemomento no estacionamento do hotel Oceania?”Respondendo como um banco de dados relacional:• Caminhar até o estacionamento• Contar todos os veículos que são:SELECT COUNT(*) FROM Estacionamento18 | © 2013 Oracle Corporation | The Developers Conference 2013– Vermelhos– CarrosSELECT COUNT(*) FROM EstacionamentoWHERE (tipo = ‘Carro’) AND (cor = ‘Vermelho’)
  19. 19. Processamento de Dados Tradicional• Pergunta: “Quantos carros vermelhos pegaram a rua doMarisco na última hora para chegar ao TDC 2013?”Respondendo como um banco de dados relacional:• Encoste cada veículo que passar• Mantenha-os lá até o final da hora19 | © 2013 Oracle Corporation | The Developers Conference 2013• Ao final da hora, conte os veículos• Atualize a contagem pro usuário• Libere os motoristas encostados
  20. 20. Processamento de Dados Tradicional• Pergunta: “Quantos carros vermelhos pegaram a rua doMarisco na última hora para chegar ao TDC 2013?”Respondendo como um banco de dados relacional:• Encoste cada veículo que passar• Mantenha-os lá até o final da horaObviamente... não é uma solução muito20 | © 2013 Oracle Corporation | The Developers Conference 2013• Ao final da hora, conte os veículos• Atualize a contagem pro usuário• Libere os motoristas encostadosObviamente... não é uma solução muitointeressante para nenhum dos motoristas
  21. 21. Processamento Contínuo de Eventos• Pergunta: “Quantos carros vermelhos pegaram a rua doMarisco na última hora para chegar ao TDC 2013?”Como uma máquina de processamento de eventos responderia:• Capture cada veículo que passar• Filtre os eventos de veículos por:21 | © 2013 Oracle Corporation | The Developers Conference 2013– Tempo: somente a última hora– Tipo: somente o que for carro– Cor: somente os vermelhos• Atualize a contagem pro usuáriotoda vez que o filtro retornar algo
  22. 22. Processamento Contínuo de Eventos• Pergunta: “Quantos carros vermelhos pegaram a rua doMarisco na última hora para chegar ao TDC 2013?”Como uma máquina de processamento de eventos responderia:• Capture cada veículo que passar• Filtre os eventos de veículos por:Processamento de eventos é a técnica deanalisar grandes volumes de dados para22 | © 2013 Oracle Corporation | The Developers Conference 2013– Tempo: somente a última hora– Tipo: somente o que for carro– Cor: somente os vermelhos• Atualize a contagem pro usuáriotoda vez que o filtro retornar algoanalisar grandes volumes de dados paradetectar situações críticas e estratégicas
  23. 23. Processamento Contínuo de DadosDados EstruturadosDados Não-Estruturados23 | © 2013 Oracle Corporation | The Developers Conference 2013LegendaDados estruturados que foramcapturados e salvos no SGBDConsultas criadas para extrairinformações úteis ao negócio
  24. 24. Tipos de Processamento de Dados em CEP• Time-Window– Filtros criados a partir deum intervalo temporal– Assume que cada eventopossui uma propriedadeEstruturas que possibilitam o uso de agentes inteligentesTime-Window24 | © 2013 Oracle Corporation | The Developers Conference 2013possui uma propriedadede timestamp que revelaa sua idade para o motor– Em CEP, os timestampsdevem ter uma precisãode microssegundos (µs)Exemplo:SELECT * FROM event-channel[RANGE 5 MINUTES SLIDE 5SECONDS]
  25. 25. Tipos de Processamento de Dados em CEP• Agregações– Agrupamento de múltiploseventos a partir de umadeterminada propriedade– Usado para implementarEstruturas que possibilitam o uso de agentes inteligentesAgregação25 | © 2013 Oracle Corporation | The Developers Conference 2013– Usado para implementarfunções como MAX, SUM,AVG, MIN, COUNT e VAR– Os eventos que estiveremchegando nos canais irãoporventura ser utilizadosExemplo:SELECT nome, SUM(valorTotal)FROM event-channel [NOW]GROUP BY nome
  26. 26. Tipos de Processamento de Dados em CEP• Relacionamentos– Usados para representaralguma casualidade dotipo: “O evento B ocorreuem virtude do evento A”Estruturas que possibilitam o uso de agentes inteligentesRelacionamentos26 | © 2013 Oracle Corporation | The Developers Conference 2013em virtude do evento A”– Tal como as agregações,a medida que os novoseventos são recebidos, osrelacionamentos criadossão recalculados na horaExemplo:SELECT * FROM event-channelMATCH_RECOGNIZE (partitionby A measures B, C) PATTERN(A B*) DEFINE A.value > B.value
  27. 27. Monitoração do Processamento Contínuo• Monitore processos de negócioe transações em tempo real– Key Performance Indicator (KPI)– Service-Level Agreement (SLA)Análise de informações contextuais usando relatórios27 | © 2013 Oracle Corporation | The Developers Conference 2013– Service-Level Agreement (SLA)• Analise múltiplos eventos àmedida em que eles ocorrerem• Execute uma ação apropriada– BPM, BPEL, SOAP, E-mail, SMS
  28. 28. HPC na Práticausando SDPCopyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 1228
  29. 29. High Performance Computing na PráticaDe onde veio o Sockets Direct Protocol?“TheNetworkIs theCopyright © 2012, Oracle and/or its affiliates. All rights reserved.29Is theComputer”Scott McNealySun Microsystems, 1998
  30. 30. Buffer de AplicaçãoBuffer de AplicaçãoI/O em Hardware PadrãoHigh Performance Computing na PráticaRemovendo I/O de rede usando InfiniBand & SDPAplicação AplicaçãoCopyright © 2012, Oracle and/or its affiliates. All rights reserved.30TCP IP TransportTransporte TCP/IPKernel40% de Cópia de Buffers20% Processando TCP/IP10% Context Swtiching
  31. 31. Buffer de AplicaçãoBuffer de AplicaçãoI/O em Hardware PadrãoHigh Performance Computing na PráticaRemovendo I/O de rede usando InfiniBand & SDPExabusAplicação AplicaçãoCopyright © 2012, Oracle and/or its affiliates. All rights reserved.31TCP IP TransportTransporte TCP/IPKernel40% de Cópia de Buffers20% Processando TCP/IP10% Context SwtichingZero Cópia de BuffersDirect Memory AccessBypass do KernelTHROUGHPUT4X BAIXA LATÊNCIA6X
  32. 32. Serviço de Rededo Data Center(10Gb Ethernet)10 GbEGatewaysNM2-GWX4170M2Compute NodesExalogicElastic Cloud(Visão Interna)• 2 Intel Xeon 3.06 GHz• 8 Cores p/ Socket• 2 Threads p/ Core“The Network isthe Computer”Scott Mcnealyex-CEO da SunOracle Technical Workshop | WebLogic 12c & Fusion Middleware(10Gb Ethernet)RedeInfiniband(40 GB/S QDR)Rede de Gerenciamento (1GbE)Rede de Mgmt.Data Center(1Gb Ethernet)1 GbENM2-GW10GbE/IBSwitch CiscoZFS Storage7320• 2 Threads p/ Core• 256 GB de DRAM• SAS SSD de 200 GB• Storage de 60 TB• 4 TB Cache de Leitura• 292GB Cache de Escrita• Clustering via ZFS
  33. 33. bind 192.168.0.16 *connect 192.168.0.12 8001connect 192.168.0.14 1521sdp.confSuporte à SDP no JDK 1.7Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 1233connect 192.168.0.14 1521java -Dcom.sun.sdp.conf=sdp.conf-Djava.net.preferIPv4Stack=true com.tdc.core.Application
  34. 34. Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 1234
  35. 35. Copyright © 2012, Oracle and/or its affiliates. All rights reserved. Insert Information Protection Policy Classification from Slide 1235

×