19. Arquitetura FAST DATA
Event Processing
Action
Alerts
B
U
S
EXTERNAL DATA
SOCIAL
DATA
ENTERPRISE
DATA
HADOOP
Historical Data,
Customer
Context
B
U
S
In-Memory Compute Grid
Analytics
MACHINE DATA
BPM
LiveView
Derived Events
LiveView Spotfire, Event Analytics
TIBCO BPM
TIBCO EMS
TIBCO FTL
TIBCO RV
TIBCO ActiveSpaces
150 Stream
Connectivity Points
Business Works
Cloud Bus
Open API
Log Logic Spotfire
Todas as organizações possuem vários sistemas que necessitam ser integrados para realizar a troca de informações entre eles, por exemplo, o sistema de CRM é responsável pela entrada de dados de clientes, mas esses dados necessitam ir para os outros sistemas como faturamento, cobrança, estoque, etc.
(CLIQUE)
O que muitas empresas fazem é realizar essas integrações de maneira ponto-a-ponto, ou seja, conectar um sistema diretamente a outro, seja através de APIs, serviços, banco de dados ou até mesmo arquivos.
(CLIQUE)
Esse método é o que chamamos de INTEGRAÇÃO DO TIPO ESPAGUETE. Esse tipo de integração é muito custoso, de difícil governança e manutenção. O tempo e custo necessário aumenta exponencialmente quando se adiciona mais pontos ou sistemas.
(CLIQUE)
A TIBCO criou, há 20 anos atrás, o conceito de barramento de integração. O que possibilitou a criação de uma arquitetura mais simplificada, conhecida como integração do tipo um-para-muitos. Esse tipo de arquitetura permite que você conecte um sistema ao barramento e o barramento é responsável por conectar os dados gerados por esse sistema aos outros vários sistemas.
Uma plataforma ESB nunca foi tão relevante como nos dias atuais, pois permite economizar tempo e dinheiro ao conectar diversos sistemas de uma única forma, centralizada, com governança, reutilização e fácil manutenção.
(CLIQUE)
Tendo esse barramento de integração como base a TIBCO trouxe uma outra camada para essa plataforma que é chamada de SERVIDOR DE EVENTOS.
Essa nova camada se aproveita dos eventos que estão passando pelo barramento de integração e os armazena em um data grid em memória, criando uma nuvem de eventos.
(CLIQUE)
A partir do momento que os eventos estão nessa nuvem é possível que correlações e padrões sejam identificados e através de uma modelo pré-configurado, ações são geradas.
Essa correlação pode ser utilizada, por exemplo, para detectar algum tipo de fraude, para gerar alguma oferta contextualizada para um cliente ou então para identificar e alertar sobre um possível cenário de risco ou oportunidade.
(CLIQUE)
(CLIQUE)
O próximo passo na evolução dessa arquitetura é a inclusão de um novo conjunto de dados.
São dados gerados em enormes quantidades e a partir de distintas origens como Internet of Thinks (Internet das Coisas), sensores, web, dispositivos móveis, logs diversos e redes sociais como Twitter ou Facebook.
(CLIQUE)
No começo as empresas tentaram colocar esse grande volume de dados dentro de um Data Warehouse, o que acabou não dando muito certo, pois ele não é projetado para suportar dados gerados a uma grande velocidade e em enormes quantidades ainda mais que esses dados são geralmente diferentes, desestruturados e mudam com frequência.
(CLIQUE)
Então, o Google e Facebook inovaram e criaram o conceito de Big Data, que é basicamente suportado por uma tecnologia chamada Hadoop.
Com o Hadoop, as companhias conseguem armazenar uma enorme quantidade de dados com velocidade e a fazer pesquisas nesses dados.
(CLIQUE)
Mas esse approach tem um problema, utilizando somente Hadoop é a mesma coisa que dirigir seu carro e somente olhar para o espelho retrovisor, ou seja, Hadoop é muito bom para você olhar para dados que já estão armazenados e que não estão mais se movendo. Você faz pesquisas em dados que já são passado, em dados históricos.
(CLIQUE)
A TIBCO chama esse tipo de arquitetura de Too Late Architecture. Quem se importa em descobrir que perdeu o cliente depois que ele já foi embora? É muito tarde.
(CLIQUE)
Então, a próxima inovação trazida pela TIBCO veio mudar esse conceito e adicionar um componente que permite você olhar para frente. É o que chamamos de arquitetura FAST DATA, essa arquitetura ajuda a tomada de decisão em tempo real, no momento em que os dados estão em movimento.
(CLIQUE)
(CLIQUE)
O primeiro passo para essa arquitetura de FAST DATA é o time de TI automatizar a tomada de decisão entre máquinas a partir do streaming de dados.
(CLIQUE)
E também dos eventos de negócios que estão na nuvem de eventos.
(CLIQUE)
Isso é chamado de Streaming Analytics. Ele permite que decisões sejam tomadas de forma automática e em tempo real, por exemplo, em uma loja de varejo existem nesse momento 30 clientes, que são fidelizados, dentro da loja e que estão procurando um determinado produto. Como o estoque desse produto está alto, uma oferta especial com desconto de 5% adicional é enviada para esses clientes, no momento em que eles estão dentro da loja. Não adianta enviar esse desconto após eles terem saído da loja, a probabilidade deles voltarem é muito menor do que aproveitar a janela de oportunidade de quando eles estão dentro da loja e interessados no produto.
(CLIQUE)
Então essa oferta é enviada para o programa de fidelidade através do barramento de serviços em tempo real e também para a nuvem de eventos para validação se alguma outra regra necessita ser aplicada.
Esse tipo de arquitetura, cria um tipo de sistema nervoso que responde em tempo real a oportunidades de negócio que podem durar poucos segundos ou horas ou meses.
Portanto, Streaming Analytics é sobre automação de decisão de máquina-para-máquina.
(CLIQUE)
Outro aspecto chave da arquitetura FAST DATA é permitir a tomada de decisão por um usuário de negócio. E por que isso é importante? Um exemplo, em 2012 uma empresa de mercado financeiro em Wall Street perdeu US$ 460 milhões em apenas 40 minutos por que muitas decisões eram tomadas de forma automática. E com essa grande quantidade de decisões sendo feitas de forma automática, não se pode esperar até o final do dia para ver relatórios sobre as decisões automáticas executadas e então refletir e tomar decisões se elas devem ser modificadas ou não.
(CLIQUE)
É aqui que entra a próxima peça do quebra-cabeça, o que chamamos de Live Datamart.
Live Datamart é o conjunto de painéis gerados a partir do streaming de dados em tempo real. Não é somente um conjunto de dashboards estáticos, mas ele permite que um usuário de negócio faça pesquisas e tenha respostas imediatas sobre o streaming de dados e então identificar padrões que poderia ser um indício de fraude ou uma oportunidade de oferta. Em nosso exemplo anterior, uma oferta diferenciada para uma cor específica do produto poderia ser criada pois ela precisa sair do estoque.
(CLIQUE)
Mas ainda existem os dados históricos e não podemos nos esquecer deles. Eles também são muito importantes.
Com o TIBCO Spotfire, os usuário de negócios podem olhar para esses dados com o intuito de encontrar padrões e identificar sinais preditivos, por exemplo, podemos olhar os logs dos sistemas web ou da loja e descobrir que alguns clientes preferem o produto A ao produto B.
(CLIQUE)
Quando descobrimos esses padrões, podemos voltar e alterar as regras na plataforma de streaming. Isso transformará os insights em ações.
(CLIQUE)
Essa arquitetura FAST DATA permite que você aprenda com seus dados. Transformar esse aprendizado em ações. E então passar a ter uma análise preditiva mais inteligente e eficaz e a responder de maneira mais rápida com a informação mais correta dentro do contexto e no tempo certos para as pessoas certas.
(CLIQUE)
É esse tipo de arquitetura que a TIBCO, através de sua plataforma unificada permite que as corporações obtenham o máximo de suas iniciativas de big data.
Difference between BE (rules) and SB (streaming Analytics):
If what you intend to do is : a customer opens a data session and you want to understand what level of Quality of Service you want to serve based on his profile, based on the currently known congestion on the access point, based on the type of service he is trying to access, then we are in the domain of BusinessEvents, using rules to correlate the incoming event with information we know.
Now if what you intend to do is : analyzing trends in error rates per network access points, trends in number of sessions, trends in upload and download traffic, and then raise alarms or trigger actions based on some pre-defined threshold, then we are more in the domain of StreamBase
