Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS

631 views

Published on

Cada vez más organizaciones tendrán que considerar (y hacer algo al respecto) de qué forma los datos generados al interior y alrededor del negocio (clientes, proveedores, aliados, entorno), por las diferentes y múltiples fuentes de datos pueden agregar valor a su negocio.

El problema de las organizaciones inicia con la generación de grandes cantidades de datos, generadas desde diferentes fuentes externas e internas generadas por personas y máquinas, además de cómo se almacena y tipifica, ya que se debe recurrir a diferentes maneras de almacenamiento y diferentes ubicaciones. Todas estas implicaciones (difíciles de evitar en entornos complejos y cambiantes) impiden el aprovechamiento de estos datos para realizar análisis que generen valor para el negocio, brindándole información relevante para soportar y apoyar la toma de decisiones incluso en tiempo real.

La realidad de las Organizaciones en temas de Analítica:

Grandes volúmenes de información.
Diferentes forma de almacenamiento (formatos) de los datos.
Diferentes repositorios distribuidos y aislados para consolidar información de valor.
Herramientas limitadas para consolidar y procesar los datos de la manera y a la rapidez deseada.

Published in: Technology

Soluciones para Mejorar la Toma de Decisiones, la Analítica en Tiempo Real y Batch usando WSO2 DAS

  1. 1. Soluciones  para  Mejorar  la     Toma  de  Decisiones     La  Analítica  en  Tiempo  Real  y  Batch  usando  WSO2  DAS  
  2. 2. BIG  DATA  –  Conceptos  Clave   Análisis,   procesamiento   y   almacenamiento   de   grandes  colecciones  de  datos,  de  fuentes  diversas,   utilizando   metodologías   y   herramientas   para   apoyar  la  Toma  de  Decisiones.   Velocidad  -­‐>  Cantidad  de  tiempo  que  toma  a  la  Data  en  ser  procesada.   Variedad      -­‐>  Múltiples  formatos  y  tipos  de  datos.   Veracidad  -­‐>  Relación  entre  Señal  (Data  con  valor)  vs  Ruido  (Data  sin  valor).   Valor                      -­‐>  Utilidad  de  los  datos  para  una  empresa.  
  3. 3. BIG  DATA  –  Nuestro  Modelo   El  Ecosistema  Big  Data  
  4. 4. BIG  DATA  -­‐  Aplicación   •  Optimización  Operacional.   •  Inteligencia   Accionable   (Reglas   de   Negocio  Adaptables).   •  IdentiUicación  nuevos  mercados.     •  Detección  de  fallas  y  fraude.   •  Registros  más  detallados.     •  Predicciones  más  precisas.     •  Mejorar  la  toma  de  decisiones.   •  Realizar  descubrimientos  CientíUicos.  
  5. 5. BIG  DATA  –  Nuestro  Modelo   Modelo  de  Implementación  
  6. 6. BIG  DATA  –  Nuestro  Modelo   Modelo  Tecnológico  
  7. 7. WSO2  DAS     Agregar  Datos     Analizar  Datos     Presentar  los   Resultados  
  8. 8. Capacidades  de  WSO2  DAS   Consultas   Visualizaciones   APIs     Datos   Análisis  en  tiempo   real   Análisis  Interactivos   Análisis  Predictivos   Análisis  en  “Batch”   Alertas  
  9. 9. Análisis  en  Tiempo  Real   El   Análisis   en   tiempo   real   signiUica   que   WSO2   DAS   puede   procesar   y   tomar   decisiones   inmediatamente  cuando  acceden  a  DAS.     La  información  se  ingiere  por  medio  de  un  data   agent.     El   data   agent   es   una   pequeña   aplicación   que   envía  un  evento  al  Ulujo  de  CEP.     El   Ulujo   de   CEP   sigue   una   secuencia   donde   se   valida  que  ruta  debe  seguir.     Si  es  necesario  se  disparan  alertas.   Push  Event  Stream   Real-­‐time   Process   Application  
  10. 10. Data  Agent   •  El  data  agent  consiste  de  una  aplicación   Java  desplegada  en  el  WSO2  AS.   •  Es  un  intermediario  entre  la  fuente  de   datos  y  DAS   •  Produce  una  salida  en  forma  de  JSON,   que  es  entendible  por  WSO2  DAS,  este   JSON  contendrá  un  registro  o  data  que   se  procesará  en  DAS  
  11. 11. Flujo  CEP  en  WSO2  DAS   •  Los  componentes  en  un  Ulujo  CEP:   •  Receivers:  Capturan  un  mensaje  con  determinada  estructura   •  Event  Stream:  Actuan  como  colas  de  mensajes,  son  el  riel  donde   se  conducira  el  evento   •  Execution  Plan:  usan  Siddhi  para  determinar  que  caminos  debe   tomar  un  evento,  pueden  modiUicar  el  evento   •  Publisher:    Exponen  o  comunican  un  evento.  
  12. 12. El  Execution  Plan  y  Siddhi   Para  evaluar  el  camino  lógico  que  debe  tomar  un  evento,  se   utiliza   el   execution   plan,   este   plan   de   ejecución,   es   un   bloque  de  código  Siddhi.     Siddhi  es  un  lenguaje  similar  a  SQL,  la  principal  diferencia   es  que  Siddhi  no  busca  registros  en  una  base  de  datos,  sino   que  evalúa  los  eventos  que  se  reciben  en  un  Ulujo  CEP.  
  13. 13. Ejemplo  de  Código  Siddhi  
  14. 14. El  Análisis  Batch   Si   un   Ulujo   de   eventos   se   conUigura   para   que   sea   persistido,   se   almacenarán  los  eventos  que  pasen   por   ese   Ulujo   en   una   base   de   datos   enlazada,   en   vez   de   ser   analizados   de  inmediato,  el  evento  se  procesará   por   tareas   programadas   o   a   demanda  del  usuario  usando  scripts   e n   S p a r k S Q L ,   t r a s   e s e   procesamiento   se   puede   o   bien   visualizar   la   información   o   generar   nuevas  alertas    
  15. 15. Ejemplo  de  consultas  SparkSQL  
  16. 16. Ejemplo  de  scripts  programados  
  17. 17. Como  DAS  Comunica  los  Resultados   Los   event   publishers   pueden   publicar   los   eventos   procesados  de  formas  tales  como  correos  electrónicos,  logs,   notiUicaciones  push,  JMS,  servicios  web,  etc.    
  18. 18. Como  DAS  Representa  Visualmente  
  19. 19. BIG  DATA  –  Nuestro  Modelo   Aplicación  –  Caso  de  Uso  Sector  Industrial   A   partir   de   esta   información   (provenientes   de   los   Equipos   en   planta)   se   deben   determinar,   procesar,   analizar   datos   para   determinar   y   ciertas   condiciones   que   permitieran  generar  registros,  alarmas,  mas  información  de  interés  operativo  para  la   Planta  (y  el  negocio).     •  Información  proveniente  de  Planta  -­‐  Sondas  distribuidas  (Recogida  por  el   Data  Server  del  SCADA)   •  Información  analizada  desde  Herramientas  OUimáticas  (No  escalables  para   un  Entorno  de  Inteligencia  Operacional  Exigente)     •  Necesidad  de  Lectura  y  visualización  de  Información  >  Limitante  actual.     •    Necesidad   de   procesamiento   y   análisis   de   información   para   toma   de   decisión  Operacional  relacionadas  >  Análisis  del  dato  deseado   Situación  Actual  
  20. 20. BIG  DATA  –  Nuestro  Modelo   Qué  se  Buscaba?  -­‐  Caso  de  Uso  Sector  Industrial   •  Escalabilidad  Coste  Total  (Implantación  de  futuro).   •  Manejo  de  un  Volumen  de  Datos  elevado.   •  Debe  incorporar  Agilidad  de  consulta  de  Datos.   •  Realizar  Análisis  Complejos.   •  Debe  poder  extraer  y  analizar  datos  desde  diferentes  tipos  de  orígenes  (Cruzar   información  de  diferentes  orígenes).   •  Herramienta  de  Visualización  data  “en  Bruto”  y  Procesada  de  uso  por  Analista   de  negocio  –  PerUil  no  técnico.     Toma  de  decisiones  en  tiempo  real  y  temprana  –  Inteligencia  Operacional  (hacia  un   predictivo)           Mejor  disponibilidad  en  Planta  >  Mejorar  producción  >  Mejorar  ventas  y   Calidad  de  los  productos      
  21. 21. BIG  DATA  –  Nuestro  Modelo   La  Solución  –  Caso  de  Uso  Sector  Industrial  
  22. 22. Funcionalidad  y  Resultados  de  la  Solución     •  Calculo  en  Dase  de  Datos  (NoSQL)   •  Alertas  y  Alarmas  en  tiempo  real  (E-­‐mail  &  Push  Message)   •  Visualización  de  Datos  Brutos  y  Analizados.   •  Analítica  en  Tiempo  Real.   •  Analítica  Interactiva  >  Obtención  de  resultados  rápidos  a  través   de   consultas   AdHoc   de   un   conjunto   de   Datos.   Permite   búsquedas   complejas   por   textos   utilizando   el   sistema   de   ideación  disminuido  de  Apache  Lucene.  
  23. 23. •  Analítica  en  Batch  >  Se  reUiere  al  análisis  de  datos  persistidos.  La  solución   esta  orientada  a  la  sumarización  y  análisis  de  evolución  de  datos.  Se  uso   implementado  Spark  SQL  con  el  WSO2  DAS.   •  Como   Base   de   Datos   se   implemento   Apache   Cassandra   (Base   de   Datos   NoSQL)  distribuida  y  preparada  para  Big  Data.  (Ventaja,  es  software  libre   (Apache   Software   Foundation).   Permite   accesar   a   grandes   volúmenes   de   datos  en  forma  distribuida,  es  un  sistema  descentralizado  donde  cada  nodo   tiene  la  misma  información.   •  Visualización   de   Datos   con   WSO2   DAS   y   Herramientas   desacopladas   de   Visualización.   Funcionalidad  y  Resultados  de  la  Solución    
  24. 24. What´s  next   •  Analítica   Predictiva   >   Se   reUiere   a   la   predicción   de   valores   a   partir  de  datos  históricos  obtenidos  del  sistema  SCADA.     •  Utilizar   la   tecnología   de   Machine   Learning   (con   WSO2   ML)   para  “enseñar”  al  algoritmo  a  través  de  diferentes  ejecución  de   la   distribución   de   siguen   los   juegos   de   datos   para   predecir   comportamientos  anómalos  en  la  variables  analizadas  
  25. 25. www.ticxar.com   scontreras@ticxar.com  

×