Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Migración de un sistema de base de datos relacionales a grafos aplicados al negocio

35 views

Published on

Speaker: EDGAR FABIAN VARGAS FERNANDEZ, Arquitecto del Centro Digital de Analítica Avanzada, Banco Pichincha

Published in: Technology
  • Be the first to comment

  • Be the first to like this

Migración de un sistema de base de datos relacionales a grafos aplicados al negocio

  1. 1. Migración de un Sistema de Base de Datos Relacionales a Grafos Aplicados al Negocio Neo4j Graph Tour México Nov 12, 2019
  2. 2. Presentador Edgar Vargas ❖ Ing. Matemático por la Escuela Politécnica Nacional, Quito - Ecuador ❖ Experiencia en Banco Pichincha: 11 años ❖ Cargo actual: Data Architect, Centro Digital ❖ Twitter: @edgarin1st ❖ Instagram: edgarin1st ❖ Hobbies: triatlón, violín, Python
  3. 3. Cómo nace todo? ★ Investigación ★ Abiertos al uso Open Source vs software comercial ★ Creación de ambiente en test con VM ★ Necesidad de entender Big Data ○ Qué es? ○ Oportunidades de negocio ○ Retos ○ Estamos preparados para su adopción?
  4. 4. Metodología utilizada Paso 1. Levantamiento Talleres con áreas clave: Riesgo, Marketing, TI Paso 2. Entendimiento Analíticas? Procesos? Técnicos? Paso 3. Priorización Basados en Business Case Paso 4. Esquema de trabajo Recolectar información Analizar la información Proponer solución NECESIDADES
  5. 5. Necesidades priorizadas a resolver Complejo? Genera valor? Objetivo ● Patrones ocultos ● Mitigación fraude ● ● ● ● ● ● ● ● patripsum dolor sit ● amet nec at adipiscing ● risus at dolor porta 2 Anillos de fraude ● Generaciones de nuevas oportunidades de negocio ● Time to market 3 Sistema de recomendaciones ● Calidad de datos ● Contactabilidad ● Cobranza efectiva 1 Similitud entre direcciones de residencia
  6. 6. Nuestro problema necesita ser resuelto con grafos? ★ Dónde reside información? SQL ★ Limitaciones en esa época: ○ Data estructurada ○ Relaciones (patrones) son de antemano conocidas o construidas en la BBDD ○ Esquema estructurado no permite creación de matriz de distancias en grandes dimensiones se requiere crear cruce cartesiano de información +RAM
  7. 7. Qué herramienta utilizar? Vestibulum congue Vestibulum congue Vestibulum congue key-value Riak,DynamoDB grafos CosmosDB, Neo4j, JanusGraph columnar HBse,Cassandra documental CouchDB, MongoDB ★ Creación de patrones ocultos (Pánama Papers)
  8. 8. Qué es un grafo?
  9. 9. Resultados de la PoC ★ Creación de ambiente en test (VM) ★ Instalación de Neo4j Enterprise ★ Capacitación a grupo objetivo ★ Importación de data (muestra aleatoria de 500k): ○ demográfica ○ pasivos ○ transacciones con tarjeta de crédito ○ direcciones de residencia ○ teléfonos celulares ○ emails
  10. 10. Resultados de la PoC
  11. 11. Resultados de la PoC ★ Calidad de datos: ○ detección de incoherencias ○ direcciones duplicadas ○ creación de relación: is_similar_to en función a distancia de levenshtein (APOC Neo4j)
  12. 12. Resultados de la PoC ★ Recomendación: ○ Tomar una persona ○ Determinar cuántas personas son similares ○ qué productos tienen ○ Qué productos se le podría recomendar
  13. 13. Resultados de la PoC
  14. 14. Resultados de la PoC ★ Alerta anillo de fraude: ○ basado en dirección similar (relación creada para calidad de datos) ○ encontrar personas con duplicidad en número de celular correo celular
  15. 15. Retos a los que nos enfrentamos Técnicos 1. Hardware: a. Cores b. RAM c. Storage SSD 2. On-premise/On-cloud Culturales Nuevos skills Por desarrollar 1. Nuevo equipo de soporte técnico in-house (5/8, 24/7) 2. Capacitación al personal 3. Crear esquemas de trabajo colaborativos 1. Compartir conocimiento 2. Estar abierto al uso de nuevas tecnologías 1. Skills en NoSQL y conocimiento en Grafos 2. Pasar de SQL (Structured Query Language) a CQL (Cypher Query Language)
  16. 16. gracias!!

×