Bunsan: Cómo validamos 600 facturas por segundo en un miniservidor
•
1 recomendación•280 vistas
En la plática se mostrará la arquitectura que se utilizo para lograr que se puedan validar 600 facturas por segundo en un solo servidor con 16 GB de RAM y un procesador quad core. Por Misael Pérez
Recomendados
Más contenido relacionado
Similar a Bunsan: Cómo validamos 600 facturas por segundo en un miniservidor
Similar a Bunsan: Cómo validamos 600 facturas por segundo en un miniservidor (20)
Más de Software Guru
Más de Software Guru (20)
Último
Último (20)
Bunsan: Cómo validamos 600 facturas por segundo en un miniservidor
- 1. El camino a validar 600 facturas por segundo en un solo servidor
- 2. • Desarrollador Back End (Elixir, Erlang, GO) • Desarrollador Móvil (iOS, Android, Híbrido) • Instructor (iOS, Android, Phoenix) • @misaelpc / misaelpc Sobre mi
- 3. • Proceso de Facturación en México • Problemas y Retos • Arquitectura • Conclusiones Agenda
- 5. Elementos de una factura Certificado Emisor Receptor Lista de Conceptos Sello Emisor Sello Pac
- 6. • CFDI 3.2 (2012) - Validador • CFDI 3.3 (2017) - Validador Versiones recientes
- 8. • Validación de catálogos • Validación de contribuyentes • Validación de impuestos y totales • Validación de tipos de comprobantes (Ingreso/Egreso) CFDI 3.3
- 9. • Nómina • Pagos • Combustibles • Comercio Exterior • Estados de cuenta • 37 complementos en Total Complementos
- 10. • 601441101 - Juegos educativos • 601441102 - Juegos de mesa • 601441103 - Naipes • 601441104 - Juegos de video Catálogo productos
- 11. Catálogo contribuyentes LRFC Registros: 80 Millones Actualización: 2 Días LCO Registros: 20 Millones Actualización: Diaria ¡No hay deltas!
- 12. • RFC - 3 GB • LCO - 1 GB • Códigos Postales - 2 MB • Productos y Servicios - 2.5 MB • 40 Catálogos en Total Catálogos
- 15. • 600 documentos por segundo • Máximo en 4 servidores • Actualización de catálogos diaria en minutos Desempeño requerido
- 16. • Reportes de errores claros para el usuario (350 código oficiales por parte del SAT) • Facturas sin emitir • Facturas emitidas y timbradas • Facilidad de agregar más reglas Validación
- 17. • Añadir más complementos en poco tiempo • Añadir más reglas de validación en poco tiempo • Añadir reglas personalizadas por cliente Validación
- 18. • Horizontal (Para dedicar servidores a un cliente) • Vertical (Para aprovechar todos los recursos del servidor) Escalabilidad
- 19. • Evitar regresiones en cada actualización Confiabilidad
- 20. • Ventanas de mantenimiento cortas (minutos) • Fácil de instalar Aprovisionamiento
- 21. Arquitectura
- 22. Diagrama conceptual Sistema de Validación Recepción de Documentos / Envio de respuesta Workflow de documentos Motores de validación Catálogos
- 23. • Tiempo de búsqueda en los catálogos corto • Dividir la validación por etapas • Nano servicios de validación Desempeño
- 24. Diagrama conceptual Sistema de Validación Recepción de Documentos / Envio de respuesta Workflow de documentos Motores de validación Catálogos
- 25. • Carga masiva indexada • Búsqueda Catálogos
- 26. • Viabilidad de usar una base de datos relacional • Tiempos de indexación mayores de 10 horas • Tiempos de consulta de 40 - 60 ms Carga masiva (Postgres)
- 27. • Búsqueda Binaria - 2 a10 ms • ETS (Indexed Keys) - 20 a 60 μs Almacenamiento en memoria
- 28. Búsqueda binaria Registro Federal de Contribuyentes 80 Millones - 3GB Memoria 150 Cold Cache Tiempo de carga 2 segundos Tiempo de búsqueda 2 - 10 ms
- 29. Key value store Memoria Cold Cache Memoria Hot Cache Tiempo de búsqueda 20- 60 µs
- 33. Concepto Sistema de Validación Recepción de Documentos / Envio de respuesta Workflow de documentos Motores de validación Catálogos
- 34. • Millones de usuarios en un solo servidor • Tolerante a fallos Plataforma tecnológica
- 35. WhatsApp
- 36. Phoenix
- 37. Multitenant Validación Certificados Validación Schema XML Validación Catálogos Validación Cálculos WorkFlow Cliente 1 Cliente 2 Cliente N Validación Certificados Validación Schema XML Validación Catálogos Validación Cálculos WorkFlow Validación Certificados Validación Schema XML Validación Catálogos Validación Cálculos WorkFlow
- 38. Nano servicios (OTP) WorkFlow Validación Catálogos Cálculos WorkFlow Validación Catálogos Cálculos
- 39. Diagrama de concepto Sistema de Validación Recepción de Documentos / Envio de respuesta Workflow de documentos Motores de validación Catálogos
- 41. Validación Certificados Validación Schema XML Validación Catálogos Validación Cálculos Reportes de Errorres Éxito Etapas de Validación
- 42. Métricas (XProf)
- 47. Diagrama de concepto Sistema de Validación Recepción de Documentos / Envio de respuesta Workflow de documentos Motores de validación Catálogos
- 48. Validación Certificados Validación Schema XML Validación Catálogos Validación Cálculos Reportes de Errorres Éxito WorkFlow Flujo de validación
- 49. Motores de validación Motor de validación 100 Reglas OK Motor de validación 100 Reglas 90 Errores
- 50. Compilador de reglas Motor de validación 100 Reglas YAML RULES Elixir Tuples Indexed Cache Compiler
- 51. Flujo de Documentos WorkFlow Dinamico - Cliente 2 WorkFlow Dinamico - Cliente 1 Validación Certificados Validación Schema XML Validación Catálogos Validación Certificados Validación Schema XML WorkFlow Dinamico - Cliente 3 Validación Certificados Validación Schema XML Validación Recompensas
- 52. Reglas dinámicas Rules Engine function validate_sum (list , total) -> Bool function validate_tax (list , total) -> Bool Validate validate_sum, x_path, x_path validate_tax, x_path, x_path validate_rfc, x_path Dynamic Function Call - function name - Params
- 53. Escalamiento vertical Validación Certificados Validación Schema XML Validación Catálogos Validación Cálculos WorkFlow 1 Validación Certificados Validación Schema XML Validación Catálogos Validación Cálculos WorkFlow 2 Validación Certificados Validación Schema XML Validación Catálogos Validación Cálculos WorkFlow N . . . . Procesador RAM Maquina Virtual Erlang BEAM
- 54. Escalamiento horizontal SERVER - Código - Cache - Maquina Virtual - Web Server - Reglas SERVER - Código - Cache - Maquina Virtual - Web Server - Reglas SERVER - Código - Cache - Maquina Virtual - Web Server - Reglas SERVER - Código - Cache - Maquina Virtual - Web Server - Reglas
- 55. Despliegue 80 MB SERVER - Código - Cache - Maquina Virtual - Web Server - Reglas 70 MB por datos de catálogos
- 56. Confiabilidad
- 57. Error Factura XML Errores Headers Etapa Error Factura XML Errores Headers Etapa Reporte de errores
- 58. • 1200 Pruebas automatizadas • Generador de Facturas • Agregar facturas reales para probar • Cada motor se puede probar unitariamente Pruebas automatizadas
- 59. • Realizar 1200 facturas a mano llevaría mucho tiempo • Compilador de facturas Generador de facturas
- 60. Generador de facturas Factura Completa Certificado Emisor Receptor Lista de Conceptos Sello Emisor Sello Pac 5 Campos 10 Campos 10 Campos 20 Campos 5 Campos 4 Campos Deltas de Prueba Compilador Factura de Prueba
- 61. • MikeFlow Multiple (Variante de GithubFlow) • Linter en cada branch feature • 1200 Pruebas unitarias en cada branch feature(15 s) Integración continua
- 62. • Gitlab Docker Runners • Despliegue a staging en cada push a master • Despliegue a prod en la generación de TAGS Entrega continua
- 63. CI/CD pipeline
- 65. • Pipeline de despliegue - 10 Minutos • Tiempo de arranque del Sistema - 30 Segundos Ventanas de mantenimiento
- 66. • Carga de catálogos em memoria • Carga de reglas • Calentamiento de cache • Web Server Arranque del sistema
- 67. Conclusiones
- 68. • Pruebas de carga realizadas con Tsung (Erlang) • 600 TPS 16 GB RM - Xenon Quad-Core Pruebas de carga
- 69. • 6 GB RAM • Procesador 80 % Rendimiento server
- 70. • 5 Integrantes • 4 Meses Desarrollo
- 71. • Elixir/Erlang • Phoenix Framework Plataforma tecnológica
- 72. • El sistema se comunica con Python para la validación de esquema • OTP • Máquina virtual Erlang Herramienta adecuada
- 73. Preguntas