Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

PostgreSql: Soluciones de crecimiento horizontal

78 views

Published on

PostgreSQL es la 4ta base de datos más usada en el mundo, implementa desde hace muchos años herramientas para facilitar el crecimiento vertical. Adicionalmente hay muchos proyectos libres que permiten trabajar escalamiento horizontal bastante avanzados.

Published in: Business
  • Be the first to comment

  • Be the first to like this

PostgreSql: Soluciones de crecimiento horizontal

  1. 1. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net Crecimiento Horizontal en PostgreSQL
  2. 2. El Grupo EQ SOFT ● 15 años de experiencia desarrollando soluciones tecnológicas para diferentes sectores productivos. ● Core-business desarrollo de software, desde hace 4 años invertimos fuertemente en generación de productos de IoT, Robótica, Inteligencia Artificial y otras tecnologías emergentes. ● Desarrollamos nuestra propia tecnología, basada en productos y estándares abiertos, aseguramos a nuestros clientes un periodo de vida de sus soluciones de largo plazo. Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net INFORMACIÓNRESERVADA-EQSOFT
  3. 3. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net Soluciones de SmartCities, Centros de Esparcimiento y Cultura, etc. Agricultura, Acuicultura y Ganadería Inteligente Monitoreo y Asistencia en líneas de producción y plantas en general. Soluciones aplicadas a Minería e industrias extractivas similares. Monitoreo y Gestión de flotas y equipos de trabajo/man tenimiento. LOGOS OCR LOGOS Sentiment LOGOS Pictures LOGOS Biblios LOGOS Sounds
  4. 4. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Por qué PostgreSQL? http://www.postgresql.org ● Es la 4ta RDBMS más utilizada en el mundo, el único con tendencia al crecimiento durante todo el 2017. ● Continua evolución y liberación de releases estables: rama 10 2017-Oct, 10.1 2017-Nov. ● Totalmente documentado, no solo a nivel usuario sino de desarrollador de los componentes del engine. ● 4 a 5 años de actualizaciones por rama. ● Desde hace muchos años posee funcionalidades específicas para manipular grandes cantidades de datos. https://db-engines.com/en/ranking/relation al+dbms
  5. 5. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net La necesidades es crecer, crecer y seguir creciendo ● Cada vez se genera mayores volúmenes de información. ● Cada vez los datos son menos estructurados, más pesados (video, audio, fotos, etc.) ● Los servicios atienden a cada vez más usuarios, internos y externos a nuestras instituciones. ● El nuevo horario de atención de los servicios es ahora de Lunes a Domingo desde las 00:00:00 hasta las 23:59:59. https://itsvit.com/blog/what-does-big- data-mean-for-your-business/
  6. 6. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? Crecimiento Vertical ● Fácil de administrar. ● No requiere mayor intervención técnica. ● PostgreSQL incluye diversas técnicas para crecer en manipulación de datos en un mismo hardware.
  7. 7. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? Crecimiento Vertical ● Con el fin de tener un sistema redundante se implementan diversos tipos de Replicación de Datos (Master-Slave) dentro de PostgreSQL. ● Adicionalmente existen otros productos (de otros proyectos) para dar soporte en esta necesidad. PgPool Administra pool de conexiones concurrentes persistentes. Posee capacidades de replicación y alta disponibilidades. PostgreSQL incluye herramientas de replicación Asíncrona y Síncrona (two-phase-commit) que permiten mantener la información espejada entre 2 servidores.
  8. 8. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? Limitaciones del Crecimiento Vertical ● No existe autorecuperación (resincronización de servidores automática) en caso de caídas. ● Si Gran cantidad de procesamiento es requerido esto podría ser un gran problema o ser demasiado costo (por limitaciones de hardware). ● “Podría” no ser compatible con algunos proveedores de servicios IaaS (Infraestructura como servicio - en la nube).
  9. 9. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? Crecimiento Horizontal ● Mayores requerimientos técnicos para su implementación. ● Se implementa con productos que se integran a PostgreSQL. ● Ofrece un escalamiento ilimitado.
  10. 10. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Basado en PostgreSQL. ○ Soporta todos sus objetos y tipos de datos. ○ Implementa Pl/PgSql ● Estalamento a manipulación de PetaBytes de datos. ● Pensado para analítica avanzada de datos gracias a su capacidad de paralelizar consultas en múltiples servidores. ● Incorpora sus propias herramientas de monitoreo y recuperación. https://greenplum.org/
  11. 11. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Básicamente GreenPlum muestra una interfase que utiliza múltiples servidores PostgreSQL por debajo para responder a las solicitudes de I/O de datos. ● El acceso a los datos se hace a través del Master Host, la comunicación con el es a través de las librerias estándar de PostgreSql (libpq y los clientes odbc, jdbc ó .Net). ● Los Segment Host no requieren tener iguales características de hardware. ○ Límite: 1000 segmentos ○ Se aconseja una infraestructura de red de alta velocidad (mejor si es de 10Gbps) ○ Ante caídas y recuperación de segmentos la sincronización de datos es automática.
  12. 12. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Límites de almacenamiento sumamente altos. ● La configuración de límite de conexiones es similar a la de PostgreSQL (default 205 Master y 750 Segments) ● Preparado para “espejar” el Master Host y tener un sistema de redundancia. ● Integrable y compatible con varios servicios IaaS y PaaS.
  13. 13. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Basado en PostgreSQL. ○ Implementaciones basadas en PostgreSQL 9.5 (estable), 9.6 (en alpha) y 10 (en alpha). ● Escalable a decenas de Terabytes. ● Orientado a aplicaciones de BI y Big Data. ● Incorpora sus propias herramientas de monitoreo y recuperación. https://www.postgres-xl.org/
  14. 14. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Básicamente Postgres-XL es un PostgreSQL modificado. ● Implementa 3 componentes: ○ “Coordinadores” administran la comunicación con las aplicaciones. ○ “GTM” (Global Transaction Manager) encargado de la consistencia y visibilidad de los datos. ○ “Data Nodes” almacenan los datos. ● El acceso a los datos se hace a través de los “Coordinadores”, la comunicación con el es a través de las librerias estándar de PostgreSql (libpq y los clientes odbc, jdbc ó .Net).
  15. 15. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Crecimiento vertical o crecimiento horizontal? ● Comunicaciones a nivel TCP, más lento que GreenPlum (GreenPlum es a nivel UDP). ● Mejor soporte de Querys (sintaxis). ● Incorpora herramientas de monitoreo, pero la resincronización de los servidores no es transparente. ● El GTM puede ser duplicado para tener un sistema de alta disponibilidad. ● Implementa un componente (no indispensable) llamado GTM-Proxy para optimizar el intercambio de paquetes en la red, acelerando el proceso de sincronización.
  16. 16. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net ¿Hay más soluciones? https://www.cockroachlabs.com ● Versiones Community (Apache License) y Enterprise. ● Alta disponibilidad, replicación y sincronización transparente. ● No es un PostgreSQL, pero implementa su protocolo de comunicación, lo que hace que todo desarrollo que use PostgreSQL se comunique transparentemente (observar lógica del lado del servidor) https://www.citusdata.com ● Versiones Community (Apache License) y Enterprise. ● Alta disponibilidad, replicación y sincronización. ● Integrado con varios servicios IaaS. ● Es una extensión de PostgreSQL.
  17. 17. INFORMACIÓNRESERVADA-EQSOFT Ernesto Quiñones Azcárate - COO ernesto@eqsoft.net Crecimiento Horizontal en PostgreSQL ¡GRACIAS!

×