Managing replication of PostgreSQL (Simon Riggs)

•

2 likes•974 views

This document discusses PostgreSQL replication. It provides an overview of replication use cases like high availability and scalability. It describes the different replication mechanisms in PostgreSQL, including trigger-based and log-based replication. It outlines developments in log shipping in different PostgreSQL versions. It details the new streaming replication feature introduced in version 9.0, including the wal sender and receiver components and hot standby capability. Finally, it discusses capabilities, management tools, and future directions for replication.

Technology

Managing
PostgreSQL
Replication

© 2ndQuadrant Limited 2010

Who Am I?
• Simon Riggs
• Major Developer on PostgreSQL project
• CTO, 2ndQuadrant

© 2ndQuadrant Limited 2010

Replication Use Cases
• High Availability • Protection
• Total Cost of
• Scalability Ownership
• Exploiting success

© 2ndQuadrant Limited 2010

Replication Mechanisms
• Trigger-based replication
– User space solution
• Log-based replication
– Integrated development

© 2ndQuadrant Limited 2010

Log Shipping Developments
• 8.0 – Point in Time Recovery, Full WAL info
• 8.2 – Restartable Recovery, Log Switching,
Streaming API
• 8.3 – Full Page Optimization, pg_standby
• 8.4 – BgWriter during Recovery
• 9.0 – Streaming Replication
Hot Standby

© 2ndQuadrant Limited 2010

Streaming Replication (9.0)
• Efficient real-time “log shipping”
• Master → Slave replication using full security
• Multiple concurrent slaves
• Robust bi-modal design

© 2ndQuadrant Limited 2010

WAL Receiver

© 2ndQuadrant Limited 2010

Hot Standby
• Read-only access while “in recovery”
• Equivalent of Oracle 11g Active Data Guard
• Load balanced read scalability
• Query off-load from main write node
• Multiple highly available standby nodes

© 2ndQuadrant Limited 2010

Capabilities
• High Performance
• Integrated
• Ease of Use
• Query Access
• Relay
• Selectivity
• Query Farm

© 2ndQuadrant Limited 2010

Capabilities with Tools
• High Performance
• Integrated
• Ease of Use
• Query Access
• Relay
• Selectivity
• Query Farm

© 2ndQuadrant Limited 2010

Repmgr
• Simplify standby management
• Monitor replication delays
• Provide feedback mechanisms

© 2ndQuadrant Limited 2010

Future: Sync Replication (9.1)
• User-controlled robustness
• High performance design
• Simplicity
• Additional flexibility through registration

© 2ndQuadrant Limited 2010

Future: Loose Coupling
• Allows distributed database
• High Availability and Disaster Recovery
• No shared resources – better scalability
• “Cellular” approach

© 2ndQuadrant Limited 2010

PostgreSQL Books

• http://www.2ndQuadrant.com/books/

© 2ndQuadrant Limited 2010

To watch the recording of this webinar please use the below URL: http://wso2.com/library/webinars/2016/07/achieving-economies-of-web-scale-in-your-enterprise-with-containerization/ Containers are the next big step in cloud architectures. Unlike virtual machines, containers share the same underlying operating systems. This leads to significantly smaller overhead and higher efficiency. Orchestration technologies such as Kubernetes allow to achieve scale by managing multi-container deployments. Containers enable microservice architectures, near-instant scaling, application portability and cross-datacenter solutions. In this webinar, Dmitry will explore how these technologies can bring the cloud economies of scale to your data center.

Kvm forum 2013 - future integration points for oVirt storage

Sean Cohen

Ceph & OpenStack talk given @ OpenStack Meetup @ Bangalore, June 2015

Deepak Shetty

Define your Future with SUSE

SUSE

The demand for managing a large amount of data in a scalable yet reliable and cost-effective way has became more and more relevant in this day and age. Ceph, a software-defined storage, provides an original solution for this problem and guarantees a resilient and self-healing way for managing large amount of data up to the Exabyte level. In this session I will talk about a new feature introduced in oVirt 3.6 which provides the ability to integrate with Red Hat Ceph storage using Cinder, a storage service used mainly for OpenStack. This integration reveals new opportunities and tools for storage management in a scalable and virtualized way and also opens the door for interesting future integrations with other storage providers. In this session I will describe how oVirt, an open source virtualization management platform, has extended and elevated its storage virtualization management capabilities by integrating with Cinder, a storage service, to manage resources from the Ceph Storage. oVirt 3.6 revolutionize the way it manages virtualized storage to be much more scalable and flexible, and opens the door for future integrations with well known storage providers such as NetApp, EMC, HP and more.

Database experiences designing cassandra schema for keystone

openstackindia

Kubernetes for Enterprise DevOps

Jim Bugwadia

Demistifying open stack storage

openstackindia

OpenNebula TechDay Boston 2015 - Hyperconvergence and OpenNebula

OpenNebula Project

Guts & OpenStack migration

openstackindia

State of Linux Containers in OpenStack

openstackindia

OpenStack Contribution Workflow

Sean McGinnis

SUSE Enterprise Storage

SUSE

Windows Azure Pack: Containerized SQL Server Resource provider

Valio Bonev

Setting up a MySQL Docker Container

Victor S. Recio

OpenStack Boston Summit: Kuryr project updates

Antoni Segura Puimedon

Introduction to OpenStack Cinder

Sean McGinnis

Carbon 5 : A Preview

Sameera Jayasoma

Mysql 8 vs Mariadb 10.4 Webinar 2020 Feb

Alkin Tezuysal

At the moment MySQL 8 and MariaDB 10.4 are the latest versions of the corresponding database management systems. Each of these DBMSs has a unique set of features, unavailable in its analogue (MariaDB features might be unavailable in MySQL, and vice versa). In this presentation, we’ll cover these new features and provide recommendations re: which application will work best on which DBMS. Attendees will be able to identify what focus areas that either MySQL or MariaDB targeted. This talk also gives a great overview of what are the benefits of using one over another.

Multiple Sites and Disaster Recovery with Ceph: Andrew Hatfield, Red Hat

OpenStack

Multiple Sites and Disaster Recovery with Ceph Audience: Intermediate Topic: Storage Abstract: Ceph is the leading storage solution for OpenStack. As OpenStack deployments become more mission critical and widely deployed, multiple site requirements are increasing as is the need to ensure disaster recovery and business continuity. Learn about the new capabilities in Ceph that assist customers with meeting these requirements for block and object uses. Speaker Bio: Andrew Hatfield, Red Hat Andrew has over 20 years experience in the IT industry across APAC, specialising in Databases, Directory Systems, Groupware, Virtualisation and Storage for Enterprise and Government organisations. When not helping customers slash costs and increase agility by moving to the software-defined storage future, he’s enjoying the subtle tones of Islay Whisky and shredding pow pow on the world’s best snowboard resorts. OpenStack Australia Day Government - Canberra 2016 https://events.aptira.com/openstack-australia-day-canberra-2016/

Building Services with WSO2 Microservices framework for Java and WSO2 AS

Kasun Gajasinghe

Protecting the Galaxy - Multi-Region Disaster Recovery with OpenStack and Ceph

Sean Cohen

IT organizations require a disaster recovery strategy addressing outages with loss of storage, or extended loss of availability at the primary site. Applications need to rapidly migrate to the secondary site and transition with little or no impact to their availability.This talk will cover the various architectural options and levels of maturity in OpenStack services for building multi-site configurations using the Mitaka release. We’ll present the latest capabilities for Volume, Image and Object Storage with Ceph as the backend storage solution, and look at the future developments the OpenStack and Ceph communities are driving to improve and simplify the relevant use cases. Slides from OpenStack Austin Summit 2016 session: http://alturl.com/hpesz

Open stack solidfire-mavenspire-meetup

Gene Dubensky

OpenStack Tokyo Meeup - Gluster Storage Day

Dan Radez

Big Data and PostgreSQL

PGConf APAC

Migration From Oracle to PostgreSQL

PGConf APAC

What's hot

Managing ceph through_oVirt_using_Cinder

Maor Lipchuk

Database experiences designing cassandra schema for keystone

openstackindia

Kubernetes for Enterprise DevOps

Jim Bugwadia

Demistifying open stack storage

openstackindia

OpenNebula TechDay Boston 2015 - Hyperconvergence and OpenNebula

OpenNebula Project

Guts & OpenStack migration

openstackindia

State of Linux Containers in OpenStack

openstackindia

OpenStack Contribution Workflow

Sean McGinnis

SUSE Enterprise Storage

SUSE

Windows Azure Pack: Containerized SQL Server Resource provider

Valio Bonev

Setting up a MySQL Docker Container

Victor S. Recio

OpenStack Boston Summit: Kuryr project updates

Antoni Segura Puimedon

Introduction to OpenStack Cinder

Sean McGinnis

Carbon 5 : A Preview

Sameera Jayasoma

Mysql 8 vs Mariadb 10.4 Webinar 2020 Feb

Alkin Tezuysal

Multiple Sites and Disaster Recovery with Ceph: Andrew Hatfield, Red Hat

OpenStack

Building Services with WSO2 Microservices framework for Java and WSO2 AS

Kasun Gajasinghe

Protecting the Galaxy - Multi-Region Disaster Recovery with OpenStack and Ceph

Sean Cohen

Open stack solidfire-mavenspire-meetup

Gene Dubensky

OpenStack Tokyo Meeup - Gluster Storage Day

Dan Radez

What's hot (20)

Managing ceph through_oVirt_using_Cinder

Database experiences designing cassandra schema for keystone

Kubernetes for Enterprise DevOps

Demistifying open stack storage

OpenNebula TechDay Boston 2015 - Hyperconvergence and OpenNebula

Guts & OpenStack migration

State of Linux Containers in OpenStack

OpenStack Contribution Workflow

SUSE Enterprise Storage

Windows Azure Pack: Containerized SQL Server Resource provider

Setting up a MySQL Docker Container

OpenStack Boston Summit: Kuryr project updates

Introduction to OpenStack Cinder

Carbon 5 : A Preview

Mysql 8 vs Mariadb 10.4 Webinar 2020 Feb

Multiple Sites and Disaster Recovery with Ceph: Andrew Hatfield, Red Hat

Building Services with WSO2 Microservices framework for Java and WSO2 AS

Protecting the Galaxy - Multi-Region Disaster Recovery with OpenStack and Ceph

Open stack solidfire-mavenspire-meetup

OpenStack Tokyo Meeup - Gluster Storage Day

Viewers also liked

Big Data and PostgreSQL

PGConf APAC

Migration From Oracle to PostgreSQL

PGConf APAC

Lessons PostgreSQL learned from commercial databases, and didn’t

PGConf APAC

PostgreSQL WAL for DBAs

PGConf APAC

Use Case: PostGIS and Agribotics

PGConf APAC

How to teach an elephant to rock'n'roll

PGConf APAC

Why we love pgpool-II and why we hate it!

PGConf APAC

Query Parallelism in PostgreSQL: What's coming next?

PGConf APAC

Viewers also liked (8)

Big Data and PostgreSQL

Migration From Oracle to PostgreSQL

Lessons PostgreSQL learned from commercial databases, and didn’t

PostgreSQL WAL for DBAs

Use Case: PostGIS and Agribotics

How to teach an elephant to rock'n'roll

Why we love pgpool-II and why we hate it!

Query Parallelism in PostgreSQL: What's coming next?

Балансировка на скорости проводов. Без ASIC, без ограничений. Решения NFWare ...

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 16:00 Тезисы: http://www.highload.ru/2017/abstracts/2858.html Аудитория Одноклассников превышает 73 миллиона человек в России, СНГ и странах дальнего зарубежья. При этом ОК.ru - первая социальная сеть по просмотрам видео в рунете и крупнейшая сервисная платформа. Качественный и количественный рост DDoS-атак за последние годы превращает их в одну из первоочередных проблем для крупнейших интернет-ресурсов. В зависимости от вектора атаки “узким” местом становится та или иная часть инфраструктуры. В частности, при SYN-flood первый удар приходится на систему балансировки трафика. От ее производительности зависит успех в противостоянии атаке. ...

Перехват трафика — мифы и реальность / Евгений Усков (Qrator Labs)

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 15:00 Тезисы: http://www.highload.ru/2017/abstracts/3008.html Никогда не было и вот снова случилось! Компания Google в результате перенаправления трафика сделала недостпуными в Японии несколько тысяч различных сервисов, большинство из которых никак не связано с самой компанией Google. Однако, подобные инциденты происходят с завидной регулярностью, вот только не всегда попадают в большие СМИ. У таких инцидентов могут быть разные причины, начиная от ошибок сетевых инженеров и заканчивая государственным регулированием. ...

И тогда наверняка вдруг запляшут облака! / Алексей Сушков (ПЕТЕР-СЕРВИС)

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/2925.html Облака и виртуализация – современные тренды развития IT-технологий. Операторы связи строят свои TelcoClouds на стандартах NFV (Network Functions Virtualization) и SDN (Software-Defined Networking). В докладе начнем с основ виртуализации, далее разберемся, для чего используются NFV и SDN, потом полетим к облакам и вернемся на землю для решения практических задач! ...

Как мы заставили Druid работать в Одноклассниках / Юрий Невиницин (OK.RU)

Ontico

HighLoad++ 2017 Зал «Мумбай», 8 ноября, 10:00 Тезисы: http://www.highload.ru/2017/abstracts/3045.html Как мы заставили Druid работать в Одноклассниках. «Druid is a high-performance, column-oriented, distributed data store» http://druid.io. Мы расскажем о том, как, внедрив Druid, мы справились с ситуацией, когда MSSQL-based система статистики на 50 терабайт стала: - медленной: средняя скорость ответа была в разы меньше требуемой (и увеличилась в 20 раз); - нестабильной: в час пик статистика отставала до получаса (теперь ничего не отстает); - дорогой: изменилась политика лицензирования Microsoft, расходы на лицензии могли составить миллионы долларов. ...

Разгоняем ASP.NET Core / Илья Вербицкий (WebStoating s.r.o.)

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 18:00 Тезисы: http://www.highload.ru/2017/abstracts/2905.html Прошло более года с того момента, как Microsoft выпустила первую версию своего нового фреймворка для разработки web-приложений ASP.NET Core, и с каждым днем он находит все больше поклонников. ASP.NET Core базируется на платформе .NET Core, кроссплатформенной версии платформы .NET c открытым исходным кодом. Теперь у С#-разработчиков появилась возможность использовать Mac в качестве среды разработки, и запускать приложения на Linux или внутри Docker-контейнеров. ...

100500 способов кэширования в Oracle Database или как достичь максимальной ск...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 14:00 Тезисы: http://www.highload.ru/2017/abstracts/2913.html Изначально будут раскрыты базовые причины, которые заставили появиться такой части механизма СУБД, как кэш результатов, и почему в ряде СУБД он есть или отсутствует. Будут рассмотрены различные варианты кэширования результатов как sql-запросов, так и результатов хранимой в БД бизнес-логики. Произведено сравнение способов кэширования (программируемые вручную кэши, стандартный функционал) и даны рекомендации, когда и в каких случаях данные способы оптимальны, а порой опасны. ...

Apache Ignite Persistence: зачем Persistence для In-Memory, и как он работает...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 13:00 Тезисы: http://www.highload.ru/2017/abstracts/2947.html Apache Ignite — Open Source платформа для высокопроизводительной распределенной работы с большими данными с применением SQL или Java/.NET/C++ API. Ignite используют в самых разных отраслях. Сбербанк, ING, RingCentral, Microsoft, e-Therapeutics — все эти компании применяют решения на основе Ignite. Размеры кластеров разнятся от всего одного узла до нескольких сотен, узлы могут быть расположены в одном ЦОД-е или в нескольких геораспределенных. ...

Механизмы мониторинга баз данных: взгляд изнутри / Дмитрий Еманов (Firebird P...

Ontico

HighLoad++ 2017 Зал «Рио-де-Жанейро», 8 ноября, 12:00 Тезисы: http://www.highload.ru/2017/abstracts/3005.html Когда мы говорим о нагруженных системах и базах данных с большим числом параллельных коннектов, особый интерес представляет практика эксплуатации и сопровождения таких проектов. В том числе инструменты и механизмы СУБД, которые могут быть использованы DBA и DevOps-инженерами для решения задач мониторинга жизнедеятельности базы данных и ранней диагностики возможных проблем. ...

More from Ontico (20)

One-cloud — система управления дата-центром в Одноклассниках / Олег Анастасье...

Масштабируя DNS / Артем Гавриченков (Qrator Labs)

Создание BigData-платформы для ФГУП Почта России / Андрей Бащенко (Luxoft)

Готовим тестовое окружение, или сколько тестовых инстансов вам нужно / Алекса...

Новые технологии репликации данных в PostgreSQL / Александр Алексеев (Postgre...

PostgreSQL Configuration for Humans / Alvaro Hernandez (OnGres)

Inexpensive Datamasking for MySQL with ProxySQL — Data Anonymization for Deve...

Опыт разработки модуля межсетевого экранирования для MySQL / Олег Брославский...

ProxySQL Use Case Scenarios / Alkin Tezuysal (Percona)

MySQL Replication — Advanced Features / Петр Зайцев (Percona)

Внутренний open-source. Как разрабатывать мобильное приложение большим количе...

Подробно о том, как Causal Consistency реализовано в MongoDB / Михаил Тюленев...