PostgreSQLのgitレポジトリから見える2021年の開発状況（第30回PostgreSQLアンカンファレンス@オンライン発表資料）

© 2022 NTT DATA Corporation 1 © 2022 NTT DATA Corporation
PostgreSQLのgitレポジトリから見える2021年の開発状況
2022年1月25日
株式会社NTTデータ藤井雅雄
第30回 PostgreSQLアンカンファレンス@オンライン

© 2022 NTT DATA Corporation 2
2
© 2022 NTT DATA Corporation
自己紹介
藤井雅雄
Database Technical Lead @ NTTデータ
データベース研究開発
PostgreSQL 技術支援
PostgreSQLコミッタ
レプリケーション
WAL圧縮
バックアップ進捗確認
pg_bigm(全文検索モジュール) コミッタ
fujii_masao
MasaoFujii

3
本講演について
講演資料は、NTTデータのSlideShareアカウント上で公開予定です。
https://www.slideshare.net/nttdata-tech
以前のPostgreSQLアンカンファレンスや他カンファレンスの講演資料も公開しています。
• PostgreSQLをKubernetes上で活用するためのOperator紹介！
• PostgreSQL開発コミュニティに参加しよう！
• pg_bigmで全文検索するときに気を付けたい5つのポイント
PostgreSQL15開発版について今日紹介する内容は、正式リリースまでの間に
変更となる可能性があることにご注意ください！！

PostgreSQLのgitレポジトリから見える
2021年の開発状況

5
昨年は2020年の開発状況を発表
PostgreSQLのgitレポジトリから見える2020年の開発状況
（第20回PostgreSQLアンカンファレンス@オンライン発表資料）
https://www.slideshare.net/nttdata-tech/postgresql-
development-community-activities-2020

6
前提
$ git branch
REL_10_STABLE
REL_11_STABLE
REL_12_STABLE
REL_13_STABLE
REL_14_STABLE
master
調査対象のブランチはmasterのみ
$ git clone git://git.postgresql.org/git/postgresql.git
$ git clone https://github.com/postgres/postgres.git
PostgreSQL本体のgitレポジトリを調査

7
前提
$ git log --since 2021-01-01 --until 2021-12-31
--pretty=format:"%h %cd %s" --date=iso-local | tail -1
4d3f03f422 2021-01-02 05:51:09 +0900 Doc: improve explanation of
EXTRACT(EPOCH) for timestamp without tz.
$ git log --since 2021-01-01 --until 2021-12-31
--pretty=format:"%h %cd %s" --date=iso-local | head -1
93d9734946 2021-12-31 12:02:44 +0900 ci: Add continuous integration for github
repositories via cirrus-ci.
もしくは、下記のコミットのハッシュを指定して2021年のコミットを取得
$ git ... --since 2021-01-01 --until 2021-12-31
--sinceと--untilのオプション指定で2021年のコミットを取得

8
2021年の総コミット数
$ git log --since 2021-01-01 --until 2021-12-31 --oneline | wc -l
2269
2021年の総コミット数
$ git log --until 2021-12-31 --pretty=format:"%cd"
--date=format:"%Y" | sort | uniq -c | awk '{print $2 " " $1}' | tail -5
2017 2477
2018 2127
2019 2130
2020 2181
2021 2269
直近5年の各年の総コミット数
2021年は例年並みのコミット数
総コミット数については新型コロナ2年目の影響はなさそう

9
1996年から2021年までの各年のコミット数の推移
$ git log --until 2021-12-31 --pretty=format:"%cd" --date=format:"%Y" |
sort | uniq -c | awk '{print $2 " " $1}'
0
500
1000
1500
2000
2500
3000
3500
1996
1997
1998
1999
2000
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
2017
2018
2019
2020
2021
v7.1 (WAL、TOAST)
コミット数が大幅に増えるほどの
巨大な機能は入っていない
v10 (論理レプリ、パーティション)

10
2021年の月別のコミット数の推移
$ git log --since 2021-01-01 --until 2021-12-31 --pretty=format:"%cd"
--date=format:"%Y-%m" | sort | uniq -c
0
50
100
150
200
250
300
1 2 3 4 5 6 7 8 9 10 11 12
2020
2021
Feature Freeze
クリスマス・正月
休暇
夏休み期間だが、
コミット数は
昨年ほど減ってない

11
2021年のコミッタ別のコミット数
$ git shortlog --since 2021-01-01 --until 2021-12-31 -s -n | nl
1 548 Tom Lane
2 287 Michael Paquier
3 249 Peter Eisentraut
4 126 Amit Kapila
5 121 Alvaro Herrera
6 102 Peter Geoghegan
6 102 Fujii Masao (2020年は108件)
8 93 Thomas Munro
9 73 Robert Haas
10 70 David Rowley
11 69 Tomas Vondra
12 65 Bruce Momjian
.... ※コミット数が同じ場合は同一順位になるようにコマンド結果を一部加工

12
2021年の(コミッタ所属の)会社別のコミット数
1 663 Crunchy Data (4)
2 650 EnterpriseDB (7)
3 337 VMWare (3)
4 224 Microsoft (4)
5 126 Fujitsu (1)
6 102 NTT Data (1)
7 44 Zenith Labs, Inc (1)
8 39 Unknown (3)
9 26 Redpill Linpro (1)
10 22 Postgres Professional (2)
11 17 NTT (1)
12 13 University of Cambridge (1)
13 4 credativ (1)
14 2 SRA OSS (1)
※2021年のコミッタ別のコミット数について、
2021年末時点のコミッタの所属企業ごとに集計
※()内の数字は各企業の所属コミッタ数

13
2021年によく更新されたソースファイル
$ git diff 4d3f03f422 93d9734946 --stat | grep -E ".[chy]" | sort -k 3 -n -r | head -10
src/pl/plperl/ppport.h | 18588 ++++++++++---
src/bin/pg_dump/pg_dump.c | 7454 +++--
.../snowball/libstemmer/stem_UTF_8_serbian.c | 6543 +++++
src/backend/snowball/libstemmer/stem_UTF_8_greek.c | 5412 ++--
src/include/common/unicode_norm_hashfunc.h | 3846 +--
src/backend/access/heap/vacuumlazy.c | 3694 ++-
contrib/pgcrypto/imath.c | 3588 ---
src/backend/postmaster/pgstat.c | 3557 +--
src/backend/access/brin/brin_minmax_multi.c | 3163 +++
src/backend/commands/tablecmds.c | 2577 +-
2021年に更新の多かったソースファイル、トップ10
関連コンポーネントのアップデートに伴う
ソースファイルの改修

14
v15開発版において、v9.1以前からのダンプ機能を
pg_dumpやpg_dumpallから削除など

15
v9.1以前からのダンプ機能をv15で削除予定
$ pg_dump
...
-- Dumped from database version 9.1.24
-- Dumped by pg_dump version 14.0
...
v14のpg_dumpを使ってPostgreSQL9.1からダンプ取得 → 成功
pg_dump: error: server version: 9.1.24; pg_dump version: 15devel
pg_dump: error: aborting because of server version mismatch
v15devのpg_dumpを使ってPostgreSQL9.1からダンプ取得 → エラー
v9.1以前からv15以降には直接はアップグレードできず、
複数バージョン間を段階的にアップグレードする必要が出てくるかも

16
v9.1以前からのダンプ機能をv15で削除予定
Remove pg_dump/pg_dumpall support for dumping from pre-9.2 servers.
https://github.com/postgres/postgres/commit/30e7c175b81d53c0f60f6ad12d1913a6d7d77008
Remove pg_upgrade support for upgrading from pre-9.2 servers.
https://github.com/postgres/postgres/commit/e469f0aaf3c586c8390bd65923f97d4b1683cd9f
Remove psql support for server versions preceding 9.2.
https://github.com/postgres/postgres/commit/cf0cab868aa4758b7eec5f9412f2ec74acda7f45
$ psql
psql (15devel, server 9.1.24)
WARNING: psql major version 15, server major version 9.1.
Some psql features might not work.
...
v15devのpsqlを使ってPostgreSQL9.1に接続 → 警告

17
v15開発版において、pgcryptoがOpenSSL必須に

18
v15からpgcryptoはOpenSSL必須になる予定
https://www.postgresql.jp/document/13/html/pgcrypto.html#id-1.11.7.34.11
• v14以前では、OpenSSLがない環境でも
pgcryptoは組み込みの暗号化アルゴリズムを
提供
• v15以降では、組み込みの暗号化アルゴリズム
は削除。OpenSSLがない環境では
pgcryptoを利用できない

19
GitHub上のPostgreSQLミラーgitレポジトリでCIが有効化
メインgitレポジトリ (https://git.postgresql.org/)
GitHub上のミラーgitレポジトリ (https://github.com/postgres/postgres/)
• Cirrus CIとの連携が有効化。連携に必要なファイルもPostgreSQLソースツリーに追加
• コミットのたびに、Cirrus CIのFreeBSD、Linux、macOS、
Windows(Visual Studio)上でリグレッションテストが走る
• テスト結果は誰でも確認可能
(https://cirrus-ci.com/github/postgres/postgres/)
各開発者のPostgreSQLのgitレポジトリでも、Cirrus CIとの連携を有効化することで、
開発中の機能のコミットごとにCirrus CI上でテストを走らせることができる！

その他、記載されている会社名、商品名、又はサービス名は、
各社の登録商標又は商標です。

PostgreSQLのgitレポジトリから見える2021年の開発状況（第30回PostgreSQLアンカンファレンス@オンライン 発表資料）

More Related Content

What's hot

Similar to PostgreSQLのgitレポジトリから見える2021年の開発状況（第30回PostgreSQLアンカンファレンス@オンライン 発表資料）

More from NTT DATA Technology & Innovation