Intro to Postgres Extension for rust

1. © 2019 Cloudera, Inc. All rights reserved. 1
2020 年 3月
https://github.com/inoue-katsumi
https://katsumiinoue.wordpress.com/
PostgreSQL UDF in Rust@新宿

2. © 2019 Cloudera, Inc. All rights reserved. 3
自己紹介
• ブログ: https://katsumiinoue.wordpress.com/
• Cloudera: BigData 系OSS {サービス|packaging|サポート}
– Apache {Hadoop|Spark|Impala|…}
• コントロールプレーン系担当
– 管理、監視
– メトリック
– 認証認可
– 開発ツール

3. © 2019 Cloudera, Inc. All rights reserved. 4
PostgreSQL UDFって?
• PostgreSQL拡張の中の一つの種類
• UDF == User Defined Function、ユーザー定義関数
• 実体は共有ライブラリで
配置されサーバー側で
ロードされる
• DBアクセスドライバーや
ORM(例:Diesel)ではない
– 右のPDFは次スライド
参照

4. © 2019 Cloudera, Inc. All rights reserved. 5
実装その１
• 最も本格的な実装か。
• 左下はPDFプレゼン資料

5. © 2019 Cloudera, Inc. All rights reserved. 6
実装その２、３
• 6年前のおそらく最初の実装 • 今回試したもの

6. © 2019 Cloudera, Inc. All rights reserved. 7
最終結果 #1
時間あれば後でデモします
PostgreSQLバージョンt
SQL CLIツール
Postgres server process
DLL 8個

7. © 2019 Cloudera, Inc. All rights reserved. 8
最終結果 #2
時間あれば後でデモします
Rust UDF呼び出し.
“SELECT 3+1” と同じ(笑
実装が入っているdynlib

8. © 2019 Cloudera, Inc. All rights reserved. 9
最終結果 #3
時間あれば後でデモします
実装が入っている別の
DLL(dylib)が新しくロード
される

9. © 2019 Cloudera, Inc. All rights reserved. 10
最終結果 #4 パフォーマンス比較
時間あれば後でデモします
• 200万行データで (列1)+(列2)+(列3)
• ほぼ同じ
– Debug build だと18% ぐらいのオーバーヘッドあり

10. © 2019 Cloudera, Inc. All rights reserved. 11
他の言語での実装
• 右: C言語
– マクロ多用
• 左下: PL/Python
– PL/Python自体がExtension

11. © 2019 Cloudera, Inc. All rights reserved. 12
Rust ソース

12. © 2019 Cloudera, Inc. All rights reserved. 13
パニック処理
• SIGSEGV などが発生してもPostgreSQL
サーバープロセスを落とさない。
• 割り算での divide_by_zero は明示的に
例外処理しなくても一応問題無さそう。
/// my divide by 0 test
#[pg_extern]
fn divide_six(value: i32) -> i32 {
(6 / value)
}

13. © 2019 Cloudera, Inc. All rights reserved. 14
パニックに対応していない場合の結果
• DBセッションがabortするのでトランザクションがCOMMITされず再実行
が必要になる。
• 以下がGithub issuesに報告されています。

14. © 2019 Cloudera, Inc. All rights reserved. 15
パニック系動作確認 #1
pg_extend_rs_test_db=# create table tbl_div6(col1 int2);
CREATE TABLE
pg_extend_rs_test_db=# commit;
COMMIT
pg_extend_rs_test_db=# insert into tbl_div6 values(1),(2),(3),(6);
INSERT 0 4
pg_extend_rs_test_db=# select divide_six(col1)from tbl_div6;
divide_six
------------
6
3
2
1
(4 rows)
pg_extend_rs_test_db=# commit;
COMMIT
pg_extend_rs_test_db=# insert into tbl_div6 values(0);
INSERT 0 1

15. © 2019 Cloudera, Inc. All rights reserved. 16
パニック系動作確認 #2
pg_extend_rs_test_db=# select divide_six(col1)from tbl_div6;
NOTICE: PG longjmped: 1
NOTICE: continuing longjmp: panicked at pg-extend/src/lib.rs:183:9
ERROR: panic in Rust extension: panicked at 'attempt to divide by zero', examples/adding/src/lib.rs:26:5
pg_extend_rs_test_db=# commit;
ROLLBACK
pg_extend_rs_test_db=# select * from tbl_div6;
col1
------
1
2
3
6
pg_extend_rs_test_db=# insert into tbl_div6 values(0);
INSERT 0 1
pg_extend_rs_test_db=# select divide_six(col1)from tbl_div6;
server closed the connection unexpectedly. This probably means the server terminated abnormally
before or while processing the request. The connection to the server was lost. Attempting reset: Failed.
!> commit;
You are currently not connected to a database.
!> ¥q
-bash-4.2$
LLVMレイヤ
ーのエラー
COMMITでき
ない

16. © 2019 Cloudera, Inc. All rights reserved. 17
この実装の特徴など
• Cargo make で PostgreSQLの指定バージョンの tar ボールを落としてきて
展開し、テスト
• CentOS 7.7 では llvm ver.7 を非標準レポジトリーから yum でインストー
ルする必要あり
– PostgreSQL 12.1
• Windows10 WSL(Ubuntu 18.04)での方が簡単に試せた。
– PostgreSQL 11.x
• 小さい共有ライブラリー *.so(*.dll,*.dylib)ファイルをビルドするのに10分以
上かかる。
• 引数の型は固定かも
– Polymorphism はまだできない可能性あり
– C でのUDFとの違い

17. © 2019 Cloudera, Inc. All rights reserved. 18
Attribute Macro (https://docs.rs/pg-extern-attr/0.2.2/pg_extern_attr/attr.pg_extern.html)
postgres_12.1/include/server/fmgr.h
に定義あり

18. © 2019 Cloudera, Inc. All rights reserved. 19
比較的シンプルなRustアプリのUDF化に挑戦
• 諦めました
orz
振り仮名
(ルビ振り)

19. © 2019 Cloudera, Inc. All rights reserved. 20
参考: UDF定義のDDL
# grep pg-extend-rs /root/pg-extend-rs/target/postgres-12.1.log |sed 's/^.*statement: //;s/^[ ¥t]*//' |sort|uniq
CREATE or REPLACE FUNCTION add_big_one(int8) RETURNSint8 AS '/root/pg-extend-rs/target/debug/libadding.so',
'pg_add_big_one'LANGUAGE C STRICT;
CREATE or REPLACE FUNCTION add_one(int4) RETURNS int4 AS '/root/pg-extend-rs/target/debug/libadding.so', 'pg_add_one'
LANGUAGE C STRICT;
CREATE or REPLACE FUNCTION add_small_one(int2) RETURNS int2 AS '/root/pg-extend-rs/target/debug/libadding.so',
'pg_add_small_one'LANGUAGE C STRICT;
CREATE or REPLACE FUNCTION add_together(int8,int4,int2) RETURNS int8 AS '/root/pg-extend-rs/target/debug/libadding.so',
'pg_add_together'LANGUAGE C STRICT;
CREATE or REPLACE FUNCTION allocate() RETURNS void AS '/root/pg-extend-rs/target/debug/libmemory_context.so', 'pg_allocat
LANGUAGE C;
CREATE or REPLACE FUNCTION concat_rs(text,text) RETURNS text AS '/root/pg-extend-rs/target/debug/libstrings.so', 'pg_concat_
LANGUAGE C STRICT;
CREATE or REPLACE FUNCTION get_null() RETURNS int4 AS '/root/pg-extend-rs/target/debug/libnullable.so', 'pg_get_null'
LANGUAGE C;
CREATE or REPLACE FUNCTION longjmping(int4) RETURNS int4 AS '/root/pg-extend-rs/target/debug/libpanicking.so',
'pg_longjmping' LANGUAGE C STRICT;
CREATE or REPLACE FUNCTION panicking(int4) RETURNS int4 AS '/root/pg-extend-rs/target/debug/libpanicking.so', 'pg_panicking
LANGUAGE C STRICT;
...(以下同例10個ほど)…

20. ありがとうございました。