Download as PDF, PPTX
More Related Content
![[9.5新機能]追加されたgroupbyの使い方](https://cdn.slidesharecdn.com/ss_thumbnails/9-151214013505-thumbnail.jpg?width=640&height=640&fit=bounds)
Similar to Lt ingaoho-jsonb+postgeres fdw
Lt ingaoho-jsonb+postgeres fdw
- 1. 中国 DB 勉強会 (2015-01-31) Lighting-Talk インガオホー！ jsonb+ postgres_fdw ぬこ＠横浜 (@nuko_yokohama)
- 2.
- 3.
- 4. 最近、 NJSLYR を読み始めた ニュービーです。 なのでこのLT は NJSLYR 的な コトダマ混入成分過多！ そして、このスライドは 頭のう指数が大幅低下！ コワイ！
- 5.
- 6.
- 7.
- 8.
- 9. postgres_fdw 外部の PostgreSQL サーバに格納されたデータを 自分のDB 内のテーブルであるかのように アクセスするために使用する、外部データラッパ 類似モジュールとして dblink があるが、 postgres_fdw のほうが、より自然なクエリが書ける。 参照だけでなく、更新 (insert/update/delete) も可。 PostgreSQL 9.3 からサポートされている。 と、古事記 PostgreSQL 文書に書かれている。
- 10.
- 11.
- 12.
- 13.
- 14. グワーッ！ foo=# COPY testFROM '/tmp/json.txt'; ERROR: cannot copy to foreign table "test" foo=# 外部テーブルに 直接 COPY はできない。 表 リモートサーバ 外部表 ローカルサーバ JSON データ COPY
- 15. COPY の問題は以下の ジツを使って回避可能 1. リモートテーブルに直接COPY 2. INSERT 文を使用 3. file_fdw+ バルク INSERT （３ . の方法の詳細は次ページで説明） 備えよう。
- 16. file_fdw+ バルク INSERT こんなアトモスフィアなシェル作成！ #!/bin/sh DBNAME=$1 FOREIGN_TABLE_ARG=$2 LOAD_FILE_NAME=$3 LOAD_TABLE_NAME=$4 CREATE_SERVER_SQL="CREATESERVER __cp_server FOREIGN DATA WRAPPER file_fdw" psql ${DBNAME} -c "${CREATE_SERVER_SQL}" CREATE_FOREIGN_TABLE_SQL="CREATE FOREIGN TABLE __cp_table ( ${FOREIGN_TABLE_ARG} ) SERVER __cp_server OPTIONS (filename '${LOAD_FILE_NAME}')" psql ${DBNAME} -c "${CREATE_FOREIGN_TABLE_SQL}" INSERT_SQL="INSERT INTO ${LOAD_TABLE_NAME} (SELECT data FROM __cp_table )" psql ${DBNAME} -c "${INSERT_SQL}" DROP_FOREIGN_TABLE_SQL="DROP FOREIGN TABLE __cp_table" psql ${DBNAME} -c "${DROP_FOREIGN_TABLE_SQL}" DROP_SERVER_SQL="DROP SERVER __cp_server" psql ${DBNAME} -c "${DROP_SERVER_SQL}" contrib/file_fdw の外部サーバ / 外部表を定義 外部表を SELECT で全件検索した結果を INSERT 文に流し込む。 最後に外部表と外部サーバを爆発四散！
- 17. file_fdw+ バルク INSERT 前ページのシェルを実行！ $./fdw_cp foo "data jsonb" "/tmp/json.txt" "test" CREATE SERVER CREATE FOREIGN TABLE INSERT 0 100000 DROP FOREIGN TABLE DROP SERVER $ ゴウランガ！ COPY で使うファイルをそのまま使って 外部表へロード可能！ (COPY より遅いのは仕方がない。いいね？） このシェルは postgres_fdw 専用というわけでなく 挿入操作が可能な FDW なら使用重点！
- 18.
- 19. グワーッ！ 外部テーブルに対する TRUNCATE はどの FDWでも できないっぽい。 ざんねんながらリモートの 実表に TRUNCATE 必須！
- 20.
- 21. 例えば、外部テーブルの ソースとなるサーバに以下のような JSONB カラムを持つ test テーブルがあるとする。 確かにあるのだ！ bar=#d test Table "public.test" Column | Type | Modifiers --------+-------+----------- data | jsonb | Indexes: "test_id_idx" btree ((data ->> 'id'::text)) "test_idx" gin (data)
- 22. ローカルな問い合わせなら btree 式インデックスも gin インデックスも使える。 bar=#EXPLAIN SELECT * FROM test WHERE data->>'id' = '10000'; QUERY PLAN ------------------------------------------------------------------------- Index Scan using test_id_idx on test (cost=0.42..8.44 rows=1 width=70) Index Cond: ((data ->> 'id'::text) = '10000'::text) (2 rows) bar=# EXPLAIN SELECT * FROM test WHERE data @> '{"id":10000}'; QUERY PLAN -------------------------------------------------------------------------- Bitmap Heap Scan on test (cost=28.77..336.47 rows=100 width=70) Recheck Cond: (data @> '{"id": 10000}'::jsonb) -> Bitmap Index Scan on test_idx (cost=0.00..28.75 rows=100 width=0) Index Cond: (data @> '{"id": 10000}'::jsonb) (4 rows) あからさまにインデックス検索なのだ！
- 23.
- 24. @> 演算子 {キー : 値 } の場合 WHERE 句を pushdown して、 リモート側でも GIN インデックスを使用 foo=# EXPLAIN ANALYZE SELECT * FROM test WHERE data @> '{"id":10000}'; QUERY PLAN -------------------------------------------------------------- Foreign Scan on test (cost=100.00..128.29 rows=1 width=32) (actual time=0.579..0.579 rows=1 loops=1) Planning time: 0.052 ms Execution time: 0.867 ms (3 rows) Time: 1.204 ms 外部テーブルから返却された時点で １件になっていることに注目重点な！ 実際速い！
- 25. ->>' キー '演算子 値 の場合 WHERE 句は pushdown されず、 リモート側でフルスキャン全件取得！ アイエエエ！フルスキャン！ フルスキャンナンデ！ foo=# EXPLAIN ANALYZE SELECT * FROM test WHERE data->>'id' = '10000'; QUERY PLAN ---------------------------------------------------------------------- Foreign Scan on test (cost=100.00..159.93 rows=7 width=32) (actual time=31.028..273.480 rows=1 loops=1) Filter: ((data ->> 'id'::text) = '10000'::text) Rows Removed by Filter: 99999 Planning time: 0.046 ms Execution time: 273.581 ms (5 rows) そして外部テーブルからは全件 (10 万件 ) 返却されている！ あからさまにフルスキャンなのだ！ヤンナルネ・・・ 実際遅い！
- 26. postgres_fdw 外部テーブルに渡す WHERE 句の書き方によって Pushdwonされたり されなかったりする。 おかしいと思いませんか？あなた
- 27. 古事記 PostgreSQL 文書には こう書かれている F.31.4.リモート問合せの最適化 外部サーバからのデータ転送量を削減するため、 postgres_fdw はリモート問合せを最適化しようと試みます。 これは問い合わせの WHERE 句をリモートサーバに送出する事、 およびクエリで必要とされていないカラムを取得しない事により行われます。 問い合わせの誤作動のリスクを下げるため、 ビルトインのデータ型、演算子、関数だけを用いたものでない限り、 リモートサーバに WHERE 句は送出されません。 また、 WHERE 句で使われる演算子と関数は IMMUTABLE でなければなりません。 カラム ->>' キー名 ' への比較演算だとダメっぽい？ 無視できぬ記述だ！
- 28. 要するに、特定の条件式が Pushdown されない問題は 「これはバグではない。いいね？」 「アッハイ」 JSON 型/XML 型等と postgres_fdw は 相性は良くないかも・・・
- 29.