Komplex und schnell_20_min

Komplex und schnell?
Machen Sie Ihrer PostgreSQL Beine!
Susanne Ebrecht
Westfalen 2013

Referentin
Doktorandin
Datenbankexpertin
OpenSource Aktivistin
Mehr als 25 Jahre
Erfahrung in der
Wirtschaft
Seit vielen Jahren
international tätig

Spielregeln
Twitter @miraceesusanne
Zwischenfragen sind Willkommen
Keine Individualberatung
Folien haben keine alleinstehende
Aussagekraft

SQL
Data Deﬁnition Language
CREATE, ALTER, DROP
Data Modiﬁcation Language
INSERT, UPDATE, DELETE
Data Query Language
SELECT
Data Control Language
GRANT, REVOKE
Transaction Control Language
START TRANSACTION,
SAVEPOINT, COMMIT,
ROLLBACK

Indizierung
Gezielte Indizierung
... WHERE col1 = x AND col2 = y
ein Index für col1, einer für col2
... WHERE (col1, col2) = (x, y)
ein Index für (col1, col2)

Joins
B
B
A B A
A B A
A B
INNER JOINOUTER JOINS
LEFT JOIN RIGHT JOIN
SELECT * FROM A JOIN B ON A.id=B.id;
SELECT * FROM A, B WHERE A.id=B.id;
SELECT A.* FROM A WHERE A.id IN
(SELECT B.id FROM B);
SELECT * FROM A LEFT JOIN B
ON A.id=B.id
WHERE B.id IS NULL
SELECT * FROM A RIGHT JOIN B
ON B.id=A.id
WHERE A.id IS NULL
B
A B
FULL JOIN
A
SELECT * FROM A FULL JOIN B
ON A.id=B.id
WHERE A.id IS NULL OR B.id is NULL

Schritt für Schritt
A B C A B C A B C
AB AC CB
ABC ACB CBA

Planer
EXPLAIN
Planung
EXPLAIN ANALYZE
Planung + Ausführung

EXPLAIN
knolle=# EXPLAIN SELECT s.stadt, k.verstoss, SUM(kv.betrag) AS gesamt
FROM stadt AS s JOIN knoellchenvergabe AS kv ON s.kennzeichen=kv.stadt JOIN knoellchen AS k ON kv.verstoss=k.verstoss
GROUP BY s.stadt, k.verstoss ORDER BY gesamt DESC LIMIT 10;
QUERY PLAN
-------------------------------------------------------------------------------------------------------------------------
Limit (cost=4878.07..4878.10 rows=10 width=69)
-> Sort (cost=4878.07..4941.18 rows=25245 width=69)
Sort Key: (sum(kv.betrag))
-> GroupAggregate (cost=3827.64..4332.54 rows=25245 width=69)
Sort Key: s.stadt, k.verstoss
-> Merge Join (cost=561.98..945.76 rows=25245 width=69)
Merge Cond: (k.verstoss = kv.verstoss)
Sort Key: k.verstoss
-> Seq Scan on knoellchen k (cost=0.00..20.20 rows=1020 width=32)
Sort Key: kv.verstoss
-> Hash Join (cost=33.50..187.05 rows=4950 width=67)
Hash Cond: ((s.kennzeichen)::text = (kv.stadt)::text)
-> Seq Scan on stadt s (cost=0.00..19.90 rows=990 width=48)
-> Hash (cost=21.00..21.00 rows=1000 width=37)
-> Seq Scan on knoellchenvergabe kv (cost=0.00..21.00 rows=1000 width=37)

EXPLAIN ANALYZE
knolle=# EXPLAIN ANALYZE SELECT ...
QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=4878.07..4878.10 rows=10 width=69) (actual time=26.814..26.815 rows=10 loops=1)
-> Sort (cost=4878.07..4941.18 rows=25245 width=69) (actual time=26.812..26.812 rows=10 loops=1)
Sort Method: top-N heapsort Memory: 25kB
-> GroupAggregate (cost=3827.64..4332.54 rows=25245 width=69) (actual time=25.631..26.597 rows=256 loops=1)
Sort Key: s.stadt, k.verstoss
Sort Method: quicksort Memory: 125kB
-> Merge Join (cost=561.98..945.76 rows=25245 width=69) (actual time=10.094..12.171 rows=1000 loops=1)
Merge Cond: (k.verstoss = kv.verstoss)
Sort Key: k.verstoss
-> Seq Scan on knoellchen k (cost=0.00..20.20 rows=1020 width=32) (actual time=0.009..0.014 rows=13 loops=1)
Sort Key: kv.verstoss
-> Hash Join (cost=33.50..187.05 rows=4950 width=67) (actual time=1.684..2.487 rows=1000 loops=1)
Hash Cond: ((s.kennzeichen)::text = (kv.stadt)::text)
-> Seq Scan on stadt s (cost=0.00..19.90 rows=990 width=48) (actual time=0.003..0.011 rows=21 loops=1)
-> Hash (cost=21.00..21.00 rows=1000 width=37) (actual time=1.659..1.659 rows=1000 loops=1)
Buckets: 1024 Batches: 1 Memory Usage: 69kB
-> Seq Scan on knoellchenvergabe kv (cost=0.00..21.00 rows=1000 width=37) (actual time=0.007..0.674
rows=1000 loops=1)
Total runtime: 26.920 ms

ANALYZE
knolle=# ANALYZE;
knolle=# EXPLAIN ANALYZE SELECT s.stadt, k.verstoss, sum(kv.betrag) as gesamt
FROM stadt as s JOIN knoellchenvergabe as kv ON s.kennzeichen=kv.stadt JOIN knoellchen as k ON kv.verstoss=k.verstoss
GROUP BY s.stadt, k.verstoss ORDER BY gesamt desc LIMIT 10;
QUERY PLAN
----------------------------------------------------------------------------------------------------------------------------------------------------------------------
Limit (cost=67.39..67.42 rows=10 width=44) (actual time=5.586..5.590 rows=10 loops=1)
Sort Method: top-N heapsort Memory: 25kB
-> HashAggregate (cost=58.77..61.49 rows=273 width=44) (actual time=5.080..5.240 rows=256 loops=1)
Hash Cond: (kv.verstoss = k.verstoss)
Hash Cond: ((kv.stadt)::text = (s.kennzeichen)::text)
-> Seq Scan on knoellchenvergabe kv (cost=0.00..21.00 rows=1000 width=37) (actual time=0.008..0.326 rows=1000 loops=1)
-> Seq Scan on stadt s (cost=0.00..1.21 rows=21 width=12) (actual time=0.003..0.014 rows=21 loops=1)
-> Seq Scan on knoellchen k (cost=0.00..1.13 rows=13 width=30) (actual time=0.008..0.015 rows=13 loops=1)
Total runtime: 5.686 ms

explain.depesz.com
Hubert Lubaczewski, Nickname: depesz

Analyse
• (cost=0.00..19.90 rows=990 width=48) (actual time=0.003..0.011 rows=21 loops=1)
• ANALYZE oder STATISTIC TARGET
• (actual time=10.081..15.764 rows=1000 loops=651)
• Logik überdenken, Umgestaltung der Anfrage, ggf. CTE (CommonTable Expression)
• (actual time=25.617..12425.712 rows=1000 loops=1)
• Logik überdenken, Umgestaltung der Anfrage, ggf. Indizierung

Seq Scan
Tabelle
Page 1
Page 2
Page 3
...
Page n
Sychronize
Seqscan
Page 1
Page 2
Page 3
...
Page n

Index Scan
B-Baum
Blatt 1
Blatt 2
Blatt 3
...
Blatt n
Tabelle
Page 1
Page 2
Page 3
...
Page n
Wurzel

Bitmap-Index-Scan
B-Baum
Blatt 1
Blatt 2
Blatt 3
...
Blatt n
Tabelle
Page 1
Page 2
Page 3
...
Page n
Wurzel
0
1
1
0
0
0
0
1
0
0
1
1
0
0
0
0
0
1
1
0
1
0
1
1
0
0
0
1
0

Geschwindigkeit
Tabellengröße
Antwortzeit
Seqscan
Indexscan
Bitmapscan

Nested Loop
Index A
Blatt 1
Blatt 2
Blatt 3
...
Blatt n
Tabelle A
Page 1
Page 2
Page 3
...
Page n
Wurzel
Index B
Blatt 1
Blatt 2
Blatt 3
...
Blatt n
Tabelle B
Page 1
Page 2
Page 3
...
Page n
Wurzel

Merge Join
1. Datensatz 2. Datensatz
Voraussetzung: Sortierte Datensätze

Hash Join
1. Datensatz 2. DatensatzHash Lookup
•Hash wird erzeugt und zum Joinen genutzt
•Verknüpfung von großer und kleiner Tabelle
•Hoher work_mem
•Notfall-Mechanismus schützt vor Speicherüberlauf

Langsam
SELECT COUNT
Aggregate MIN(), MAX(), ...
DISTINCT
SELECT COUNT (DISTINCT ...)
Correlated Subselects
INNER JOINS schneller als OUTER

Zusammenfassung
Gezielt Denormalisieren
Gezielt Indizieren
Prüfen ob ANALYZE gelaufen ist
EXPLAIN ANALYZE zur Analyse
INNER schneller als OUTER
Aggregate und DISTINCT sind langsam

Komplex und schnell_20_min

Recommended

Recommended

More Related Content

Featured

Featured (20)

Komplex und schnell_20_min