1. Need for speed, czyli jak wycisnąć siódme poty z bazy PostgreSQL. Wojciech Bublik

2. O Empathy Internet Software House www.empathy.pl 2000 rok założenia 30 osób zatrudnienie

3. Wstęp www.empathy.pl Foto: www.flickr.com/photos/31935170@N08/2984070905/

5. Tuning konfiguracji serwera www.empathy.pl Foto: www.flickr.com/photos/zacky8/506835302/

7. Tuning konfiguracji serwera www.empathy.pl postgresql.conf max_connections shared_buffers temp_buffers max_prepared_transactions work_mem maintenance_work_mem checkpoint_segments effective_cache_size http://www.postgresql.org/docs/8.3/interactive/kernel-resources.html

8. Optymalizacja zapytań O czym powinni pamiętać programiści www.empathy.pl http://www.flickr.com/photos/telstar/857260510/

9. Optymalizacja zapytań O czym powinni pamiętać programiści www.empathy.pl 1. Indeksy CREATE INDEX idx_test1 ON mtcs_attributes (fk_attribute_class_id) ; CREATE INDEX idx_test2 ON opr_cttrx (ctt_amnt, ctt_sysdate) WITH ( fillfactor = 70 ); CREATE INDEX idx_test3 ON opr_pptrx USING btree (ppt_date) WHERE ppt_acc = 5504100 ;

10. Optymalizacja zapytań O czym powinni pamiętać programiści www.empathy.pl 2. Pola w wynikach zapytania

11. Optymalizacja zapytań O czym powinni pamiętać programiści www.empathy.pl 3. Minimalizowanie ilości zapytań SQL 1. SELECT true FROM eicrm_company WHERE cmp_id = 1234; UPDATE eicrm_company SET cmp_name = ‘xyz’, cmp_short_name = ‘xyz’ WHERE cmp_id = 1234; INSERT INTO eicrm_company (cmp_name, cmp_short_name) VALUES (‘xyz’,’xyz’); 2. UPDATE eicrm_company SET cmp_name = ‘xyz’, cmp_short_name = ‘xyz’ WHERE cmp_id = 1234 RETURNING cmp_id; INSERT INTO eicrm_company (cmp_name, cmp_short_name) VALUES (‘xyz’,’xyz’) RETURNING cmp_id;

13. Optymalizacja zapytań O czym powinni pamiętać programiści www.empathy.pl 5. Postać normalna? Nie za wszelką cenę. CREATE TABLE eicrm_company ( cmp_id serial NOT NULL, cmp_short_name character varying(64) NOT NULL, cmp_name character varying(256) NOT NULL, cmp_nip character varying(10) ); CREATE TABLE eicrm_address ( adr_id serial NOT NULL, adr_cmp_id integer, adr_street character varying(256), adr_street_no integer, adr_street_place_no character varying(8), adr_city character varying(256), adr_postal_code character varying(6) ); CREATE TABLE eicrm_phone ( phn_id serial NOT NULL, phn_cmp_id integer, phn_no character varying(16), phn_type smallint, ); CREATE TABLE eicrm_www ( www_id serial NOT NULL, www_cmp_id integer, www_address character varying(64) );

14. Optymalizacja zapytań O czym powinni pamiętać programiści www.empathy.pl 5. Postać normalna? Nie za wszelką cenę. SELECT cmp_name, adr_city, adr_street, adr_street_no, adr_street_place_no, (SELECT phn_no FROM eicrm_phone WHERE phn_id = cmp_main_phn_id ) FROM eicrm_company LEFT OUTER JOIN eicrm_address ON (cmp_main_adr_id = adr_id)

16. Optymalizacja zapytań O czym powinni pamiętać programiści www.empathy.pl 7. Warto próbować różnych sposobów COST: 9940 CZAS WYKONANIA: 108 ms SELECT DISTINCT product_group.pgr_id, product_group.pgr_name FROM product_group INNER JOIN product_list ON (eis_product_group.pgr_id = tmp_prd_list_view.pgr_id) COST: 9340 CZAS WYKONANIA: 108 ms SELECT product_group.pgr_id, product_group.pgr_name FROM product_group WHERE pgr_id IN (SELECT DISTINCT pgr_id FROM product_list)

17. Optymalizacja zapytań O czym powinni pamiętać programiści www.empathy.pl 7. Warto próbować różnych sposobów COST: 14 CZAS WYKONANIA: 13 ms SELECT product_group.pgr_id, product_group.pgr_name FROM product_group WHERE pgr_id IN (SELECT pgr_id FROM product_list) COST: 89 CZAS WYKONANIA: 21 ms SELECT product_group.pgr_id, product_group.pgr_name FROM product_group WHERE EXISTS (SELECT 1 FROM product_list WHERE product_list.pgr_id = product_group.pgr_id)

18. Optymalizacja zapytań Analiza bazy danych www.empathy.pl Foto: FABIO MUZZI/AFP/Getty Images

19. Optymalizacja zapytań Analiza bazy danych www.empathy.pl Analiza bazy danych 1. Analiza statystyk serwera track_counts (stats_start_collector, stats_row_level), pg_stat_user_tables, pg_stat_user_indexes 2. Analiza logów log_min_duration_statement, pgFouine

20. Optymalizacja zapytań Analiza bazy danych www.empathy.pl Analiza statystyk serwera postgresql.conf: track_counts (stats_start_collector, stats_row_level) SELECT * FROM pg_stat_user_tables; SELECT * FROM pg_stat_user_indexes;

21. Optymalizacja zapytań Analiza bazy danych - analiza statystyk serwera www.empathy.pl

22. Optymalizacja zapytań Analiza bazy danych - analiza statystyk serwera www.empathy.pl

23. Optymalizacja zapytań Analiza bazy danych www.empathy.pl Analiza logów serwera postgresql.conf: log_statement, log_min_duration_statement

24. Optymalizacja zapytań Analiza bazy danych - analiza logów serwera www.empathy.pl pgFouine (http://pgfouine.projects.postgresql.org) php pgfouine.php -file postgresql.log > sample_default.html

25. Optymalizacja zapytań Analiza bazy danych - analiza logów serwera www.empathy.pl

26. Optymalizacja zapytań Analiza bazy danych - analiza logów serwera www.empathy.pl

27. Optymalizacja zapytań Zrozumieć explain… www.empathy.pl SELECT eicrm_user.usr_fname, eicrm_user.usr_lname, eicrm_user_type.utp_name,eicrm_company.cmp_city, eicrm_company.cmp_street, eicrm_company.cmp_name, ( SELECT pnc_name FROM eicrm_province WHERE eicrm_user.usr_pnc_id = eicrm_province.pnc_id ) as pnc_name FROM eicrm_user JOIN eicrm_user_user_type ON eicrm_user_user_type.uut_usr_id = eicrm_user.usr_id JOIN eicrm_user_type ON eicrm_user_user_type.uut_utp_id = eicrm_user_type.utp_id LEFT OUTER JOIN eicrm_user_company ON eicrm_user_company.ucm_usr_id = eicrm_user.usr_id LEFT OUTER JOIN eicrm_company ON eicrm_company.cmp_id = eicrm_user_company.ucm_cmp_id WHERE eicrm_user_user_type.uut_utp_id = 13 AND eicrm_user.usr_lname = 'Kowalski' AND eicrm_user.usr_city = 'Kraków' LIMIT 100

28. Optymalizacja zapytań Zrozumieć explain… www.empathy.pl Bez warunków, bez limit 100

29. Optymalizacja zapytań Zrozumieć explain… www.empathy.pl Bez warunków, z limit 100

30. Optymalizacja zapytań Zrozumieć explain… www.empathy.pl Z warunkami eicrm_user.usr_lname = 'Kowalski’, eicrm_user.usr_city = 'Kraków' bez indeksu na warunkach

31. Optymalizacja zapytań Zrozumieć explain… www.empathy.pl Z warunkami eicrm_user.usr_lname = 'Kowalski‘, eicrm_user.usr_city = 'Kraków' z indeksem usr_lname, usr_city

32. Optymalizacja zapytań Zrozumieć explain… www.empathy.pl Z warunkami eicrm_user.usr_lname = 'Kowalski‘, eicrm_user.usr_city = 'Kraków' z indeksami usr_lname oraz usr_city

33. Optymalizacja zapytań Inne możliwości optymalizacji www.empathy.pl http://www.flickr.com/photos/leesam/3666918775/

36. Optymalizacja zapytań Inne możliwości optymalizacji www.empathy.pl Partycjonowanie tabel CREATE TABLE opr_okktr ( okk_id serial NOT NULL, okk_trnref character varying(25), okk_date date NOT NULL, okk_datelocal date, okk_crdno character varying(19), okk_acc bigint NOT NULL, okk_amnt numeric(14,2), okk_curr_id smallint, okk_amntset numeric(14,2), okk_currset_id smallint, okk_dateset date, okk_amntbill numeric(14,2), okk_currbill_id smallint, okk_ctt_id integer, okk_ref text, CONSTRAINT okk_id PRIMARY KEY (okk_id), ); CREATE TABLE opr_okktr_201001 ( CONSTRAINT opr_okktr_ 201001 _date_check CHECK ( okk_date >= '20 10 -0 1 -01'::date AND okk_date < '20 10 -0 2 -01'::date ) ) INHERITS (opr_okktr); CREATE TABLE opr_okktr_201002 ( CONSTRAINT opr_okktr_ 201002 _date_check CHECK ( okk_date >= '20 10 -0 2 -01'::date AND okk_date < '20 10 -0 3 -01'::date ) ) INHERITS (opr_okktr);

37. Optymalizacja zapytań Inne możliwości optymalizacji www.empathy.pl Partycjonowanie tabel CREATE OR REPLACE RULE opr_okktr_ins201001 AS ON INSERT TO opr_okktr WHERE new.okk_date >= '2010-01-01'::date AND new.okk_date < '2010-02-01'::date DO INSTEAD INSERT INTO opr_okktr_201001 (okk_id, okk_trnref, okk_date, okk_datelocal, okk_crdno, okk_acc, okk_amnt, okk_curr_id, okk_amntset, okk_currset_id, okk_dateset, okk_amntbill, okk_currbill_id, okk_ctt_id, okk_ref) VALUES (new.okk_id, new.okk_trnref, new.okk_date, new.okk_datelocal, new.okk_crdno, new.okk_acc, new.okk_amnt, new.okk_curr_id, new.okk_amntset, new.okk_currset_id, new.okk_dateset, new.okk_amntbill, new.okk_currbill_id, new.okk_ctt_id, new.okk_ref);

38. Optymalizacja zapytań Inne możliwości optymalizacji www.empathy.pl Partycjonowanie tabel SELECT * FROM opr_okktr

39. Optymalizacja zapytań Inne możliwości optymalizacji www.empathy.pl Partycjonowanie tabel SELECT * FROM opr_okktr WHERE okk_date >= ‘2008-06-15’ AND okk_date <= ‘2008-08-08’ AND okk_acc = 999999999

40. Optymalizacja www.empathy.pl http://www.flickr.com/photos/sakuto/1388525817/

41. www.imagine blog .pl www.empathy.pl Gdzie nas znaleźć Nasz blog

43. Dziękuję :) [email_address] www.empathy.pl