- Автоматическое распределение данных по партициям, а также чтение, обновление и удаление данных без единой правки кода. - Автоматическое обновление структур партиций (индексы, ограничения (constraints), триггеры, правила (rules) и т.д.). - Удобные и гибкие миграции для больших команд с большим количеством данных, хранимых процедур, представлений, таблиц, типов, миграций, дельт и т.п. Как это всё организовать и поддерживать? - Инструменты и утилиты, которые мы используем для вышеперечисленных целей.

1. Партицирование и
миграции данных в
PostgreSQL
Иванов Денис

2. Ведущий разработчик в 2ГИС

3. Крайний за высокие нагрузки
сервиса «Фото»

10. 8 стран
2 млн
фирм
250
городов

11. 50 млн

12. 2000 RPS20 млн

13. 1. ПАРТИЦИРОВАНИЕ

14. Окружение машины, на которой проводился бенчмарк: 8 CPU, 8GB RAM.

15. Мы не вывозим

16. Что делать?

18. photo
photo_1
photo_2
photo_N

19. Ok, Google,
«PostgreSQL-партицирование»

20. Концепт
https://wiki.postgresql.org/wiki/Table_partitioning

21. Status Quo
Currently we allow the user to (manually) create arbitrary nested tables with arbitrary constraints and then the planner tries to detect at
run-time which child tables are candidates for the query. See PostgreSQL Partitioning for details. There are some 3rd party plugins that simplify
the (manual) task/triggers, etc. see bottom of this page.
Today, at create time you create a master table, children that inherit from it (and how they are partitioned), separate indices for each child table,
and create an insert trigger so that new rows are inserted to the appropriate (child) table (and/or more aggressive measures, such as allowing
updates to the partitioned key [by default, updates to rows' partitioned key leave them in the same partition, possibly in error], dynamically
allocating new child tables [be careful with race conditions], etc. see the various blogs out there).

22. Из коробки
http://www.postgresql.org/docs/9.3/static/ddl-partitioning.html

25. «PARTITION MAGIC»

28. Ускоряемся

29. WHERE category_id = N

30. FROM news_1

33. Ускорили в 3 раза

34. Профит

35. Профит
● Системные таблицы (pg_indexes…).

36. Профит
● Системные таблицы (pg_indexes…).
● Автоматические партиции.

37. Профит
● Системные таблицы (pg_indexes…).
● Автоматические партиции.
● Без единой правки кода приложения.

38. Профит
● Системные таблицы (pg_indexes…).
● Автоматические партиции.
● Без единой правки кода приложения.
● Ускорение в 3 раза.

39. Раздача слонов —
https://github.com/2gis/partition_magic

40. 2. МИГРАЦИИ

41. Yiic Migrate
+
Phing

42. Мы теряем изменения в коде
хранимых процедур

43. «MIGRAPTOR»

44. Поддерживает
● Yii CDbConnection.
● Нативные Yii миграции.
● Схемы.
● Хранимые процедуры.
● Представления (view).
● DDL.
● DML.
● Скрипты.
● И другое.

45. Профит

46. Профит
● Обёртка над Yiic Migrate (Yii 1).

47. Профит
● Обёртка над Yiic Migrate (Yii 1).
● Дельты и миграции — код.

48. Профит
● Обёртка над Yiic Migrate (Yii 1).
● Дельты и миграции — код.
● VCS (Git), версии.

49. Профит
● Обёртка над Yiic Migrate (Yii 1).
● Дельты и миграции — код.
● VCS (Git), версии.
● Обновление при деплое.

50. Раздача слонов —
https://github.com/2gis/migraptor

51. Иванов Денис
dv.ivanov@2gis.ru