принципы хранения данных. ACID, уровни изоляции, BASE, CAP, CAPCELC

1. Software Craftsmanship
meetup #2
Сложность алгоритмов.
Принципы хранения данных.
Павел Вейник
CTO @ Splitmetrics
CEO @ Hard & Soft Skills

2. Зачем митапы?
Поделиться с разработчиками Splitmetrics
Поделиться со всеми разработчиками
Обкатать новый курс для техлидов
Пообщаться

3. Для кого митапы?
Для разработчиков
Для тестировщиков
Для сочувствующих и интересующихся

4. Что если я чего-то не знаю?
Ничего страшного, мы расскажем
Вообще, можно спросить у меня или у коллег
Все будет хорошо

5. План митапов
1. Software Craftsmanship & Agile.
Как не делать говно?
2. Принципы хранения данных
3. Обзор баз данных
4. Очереди сообщений
5. Кэши и файловые хранилища

6. План этого митапа
1. Алгоритмическая сложность
2. ACID vs BASE
3. И теорема CAP
4. Примеры применения ACID и BASE
5. 2 простых задания на архитектуру

7. Время cpu vs память
Найти x в массиве
Перебор
Поиск в отсортированном массиве
Хранение флага для любого x
Зачем это знать?

8. Нотация O(n)
чтобы понимать сколько лет будет работать ваш
алгоритм

9. Почему сразу лет?

10. Базы данных. Транзакция.
Логическая единица работы с данными
Либо вся выполнена
Либо вся не выполнена

11. ACID
 Atomicity
 Сохраняется или вся транзакция, или ничего
 Consistency
 Транзакция завершается или откат к предыдущему состоянию
 Isolation
 Транзакции изолированы друг от друга
 Durability
 Завершенные транзакции сохраняются

12. Isolation. Проблемы
Lost update
2 tx -> 1 блок данных
Dirty read
Чтение данных транзакции, которая откатится

13. Isolation. Проблемы
Non-repeatable read
Разные результаты одной и той же выборки. Др
транзакция успела обновить
Phantom read
Разные результаты одной и той же выборки. Др
транзакция успела добавить

14. Isolation. Уровни
Read uncommited
Допускает dirty reads
Гарантия – нет lost updates

15. Isolation. Уровни
Read commited
Допускает phantom reads, non-repeatable
reads
Гарантия – защита от dirty reads
MS SQL Server, PostgreSQL, Oracle
По умолчанию

16. Isolation. Уровни
Repeatable read
Допускает phantom reads
Гарантия – защита от dirty reads, non-
repeatable reads
С помощью блокировки до конца транзакции

17. Isolation. Уровни
Serializable
Не допускает проблем
Гарантия – защита от dirty reads, non-
repeatable reads, phantom reads
Как будто все транзакции последовательны

18. Isolation. Уровни
Snapshot – иногда
Каждая транзация в своей «копии бд»
Гарантия – защита от dirty reads, non-
repeatable reads, phantom reads
Как будто все транзакции последовательны,
локи

19. Isolation. Уровни
Снижают скорость записи в бд
И чтения
Могут возникнуть dead locks (Serializable)

20. А если много данных?
Как обеспечить ACID, если данных больше,
чем может вместить один сервер?
Как обеспечить ACID, если мы дублируем
данные между разными серверами?

21. Что будет прочитано?

22. Теорема CAP
Consistency
Данные не противоречивы во всех узлах в каждый момент
времени
Availability
Отклик системы корректен, но без гарантии совпадения данных в
узлах
Partition Tolerance
Разрезание системы на изолированные куски не приводит к
некорректности отклика

24. Partition Tolerance
Абсолютная необходимость
Выбираем между Consistency и Availability
CP или AP

25. Теорема PACELC
В случае Partitioning выбираем
между Availability или Consistency
В случае не Partitioning выбираем
между Latency или Consistency

26. Что с ACID, если CAP?
Как выдержать ACID, если у нас
Partitioning?

27. Что с ACID, если CAP?
Basically Available
Ответ на любой запрос, но не факт что не ошибочный
Soft State
Несогласованность между узлами даже когда нет обновлений
данных
Eventual Consistency
Рано или поздно система придет в согласованное состояние
после прекращения обновления данных

31. Примеры
Когда необходим ACID?
Когда можно и BASE?

32. Задание 1
Спроектировать сокращатель
ссылок
10к новых ссылок в сутки
Хотим жить 10 лет

33. Задание 2
Спроектировать счетчик
100к событий в день
Хотим жить 10 лет
Отчеты по сайту

34. Что будет на следующем митапе?
Типы бд
Нормализация данных
Выбор бд для проекта
Приемы для оптимизаций

35. Ссылки
 https://tproger.ru/articles/computational-complexity-explained/
 http://bigocheatsheet.com/
 https://gist.github.com/jboner/2841832
 https://people.eecs.berkeley.edu/~rcs/research/interactive_latency.html
 https://ru.wikipedia.org/wiki/ACID
 https://yizhang82.dev/db-isolation-level
 https://towardsdatascience.com/cap-theorem-and-distributed-database-management-systems-5c2be977950e
 https://en.wikipedia.org/wiki/PACELC_theorem
 https://dzone.com/articles/understanding-the-cap-theorem
 https://www.infoq.com/articles/cap-twelve-years-later-how-the-rules-have-changed/

36. Задайте мне вопрос