Очень коротко о базах данных, алгоритмах, подходах в оптимизации, масштабировании и оптимизациях по работе с данными в Python

1. @maxmaxmaxmaxМАКСИМ КЛИМИШИН
CTO GVMachines Inc.
Базы данных,python
и пять заблуждений о
производительности

2. Сегодня поговоримо
Topic
‣ Python
‣ Почему XнебыстрееY
‣ Оптимизации вбазахданных
‣ Оптимизации и Python

3. Причемтут python

4. БазыданныхиPython
При чем тут Python
‣ Надохранитьплоскиеданные
‣ Связанныеданные
‣ Графы
‣ Состояния
‣ Следитьнаконсистентностью
‣ Совершать выборки

5. Нашаплатформа
При чем тут Python
‣ CouchDB
‣ Solr
‣ Redis

6. При чем тут Python
‣ Уперлись вскоростьсозданияиндекса
CouchDB
‣ Постепенно мигрируемс CouchDBвRedis
‣ АктивноиспользуемRedisдля очередей
‣ АктивноиспользуемдляPub/Sub
Нашопыт

7. Заблуждение №1:
База X быстрее базы Y

8. Алгоритмы
База X быстрее Y
‣ B-tree– O(logn)/mostof DBs
‣ Hash– O(1)– O(n)/mostof DBs
‣ Log-structuredmerge-tree– O(logn)/Cassandra
‣ K-Dtree –O(logn)–O(n)/ Postgres/graphDBs
‣ Boyer–Moorestringsearchalgorithm– O(n)

9. Есликоротко,товыше
головынепрыгнешь
База X быстрее Y

10. Тем не менее,полнымперебором возможно
воспользоватьсясдискретнойдетерминированной
системой,состояниякотороймогутбытьлегко
проанализированы
База X быстрее Y
https://ru.wikipedia.org/wiki/Полный_перебор

11. Заблуждение №2:
Проверенная временем–
значит быстрая

12. Базовые алгоритмыпоиска
неменялись.
Новая – значит говно

13. 1961–QuickSort
1968 – BinaryTree
1972– B-Tree
Новая – значит говно

14. Заблуждение №3:
В памяти – значит
быстрая

15. Хочунапомнить,чтоRAM–
этооченькруто!
База X быстрее Y
SSD

16. Всеупираетсяв
ограничения:
В памяти – значит быстро
‣ CPUspeed
‣ RAMspeed
‣ Diskspeed

17. Аименно
В памяти – значит быстро
‣ CPUspeed– scheduledbyOS,dependsonLA
‣ RAMspeed– fragmentation
‣ Storagespeed– fragmentation,latency,depends
ontypeandLA

18. Серьезный прирост производительности
in-memoryбаз данныхпроисходит
потому,чтовы убираете целое
измерение при работе сданными
В памяти – значит быстро

19. Заблуждение №4:
Больше железа – все
будет быстрее

20. Невсетак просто
Железо и все дела
‣ Частотаодногоядра CPU ограниченасверху
‣ Скорость памятиограниченатипом
‣ Скорость дискаограниченатипом

21. Железо и все дела
Представим,чтодоступк
одному юнитуравен 1ms

22. Железо и все дела
‣ дляизвлечения1000записейпонадобится1s,
нормас
‣ 100K –100s,долго
‣ 1M–~16m!!!

23. Железо и все дела
16 долбанныхминут,Карл!

24. Заблуждение №5:
Распределенная –
значит быстрая

25. Серьезныйприрост
производительности in-memoryбаз
данных происходитпотому,что
убирается целоеизмерение
Шардим и лала

26. Падение производительности
распределеных базданных
происходит потому,чтодобавляется
новое,ненадежноеизмерение при
работес данными.
Шардим и лала

27. Чтовлечетза собой
ряд проблем
Шардим и лала
‣ Consistencyoravailability
‣ Split-brainscenarios
‣ Conflictsresolution/merging(optimistic
replication)
‣ Quorum-basedreads/writes
‣ Manual/autoshardingconfigurationetc.

28. Вчастностис репликацией
Шардим и лала
‣ Будутвозникатьконфликты
‣ Вопростольковтом
1. Когдаихразруливать
2. Ктоихбудетразруливать

29. Например
Шардим и лала
‣ AmazonDynamoразруливаетнаэтапечтенияи
предоставляетэтоприложению
‣ АApacheCouchDBнаэтапе записииlastwrite
win+отложенныймеханизмразруливания
конфликтов

30. ОптимизациивБД

31. Какрешаетсявопроссчтением
Оптимизации
‣ Построениеиндекса призаписи(Postgres,
Redisсхранимыми процедурами)
‣ Устаревшие результаты(stale)
‣ Асинхронноесоздание/предвычисление
индекса(вариант staleсвнешниминдексером)
‣ Шардинг,множественный запроскнодам
шард

32. Какрешаетсявопросс
записью
Оптимизации
‣ контроль надсистемнымвызовомfsync
дляпроцессаБД
‣ Отложенноесозданиеиндекса до
первогочтения(CouchDB)
‣ Отложенноесозданиеиндекса до
(commit явноили потаймауту,Solr)

33. Оптимизациив
Python-е

34. Какрешаетсявопросс
чтением
Оптимизации
‣ Read onwrites (SQLAlchemy)
‣ Кешированиеответов БД
‣ АсинхронныезапросыкБД
‣ Асинхронноекеширование

35. Оптимизации
‣ Py3x– yieldfrom,asyncio
‣ Py2x– gevent,threads pool
‣ Forboth – solid C implementations

36. Проблемас чтениемвосновном
связанас внутреннейорганизацией
структур данныхPython и
множества прослоекпопутимежду
чистым запросомичистымответом
Оптимизации

37. Какрешаетсявопросс
записью
Оптимизации
‣ Read onwrites (SQLAlchemy)
‣ Pub/subиасинхроннаязапись/
очереди
‣ Прямая запись вБДсотложенным/
асинхроннымсозданиеминдекса
(CouchDB)

38. Спасибо.
Thanks!
@maxmaxmaxmax