Выступление на PYCON RUSSIA 2015

1. View как чистая функция
от состояния базы
данных
Илья Беда / bro.agency

2. Кто я?
● Тимлид и один из основателей bro.agency
● Разрабатываю веб-формочки на python в течении 7
лет
● Специализируюсь на аутсорс-разработке
● Продвигаю функциональное программирование в
массы
● Провожу воркшопы и мастер-классы
● С недавнего времени выступаю на конференциях
2

3. There are only two hard things in Computer
Science: cache invalidation and naming things.
Phil Karlton
3

4. Какая нам нужна инвалидация кэша?
4

5. Инвалидация по умолчанию (по таймауту)
5

6. Инвалидация по умолчанию (по таймауту)
6
Слишком часто Слишком редко

7. Инвалидация по умолчанию (по таймауту)
7
Слишком часто Слишком редко
Кэш становится не
актуальным, но сами
данные остались
неизменными
Пользователь увидит не
актуальную версию
страницы

8. Инвалидация по умолчанию (по таймауту)
8
Слишком часто Слишком редко
Кэш становится не
актуальным, но сами
данные остались
неизменными
Пользователь увидит не
актуальную версию
страницы

9. 9

10. Какую инвалидацию использовать для таких
приложений?
10

11. Как работает ВЕБ
11

12. Что делает Handler?
12
Получение
данных из базы
Формирование
контекста
Рендер
шаблона

13. Что делает Handler?
13
Запросы к
внешнему API
Формирование
контекста
json.dumps

14. И handler очень похож на чистую функцию от
состояния базы данных
14
Получение
данных из базы
Формирование
контекста
Рендер
шаблона

15. Какие функции являются чистыми?
15

16. Какие функции являются чистыми?
1. Детерминированные функции
2. Функции не обладающие сторонними эффектами
16

17. Чистая функция
17

18. Не чистая функция
18

19. В чем преимущества чистых функций?
19

20. В чем преимущества чистых функций?
Для одного и того же набора аргументов она
возвращает одно и тоже значение.
Что упрощает проблему инвалидации
20

21. Давайте сделаем наш ВЕБ функционально
чистым и забудем про проблемы
инвалидации кэша.
21

22. Как это выглядит в реальности (Django)
22
1
2
3
4
5
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)

23. Как это выглядит в реальности (Django)
23
1
2
3
4
5
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)

24. Как это выглядит в реальности (Django)
24
1
2
3
4
5
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)

25. Как это выглядит в реальности (Django)
25
1
2
3
4
5
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)

26. Проанализируем с точки зрения чистоты
26
1
2
3
4
5
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)

27. Проанализируем с точки зрения чистоты
27
1
2
3
4
5
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)

28. Получается наш ВЕБ
НЕ
функционально чистый.
28

29. Приведем функцию к чистому виду
29
1
2
3
4
5
6
7
8
9
10
def some_view(request, url_param):
items = list(
SomeModel.objects.filter(some_field=url_param))
@cache_pure
def _some_view_pure(object_list):
c = Context({'items': object_list})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _some_view_pure(items)

30. Приведем функцию к чистому виду
30
1
2
3
4
5
6
7
8
9
10
def some_view(request, url_param):
items = list(
SomeModel.objects.filter(some_field=url_param))
@cache_pure
def _some_view_pure(object_list):
c = Context({'items': object_list})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _some_view_pure(items)

31. Приведем функцию к чистому виду
31
1
2
3
4
5
6
7
8
9
10
def some_view(request, url_param):
items = list(
SomeModel.objects.filter(some_field=url_param))
@cache_pure
def _some_view_pure(object_list):
c = Context({'items': object_list})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _some_view_pure(items)

32. Давайте пофантазируем
32
1
2
3
4
5
6
7
8
9
10
11
def some_view(request, url_param):
@cache_pure
def _some_view_pure(url_param, database_state):
items = SomeModel.objects.filter(
some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _some_view_pure(
url_param,
get_database_state_from_magic())

33. Давайте пофантазируем
33
1
2
3
4
5
6
7
8
9
10
11
def some_view(request, url_param):
@cache_pure
def _some_view_pure(url_param, database_state):
items = SomeModel.objects.filter(
some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _some_view_pure(
url_param,
get_database_state_from_magic())

34. Давайте пофантазируем
34
1
2
3
4
5
6
7
8
9
10
11
def some_view(request, url_param):
@cache_pure
def _some_view_pure(url_param, database_state):
items = SomeModel.objects.filter(
some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _some_view_pure(
url_param,
get_database_state_from_magic())

35. def get_database_state_from_magic():
Что же это такое состояние базы данных?
35

36. def get_database_state_from_magic():
return subprocess.check_output(["pg_dump"])
36

37. def get_database_state_from_magic():
Если пренебречь тем, что база данных может
вернуться в предыдущее состояние, то можно
использовать индекс поколений.
И это практичное решение проблемы, которое можно
использовать.
37

38. 38
News News News
DB State 1 DB State 2 DB State 3

39. Реализация индексирования поколений
39
1
2
3
4
5
6
7
8
9
10
11
import redis
from django.db.models.signals import post_save
r = redis.StrictRedis(host='localhost', port=6379, db=0)
def inc_generation_index(sender, **kwargs):
r.incr('generation_index')
post_save.connect(inc_generation_index)
def get_database_state_from_magic():
return r.get('generation_index')

40. Реализация индексирования поколений
40
1
2
3
4
5
6
7
8
9
10
11
import redis
from django.db.models.signals import post_save
r = redis.StrictRedis(host='localhost', port=6379, db=0)
def inc_generation_index(sender, **kwargs):
r.incr('generation_index')
post_save.connect(inc_generation_index)
def get_database_state_from_magic():
return r.get('generation_index')

41. Реализация индексирования поколений
41
1
2
3
4
5
6
7
8
9
10
11
import redis
from django.db.models.signals import post_save
r = redis.StrictRedis(host='localhost', port=6379, db=0)
def inc_generation_index(sender, **kwargs):
r.incr('generation_index')
post_save.connect(inc_generation_index)
def get_database_state_from_magic():
return r.get('generation_index')

42. Реализация индексирования поколений
42
1
2
3
4
5
6
7
8
9
10
11
import redis
from django.db.models.signals import post_save
r = redis.StrictRedis(host='localhost', port=6379, db=0)
def inc_generation_index(sender, **kwargs):
r.incr('generation_index')
post_save.connect(inc_generation_index)
def get_database_state_from_magic():
return r.get('generation_index')

43. Реализация индексирования поколений
43
1
2
3
4
5
6
7
8
9
10
11
import redis
from django.db.models.signals import post_save
r = redis.StrictRedis(host='localhost', port=6379, db=0)
def inc_generation_index(sender, **kwargs):
r.incr('generation_index')
post_save.connect(inc_generation_index)
def get_database_state_from_magic():
return r.get('generation_index')

44. И теперь это реально работающий код
44
1
2
3
4
5
6
7
8
9
10
11
def some_view(request, url_param):
@cache_pure
def _some_view_pure(url_param, database_state):
items = SomeModel.objects.filter(
some_field=url_param)
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _some_view_pure(
url_param,
get_database_state_from_magic())

45. Какие могут быть проблемы
при индексировании поколений?
45

46. Слишком частая инвалидация.
Кэш становится неактуальным, но сами
данные остались неизменными
46

47. 47
current_news
News.objects.filter(hidden=False)
news_comemnts
Comment.objects.filter(news_id=1, hidden=False)
News Comment

48. 48
current_news
News.objects.filter(hidden=False)
news_comemnts
Comment.objects.filter(news_id=1, hidden=False)
News Comment
+ Comment

49. 49
current_news
News.objects.filter(hidden=False)
news_comemnts
Comment.objects.filter(news_id=1, hidden=False)
News Comment
Comment

50. 50
current_news
News.objects.filter(hidden=False)
news_comemnts
Comment.objects.filter(news_id=1, hidden=False)
News Comment
Comment

51. 51
current_news
News.objects.filter(hidden=False)
news_comemnts
Comment.objects.filter(news_id=1, hidden=False)
News Comment
Comment
hidden = True

52. Гранулярная инвалидация сделает
кэширование оптимальнее.
52

53. Можно индексировать поколения каждой
таблицы отдельно.
https://github.com/jmoiron/johnny-cache
53

54. 54
current_news
News.objects.filter(hidden=False)
news_comemnts
Comment.objects.filter(news_id=1, hidden=False)
News Comment
Comment

55. 55
В реальности очень много таблиц, поэтому это будет
прекрасно работать.
News Comment Page Event User

56. Можно пойти дальше и инвалидировать кэш,
зависящий от определенной части состояния базы
данных.
Тогда нам нужен инструмент для описания этой
части.
56

57. 57
current_news
News.objects.filter(hidden=False)
news_comemnts
Comment.objects.filter(news_id=1, hidden=False)
News Comment

58. 58
current_news
News.objects.filter(hidden=False)
news_comemnts
Comment.objects.filter(news_id=1, hidden=False)
News Comment

59. Можно индексировать части запросов
59
News.hiden=False
Comment.news_id=1
Comment.hidden=False
Cache Store Criterion

60. Можно индексировать части запросов
60
News.hiden=False
Comment.news_id=1
Comment.hidden=False
Cache Store Criterion
+ Comment
hiden True
news_id 1

61. Можно индексировать части запросов
61
News.hiden=False
Comment.news_id=1
Comment.hidden=False
Cache Store Criterion
+ Comment
hiden True
news_id 1

62. Можно индексировать части запросов
62
News.hiden=False
Comment.news_id=1
Comment.hidden=False
Cache Store Criterion
+ Comment
hiden True
news_id 1

63. Можно индексировать части запросов
63
News.hiden=False
Comment.hidden=False
Cache Store Criterion

64. Тоже есть готова реализация
http://hackflow.com/blog/2014/03/09/on-orm-
cache-invalidation/
https://github.com/suor/django-cacheops
64

65. Эффективное кэширование с помощью
cacheops
65
1
2
3
4
5
6
7
8
9
10
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
@cached_view_as(items)
def _render(request, url_param):
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _render(request, url_param)

66. Эффективное кэширование с помощью
cacheops
66
1
2
3
4
5
6
7
8
9
10
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
@cached_view_as(items)
def _render(request, url_param):
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _render(request, url_param)

67. Эффективное кэширование с помощью
cacheops
67
1
2
3
4
5
6
7
8
9
10
def some_view(request, url_param):
items = SomeModel.objects.filter(some_field=url_param)
@cached_view_as(items)
def _render(request, url_param):
c = Context({'items': items})
response = Template("my_template.html").render(c)
return HttpResponse(response)
return _render(request, url_param)

68. Как же быть с Class Based View?
68

69. Class Based View
69
1
2
3
4
5
6
7
8
class SomeModelListView(ListView)
def get_queryset(self):
return SomeModel.objects.all()
def get(self, request, *args, **kwargs):
self.object_list = self.get_queryset()
context = self.get_context_data()
return self.render_to_response(context)

70. Class Based View
70
1
2
3
4
5
6
7
8
class SomeModelListView(ListView)
def get_queryset(self):
return SomeModel.objects.all()
def get(self, request, *args, **kwargs):
self.object_list = self.get_queryset()
context = self.get_context_data()
return self.render_to_response(context)

71. Class Based View
71
1
2
3
4
5
6
7
class CachedListView(ListView):
def get(self, request, *args, **kwargs):
@cached_view_as(self.get_queryset())
def _get(request, *args, **kwargs):
return = super(CachedListView, self).get(
request, *args, **kwargs)
return _get(request, *args, **kwargs)

72. Class Based View
72
1
2
3
4
5
6
7
class CachedListView(ListView):
def get(self, request, *args, **kwargs):
@cached_view_as(self.get_queryset())
def _get(request, *args, **kwargs):
return = super(CachedListView, self).get(
request, *args, **kwargs)
return _get(request, *args, **kwargs)

73. Class Based View
73
1
2
3
4
5
6
7
class CachedListView(ListView):
def get(self, request, *args, **kwargs):
@cached_view_as(self.get_queryset())
def _get(request, *args, **kwargs):
return = super(CachedListView, self).get(
request, *args, **kwargs)
return _get(request, *args, **kwargs)

74. Class Based View
74
1
2
class NewsView(CachedListView):
model = News

75. Кэшируйте правильно!
Инвалидируйте правильно!
75

76. Кэшируйте правильно!
Инвалидируйте правильно!
ir4y.ix@gmail.com
76