использование кэшей, алгоритмы инвалидации кэша, условия и ограничения использования

1. Software Craftsmanship
meetup #5
Кэши и микросервисы
Павел Вейник
CTO @ Splitmetrics
CEO @ Hard & Soft Skills

2. Зачем митапы?
Поделиться с разработчиками Splitmetrics
Поделиться со всеми разработчиками
Обкатать новый курс для техлидов
Пообщаться

3. Для кого митапы?
Для разработчиков
Для тестировщиков
Для сочувствующих и интересующихся
Знание нескольких принципов освобождает от
знания многих фактов

4. Мы на новом месте
Зарегистрировались 157 человек
После митапа идем в Simple общаться

5. Кто проводит митапы
Компания Splitmetrics
37 человек, все в офисе в Минске
2 продукта в области рекламы, 5 лет
Продажи SaaS из РБ на запад
Python, PostgreSQL, MongoDB, Redis, Kafka,
RabbitMq, Celery, Angular, React, Redux…

6. План митапов
1. Software Craftsmanship & Agile.
Как не делать говно?
2. Принципы хранения данных
3. Обзор баз данных
4. Очереди сообщений
5. Кэши и файловые хранилища

7. План митапов
6. Как Software Craftsmanship фиксит проблемы
Agile
7.
8.
9.
10.

8. Software Craftsmanship
 Working software over
comprehensive documentation
 Responding to change over
following a plan
 Individuals and interactions
over processes and tools
 Customer collaboration over
contract negotiation
 Not only working software, but
also well-crafted software
 Not only responding to change,
but also steadily adding value
 Not only individuals and
interactions, but also a
community of professionals
 Not only customer collaboration,
but also productive
partnerships

9. План этого митапа
1. Кэши
2. Кэши в микросервисах
3. Несколько задач на архитектуру
There are only two hard things in Computer
Science: cache invalidation and naming things
Phil Karlton

10. Что такое кэш?
Компонент, который хранит ответы на будущие
запросы
Кэш заменяет собой хранилище данных,
доступ к которым дорогой, или вычисление
которых дорого

11. Что дает кэш?
Временно хранит объекты, которые нужны
чаще чем другие
Уменьшает время отдачи объектов, которые
нужны чаще чем другие
Уменьшает время отклика всей системы,
снижает нагрузку

12. Кэш или буфер?
Буфер уменьшает количество передач данных,
делая несколько больших передач вместо
многих маленьких
Кэш использует концепцию буфера

13. Read и Write кэши
Read cache
Заполняем кэш заранее, отдаем по запросу
Write cache
Сохраняем в кэше, скидываем в хранилище
порциями
Увеличивает throughput

14. Типы по размещению
В текущем процессе
В памяти текущей машины
Распределенные
Реплицированные

15. Типы по свежести
Горячие
Холодные
Теплые

16. Статистика по кэшам
Обращения
Ненайденные объекты
Загруженные объектов
Ошибки загрузки
Время загрузки
Выгруженные объекты

17. Критерии выбора
Легковесность или полнота функций?
Open-source, коммерческий или часть
фреймворка?
Внутри процесса или распределенный?

18. Критерии выбора
Баланс между целостностью и скоростью
ответа
Транзакционность
Репликации
Производительность, надежность,
масштабируемость

19. Кэши и микросервисы
Кэш для каждого микросервиса или общий для
всех?

20. Кэши и микросервисы
Lazy load или
предварительная
загрузка?
Распределенный или
в текущем процессе?

21. Preloaded in-process
Потребители сразу
видят низкое время
ответа
Новые инстансы уже
с кэшем и отвечают
быстро
Долгая
инициализация кэша
Толстые инстансы

22. Preloaded distributed
Потребители сразу
видят низкое время
ответа
Новые инстансы уже
с кэшем и отвечают
быстро
Часто трудно
заполнять
распределенный
кэш, нужен
инструмент

23. Lazy in-process
Время запуска
инстанса меньше
Первые запросы
отнимают больше
времени
Тяжело
масштабировать без
потери производит.

24. Lazy distributed
Запуск инстанса
быстрее
Сразу после запуска
есть доступ к распр.
кэшу
Падение распр. кэша
увеличивает время
ответа всего
микросервиса или
валит его

25. Критерии выгрузки объектов
FIFO
LIFO
LRU
TLRU
MRU
PLRU
RR
SLRU
LFU
LFUDA
LIRS
ARC
CAR
MQ
Least time between
access

26. Где используется кэши
DNS
CDN
CPU
HDD
Java ;)
Везде
Ответы
Отчеты
Вычисления
Браузер
Веб приложения
Бэкенды

27. Производительность кэша
Чем мерять?
Мерять ускорением системы
Хочется максимально ускорить и разгрузить
систему с помощью минимального железа

28. Кэш страниц сайта
Есть наиболее популярные страницы
LFU
Все популярные страницы влазят в кэш – цель
выполнена
Какой формальный критерий популярности
страницы?

29. Кэш предагрегированных отчетов в
бд
Есть куски наиболее популярных отчетов
Подготовить отчет легко
В бд все отчеты, иначе их расчет отнимет
большое время

30. Кэш в PostgreSQL
Кэш кусков таблиц, индексов, метаинформации
Эффективность – минимизация обращений к
диску
Используется ML для увеличения
эффективности

31. Кэш в жадных алгоритмах
Кэш вычисленных значений
Нужно хранить все полученные значения
Алгоритм конструируется так, чтобы сделать
объем кэша реалистичным

32. Какие есть кэши
https://stackshare.io/search/q=cache#
40 шт

33. На stackshare интересно

34. Соображения при проектировании
Загрузка/обновление объектов
Производительность/память
Правила выгрузки
Многопоточность
Отслеживание статистики

35. Какой eviction выбрать?
Locality of reference
Время устаревания
Размер кэша
Количество объектов всего
Особенности предметной области
Случайный eviction – если сложно

36. Задача 1
Давайте придумаем, как сделать ВК )
Пост, лента
Сообщения
Реклама

37. Задача
Предложите свои задачи
Не менять постановку после озвучивания
Только уточнять
Постановка – 5 предложений

38. Ссылки
 https://stackshare.io/search/q=cache#
 https://walkingtree.tech/cache-management-microservices/
 https://www.slideshare.net/Pivotal/caching-for-microservices-architectures-session-i
 https://www.slideshare.net/Pivotal/caching-for-microservices-architectures-session-ii-caching-patterns
 https://en.wikipedia.org/wiki/Cache_(computing)#Buffer_vs._cache
 https://en.wikipedia.org/wiki/Cache_replacement_policies
 http://tutorials.jenkov.com/software-architecture/caching-techniques.html
 https://danluu.com/2choices-eviction/
 http://highscalability.com/blog/2016/1/25/design-of-a-modern-cache.html
 https://blogs.dropbox.com/tech/2012/10/caching-in-theory-and-practice/

39. Задайте мне вопрос