Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Расширенное
кеширование в Doctrine
Ильяс Салихов
Intaro, CTO
retailCRM, CTO
О докладчике
Ильяс Салихов
• Интаро – веб-интегратор http://intaro.ru
• retailCRM – cпециализированная CRM-система
для инт...
Инструменты кеширования в Doctrine
Doctrine предоставляет:
1. Компонент doctrine/cache с большим
набором драйверов
2. 3 ур...
3 уровня кеширования
1. Metadata Cache
• Описание модели данных
2. Query Cache
• Результирующий SQL
3. Result Cache
• Резу...
Metadata и Query Cache
5
Metadata и Query Cache
1. Снижают нагрузку на app-, но не db-
сервера
2. Занимают мало места
3. Много запросов в кеш
4. Пр...
Metadata и Query Cache
На странице может легко быть 100+
обращений за metadata и query
Держим в APC
На порядок быстрее, че...
Metadata и Query Cache
В CLI нет APC, поэтому приходится
держать в memcache/redis/…
Как совместить разные конфигурации
кеш...
Metadata и Query Cache
Разные конфигурации для cli и web
Вариант 1. Разные env
# file app/config/config_prod.yml
doctrine:...
Metadata и Query Cache
Разные конфигурации для cli и web
Вариант 2. Разнести выполнение cli и web на разные сервера
# file...
Автосброс Metadata и Query Cache
<?php
class AppKernel extends Kernel
{
public function registerContainerConfiguration(Loa...
First-level cache &
Second-level cache
12
First-level cache
Кеширует объекты в памяти в рамках
одного Request
<?php
// будут выполнены запросы в БД
$city = $em->get...
Second-level cache (since Doctrine 2.5)
Request 1
Request 2
<?php
// запросы в БД
$city = $em->getRepository('AppBundleEnt...
Second-level cache (since Doctrine 2.5)
Плюсы:
1. Меньше обращений к БД
2. Кеширование Lazy Fetch методов
НЕ НАДО рассчиты...
Second-level cache (since Doctrine 2.5)
Минусы:
1. Большое количество запросов в кеш вместо
единоразовой выборки коллекции...
Result Cache
17
Классический Result Cache
Для чего кешировать запросы:
1. Неэффективность HTTP-кеша при
большой плотности данных на страни...
Result Cache
Cотни и тысячи разных выборок данных из
разных таблиц
Классическая проблема сброса кеша при
изменении данных
...
Taggable Cache
20
Taggable Cache. Принцип работы
Хранение кеша
21
cache1
tag1, tag2, tag3
cache2
tag2, tag4
cache3
tag3, tag5
cache4
tag1, t...
Taggable Cache
Первый подход к снаряду:
memcached-tags
https://code.google.com/p/memcached-tags/
(форк memcached)
22
Taggable Cache: memcached-tags
Пример использования:
<?php
$memcache = new Memcache();
$memcache->connect("127.0.0.1", 112...
Taggable Cache: memcached-tags
Плюсы:
1. Нативные методы в memcached
Минусы:
1. Зависимость от нестандартной сборки
2. Нед...
Taggable Cache
Второй подход к снаряду:
Redis + форк Doctrine2
http://redis.io
25
Taggable Cache: Redis
memcached:
• Простое key-value хранилище, где
value – только строка
Redis:
• Кроме значений типа str...
Taggable Cache: принцип работы
cache1
cache2
cacheN
Query result cache
Redis Strings
Сache tags
Redis Sets
Tag1
- cache1
-...
Taggable Cache: принцип работы
<?php
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
$key = 'hash_123sf1';
$data...
Taggable Cache: принцип работы
<?php
$tag = 'tag1';
/**
* CAS-behavior
*/
$redis->watch($tag);
$keys = $redis->sMembers($t...
Taggable Cache: чем пришлось жертвовать
Свой форк Doctrine2…, который отличается
двумя строчками:
30
Taggable Cache: чем пришлось жертвовать
{
"require": {
"doctrine/dbal": "2.5.0",
"doctrine/common": "2.5.0",
"doctrine/orm...
Taggable Cache: чем пришлось жертвовать
Для чего форкали
32
<?php
class Query extends DoctrineORMQuery
{
protected functio...
Taggable Cache: чем пришлось жертвовать
Свой форк Doctrine2
+
Бандл IntaroTaggableCacheBundle
1. Свой CacheDriver с поддер...
Taggable Cache: выборка через QueryBuilder
<?php
namespace IntaroCRMBundleEntityRepository;
use IntaroTaggableCacheBundleD...
Taggable Cache: выборка через NativeQuery
<?php
use IntaroTaggableCacheBundleDoctrineORMNativeQuery;
use DoctrineORMQueryR...
Taggable Cache: сброс кеша, изменение записей
<?php
$order = new Order();
$em->persist($order);
// здесь будет выполнен сб...
Taggable Cache: сброс кеша, массовое обновление
<?php
use IntaroTaggableCacheBundleDoctrineORMEntityRepository;
class Orde...
Taggable Cache
Плюсы Taggable Cache:
1. Почти нет ручной работы по сбросу кеша
(только при DELETE или UPDATE на SQL)
2. Вс...
Taggable Cache
Минусы Taggable Cache:
1. Форк Doctrine2 (хотя в силу малых
изменений легко поддерживается)
2. Есть узкое м...
Спасибо за внимание.
• http://docs.doctrine-project.org/projects/doctrine-
orm/en/latest/reference/caching.html
• http://d...
Upcoming SlideShare
Loading in …5
×

Расширенное кеширование Doctrine2 (Ильяс Салихов, Intaro)

781 views

Published on

Расширенное кеширование в Doctrine2

Published in: Software
  • Be the first to comment

Расширенное кеширование Doctrine2 (Ильяс Салихов, Intaro)

  1. 1. Расширенное кеширование в Doctrine Ильяс Салихов Intaro, CTO retailCRM, CTO
  2. 2. О докладчике Ильяс Салихов • Интаро – веб-интегратор http://intaro.ru • retailCRM – cпециализированная CRM-система для интернет-торговли http://www.retailcrm.ru 2
  3. 3. Инструменты кеширования в Doctrine Doctrine предоставляет: 1. Компонент doctrine/cache с большим набором драйверов 2. 3 уровня кеширования в ORM 3. First-level-cache + Second-level-cache (с Doctrine >=2.5) Очумелые ручки: 4. Taggable caching 3
  4. 4. 3 уровня кеширования 1. Metadata Cache • Описание модели данных 2. Query Cache • Результирующий SQL 3. Result Cache • Результаты SQL-запроса 4
  5. 5. Metadata и Query Cache 5
  6. 6. Metadata и Query Cache 1. Снижают нагрузку на app-, но не db- сервера 2. Занимают мало места 3. Много запросов в кеш 4. Простота и удобство использования Можно целиком очищать и перегенерировать 4. Всегда включаем в production 6
  7. 7. Metadata и Query Cache На странице может легко быть 100+ обращений за metadata и query Держим в APC На порядок быстрее, чем в memcached, особенно, если memcached на другой машине doctrine: orm: entity_managers: default: metadata_cache_driver: type: apc query_cache_driver: type: apc 7
  8. 8. Metadata и Query Cache В CLI нет APC, поэтому приходится держать в memcache/redis/… Как совместить разные конфигурации кеша? 8
  9. 9. Metadata и Query Cache Разные конфигурации для cli и web Вариант 1. Разные env # file app/config/config_prod.yml doctrine: orm: entity_managers: default: metadata_cache_driver: type: apc query_cache_driver: type: apc # file app/config/config_cli.yml doctrine: orm: entity_managers: default: metadata_cache_driver: type: memcache host: 127.0.0.1 query_cache_driver: type: memcache host: 127.0.0.1 9
  10. 10. Metadata и Query Cache Разные конфигурации для cli и web Вариант 2. Разнести выполнение cli и web на разные сервера # file app/config/parameters.yml parameters: doctrine_cache.meta.type: apc # or memcache doctrine_cache.query.type: apc # or memcache memcache.host: 127.0.0.1 # file app/config/config_prod.yml doctrine: orm: entity_managers: default: metadata_cache_driver: type: %doctrine_cache.meta.type% host: %memcache.host% query_cache_driver: type: %doctrine_cache.query.type% host: %memcache.host% 10
  11. 11. Автосброс Metadata и Query Cache <?php class AppKernel extends Kernel { public function registerContainerConfiguration(LoaderInterface $loader) { $loader->load(function ($container) { $environment = $container->getParameter('kernel.root_dir') . $container->getParameter('kernel.environment'); $key = 'apc_actual_check_' . hash('sha256', $environment); $value = $container->getParameter('cache.prefix'); if (apc_fetch($key) !== $value) { apc_clear_cache(); apc_clear_cache('user'); apc_store($key, $value); } }); } } 1. Заводим параметр cache.prefix в parameters.yml 2. Изменяем его в момент деплоя (например, текущая дата-время) 11
  12. 12. First-level cache & Second-level cache 12
  13. 13. First-level cache Кеширует объекты в памяти в рамках одного Request <?php // будут выполнены запросы в БД $city = $em->getRepository('AppBundleEntityCity')->find(5); $country = $em->getRepository('AppBundleEntityCountry')->find(1); // НЕ будет запроса в БД, first-level-cache $country = $em->getRepository('AppBundleEntityCountry')->find(1); $city->getCountry(); 13
  14. 14. Second-level cache (since Doctrine 2.5) Request 1 Request 2 <?php // запросы в БД $city = $em->getRepository('AppBundleEntityCity')->find(5); $country = $em->getRepository('AppBundleEntityCountry')->find(1); // НЕ будет запроса в БД, first-level-cache $country = $em->getRepository('AppBundleEntityCountry')->find(1); $city->getCountry(); <?php // НЕ будет запроса в БД, second-level-cache $city = $em->getRepository('AppBundleEntityCity')->find(5); $country = $em->getRepository('AppBundleEntityCountry')->find(1); // НЕ будет запроса в БД, first-level-cache $country = $em->getRepository('AppBundleEntityCountry')->find(1); $city->getCountry(); 14
  15. 15. Second-level cache (since Doctrine 2.5) Плюсы: 1. Меньше обращений к БД 2. Кеширование Lazy Fetch методов НЕ НАДО рассчитывать на second-level cache для Lazy Fetch. Выбирайте связные данные заранее. // Request 1 // --------- $city = $em->getRepository('AppBundleEntityCity')->find(5); // Будет запрос в БД $city->getCountry(); // Request 2 // --------- $city = $em->getRepository('AppBundleEntityCity')->find(5); // НЕ будет запроса в БД, second-level-cache $city->getCountry(); 15
  16. 16. Second-level cache (since Doctrine 2.5) Минусы: 1. Большое количество запросов в кеш вместо единоразовой выборки коллекции <?php // Выполняет запрос (выбирает 100 записей), // сохраняет кеш запроса и entity cache $result1 = $em->createQuery('SELECT c FROM Country c ORDER BY c.name') ->setCacheable(true) ->getResult(); $em->clear(); // 1 запрос в кеш за result-cache + 100 запросов в second-level cache // за объектами $result2 = $em->createQuery('SELECT c FROM Country c ORDER BY c.name') ->setCacheable(true) ->getResult(); 16
  17. 17. Result Cache 17
  18. 18. Классический Result Cache Для чего кешировать запросы: 1. Неэффективность HTTP-кеша при большой плотности данных на странице (бизнес-приложения) 2. Недопустимость отображения данных из устаревшего кеша 3. Снижение нагрузки БД 18
  19. 19. Result Cache Cотни и тысячи разных выборок данных из разных таблиц Классическая проблема сброса кеша при изменении данных 19
  20. 20. Taggable Cache 20
  21. 21. Taggable Cache. Принцип работы Хранение кеша 21 cache1 tag1, tag2, tag3 cache2 tag2, tag4 cache3 tag3, tag5 cache4 tag1, tag5 Удаление кеша по тегу tag3 cache1 tag1, tag2, tag3 cache2 tag2, tag4 cache3 tag3, tag5 cache4 tag1, tag5
  22. 22. Taggable Cache Первый подход к снаряду: memcached-tags https://code.google.com/p/memcached-tags/ (форк memcached) 22
  23. 23. Taggable Cache: memcached-tags Пример использования: <?php $memcache = new Memcache(); $memcache->connect("127.0.0.1", 11211); $memcache->set("key1", "val1"); $memcache->set("key2", "val2"); $memcache->tag_add("tag_1", ["key1", "key2"]); $memcache->tag_add("tag_2", "key1"); // будет удален кеш key1 $memcache->tag_delete("tag_2"); 23
  24. 24. Taggable Cache: memcached-tags Плюсы: 1. Нативные методы в memcached Минусы: 1. Зависимость от нестандартной сборки 2. Недостаточно стабильная реализация 3. Проект не поддерживается 24
  25. 25. Taggable Cache Второй подход к снаряду: Redis + форк Doctrine2 http://redis.io 25
  26. 26. Taggable Cache: Redis memcached: • Простое key-value хранилище, где value – только строка Redis: • Кроме значений типа strings предоставляет набор разных типов данных: lists, sets, hashes, sorted sets и др. 26
  27. 27. Taggable Cache: принцип работы cache1 cache2 cacheN Query result cache Redis Strings Сache tags Redis Sets Tag1 - cache1 - cache2 Tag2 - cache2 - cacheN В Redis есть нужные для реализации методы: • sAdd – добавление элемента в коллекцию (пометить кеш тегом) • sMembers – получение элементов коллекции (ключи кешей, помеченных тегом) • delete – поддержка мультиудаления за один запрос 27
  28. 28. Taggable Cache: принцип работы <?php $redis = new Redis(); $redis->connect('127.0.0.1', 6379); $key = 'hash_123sf1'; $data = [/* коллекция элементов */]; $tags = ['tag1', 'tag2']; // сохраняем данные $redis->set($key, $data); // фиксируем, что эти данные помечены тегами foreach ($tags as $tag) { $redis->sAdd($tag, $key); } Сохранение кеша 28
  29. 29. Taggable Cache: принцип работы <?php $tag = 'tag1'; /** * CAS-behavior */ $redis->watch($tag); $keys = $redis->sMembers($tag); $redis->multi() ->delete($tag) // удаляем тега ->delete($keys) // уделяем ключей кеша по тегу ->exec(); Удаление кеша по тегу 29
  30. 30. Taggable Cache: чем пришлось жертвовать Свой форк Doctrine2…, который отличается двумя строчками: 30
  31. 31. Taggable Cache: чем пришлось жертвовать { "require": { "doctrine/dbal": "2.5.0", "doctrine/common": "2.5.0", "doctrine/orm": "dev-final-keyword-fix-25 as 2.5.0", // ... }, "repositories": [ { "type": "vcs", "url": "https://github.com/retailcrm/doctrine2" } ] } Свой форк Doctrine2 31
  32. 32. Taggable Cache: чем пришлось жертвовать Для чего форкали 32 <?php class Query extends DoctrineORMQuery { protected function _doExecute() { //... // выполнение запроса и кеширование результатов $result = parent::_doExecute(); // помечаем кеш результатов тегами if ($queryCacheDriver && $queryCacheDriver instanceof TaggableCache) { if ($tags = $this->getCacheTags()) { $queryCacheDriver->tagAdd($tags, $queryId); } } return $result; } }
  33. 33. Taggable Cache: чем пришлось жертвовать Свой форк Doctrine2 + Бандл IntaroTaggableCacheBundle 1. Свой CacheDriver с поддержкой тегов 2. Наследованные EntityRepository, Query, NativeQuery, QueryBuilder с поддержкой тегов 3. Listener для удаления по тегу при добавлении/изменении записей 33
  34. 34. Taggable Cache: выборка через QueryBuilder <?php namespace IntaroCRMBundleEntityRepository; use IntaroTaggableCacheBundleDoctrineORMEntityRepository; class OrderRepository extends EntityRepository { public function getCustomerLastOrder(Customer $customer) { $qb = $this->createQueryBuilder('o') ->select('o, s') ->leftJoin('o.status', 's') ->where('o.customer = :customer') ->setParameter('customer', $customer) ->orderBy('o.id', 'DESC') ->setMaxResults(1) ->addCacheTags([ Order::class, Status::class, ]) ; return $qb->getQuery()->getOneOrNullResult(); } } 34
  35. 35. Taggable Cache: выборка через NativeQuery <?php use IntaroTaggableCacheBundleDoctrineORMNativeQuery; use DoctrineORMQueryResultSetMapping; $rsm = new ResultSetMapping(); $rsm->addScalarResult('cnt', 'cnt'); $q = new NativeQuery($em); $q->setResultSetMapping($rsm) ;$q->setSql(' SELECT COUNT(o.id) AS cnt FROM i_crm_order o WHERE fetchval(o.custom_fields, ?) <= ? '); $q->setParameters(['date_of_sending', '2015-07-01']); $q->addCacheTag(Order::class); $count = $q->getSingleScalarResult(); 35
  36. 36. Taggable Cache: сброс кеша, изменение записей <?php $order = new Order(); $em->persist($order); // здесь будет выполнен сброс кеша запросов с тегом Order $em->flush(); $order2 = $em->getRepository(Order::class)->find(5); $order2->setPhone('+7926-123-45-67'); // здесь тоже будет выполнен сброс кеша запросов с тегом Order $em->flush(); Сброс при добавлении или изменении записей 36
  37. 37. Taggable Cache: сброс кеша, массовое обновление <?php use IntaroTaggableCacheBundleDoctrineORMEntityRepository; class OrderRepository extends EntityRepository { public function updateIndexNumber() { $q = ' WITH calc_data (id, n) AS ( -- ... ) UPDATE i_crm_order o SET index_number = cd.n FROM calc_data as cd WHERE o.id = cd.id '; $this->getEntityManager()->getConnection()->executeUpdate($q); // сбрасываем кеш запросов с тегом Order $this->clearEntityCache(); } } 37
  38. 38. Taggable Cache Плюсы Taggable Cache: 1. Почти нет ручной работы по сбросу кеша (только при DELETE или UPDATE на SQL) 2. Всегда актуальный кеш данных 3. В боевом режиме проверено на 1500 req/s к кешу 38
  39. 39. Taggable Cache Минусы Taggable Cache: 1. Форк Doctrine2 (хотя в силу малых изменений легко поддерживается) 2. Есть узкое место по памяти при сбросе кеша по тегу ~40 mb на 200 тысяч ключей <?php $tag = 'tag1'; $keys = $redis->sMembers($tag); $redis->delete($keys); 39
  40. 40. Спасибо за внимание. • http://docs.doctrine-project.org/projects/doctrine- orm/en/latest/reference/caching.html • http://docs.doctrine-project.org/projects/doctrine-orm/en/latest/reference/second- level-cache.html • https://github.com/retailcrm/doctrine2 • https://code.google.com/p/memcached-tags/ • http://redis.io • http://smira.ru/posts/20081029web-caching-memcached-5.html Мои контакты: twitter.com/salikhov github.com/muxx habrahabr.ru/users/muxx/ 40

×