Presentación de Marcos Quesada sobre "Caching en Symfony2 y escalabilidad" para Symfony Barcelona

1. Caching en Symfony 2
Escalando aplicaciones web
Marcos Quesada
@marcos_quesada

2. About me
Code enthusiast & More ;)
Symfony 2 desde agosto 2011
Symfony BCN
marcos.quesadas@gmail.com
@marcos_quesada
es.linkedin.com/in/marcosquesada

3. Contenido de la presentación
Introducción
Cache Symfony 2
Varnish
Caching contenido estático + CDN
Transient Data
Arquitectura de escalado
Conclusiones

4. Introducción
Backend developer:donde almaceno los datos
Datos: strings, arrays, objects, HTML …
En dB / Static files …. o en memoria!
Cuando pensamos en cache
expiration&validation :
PERFORMANCE
Piensa en cold start:
cache Warmup & Low Hit Rates
Volumen datos Vs tiempo consumido

5. Performance
¿Cual va a ser nuestro volumen de páginas
vistas totales?
Planificación
Optimización
“The fastest HTTP request is the one not made.”
No resuelvas problemas que no tienes
Reducción del contenido a entregar
Análisis PageSpeed
Impacto directo con el coste de explotación

6. Metricas: localiza cuellos de botella
Monitoriza : Munin, Nagios ...
Profiling: XHProf
Pruebas de carga
Jmeter , Apache Benchmark ,httperf …
Identificando que cachear:
Datos con alta demanda
Caros de generar
Grandes en tamaño
Datos comunes
Trucos para encontrar datos cacheables
Monitor Queries
Output queries
Monitor Page Loads
Monitor Web Analytics

7. Introduction to HTTP Caching
Reverse HTTP proxy, a veces llamdo HTTP
accelerator o web accelerator
Cache-control
max-age
stale_while_revalidate
stale_if_error
Metricas
Cache hit Vs Cache miss

8. Introduction to HTTP Caching

9. Analizando Headers

10. Analizando Headers

11. Symfony 2 cache
Symfony 2 es un framework con cache propia
¿Qué cache?
Definición de cache:
"A cache is a collection of data duplicating original values
stored elsewhere or computed earlier, where the original
data is expensive to fetch or to compute, compared to
the cost of reading the cache." (Wikipedia)
¿Que tipo de cache ?
Carpeta Cache ?
APC ?
Reverse Proxy Cache ?

12. Symfony 2 cache folder
Generación de 'cache' desactivable
comentando $kernel->loadClassCache

13. Symfony 2 cache PROD

14. Symfony 2 cache
Symfony2 incluye un reverse proxy escrito en PHP.
Otras denominaciones: Gateway caches ,reverse proxy
caches, surrogate caches, delegado inverso o HTTP
accelerators.
El sistema de cache de Symfony2 está basado en la
potencia y simplicidad del caching HTTP como define
su normativa RFC 2616

15. Symfony 2 cache : headers

16. Symfony 2 cache: contents

17. Enabling AppCache

18. HttpFoundation Component
Object Oriented wrapper Server Globals Variables
SymfonyComponentHttpFoundationResponse
Colección de métodos para manipular las cabeceras HTTP del
Objeto Response

19. AppCache default setings

20. Setting Response HTTP headers

21. Using Validation

22. PURGE
La implementación del PURGE puede romper la compatibilidad con otros
Reverse Proxy Caches
Nunca debería ser necesario invalidar los datos almacenados en caché
porque la invalidación ya se tiene en cuenta de forma nativa en los
modelos de caché HTTP
Proteger el método PURGE de HTTP : restringe el acceso

23. Ventajas & Problemas
Truco debugar cache : error_log($kernel->getLog());
Cache:clear & cache:warmup
Clear sin fin
Imposible borrar app/cache
Multiples regeneraciones de cache en paralelo
stale_if_error
Deploys en producción complicados si hay mucho tráfico
Corte programado / Restricción de acceso
Alternativa: apc.stat = 0 , Pull & Clear Opcode cache
Purge total o parcial complicado

24. ESI
Habilita ESI , setea secciones como standalone
Esto permite varios TTLs en una misma página
Setea shared max age en responses y sections
Si se fija un max age como non-shared,toda la página queda cacheada,
ESI no funcionará:
$response->setSharedMaxAge(60)

25. ESI
Renders: symfony2 will create a subrequest for you,
call the widget and include the subresponse in your
masterresponse.
{% render 'MyBundle:Controller:widgetaction'
{'param1':'foo'} %}
Having every (sub)action represented as a request
makes ESI
{% render 'MyBundle:Controller:widgetaction'
{'param1':'foo'} with {'standalone':true} %}

26. ESI

27. ESI
app/config/config.yml
framework:
esi: { enabled: true }
{% render 'FooBundle:Bar:index' with {}, {'standalone': true} %}
Añadir la ruta (debe estar securizada)
# app/config/routing.yml
_internal:
resource:
"@FrameworkBundle/Resources/config/routing/internal.xml"
prefix: /_internal

28. Problemas
Debuggar ESI se vuelve complicado!
Enabling debugging with:
$framework = new HttpCache($framework, new Store(__DIR__.'/../cache'),
new ESI(), array('debug' => true)
);
The debug mode adds a X-Symfony-Cache header to each response that
describes what the cache layer did:
X-Symfony-Cache: GET /is_leap_year/2012: stale, invalid, store
X-Symfony-Cache: GET /is_leap_year/2012: fresh

29. Varnish
Reverse Proxy Cache
Escrito on C
Soporta ESI
Muy flexible y configurable (Varnish Configuration Language)
Almacena todo su contenido sobre la RAM: muy rápido
Muy altas prestaciones: Consumo de CPU relativamente bajo
Varnish puede consumir toda la RAM que le pongas,asegúrate que configuras
su max memory (por debajo de la RAM disponible)

30. Varnish
Varnish puede trabajar como Balanceador de Carga
Configurado contra multiples backends
Realiza Health-Checks en los web Servers
Número de Threads:
Varnish puede crear nuevos threads bajo demanda, y eliminarlos cuando
la carga total se reduce
Es perfecto para picos de tráfico
Una buena aproximación es mantener unos pocos threads idle durante el
tráfico regular, anticipando el incremento de tráfico en lugar de levantar
y destruir otros según cambia la demanda
En sistemas de 64-bit , el coste de tener unos cientos de threads extras es
muy limitado

31. Varnish Configuration Language
Configura cada request
Define:
Backends (web servers)
ACLs
Load balancing strategy
Can be reloaded while running
Tell Varnish to communicate with the content server (Nginx) on port 8080.
backend default {
.host = "127.0.0.1";
.port = "8080";
}
Unsetting Cookies:
sub vcl_recv {
unset req.http.cookie;
}
sub vcl_fetch {
unset beresp.http.set-cookie;
}

32. Varnish
Varnish- what can/cant't be cached?
Can:
Static Pages
Images,js,css
Static parts of pages that don't change often(ESI)
Can't
POST request
Very large files
Request with Set-Cookie !!!!
User-specific content

33. Real-time statistics Varnishtop
varnishtop

34. Real-time statistics Varnishtop
varnishtop -b -i TxURL
“-b” flag filters for requests made to the backend.
“-i TxURL” filters for the request URL that triggered
the request to the backend.

35. Real-time statistics : Varnishhist
Varnishhist shows a histogram for the past 1000 requests

36. Real-time statistics: varnishlog
varnishlog -c -o ReqStart
displays all varnish traffic for a specific client. It’s
helpful for seeing exactly what a particular page or
request is doing.

37. Real-time statistics :Varnishstat
Varnishstat is the tool used to monitor the basic health of Varnish. Unlike all the
other tools, it doesn’t read log entries, but counters that Varnish update in
real-time. It can be used to determine your request rate, memory
usage,thread usage, and just about anything that’s not related to a specific
request.
This command provides an overview of the stats for the current Varnish
instance. It shows hit/miss/pass rates and ratios, lots of other gory internal
details.

38. PURGE en Varnish
Varnish se puede configurar para aceptar un método HTTP especial PURGE
que invalida la caché para un determinado recurso:
acl purge {
"localhost";
"192.168.0.0/24";
}
sub vcl_recv {
if (req.request == "PURGE") {
if (!client.ip ~ purge) {
error 405 "Not allowed.";
}
return (lookup);
}
}
sub vcl_hit {
if (req.request == "PURGE") {
set obj.ttl = 0s;
error 200 "Purged.";
}
}
sub vcl_miss {
if (req.request == "PURGE") {
error 404 "Not purged";
}
}

39. ESI on Varnish
# /etc/varnish/default.vcl
backend default {
.host = "127.0.0.1";
.port = "80";
}
sub vcl_recv {
set req.backend = default;
# Tell Symfony2 that varnish is there, supporting ESI
set req.http.Surrogate-Capability = "abc=ESI/1.0";
}
sub vcl_fetch {
# Enable ESI only if the backend responds with an ESI header
if (beresp.http.Surrogate-Control ~ "ESI/1.0") {
unset beresp.http.Surrogate-Control;
// for Varnish >= 3.0
set beresp.do_esi = true;
// for Varnish < 3.0
// esi;
}
}

40. Varnish : problemas
Busca un setup estable:
“ The system worked great for a while, and then took a
nosedive as the Varnish cache ate up all the available RAM
and pushed the system into a swap death spiral.”
Cuidado con low hit rate (Usa ESI)
Riesgos de purgado
Cookies & sessions : planifica tu estrategia

41. Browser Cache
Using Expiration
Last-Modified & is-modified-since response header

42. Browser Cache
Using Etag:
If-None-Match request

43. CDN
Akamai:world's largest CDN serves about 20% of the web traffic using
over 100,000 servers located in over 1000 networks and over 70 countries
Amazon S3 + CloudFront
Ahorro de ancho de banda

44. CDN
Enabling CDN on assets
framework:
secret: s3cr3t
templating:
assets_base_urls: https://cdn.example.com
engines: { engines: ['twig'], assets_version: v1 }
packages:
images:
base_urls: https://images.example.com
$assets=new AssetCollection(
array(
new FileAsset(“web/Bundle/style.css”),
new GlobAsset(“web/*.css”),));
$assets->load();
$writer=newAssetWriter(“s3://bucket”);
$writer->writeManagerAssets($assets);
External tools: S3cmd:
s3cmd sync /var/www/symfony/web/images/ s3://cdn-image01 --acl-public
Zend Library S3
Associated path Twig Extension

45. Transient Data
Key => Value
APC
Memcached
Redis ...
La base de datos suele ser siempre el mayor
cuello de botella de performance en backend
Una capa de caching sobre la base de datos
resuelve de gran manera los problemas de
performance y escalabilidad

46. APC: PHP compilation
PHP Compilation
-scanning / lexing: plain text code turned in tokens
-parsing: tokens are collected into Expressions
-compilation: Expressions are translated into Opcodes for execution
-execution: Opcode stacks are processed, one at a time.
APC caches the Opcodes for later execution

47. APC performance

48. APC.stat performance

49. APC.php

50. APC tweaking
se recomienda: apc.stat=1 en desarrollo. Devolver a 0 en producción.
apc.shm_size: cuánta memoria va a ser asignada a APC
Como regla general,apc.shm_size debe ser el doble de la máxima
memoria utilizada por APC’s para evitar por completo la fragmentación
Vigilar Full Count: Se purga por quedarse sin espacio, si sube de 0 es probable
que surjan errores 500!
apc.user_ttl = 0: Sin limite TTL
Ejemplo configuración en php.ini:
extension=/usr/lib/php5/20090626/apc.so
apc.enabled = 1
apc.shm_size = 100M
apc.ttl = 0
apc.user_ttl = 0
apc.gc_ttl = 600
apc.stat = 1

51. Simple API to store PHP variables
on APC

52. Symfony 2 apc autoload
UniversalClassLoader:
the loader iterates over all configured namespaces to find a particular file, making
file_exists calls until it finally finds the file it's looking for.
ApcUniversalClassLoader( namespace )
Solution:cache on APC the location of each class after it's located the first time.

53. Memcached
Sistema distribuido de cacheo de objetos en memoria
Tecnicamente es un server
Client access sobre TCP or UDP: Fast asynchronous network I/O
Sistema escalable a multiples servers en forma de pools
Servers are independent, managed by clients
No redundacy or fail over! It's a cache!
No replication , no authentication …
No enumeration of keys
Sin mecanismo de clean-up
No tiene persistencia

54. Memcached
Offers built-in session handler
Giant “Hash table” or Array
Flujo:
Pool Memcached Servers
Assign values to keys that are stored in cluster
The client hashes the key to a particular machine in the cluster
Subsequent request for that key retrtive the value from the memcached
server on wich it was stored
Values time out after the specified TTL
Limites:
Key max 250 chars
Values Up to 1MB

55. Improving Memcached
Serialization
Si se usa memcached para almacenar datos complejos (array&objects),
necesitan ser serializados en strings
Consume recursos
Puede ser mejorado con igbinary
30% mas rápido
Produce datos mas compactos
hasta 45% menores con respecto
al serializador nativo PHP
http://github.com/phadej/igbinary

56. Distributed memcached

57. Memcached: OO API

58. Memcached
app/config/config.yml
acme_memcached:
servers:
server1:
host: 192.168.1.1
port: 11211
weight: 25
server2:
Host:192.168.1.2
port: 11211
Weight: 75
server3:
host: 192.168.1.3
port: 11211
weight: 50

59. Memcached
Service Definition
class AcmeMemcachedExtension extends Extension
{
public function load(array $configs, ContainerBuilder $container)
{
$configuration = new Configuration();
$config = $this->processConfiguration($configuration, $configs);
$container->setParameter('acme_memcached.servers', $config['servers']);
unset($config['servers']);
$loader = new LoaderXmlFileLoader($container,
new FileLocator(__DIR__.'/../Resources/config'));
$loader->load('services.xml');
}
}
Access to memcached Service:
$memcachedSvc = $this->container->get('memcached.service.pool');
//sets key=> value, with no compression & no expiration
$memcachedSvc->set('hask_key',$dataValue, false, 0);
$data = $memcachedSvc->get('hash_key');

60. Memcached : GUI
phpMemcachedAdmin

61. Memcached GUI

62. APC Vs Memcached
Aparte del Opcode, Cuando debemos usar
APC ?
Cuando los datos no sean distribuidos (único server)
Op Code + User cache ambos en APC == “all eggs in one basket”
Requests garantizados a una misma sesión ( sticly sessions)
file upload progress&sessions ( sticky sessions)
Es un componente PHP
Typical uses:
Application settings
Almacenar configuraciones
Caching de datos (db)
Data comunes para los usuarios

63. APC Vs Memcached
Cuando debemos usar memcached?
Cuando no está garantizado que las request vayan a una misma máquina
Datos específicos dirigidos al usuario
user sessions (Memcached Session Handler)
Habla diferentes lenguajes : PHP, Python, Ruby ,Java,Perl ...
Las instancias pueden ser compartidas en múltiples servers del pool
MAS LENTO APC, especialmente en array storage

64. Caching on Doctrine
Doctrine cache drivers:
Apc , memcache, Xcache
useResultCache & useQueryCache

65. Caching on Doctrine
QueryBuilder
cache que almacena la transformada SQL de la
query DQL
Usando APC:

66. Arquitectura de escalado

67. Arquitectura de escalado

68. Colas & Logs
Operaciones asíncronas
Emails, generación thumbs, procesos pesados
RabbitMQ
Beanstalk
Amazon SQS
Logs:
Redis
MongoDb...

69. Nginx
Stack alternativo a Apache
PHP-FPM
Soporte nativo de Memcached
Nginx maneja los rquest con una aproximación asynchronous event-driven
Le hace mas predecible en tiempo de respuesta Vs Apache
Alto rendimiento, consumo de memoria óptimo
Reload Gracely
Reverse Proxy Cache
Soporta ESI , aunque no es compatible al 100%
Escala muy bien , menos configurable que Varnish

70. Varnish Vs Nginx
Usa Nginx donde no se utilizan las plenas capacidades de Varnish (ESI
principalmente)
Si necesitas servir contenidos estáticos lo mas rápido posible, usa Nginx como
frontal
Si necesitas servir contenido dinámico con ESI , usa Varnish
Si usas CDN para contenido estático , la potencia de Nginx se vuelve menos
relevante
Por tanto
Nginx es claramente mas rápido que Varnish
Usamos Varnish por ESI

71. Conclusiones
Php 5.3 Vs php 5.4 :benchmarks & page-load 10-30% mas rápido.
Intercambia Apache por Nginx
Estudia tus necesidades para buscar tu configuración ideal
Soluciones Javascript (no bloqueantes) & Ajax
ESI te ayuda en Low Hit Caching rate (HTTP)
Soluciones de microcaching pueden ser suficientes
Ciclo de crecimiento
Mide – Mejora – vuelve a medir
Stress Test
Planifica tu deploy y tus subidas de código
Implementa mecanismos de Warmup
Usa tiempos de cache lo mas largo posible

72. Gracias !!
marcos.quesadas@gmail.com
@marcos_quesada
es.linkedin.com/in/marcosquesada

73. Enlaces de interés
Caching on the Edge – Fabian Potencier : http://www.slideshare.net/fabpot/caching-on-the-edge-with-symfony2
HTTP Cache: http://symfony.com/doc/current/book/http_cache.html
Symfony 2 API: SymfonyComponentHttpFoundationResponse: http://api.symfony.com/2.0/
Invalidating cache: http://symfony.com/doc/current/book/http_cache.html#http-cache-invalidation
httperf: http://www.hpl.hp.com/research/linux/httperf/
benchmarking with httperf: http://damithakumarage.wordpress.com/2009/03/15/benchmark-testing-with-httperf/
Varnish Basics: http://symfony.com/doc/current/cookbook/cache/varnish.html
Configuring varnish: http://todsul.com/install-configure-varnish
VarnishStat form Dummies: http://kristianlyng.wordpress.com/2009/12/08/varnishstat-for-dummies/
Pushing Varnish event further: http://kristianlyng.wordpress.com/2010/01/13/pushing-varnish-even-further/
Enabling APC on autoloader: http://symfony.com/doc/current/book/performance.html
Memcached Debugging phpmemcachedadmin :
http://www.kutukupret.com/2011/06/13/monitoring-and-debugging-memcached-server-using-phpmemcachedadmin/
Memcached phpMemcacheAdmin: http://code.google.com/p/phpmemcacheadmin/
Caching on Doctrine : http://docs.doctrine-project.org/projects/doctrine-orm/en/latest/reference/caching.html
Infrastucture at 99 designs:
http://99designs.com/tech-blog/blog/2012/01/30/infrastructure-at-99designs/
wetter.com - Relaunch with symfony2, Assetic, Varnish and Twig
http://100days.de/serendipity/archives/150-wetter.com-Relaunch-with-symfony2,-Assetic,-Varnish-and-Twig.html
Amazon Guidelines: http://www.amazon.com/Amazon-Web-Services/e/B007R6MVQ6