Sus múltiples casos de usos y su excepcional rendimiento hacen que Redis sea hoy una pieza clave en la arquitectura de aplicaciones altamente dinámicas. En la charla se expone de forma práctica cómo puede integrarse Redis en una aplicación Symfoy y cómo pueden implementarse varias de las características de las aplicaciones usando Redis, como por ejemplo: Session storage, Monolog logging handlers, Doctrine caching, SwiftMailer spooling, Profiler storage, Data Collector for Symfony2 Profiler. Además de estos casos de uso generales, se comentan otros casos de usos específicos de aplicaciones que por su naturaleza no pueden beneficiarse de una capa de cache y se requiere por tanto una herramienta eficiente y escalable para resolver ciertos tipos de problemas.

1. Monday, June 24, 13

2. Monday, June 24, 13

3. ¿Quién soy?
• Backend Core Tech Lead @ Socialpoint
Arquitectura y desarrollo de aplicaciones que
eficientemente respondan peticiones de millones de
usuarios cada día
• Redis Fan
• Made in Cuba
• Poco original eligiendo memes
• @ronnylt
Monday, June 24, 13

4. Hablemos de algunos
de nuestros desafíos
como desarrolladores
Monday, June 24, 13

5. Tenemos aplicaciones que
por su naturaleza no es
posible usar una cache
Monday, June 24, 13

6. Tenemos cientos, miles,
de usuarios concurrentes y
necesitamos una solución
escalable para almacenar las
sesiones
Monday, June 24, 13

7. Queremos saber quién
y cómo se está usando
nuestra aplicación
Monday, June 24, 13

8. Redis WTF?
Redis FTW!
Monday, June 24, 13

9. Agenda
• Redis y sus características
• Entendiendo Redis
• Conectando desde PHP
• Integrando Redis en Symfony2
• Casos de uso
Monday, June 24, 13

10. REDISYSUS
CARACTERÍSTICAS
Monday, June 24, 13

11. ¿Qué es Redis?
• REmote DIctionary Server
• Creado en 2009 por Salvatore Sanfilipo
(@antirez)
• Open source
Monday, June 24, 13

12. Mejor definido como:
NoSQL
Monday, June 24, 13

13. Monday, June 24, 13

14. advanced
in-memory
key-value
data-structure server
Redis
Monday, June 24, 13

15. Data Structure Server
• Cadenas
• Listas
• Conjuntos
• Conjuntos ordenados
• Hashes (hash maps)
Monday, June 24, 13

16. In-memory Database
• Datos deben caber en memoria
• Persistencia configurable
• “Memory is the new disc, disc is the new
tape”
Monday, June 24, 13

17. Advanced key-value
store database
• Persistencia (snapshot, append-only file)
• Replicación (master/slave)
• Transacciones
• Pipelining
• Publisher/Subscriber (pub/sub)
• Lua scripting
Monday, June 24, 13

18. Ideal para
• Analíticas real-time
• Tracking
• Caching server (memcached on steroid)
• Colas de trabajo
• Escritura/Lectura intensiva (sesiones)
Monday, June 24, 13

19. ENTENDIENDO
REDIS
Monday, June 24, 13

20. Claves y valores
• Los datos (values) son refereciados a través
de claves (keys)
• Los datos pueden ser recuperados solo si
conocemos el nombre de la clave
Monday, June 24, 13

21. Claves
(keys)
• Únicas dentro de la BD
• Binary safe string
• Claves muy grandes pueden impactar en el
rendimimiento
• Claves muy pequeñas no aportan mucho
(u:123:n vs user:123:name)
Monday, June 24, 13

22. No es un RMDBS
• No hay consultas (queries)
• No hay índices
• No hay esquemas
Monday, June 24, 13

23. Monday, June 24, 13

24. Comandos
• Lenguaje de comandos fácil de usar y de
aprender
• Los comandos (en su mayoría) son aplicables
a un tipo de datos específico
Monday, June 24, 13

25. Tipos de datos
Cadenas
Listas
Conjuntos
Conjuntos ordenados
Hashes
Data structure server
Monday, June 24, 13

26. Cadenas
• Tipo de dato simple (cualquier cadena binary-safe)
• Tamaño máximo de 512 MB
key string
GET, SET, STRLEN,APPEND, GETRANGE, SETRANGE
http://redis.io/commands#string
Monday, June 24, 13

27. Casos de uso cadenas
• Almacenamiento de cualquier dato (serializado):
GET, SET
• Vector de acceso aleatorio con GETRANGE,
SETRANGE
• Mapa de bits usando GETBIT, SETBIT,
BITCOUNT
Monday, June 24, 13

28. Casos de uso cadenas
• Contadores atómicos con:
INCR, DECR
INCRBY, DECRBY
INCRFLOATBY
INCR dowloads:item:123
=> 450
INCR dowloads:item:123
=> 451
Monday, June 24, 13

29. Listas
• Listado de cadenas donde el orden es importante
• Operaciones de inserción por la izquierda y por
la derecha o por posición
• Máxima longitud de 2^32 -1 (+4 billones)
key s2s1 s3...
http://redis.io/commands#list
Monday, June 24, 13

30. Casos de uso Listas
• Representación de colas (insertando por la
derecha, leyendo por la izquierda) RPUSH, LPOP
• Representación de pilas (insertando y leyendo por
la izquierda) LPUSH, LPOP
• Comandos blocking BLPOP, BRPOP, BRPOPLPUSH
Monday, June 24, 13

31. Conjuntos
• Colección de elementos únicos donde el
orden no importa
• Operaciones típicas de conjuntos sobre los
datos
key
blue
green
red
black
Monday, June 24, 13

32. Operaciones de
conjuntos
SINTERSECT SUNION
SDIFF
Monday, June 24, 13

33. Casos de uso
Conjuntos
• Representación de relaciones
• Tracking de sucesos únicos
• Cualquier problema donde por su naturaleza se
realicen operaciones sobre conjuntos
Monday, June 24, 13

34. Conjuntos Ordenados
• Conjuntos de datos, pero ordenados por
un score
• Elementos únicos dentro del conjunto, cada
uno con un score asignado
key
blue – 520
green – 890
red – 303
black – 680
Monday, June 24, 13

35. Conjuntos Ordenados
• Operaciones de conjuntos aplicables
• Operaciones de acceso por score y por rango en
tiempo constante y predecible
http://redis.io/commands#sorted_set
Monday, June 24, 13

36. Casos de uso
Conjuntos Ordenados
• Leaderboards
• Rankings
• Tracking basado en tiempo
Monday, June 24, 13

37. Hashes
• Múltiples campo => valor en una misma clave
• Hasta un máximo de 2^32 -1 pares campo => valor
key field1 value1
field2 value2
field3 value3
http://redis.io/commands#hash
Monday, June 24, 13

38. Hashes
• Puede verse como un arreglo asociativo en PHP:
clave => [
campo1 => valor1,
campo2 => valor2,
campo3 => valor3
]
• Operaciones sobre campos individuales
Monday, June 24, 13

39. Casos de uso Hashes
• Almacenamiento de objetos compuestos
por varios campos
• Mappings
Monday, June 24, 13

40. Resumiendo...
• Tenemos la oportunidad de usar la estructura
de datos adecuada para cada tipo de problema
• Tendremos tiempos de ejecución constantes y
predecibles, sin importar el tamaño de los
conjuntos de datos (dataset)
Monday, June 24, 13

41. CONECTANDO
DESDE
PHP
Monday, June 24, 13

42. Clientes para PHP
• https://github.com/nrk/predis
• https://github.com/nicolasff/phpredis
Clientes disponibles para la mayoría de los lenguajes de
programación (http://redis.io/clients)
Monday, June 24, 13

43. Predis
"require": {
"predis/predis": "~0.8.3"
},
• Escrito en PHP
• Maduro y activamente mantenido
• Extensible
• Feature-complete (pipelines, client side sharding,
server profiles, master/slave config, etc.)
Monday, June 24, 13

44. phpredis
• Escrito en C como una extensión PHP
• Listo para producción
• Extremadamente rápido
• No backward compatible con anteriores
versions de Redis
Monday, June 24, 13

45. ¿Cuál usar?
• Depende...
• Predis cubre la mayoría de las necesidades,
fácil de instalar con composer, y nos ofrece
un rendimiento aceptable
• phpredis si necesitas un rendimiento
excepcional
Monday, June 24, 13

46. La latencia de red sigue
siendo el principal
“performance killer”,
no el cliente
Monday, June 24, 13

47. INTEGRANDOREDIS
EN
SYMFONY2
Monday, June 24, 13

48. Monday, June 24, 13

49. SncRedisBundle
{
"require": {
"snc/redis-bundle": "1.1.*"
}
}
https://github.com/snc/SncRedisBundle
Monday, June 24, 13

50. SncRedisBundle
• Integra Predis y phpredis en Symfony2
• Soporte para:
• Session storage
• Monolog logging handler
• SwiftMailer Spooling
• Doctrine caching
Monday, June 24, 13

51. Definiendo clientes
snc_redis:
clients:
default:
type: predis
alias: default
dsn: redis://redis.example.com
session:
type: predis
alias: session
dsn:
- redis://rses1.example.com
- redis://rses2.example.com
config.yml / redis.yml
Monday, June 24, 13

52. Configuración avanzada
snc_redis:
clients:
cache:
type: predis
alias: cache
dsn:
- redis://cache1.example.com
- redis://cache2.example.com
options:
profile: 2.6
connection_timeout: 10
readwrite_timeout: 30
config.yml / redis.yml
Monday, June 24, 13

53. Obteniendo el cliente a
través del container
$redis = $container->get('snc_redis.default');
$key = 'downloads:' . $pid . ':count'
$downloads = $redis->incr($key);
php app/console container:debug | grep snc_redis
Monday, June 24, 13

54. Clientes registrados
como servicios
php app/console container:debug
snc_redis.default
Information for service snc_redis.default
Service Id snc_redis.default
Class PredisClient
Tags -
Scope container
Public yes
Synthetic no
Required File -
Monday, June 24, 13

55. Inyectando Redis como
dependencia
namespace AcmeDemoBundleService;
use SncRedisBundleClientPredis as Redis;
class DownloadCounter
{
protected $redis;
public function __construct(Redis $redis)
{
$this->redis = $redis;
}
public function count($itemId)
{
return $this->redis->incr('downloads:' . $itemId . ':count');
}
}
Monday, June 24, 13

56. Inyectando Redis como
dependencia
<service id="acme.demo.download_counter"
class="AcmeDemoBundleServiceDownloadCounter">
...
<argument type="service" id="snc_redis.default" />
...
</service>
Monday, June 24, 13

57. Sesiones
Monday, June 24, 13

58. Sesiones
• Difícil de escalar con la configuración por
defecto
• Por naturaleza no cacheable (read-change-
write back)
• Se necesita mantener estado consistente
Monday, June 24, 13

59. Estado inconsistente en cada nodo
(no sticky sessions)
Monday, June 24, 13

60. • Difícil de escalar con
mucho tráfico
• Escrituras en cada
request
• Replication lag
Monday, June 24, 13

61. • In-memory sessions
• Tiempo de acceso
constante y predecible
• Escala horizontalmente
Monday, June 24, 13

62. Monday, June 24, 13

63. Sesiones en Redis
• Sesiones distribuídas (ej. detrás de un
balanceador sin sticky sessions)
• Excepcional rendimiento de escritura/lectura
• Tiempo de acceso constante y predecible
• Escalable horizontalmente (client-side sharding)
Monday, June 24, 13

64. Session handlers
• A través de un session handler implementado
en PHP, conectando a través de un cliente
Redis
• A través de un session handler implementado
en una extensión de PHP (phpredis)
Monday, June 24, 13

65. Usando Predis
snc_redis:
clients:
session_cluster:
type: predis
alias: session
dsn:
- redis://sess000.example.net
- redis://sess001.example.net
- redis://sess002.example.net
session:
client: session_cluster
ttl: 1200
prefix: appsession
config.yml
Monday, June 24, 13

66. Usando phpredis
framework:
session:
# Default storage service
storage_id: "session.storage.native"
# No handler service, use default
handler_id: ~
# The name for the session cookie
name: "appsesid"
config.yml
Monday, June 24, 13

67. php.ini usando phpredis
session.save_handler = redis
session.save_path = "
tcp://s000.example.net:6379?weight=1,
tcp://s001.example.net:6379?weight=2,
tcp://s002.example.net:6379?weight=2
"
Monday, June 24, 13

68. redis 127.0.0.1:6379> MONITOR
OK
"GET" "appsession:9jmmp11dvh3b4f1bp9trfuqlj3"
"SETEX" "appsession:9jmmp11dvh3b4f1bp9trfuqlj3"
"1440" "_sf2_attributes|a:1:{s:5:"visit";i:1371678033;}
_sf2_flashes|a:0:{}_sf2_meta|a:3:{s:1:"u";i:
1371678033;s:1:"c";i:1371678023;s:1:"l";s:1:"0";}"
session
name
session id
(cookie)
ttl
(expire
time)
session
data
Monday, June 24, 13

69. Monolog logging
Monday, June 24, 13

70. Monolog logging
• Los mensajes de logs son almacenados en
una lista
• Ideal cuando se necesita un broker que
reciba los logs que serán posteriormente
enviados a un agregador (ej. logstash)
Monday, June 24, 13

71. Monolog config
snc_redis:
clients:
monolog:
type: predis
alias: monolog
dsn: redis://localhost/1
logging: false
monolog:
client: monolog
key: monolog
monolog:
handlers:
main:
type: service
id: monolog.handler.redis
level: debug
Monday, June 24, 13

72. Referencias
• http://blog.lusis.org/blog/2012/01/31/load-
balancing-logstash-with-redis/
Monday, June 24, 13

73. SwiftMailer Spooling
Monday, June 24, 13

74. SwiftMailer Spooling
• Los mensajes no se envian directamente, sino que
se mantienen en un “spool” y son enviados por un
proceso en background
• Usando redis como “spool”, los mensajes son
mantenidos en una lista hasta que son enviados
Monday, June 24, 13

75. Mailer spooling
snc_redis:
clients:
emails:
type: predis
alias: emails
dsn: redis://emails-spool-00.example.com
logging: false
swiftmailer:
client: emails
key: swiftmailer
config.yml
Monday, June 24, 13

76. Otros casos de uso en
Symfony2
Monday, June 24, 13

77. Router dinámicos
• Necesitamos convertir URLs amigables a rutas
internas de Symfony2:
Idioma Ruta interna Ruta “amigable”
es /sport/123 /futbol
en /sport/123 /football
Monday, June 24, 13

78. Router dinámicos
Idioma
Ruta
“amigable”
_controller
es /futbol
Bundle:SportController:sportPageAction,
array(‘sport’ => 123)
es /madrid
Bundle:CityController:cityPageAction
array(‘city’ => 456)
Monday, June 24, 13

79. Desventajas
• Difícil de cambiar la configuración de routing
una vez creadas
• Es requerido tener copia de la base de datos
de routings en los ambientes de desarrollo
para que la aplicación funcione
Monday, June 24, 13

80. Solución alternativa
• Crear un mapping entre rutas amigables y
rutas internas
• Subscribirse a KernelEvents::REQUEST y
antes que nada, cambiar pathInfo en el objeto
Request
Monday, June 24, 13

81. Flujo
Request
/futbol
Request
/sport/123
RouterMapperListener
Controller/Action
Routing System
Monday, June 24, 13

82. Monday, June 24, 13

83. Usando Redis hashes
/futbol /sport/123
/baloncesto /sport/456
/tenis /sport/789
routes:es
/sport/123 /futbol
/sport/456 /baloncesto
/sport/789 /tenis
alias:es
Monday, June 24, 13

84. Integración con el profiler
y web debug toolbar
Monday, June 24, 13

85. Integración en el profiler
Monday, June 24, 13

86. OTROSCASOSDEUSO
GENERALES
Monday, June 24, 13

87. Presencia de usuarios
(who is online?)
Monday, June 24, 13

88. ¿Quién está online?
• Mantenemos un conjunto con los usuarios
que han estado online por cada minuto
• En cada request, agregamos al usuario al
conjunto de usuarios online del minuto
actual
• Obtenemos los usuarios que han estado
online de la unión de los 5 últimos
conjuntos
Monday, June 24, 13

89. Monday, June 24, 13

90. Amigos online
• Mantenemos un conjunto con los amigos
de cada usuario
• Obtenemos los amigos que están online, de
la intersección del conjunto de usuarios
online con el conjunto de amigos de un
usuario
Monday, June 24, 13

91. Usuarios online
Amigos
Amigos
Online
Monday, June 24, 13

92. class OnlineUsersManager
{
protected $redis;
public function __construct(Redis $redis)
{
$this->redis = $redis;
}
public function trackUser($userId)
{
$timestamp = time();
$minute = date('i', $timestamp);
$key = 'online_users:' . $minute;
// Add the user to the set of online users in the
current minute.
$this->redis->sadd($key, $userId);
// Expire in 10 minutes.
$this->redis->expire(60 * 10);
}Monday, June 24, 13

93. Leaderboards
• Caso de uso típico el cual es fácil de implementar
con Redis y díficil de implementar de forma
eficiente en otro sistema
• Los conjuntos ordenados son las estructuras de
datos perfectas para su implementación
Monday, June 24, 13

94. Monday, June 24, 13

95. class RankingManager
{
protected $redis;
public function __construct(Redis $redis)
{
$this->redis = $redis;
}
public function onCombatFinished(Combat $combat)
{
$winner = $combat->getAttacker();
$score = $combat->getScoreResult();
$this->redis->zincr('ranking', $score, $winner->getId());
}
public function getTopScores($limit)
{
return $this->redis->zrevrange('ranking', 0, $limit);
}
}
Monday, June 24, 13

96. Extra Tips
• Redis es single-threaded, todos los
comandos son atómicos
• Transacciones pueden usarse para ejecutar
múltiples comandos de forma atómica
• Lua scripts se ejecutan de forma atómica
también
•
Monday, June 24, 13

97. Performance Tips
• Usando client-side sharding puede escalarse
horizontalmente ganando en capacidad y
rendimiento
• Ejecutar múltiples comandos a través de
pipelines
Monday, June 24, 13

98. CONCLUSIONES
Monday, June 24, 13

99. NO usar Redis
• Cuando el conjunto de datos (dataset) no
cabe en memoria
• Datos de naturaleza relacional
• Cuando no se conoce de antemano como
van a consultarse los datos
Monday, June 24, 13

100. Cuándo usar Redis
• Redis para datos temporales, altamente dinámicos
y estructuras de datos complejas
• Datos de naturaleza no-relacional
• Ideal para aplicaciones que son write-heavy
• Datos que naturalmente se ajustan a una
estructura de Redis
Monday, June 24, 13

101. Inegrando Redis en un
stack PHP/Symfony2
• No necesariamente como la DB principal
• Resolviendo problemas que son difíciles de
resolver en un sistema relacional
• Beneficiandonos de las características de Redis de
forma incremental
• Usando la herramienta adecuada para cada tarea
Monday, June 24, 13

102. Monday, June 24, 13

103. Referencias
http://redis.io/commands
http://redis.io/documentation
Monday, June 24, 13

104. Muchas Gracias
https://joind.in/8844
@ronnylt
https://github.com/ronnylt
Monday, June 24, 13

105. We are hiring!
Monday, June 24, 13