Varnish qconsp 2011

Varnish

Sumário
Caching em HTTP
Varnish Workshop

Caching em HTTP Como funciona um “Acelerador Web” (Reverse Proxy Cache)
Expiração (headers Cache-Control, Age e Expires)
Validação (headers Last-Modified, Etag, If-Modified-Since, If-None-Modified)
Browser -> Cache -> Backend

Expiração por tempo

Validação por controle

Combinando Expiração e Validação

Varnish workshop
Elementos do vcl
Fluxo e objetos
Hash
Métodos HTTP
Misc: set/unset, regexp, ttl, headers de diagnóstico
Persistência: como funciona o grace
Ferramentas auxiliares: varnishlog, varnishncsa, varnishadm
Purge/Ban

Elementos do vcl Os elementos básicos do vcl são: Backend
Aqui são especificados os parâmetros de comunicação com o backend e probe (healthcheck) – semelhante à um VIP
Subrotinas e módulos
Subrotinas não retornam valores
Além das rotinas pré-definidas (que determinam o fluxo do Varnish) podem ser criadas subrotinas customizadas
Módulo pode retornar a localização geográfica de um endereço IP ou usar o varnish como um cliente HTTP e buscar cabeçalhos e corpo nos backends
Acls Includes Inline C

backend backend ig { .host = "vip.be.infra"; .probe = { .url = "/healthcheck.html"; .timeout = 34 ms; .interval = 1s; .window = 10; .threshold = 8; } } director baz round-robin { { .backend = ig; } { .backend = com; } }

acl acl purge { "localhost"; "127.0.0.1"; "10.0.0.0"/8; } acl header { "localhost"; "200.200.100.100"; "10.0.0.0"/8; }

Include e sub include ”/etc/varnish/functions.inc"; --- sub normalize_user_agent { if(req.http.User-Agent ~ "iPhone|Android") { set req.http.User-Agent = "mobile"; } else { remove req.http.user-agent; } }

Varnish: Fluxo e Objetos

Hash sub vcl_hash { if (req.http.user-agent ~ "mobile") { hash_data(req.http.user-agent); } # Vital para virtualhosts hash_data(req.url); hash_data(req.http.host); return (hash); }

Métodos HTTP if (req.request ~ "(GET|HEAD)") { return(lookup); } # Se for um POST deixa passar sem fazer cache elsif (req.request == "POST") { return(pass); } ...cont

Métodos HTTP elsif (req.request == "PURGE") { if (!client.ip ~ purge) { error 405 "opt Cache: Purge Not allowed."; } ban_url(req.url); error 200 req.url; } else { error 403 "opt Cache: Request not allowed."; }

Misc (call, set, regexp) call normalize_accept_encoding; --- sub normalize_accept_encoding { if (req.http.Accept-Encoding) { if (req.http.User-Agent ~ "MSIE 6") { remove req.http.Accept-Encoding; } elsif (req.http.Accept-Encoding ~ "gzip") { set req.http.Accept-Encoding = "gzip"; } elsif (req.http.Accept-Encoding ~ "deflate") { set req.http.Accept-Encoding = "deflate"; } else { remove req.http.Accept-Encoding; } } }

Misc (ttl, beresp) # se nao for 200, 301, 302 ou 304 = ttl de 5s if (beresp.status != 200 && beresp.status != 301 && beresp.status != 302 && beresp.status != 304) { set beresp.ttl = 5s; } # ttl minimo de 60s para os objetos com retorno 200, 301, 302 e 304 else { if (beresp.ttl < 60s) { set beresp.ttl = 60s; } }

Persistência Persistência O grace mode permite ao varnish responder lookups mesmo quando um objeto expirou seu ttl enquanto o backend não estiver up ou lento Configuração necessária Em vcl_recv:
set req.grace = 3d;
Em vcl_fetch:
set req.grace = 3d;
Importante: É necessário ter o probe na configuração de backend para que o grace funcione.

Ferramentas Auxiliares
varnishadm
varnishlog com suporte a filtros de registros que correspondem múltiplas expressões
varnishstat
varnishtop
varnishncsa com suporte de log com formatos personalizados

varnishadm # varnishadm -T localhost:6082 "ban req.url ~ /index.html && req.http.host == site.com.br" CLI connected to localhost:6082 # varnishadm -T localhost:6082 "vcl.list" CLI connected to localhost:6082 available 887 boot available 7 1312244228_site.com.br active 382 1312261977_ajuste_site.com.br

varnishlog $ varnishlog -o -i TxURL,TxHeader 102 TxHeader c Date: Sun, 11 Sep 2011 14:44:26 GMT 102 TxHeader c Last-Modified: Mon, 07 Feb 2011 20:40:38 GMT 102 TxHeader c Cache-Control: max-age=60 102 TxHeader c Expires: Sun, 11 Sep 2011 14:44:31 GMT 102 TxHeader c Vary: Accept-Encoding 102 TxHeader c Connection: keep-alive 102 TxHeader c X-Cache: HIT $ varnishlog -i TxURL,TxHeader -I '(TxURL|Host:)' 47 TxHeader - Host: www.sitea.com.br 47 TxHeader - Host: www.siteb.com.br 47 TxHeader - Host: vhost.sitea.com.br

varnishstat $ varnishstat 123+18:16:25 Hitrate ratio: 10 44 48 Hitrate avg: 0.9750 0.09705 0.09718 client_conn 45687252 4.27 Client connections accepted client_drop 0 0.00 Connection dropped, no sess/wrk client_req 541868273 50.69 Client requests received cache_hit 522400064 48.87 Cache hits cache_hitpass 0 0.00 Cache hits for pass cache_miss 14239594 1.33 Cache misses backend_conn 2933231 0.27 Backend conn. success backend_unhealthy 753 0.00 Backend conn. not attempted backend_busy 0 0.00 Backend conn. too many backend_fail 0 0.00 Backend conn. failures backend_reuse 12523383 1.17 Backend conn. reuses backend_toolate 2387757 0.22 Backend conn. was closed backend_recycle 14911184 1.40 Backend conn. recycles backend_unused 0 0.00 Backend conn. unused

varnishtop $ varnishtop -i RxHeader -C -I ^User-Agent -1 1240.00 RxHeader User-Agent: Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.220 Safari/535.1 765.00 RxHeader User-Agent: Mozilla/5.0 (Windows NT 5.1; rv:6.0.2) Gecko/20100101 Firefox/6.0.2

Configuração dos Headers #Apache Header unset ETag ExpiresActive On ExpiresByType text/css "now plus 10 years" ExpiresByType text/html "now plus 60 seconds" ExpiresByType image/gif "now plus 10 years" ExpiresByType image/png "now plus 10 years" ExpiresByType image/jpeg "now plus 10 years" ExpiresByType application/javascript "now plus 10 years" ExpiresByType application/x-shockwave-flash "now plus 10 years" Header append Cache-Control public env=static-content

Obrigado! Dúvidas ? iG – Internet Group Flavio Torres [email_address] @flavio_torres

Varnish qconsp 2011

by Flavio Torres on Sep 12, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 1

Statistics

Varnish qconsp 2011 — Presentation Transcript