Entregando conteúdo em ambientes extremos na JVM

Entregando conteúdo em ambientes extremos na JVM ROd

ROdDesenvolvedor especialistaem arquiteturas de altaperformance relacionadas apublicação, busca e entregade conteúdo para o portalUOL. Mestre pelo IME-USPem 07/2012 =) @rzdrigo

ObjetivoAumentar a disponibilidadeda entrega de conteúdo do Portal

ObjetivoDiminuir acesso aosserviços de backend

ObjetivoSimplificar a infraestrutura de entrega de conteúdo

Objetivo Suportar múltiplosformatos do conteúdo na mesma URL

noticias.uol.com.br

MARRAKESH

PremissasEstado imutávelDetecção de User AgentCacheMelhores práticas do HTTPProxy da engine de template

Detecção de User AgentWURFL – Web patchFast detection – Bot – Desktop

CacheCache replicado em todas as máquinas do poolSeparação entre conteúdo e máquina de estadoCache de conteúdo “gzipado”Bots não adicionam conteúdo no cache

HttpHandlerContent-Encoding: gzipETag e Last-Modified – 11% da audiência ainda utiliza HTTP/1.0Cache-ControlConnection: Close

Ambiente original

Novo ambiente

PRÉ PRODUÇÃO

TestesTeste no hardware finalFerramentas: – HAProxy – ab, request-simulator, siege – visualvm e visualgc

JVM-Xms == -Xmx-XX:+AggressiveOpts-XX:+UseAdaptiveSizePolicy-XX:+UseParNewGC-XX:ParallelGCThreads

JVM-verbose:gc-XX:+PrintGCDetails-XX:+PrintGCDateStamps-Dnetworkaddress.cache.ttl-Dnetworkaddress.cache.negative.ttl

EM PRODUÇÃO

MigraçãoBeta com noticias.uol.com.brMigração de todos os dominios de conteúdoem 2 meses – 42 áreas principais – Mais de 80 dominios

Apache DocRootApache envia redirect – /busca → /busca/Problema: Algumas funções JavaScript seapoiavam nesta “feature”Erro: /buscamontecarlo.htm → 404 Not Found

Negando conexõesApós morte do Chico Anysio requisições nãoestabeleciamPico de 160k reqs/minuto por servidorPico de 3200 reqs/segundo por servidor

Negando conexõesTentativas: – Aumento de threads do Apache – Pré alocação de threads do Apache – Testes com nginxSolução: ajustes nos valores do sysctlnet.ipv4.ip_local_port_range e net.ipv4.tcp_tw_reuse

Long GC Pauses– Requisições tinham tempo alto de respostasem nenhum evento especial– Análise de gc.log– Full GCs levando 12 ~ 15 segundos, mesmoapós ajustes em pré produção

Long GC Pauses– Após o solução do problema anterior asalterações do Apache não foram desfeitas– Threads pré alocadas fizeram o servidorcomeçar a consumir swap– Monitoração da swap desativada

500 Server Internal Error– Diversas requisições retornando 500– No mesmo momento outras retornando“200 OK” para o mesmo resource– Nenhuma mensagem de erro no log daaplicação

500 Server Internal Error Suspeita: Connection Pool do Jetty Análise: Sniffer entre Apache e Jetty Problema: – queryString no Apache 2.0.x não suportaUTF-8 – Somente IE realizava esta transformação

Números15k ~ 150k reqs/min (230k no pico → 3833 req/s)98% cache hits125 Mbps (225 Mbps pico)55% de respostas “Not Modified” (304)Redução de consultas ao Sistema de busca – 500 → 250 queries/sec (-50%)

Próximos passosSubstituir Jetty → NettyArmazenar uma semana de conteúdo emmemóriaIntegração com Metrics frameworkMigração de outros serviços para a plataforma

Obrigado =)http://slideshare.net/rzdrigo/entregando-conteudo-em- ambientes-extremos-na-jvm

Entregando conteúdo em ambientes extremos na JVM ROd

Entregando conteúdo em ambientes extremos na JVM

by Rodrigo Zaccara on Aug 05, 2012

Accessibility

Upload Details

Usage Rights

3 Embeds 9

Statistics

Entregando conteúdo em ambientes extremos na JVM Presentation Transcript

https://si0.twimg.com	3
https://twimg0-a.akamaihd.net	3
http://www.linkedin.com	3