Placar UOL é um dos produtos de maior audiência do UOL. Milhares de usuários acompanham as principais partidas de futebol, resultado das eleições e apuração do carnaval em tempo real. Esta apresentação mostra a evolução da arquiteturaem começando com Apache, passando por Nginx, até sua versão atual utilizando Node.js e WebSockets.

1. Placar UOL

2. • JavaScript desde 1999
• Node.js desde v0.2.4 (2010)
• 15 anos no UOL
Home Page, Rádio UOL
Publicador (CMS), Bate-papo
Busca, Placar UOL

7. TSE
“tempo-real”
publica assina
editaassiste envia

8. Alta audiência
em intervalo de
tempo
extrema-
mente curto

9. HTTP REQ/RES

11. CONN/THREAD
1m UPDATENFS + mod_cacheMETA REFRESH

12. 30.000
18
30/06/2006

14. DEVOPS++
4s UPDATERESTARTSJSONP
SCRIPT

15. 72.000
18
Rio 2011

17. 1s UPDATEPROXYJSON/XHR
SOCKETS * 2MOD--

18. 500.000
18
Rio 2013

19. BIDIRECIONAL TCP HANDSHAKE

20. $ npm install ws
https://github.com/websockets/ws
The fastest RFC-6455 WebSocket
implementation for Node.js
BINARY HIXIE

21. User
DNS
Router
Master
Data centers Servers Processes
Worker
Internet
Browser
Arquitetura

22. Workers

23. theory
meets messy reality
most connections ended up in just two
or three processes.
https://strongloop.com/strongblog/whats-new-in-node-js-v0-12-cluster-round-robin-load-balancing/

24. iptables
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 23 -j REDIRECT --to-ports 8103
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 22 -j REDIRECT --to-ports 8102
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 21 -j REDIRECT --to-ports 8101
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 20 -j REDIRECT --to-ports 8100
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 19 -j REDIRECT --to-ports 8099
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 18 -j REDIRECT --to-ports 8098
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 17 -j REDIRECT --to-ports 8097
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 16 -j REDIRECT --to-ports 8096
iptables -A PREROUTING -i eth1+ -p tcp -m tcp --dport 80 -m statistic --mode nth --every 15 -j REDIRECT --to-ports 8095
child_process

25. 32 cores (2 GHz)
64 GB RAM
31 workers
REDE 1 Gb USO PREVISÍVEL
CRESCIMENTO
HORIZONTAL
1.040.000 users
33.500 users / worker
TOO BIG TO FAIL
16.700 users / GB
4 cores (2.2 GHz)
8 GB RAM
3 workers
100.000 users
33.300 users / worker
16.600 users / GB

26. (Des)balanceamento via DNS
close code 4001
WebSocket close codes 4000-4999
“Available for use by applications”
RAM NOK
BROWSER DNS DATA CENTER SERVER
WebSocket HTTP upgrade

27. POLLING!
HUEHUEHUE 46 LINHAS 2s

29. 1.200.000
26
24 milhões de page views

30. 300.000
26
3,5 milhões de page views
1 x 7 never forget

32. 1.100.000
26
Primeiro turno

33. 1.500.000
26
Segundo turno

34. ms UPDATEPOLLING IE
window.WebSocket
DEVOPS--
PING
RESTART = 0

35. Obrigado!
fermads@uolinc.com