Nodejs - A performance que eu sempre quis ter

A performance que eu sempre quis ter Emerson Macedo @emerleite http://codiﬁcando.com http://visaoagil.wordpress.com/author/emerleite/

#whoami

360 milhões de usuários de internet em todo mundo

9,8 milhões de usuários

9,8 milhões de usuários 4,8 milhões são ativos

Com poucos usuários qualquer tecnologia funciona

~ 2 bilhões de usuários de internet em todo mundo

68 milhões de usuários

68 milhões de usuários 37 milhões são ativos

Com muitos usuários nem toda tecnologia funciona

Tecnologias atuais

Todas essas tecnologias tem algo em comum

PHP 1995

PHP 1995 Java EE 1998

PHP 1995 Java EE 1998 ASP.Net 2002

PHP 1995 Java EE 1998 ASP.Net 2002 Ruby on Rails 2005

PHP 1995 Java EE 1998 ASP.Net 2002 Ruby on Rails 2005 Django 2005

Por que então mais uma tecnologia ?

Usuários de Internet no Mundo (em milhões) 2.000 milhões 2000 1500 1000 500 360 milhões 0 2000 2010

Usuários de Internet no Brasil (em milhões) 70 milhões 70 52,5 35 17,5 10 milhões 0 2000 2010

Mas já escalamos muito bem nossos sites

Estrutura física de servidores para escalar

Escalando na vertical

Escalando na horizontal

Escalando DB na horizontal re ad ad re write write write

Escalando DB na horizontal Shard Shard Shard Shard Shard Shard Database Database Database Database Database Database

Arquitetura pra fazer o software escalar

Pattern para atender muitos requests

Pattern para atender muitos requests Finalize a requisição o mais rápido possível

HTTP GET

HTTP POST

Por que então mais uma tecnologia ?

~ 70% dos adultos serão usuários regulares de redes sociais

Como manter conectados 10, 20 ou 30 mil usuários simultâneos ?

Escalando na horizontal

Evented, non-blocking I/O Google V8 Engine

Qual é o problema das tecnologias atuais ?

Nosso código costuma ser escrito assim

Nosso código costuma ser escrito assim O que o software está fazendo enquanto a querie executa ?

Na maioria dos casos está travado esperando a resposta

Rails ou Django HTTPD Database

Rails ou Django RUNTIME PROCESS HTTPD Database

Rails ou Django RUNTIME BLOCK PROCESS HTTPD Database

Rails ou Django RUNTIME BLOCK PROCESS RUNTIME BLOCK PROCESS HTTPD Database RUNTIME BLOCK PROCESS RUNTIME PROCESS BLOCK

Java Servlet Container HTTPD Servlet Database

Java Servlet Container Thread HTTPD Servlet Database

Java Servlet Container Thread BLOCK HTTPD Servlet Database

Java Servlet Container Thread BLOCK Thread BLOCK Thread BLOCK HTTPD Servlet Database Thread BLOCK Thread BLOCK Thread BLOCK Thread BLOCK

Apenas um processo abrindo uma thread para cada request

Produtividade do programador mais que performance da tecnologia

Apenas um processo abrindo uma thread para cada request

Parece bom mas ...

Como manter conectados 10, 20 ou 30 mil usuários simultâneos ? 30 mil threads ?

concurrency × reqs/sec Apache vs NGINX concurrency × reqs/sec http://blog.webfaction.com/a-little-holiday-present http://blog.webfaction.com/a-little-holiday-present

concurrency × reqs/sec Apache vs NGINX concurrency × memory http://blog.webfaction.com/a-little-holiday-present http://blog.webfaction.com/a-little-holiday-present

Apache cria uma thread por request

Troca de contexto entre theads tem um custo

Cada OS Thread cria uma pilha de execução nova

Não devemos usar uma thread por request quando precisamos suportar alta concorrência

Pattern para atender alta concorrência

Pattern para atender alta concorrência Não crie threads

Pattern para atender alta concorrência Não crie threads Use um Event Loop

Performance != Escalabilidade

Performance != Escalabilidade mas ...

Uma performance melhor ajuda a escalar com menos recursos

Precisamos fazer I/O de outra maneira

Latência de I/O

Latência de I/O L1 3 ciclos

Latência de I/O L1 3 ciclos L2 14 ciclos

Latência de I/O L1 3 ciclos L2 14 ciclos RAM 250 ciclos

Latência de I/O L1 3 ciclos L2 14 ciclos RAM 250 ciclos Disco 41.000.000 ciclos

Latência de I/O L1 3 ciclos L2 14 ciclos RAM 250 ciclos Disco 41.000.000 ciclos Rede 240.000.000 ciclos

I/O não bloqueante

I/O não bloqueante L1 3 ciclos L2 14 ciclos RAM 250 ciclos

I/O não bloqueante L1 3 ciclos L2 14 ciclos RAM 250 ciclos I/O bloqueante

I/O não bloqueante L1 3 ciclos L2 14 ciclos RAM 250 ciclos I/O bloqueante Disco 41.000.000 ciclos Rede 240.000.000 ciclos

Infraestrutura não bloqueante, puramente baseada em eventos, para desenvolver software de alta concorrência

Servidor TCP simples em NodeJS O código acima faz com que a execução retorne imediatamente ao event loop

Por que já não faziamos dessa forma ?

POSIX Assync I/O não suportado por todos os S.Os

POSIX Assync I/O não suportado por todos os S.Os libmysql_client não permite query async

Filosoﬁa do NodeJS

Filosoﬁa do NodeJS Todo I/O deveria ser feito desta forma

Para qualquer operação que acesse o disco ou a rede deve existir um callback

Arquitetura Javascript Node standard library C Node Bindings thread event pool loop V8 (libeio) (libev)

Pilha de execução ev_loop() I/O em disco (bloqueante)

Pilha de execução socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução http_parse(1) socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução load(“index.html”) http_parse(1) socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução http_parse(1) socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução ev_loop() I/O em disco (bloqueante)

Pilha de execução ev_loop() I/O em RAM (não bloqueante)

Pilha de execução socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução http_parse(2) socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução http_respond(2) http_parse(2) socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução http_parse(2) socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução ev_loop() I/O em RAM (não bloqueante)

Pilha de execução ev_loop() Arquivo carregou do disco

Pilha de execução file_loaded() ev_loop() Arquivo carregou do disco

Pilha de execução http_respond(1) file_loaded() ev_loop() Arquivo carregou do disco

Pilha de execução file_loaded() ev_loop() Arquivo carregou do disco

Pilha de execução ev_loop() Arquivo carregou do disco

Arquitetura Web

Arquitetura Web Nginx

Arquitetura Web Nginx Ruby Ruby Ruby Ruby Ruby or or or or or Python Python Python Python Python

Arquitetura Web Nginx Ruby Ruby Ruby Ruby Ruby or or or or or NodeJS Python Python Python Python Python

Arquitetura Web Nginx

Arquitetura Web Nginx NodeJS

Arquitetura Web NodeJS

Arquitetura Web NodeJS Quando NodeJS estiver bem maduro, a idéia de Ryan é que ele seja a porta de entrada. Será ?

Por que Javascript ?

Não é burocrático, assim como Ruby ou Python

Não é burocrático, assim como Ruby ou Python Especialistas Javascript Client-Side já pensam assíncrono

Instalação

Instalação http://nodejs.org/#download

Instalação http://nodejs.org/#download $ ./conﬁgure $ make $ make install

Desenvolvendo aplicações web

Express JS http://expressjs.com/

Express JS http://expressjs.com/ Sinatra ???

Express JS #múltiplos ambientes

Express JS #markup

Express JS #stylesheet

Express JS #comportamento

Database

Database http://wiki.github.com/ry/node/modules#database

Database http://wiki.github.com/ry/node/modules#database MongoDB CouchDB MySQL Assíncrono Sqlite Redis Postgres

Test driven development #vows - http://vowsjs.org/

Test driven development

Test driven development #http://github.com/visionmedia/expresso/

Node package manager http://github.com/isaacs/npm

Node package manager http://github.com/isaacs/npm #instalação $ curl http://npmjs.org/install.sh | sh

Node package manager http://github.com/isaacs/npm #instalação $ curl http://npmjs.org/install.sh | sh #utilização $ npm install pacote

Node package manager http://github.com/isaacs/npm #instalação $ curl http://npmjs.org/install.sh | sh #utilização $ npm install pacote #desinstalação $ npm uninstall npm

Node package manager http://github.com/isaacs/npm #stable - expressjs $ npm install express

Node package manager http://github.com/isaacs/npm #stable - expressjs $ npm install express #unstable - hamljs $ npm install hamljs@latest

Node package manager http://github.com/isaacs/npm #stable - expressjs $ npm install express #unstable - hamljs $ npm install hamljs@latest #versão - vows $ npm install vows@0.4.6

Node package manager

Node package manager http://github.com/isaacs/npm #listando $ npm list

Node package manager http://github.com/isaacs/npm #listando $ npm list #instalado $ npm list @installed

Node package manager http://github.com/isaacs/npm #listando $ npm list #instalado $ npm list @installed #autor $ npm list =ry

Node package manager

Node package manager http://github.com/isaacs/npm #atualizando $ npm update

Node package manager http://github.com/isaacs/npm #atualizando $ npm update #porpacote $ npm update pacote

Node package manager http://github.com/isaacs/npm #atualizando $ npm update #porpacote $ npm update pacote #ondeﬁca ~/.node_libraries

Deployment em produção

Spark + Nginx http://github.com/senchalabs/spark

Spark + Nginx http://github.com/senchalabs/spark #instalação $ npm install spark@latest

Spark + Nginx http://github.com/senchalabs/spark #instalação $ npm install spark@latest #utilização $ spark -p [port] -n [processes]

Spark + Nginx

Spark + Nginx #conﬁg.js

Spark + Nginx #conﬁg.js #nginx

Oportunidades

Upload de arquivos

Upload de arquivos Streaming de vídeo

Upload de arquivos Real-time web applications Streaming de vídeo

Alternativas

Status atual

Status atual Versão 0.1.103

Status atual Versão 0.1.103 Javascript ~ 6000 linhas

Status atual Versão 0.1.103 Javascript ~ 6000 linhas C++ ~ 11000 linhas

Status atual Versão 0.1.103 Javascript ~ 6000 linhas C++ ~ 11000 linhas Mailin list ~ 1200 pessoas

Status atual Versão 0.1.103 Javascript ~ 6000 linhas C++ ~ 11000 linhas Mailin list ~ 1200 pessoas Contribuidores ~ 70 pessoas

Conclusão

I/O não deve ser feito da forma que fazemos hoje em dia

Muito promissor

Muito promissor Podemos usar já !!!

Obrigado !!! Emerson Macedo @emerleite http://codiﬁcando.com

Referências http://www.internetworldstats.com/emarketing.htm http://en.wikipedia.org/wiki/Event_loop http://lse.sourceforge.net/io/aio.html http://code.google.com/p/v8/ http://opengroup.org/onlinepubs/007908775/xsh/select.html http://en.wikipedia.org/wiki/Thread_pool_pattern http://www.commonjs.org/specs/modules/1.0/ http://en.wikipedia.org/wiki/File_descriptor

http://codificando.com	227
http://www.techgig.com	27
http://paper.li	1
http://migueldev.com	1
http://coderwall.com	1
http://www.techgig.timesjobs.com	1
http://www.linkedin.com	1

Nodejs - A performance que eu sempre quis ter

by Emerson Macedo

Accessibility

Categories

Upload Details

Usage Rights

7 Embeds 259

Statistics

Nodejs - A performance que eu sempre quis ter Presentation Transcript