Beyond Ruby with NodeJS - RubyConf Brasil 2010

Beyond With

#whoami

I Ruby

Model class Product < ActiveRecord::Base after_create :set_initial_inventory has_many :variants, :dependent => :destroy has_many :images, :as => :viewable, :order => :position, :dependent => :destroy has_many :properties, :through => :product_properties belongs_to :tax_category validates_presence_of :name validates_presence_of :master_price validates_presence_of :description make_permalink :with => :name, :field => :permalink end Friday, August 7, 2009

“Tornar as coisas simples fáceis e as coisas difíceis possíveis” Fisoloﬁa Ruby

Código Bonito

Código Bonito Don’t Repeat Yourself

Código Bonito Don’t Repeat Yourself Convention Over Conﬁguration

class Booking < ActiveRecord::Base belongs_to :hotel belongs_to :user validates_presence_of :hotel validates_presence_of :user validates_presence_of :credit_card validates_presence_of :credit_card_name validates_length_of :credit_card, :within => 16..16 validates_format_of :credit_card, :with => /^d*$/ validates_length_of :credit_card_name, :within => 3..70 def total hotel.price * nights end def nights ((checkout_date - checkin_date) / 1.day).round end def to_s "Booking(#{user},#{hotel})" end end

#números

~ 2 bilhões de usuários de internet em todo mundo

68 milhões de usuários

68 milhões de usuários 37 milhões são ativos

% de usuários ativos nas Redes Sociais 90 86 % 78 % 77 % 75 % 74 % 74 % 73 % 72 % 67,5 63 % 59 % 45 22,5 0 Brasil Italia Espanha Japão EUA Inglaterra França Austrália Alemanha Suiça Fonte: The Nielsen Company

~ 70% dos adultos serão usuários regulares de redes sociais

Estrutura física de servidores para escalar

Escalando na vertical

Escalando na horizontal

Escalando DB na horizontal re ad ad re write write write

Escalando DB na horizontal Shard Shard Shard Shard Shard Shard Database Database Database Database Database Database

Arquitetura pra fazer o software escalar

Pattern para atender muitos requests

Pattern para atender muitos requests Finalize a requisição o mais rápido possível

HTTP GET

HTTP POST

Por que então mais uma tecnologia ?

Escalando na horizontal

Evented, non-blocking I/O Google V8 Engine

Qual é o problema das tecnologias atuais ?

Como manter conectados 10, 20 ou 30 mil usuários simultâneos ?

Nosso código costuma ser escrito assim

Nosso código costuma ser escrito assim O que o software está fazendo enquanto a querie executa ?

Na maioria dos casos está travado esperando a resposta

Ruby on Rails HTTPD Database

Ruby on Rails RUBY PROCESS HTTPD Database

Ruby on Rails RUBY BLOCK PROCESS HTTPD Database

Ruby on Rails RUBY BLOCK PROCESS RUBY BLOCK PROCESS HTTPD Database RUBY BLOCK PROCESS EUBY PROCESS BLOCK

Java Servlet Container HTTPD Servlet Database

Java Servlet Container Thread HTTPD Servlet Database

Java Servlet Container Thread BLOCK HTTPD Servlet Database

Java Servlet Container Thread BLOCK Thread BLOCK Thread BLOCK HTTPD Servlet Database Thread BLOCK Thread BLOCK Thread BLOCK Thread BLOCK

Apenas um processo abrindo uma thread para cada request

Produtividade do programador mais que performance da tecnologia

Java Rumble ?!? :p

Apenas um processo abrindo uma thread para cada request

Parece bom mas ...

Como manter conectados 10, 20 ou 30 mil usuários simultâneos ?

Como manter conectados 10, 20 ou 30 mil usuários simultâneos ? 30 mil threads ?

concurrency × reqs/sec Apache vs NGINX concurrency × reqs/sec http://blog.webfaction.com/a-little-holiday-present http://blog.webfaction.com/a-little-holiday-present

concurrency × reqs/sec Apache vs NGINX concurrency × memory http://blog.webfaction.com/a-little-holiday-present http://blog.webfaction.com/a-little-holiday-present

Apache cria uma thread por request

Troca de contexto entre theads tem um custo

Cada OS Thread cria uma pilha de execução nova

Pense bem antes de usar uma thread por request quando precisar suportar alta concorrência

Pattern para atender muitos requests Finalize a requisição o mais rápido possível

Pattern para atender alta concorrência

Pattern para atender alta concorrência Evite threads

Pattern para atender alta concorrência Evite threads Use um Event Loop

Performance != Escalabilidade

Performance != Escalabilidade mas ...

Uma performance melhor ajuda a escalar com menos recursos

Precisamos fazer I/O de outra maneira

Latência de I/O

Latência de I/O L1 3 ciclos

Latência de I/O L1 3 ciclos L2 14 ciclos

Latência de I/O L1 3 ciclos L2 14 ciclos RAM 250 ciclos

Latência de I/O L1 3 ciclos L2 14 ciclos RAM 250 ciclos Disco 41.000.000 ciclos

Latência de I/O L1 3 ciclos L2 14 ciclos RAM 250 ciclos Disco 41.000.000 ciclos Rede 240.000.000 ciclos

I/O não bloqueante

I/O não bloqueante L1 3 ciclos L2 14 ciclos RAM 250 ciclos

I/O não bloqueante L1 3 ciclos L2 14 ciclos RAM 250 ciclos I/O bloqueante

I/O não bloqueante L1 3 ciclos L2 14 ciclos RAM 250 ciclos I/O bloqueante Disco 41.000.000 ciclos Rede 240.000.000 ciclos

Infraestrutura não bloqueante, puramente baseada em eventos, para desenvolver software de alta concorrência

Servidor TCP simples em NodeJS O código acima faz com que a execução retorne imediatamente ao event loop

Por que já não faziamos dessa forma ?

POSIX Assync I/O não suportado por todos os S.Os

POSIX Assync I/O não suportado por todos os S.Os libmysql_client não permite query async

Filosoﬁa do NodeJS

Filosoﬁa do NodeJS Todo I/O deveria ser feito desta forma

Arquitetura Javascript Node standard library C Node Bindings thread event pool loop V8 (libeio) (libev)

#reactor

Pilha de execução ev_loop() I/O em disco (bloqueante)

Pilha de execução socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução http_parse(1) socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução load(“index.html”) http_parse(1) socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução http_parse(1) socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução socket_readdable(1) ev_loop() I/O em disco (bloqueante)

Pilha de execução ev_loop() I/O em disco (bloqueante)

Pilha de execução ev_loop() I/O em RAM (não bloqueante)

Pilha de execução socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução http_parse(2) socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução http_respond(2) http_parse(2) socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução http_parse(2) socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução socket_readdable(2) ev_loop() I/O em RAM (não bloqueante)

Pilha de execução ev_loop() I/O em RAM (não bloqueante)

Pilha de execução ev_loop() Arquivo carregou do disco

Pilha de execução file_loaded() ev_loop() Arquivo carregou do disco

Pilha de execução http_respond(1) file_loaded() ev_loop() Arquivo carregou do disco

Pilha de execução file_loaded() ev_loop() Arquivo carregou do disco

Pilha de execução ev_loop() Arquivo carregou do disco

Arquitetura Web

Arquitetura Web Nginx

Arquitetura Web Nginx Ruby Ruby Ruby Ruby Ruby on on on on on Rails Rails Rails Rails Rails

Arquitetura Web Nginx Ruby Ruby Ruby Ruby Ruby on on on on on NodeJS Rails Rails Rails Rails Rails

Arquitetura Web Nginx

#bizarrices

Isso é bonito?

em-syslog

em-dns em-syslog em-spec

em-proxy em-dns em-syslog em-ruby-irc em-spec em-memcache-client

em-mysql em-proxy em-dns em-mongo em-syncrony em-syslog em-ruby-irc em-spec em-memcache-client em-simplechat

em-mysql em-resolv-replace em-http-request em-websocket em-proxy em-dns em-s3 em-mongo em-syncrony em-syslog em-dir-watcher em-ftpd em-jabberbot em-redis em-ruby-irc em-spec em-net-http em-memcache-client em-simplechat

#simplicidade

Código bloqueante

Código bloqueante Código não-bloqueante

Callback

Callback Callback

#evolução

Don’t Repeat Yourself

Conﬁgurações Properties XML YAML

Conﬁgurações Properties XML YAML JSON Transporte

Conﬁgurações JSON

Conﬁgurações JSON Transporte

Conﬁgurações Javascript Object Notation Transporte

Server Side Java Ruby Python PHP

Server Side Java Ruby Python PHP Client Side JavaScript

Server Side JavaScript

Server Side JavaScript Client Side

#ecossistema

Sinatra detected !

TDD / BDD

TDD / BDD #http://github.com/visionmedia/expresso/

TDD / BDD #vows - http://vowsjs.org/

#last-thing

Client Ruby on Rails

Servidor em Node.js

Código Client-Side ( JS )

Código Server Coffeescript

#conclusão

I Ruby

Obrigado !!! Emerson Macedo @emerleite http://nodecasts.org http://codiﬁcando.com

Referências http://www.internetworldstats.com/emarketing.htm http://en.wikipedia.org/wiki/Event_loop http://lse.sourceforge.net/io/aio.html http://code.google.com/p/v8/ http://opengroup.org/onlinepubs/007908775/xsh/select.html http://en.wikipedia.org/wiki/Thread_pool_pattern http://www.commonjs.org/specs/modules/1.0/ http://en.wikipedia.org/wiki/File_descriptor http://en.wikipedia.org/wiki/Reactor_pattern

http://codificando.com	160
http://irr.posterous.com	13
http://posterous.com	1
http://coderwall.com	1

Beyond Ruby with NodeJS - RubyConf Brasil 2010

by Emerson Macedo

Accessibility

Categories

Upload Details

Usage Rights

4 Embeds 175

Statistics

Beyond Ruby with NodeJS - RubyConf Brasil 2010 Presentation Transcript