Multitenancy

MULTITENANCY EM RAILScortando custos e aumentando capacidade

RICARDO BERNARDELLI @rbernardelli http://github.com/bernardelli http://rbernardelli.com

FERNANDO HAMASAKI @prodis http://github.com/prodis http://prodis.blog.br

O QUE É MULTITENANCY?

COM O QUE SE PREOCUPAR?

COM O QUE SE PREOCUPAR? separação de dados

COM O QUE SE PREOCUPAR? separação de dados customização

COM O QUE SE PREOCUPAR? separação de dados customização escalabilidade

ABORDAGENS

ABORDAGENSuma instância e uma base de dados

ABORDAGENS uma instância e uma base de dados• facilidade para novo tenant

ABORDAGENS uma instância e uma base de dados• facilidade para novo tenant• deploy simples

ABORDAGENS uma instância e uma base de dados• facilidade para novo tenant• deploy simples• arquivos centralizados

ABORDAGENS uma instância e uma base de dados• facilidade para novo tenant• deploy simples• arquivos centralizados• fácil gerenciamento dos dados compartilhados

ABORDAGENS uma instância e uma base de dados• facilidade para novo tenant• deploy simples• arquivos centralizados• fácil gerenciamento dos dados compartilhados• interferências na performance

ABORDAGENS

ABORDAGENSuma instância com vários schemas

ABORDAGENS uma instância com vários schemas• facilidade de customização

ABORDAGENS uma instância com vários schemas• facilidade de customização• gerenciamento das migrations

ABORDAGENS uma instância com vários schemas• facilidade de customização• gerenciamento das migrations• diﬁculdade no gerenciamento dos schemas

ABORDAGENS uma instância com vários schemas• facilidade de customização• gerenciamento das migrations• diﬁculdade no gerenciamento dos schemas• postgresql, oracle

ABORDAGENS

ABORDAGENSuma instância com bases separadas

ABORDAGENS uma instância com bases separadas• separação total de dados

ABORDAGENS uma instância com bases separadas• separação total de dados• diﬁculdades no gerenciamento das bases

ABORDAGENS

ABORDAGENSvárias instâncias com várias bases

ABORDAGENS várias instâncias com várias bases• separação total de dados

ABORDAGENS várias instâncias com várias bases• separação total de dados• escalabilidade de um único tenant

ABORDAGENS várias instâncias com várias bases• separação total de dados• escalabilidade de um único tenant• diﬁculdade no gerenciamento das bases

ABORDAGENS várias instâncias com várias bases• separação total de dados• escalabilidade de um único tenant• diﬁculdade no gerenciamento das bases• diﬁculdade de deploys

ABORDAGENS várias instâncias com várias bases• separação total de dados• escalabilidade de um único tenant• diﬁculdade no gerenciamento das bases• diﬁculdade de deploys• alto custo de infra

ABORDAGENS várias instâncias com várias bases• separação total de dados• escalabilidade de um único tenant• diﬁculdade no gerenciamento das bases• diﬁculdade de deploys• alto custo de infra (multi-instância)

EXEMPLOS PARA RAILS

EXEMPLOS PARA RAILS• multitenant (https://github.com/wireframe/multitenant)

EXEMPLOS PARA RAILS• multitenant (https://github.com/wireframe/multitenant)• acts_as_tenant (https://github.com/ErwinM/acts_as_tenant)

EXEMPLOS PARA RAILS• multitenant (https://github.com/wireframe/multitenant)• acts_as_tenant (https://github.com/ErwinM/acts_as_tenant)• devise + inherited_resources

EXEMPLOS PARA RAILS• multitenant (https://github.com/wireframe/multitenant)• acts_as_tenant (https://github.com/ErwinM/acts_as_tenant)• devise + inherited_resources• ...

MULTITENANCY EM RAILScortando custos e aumentando capacidade (ou como nós ﬁzemos)

HISTÓRICOloja pronta (antigo e-commerce Locaweb)

HISTÓRICOequipe inicial sem experiência em ruby on rails

FATORES EXTERNOS

FATORES EXTERNOS time to market

FATORES EXTERNOS time to market pressão

DECISÕES

DECISÕESaplicação do zero?

DECISÕES aplicação do zero?utilizar solução já existente open-source?

DECISÕES* http://2.bp.blogspot.com/_wWmWqyCEKEs/TA_SiﬂDXsI/AAAAAAAADlc/TOg9IwXGZfQ/s400/spree.png

COMO VAMOS ATENDER VÁRIOS CLIENTES ?

IDÉIAS

CLOUD ?* http://jodsonfritz.ﬁles.wordpress.com/2011/03/illustratie-illustration_cloud-computing-lek-leak-wolken1-450x299.jpg

MULTI-INSTÂNCIA

PRIMEIRO SERVIDOR 16 cpus 18 gb ram apache + passenger mysql arquivos locais

PRIMEIRA ARQUITETURA

MAGIC NUMBER

MAGIC NUMBER 600

MAGIC NUMBER 600não aguentou 400!

O QUE FAZER AGORA?

DIFICULDADES

DIFICULDADES deploy

DIFICULDADES deploy migrations

DIFICULDADES deploy migrationsum tenant afetando tenants vizinhos

DIFICULDADES deploy migrations um tenant afetando tenants vizinhostenant com muitos arquivos distribuídos

DIFICULDADES deploy migrations um tenant afetando tenants vizinhostenant com muitos arquivos distribuídos manutenção

ALTA DISPONIBILIDADE * http://thatcrazytattooedbaldbroad.ﬁles.wordpress.com/2011/07/ﬁnger-pointing1.jpg

PRECISAMOS DE UMA NOVA ARQUITETURA

VANTAGENS A NOSSO FAVOR

VANTAGENS A NOSSO FAVOR rails usa rack

VANTAGENS A NOSSO FAVOR rails usa rack domínios centralizados

DESVANTAGENS

DESVANTAGENS bases separadas

DESVANTAGENS bases separadastenants descentralizados

BRAINSTORM

BRAINSTORMtrocar a conexão do banco

MAS, PODE ISSO ? * http://fjblogger.com/triboaser/ﬁles/2011/06/duvida.jpg

PROVA DE CONCEITO

RACK MIDDLEWARE

RACK MIDDLEWAREconfig.middleware.use MultiTenant::Middleware

RACK MIDDLEWAREdef call(env) begin tenant = map.get_tenant(:address => address(env)) return respond_302 unless tenant return respond_403 if tenant.suspended? tenant.current! @status, @headers, @response = @app.call(env) [@status, @headers, @response] rescue Exception => ex @logger.error ex.message + "n" + ex.backtrace.join("n") respond_500 endend

RACK MIDDLEWAREmodule MultiTenant class TenantAddressMap ... def get_tenant(options = {}) tenant_hash = @manager.get_tenant(options[:address]) tenant_hash ? Tenant.new(tenant_hash) : nil end ... endend

RACK MIDDLEWAREmodule MultiTenant class Tenant ... def current! database_switcher.switch!(self) log_switcher.switch!(self) assets_switcher.switch!(self) end ... endend

RACK MIDDLEWAREmodule MultiTenant class DatabaseSwitcher ... def switch!(tenant) if ActiveRecord::Base.connection.current_database !=tenant.config[database] ActiveRecord::Base.establish_connection(tenant.config) end end ... endend

ESCALA ?

TESTES DE DESEMPENHO o que utilizamos:

TESTES DE DESEMPENHO o que utilizamos: máquina idêntica de produção

TESTES DE DESEMPENHO o que utilizamos: máquina idêntica de produção jmeter para fazer a carga

TESTES DE DESEMPENHO

TESTES DE DESEMPENHO$ request-log-analyzer all-production.log

TESTES DE DESEMPENHO $ request-log-analyzer all-production.logTaxonsController#show.html [GET] 71297 hits 25.9%ProductsController#index.html [GET] 68717 hits 25.0%ProductsController#show.html [GET] 64132 hits 23.3%

RESULTADOS

RESULTADOS antes depois seminstância/tenant 2 preocupações req/s ? 300consumo total toda estável de memória

E DEPOIS DO TESTE ?

METASser fácil de escalar

METASser fácil de escalar reduzir custos

METASser fácil de escalar reduzir custosalta disponibilidade

EXTRAÇÃO DE BASES

EXTRAÇÃO DE ARQUIVOS

NOVA ARQUITETURA

SERVIDOR 16 cpus 18 gb ram

SERVIDOR 16 cpus 18 gb rambaixo consumo de memória e processamento

CLOUD ?* http://jodsonfritz.ﬁles.wordpress.com/2011/03/illustratie-illustration_cloud-computing-lek-leak-wolken1-450x299.jpg

SERVIDOR

SERVIDOR 8 cpus

SERVIDOR 8 cpus 10 gb ram

PROPAGANDA

PROPAGANDAcrescimento em 5x a quantidade de tenants

COMO ESCALAR AINDA MAIS?

BALANCEADOR DE CARGA

BALANCEADOR DE CARGA Linux Virtual Server (LVS)

NOVA ARQUITETURA

O QUE ESTÁ POR VIR

O QUE ESTÁ POR VIRnúmero de banco de dados crescendo

O QUE ESTÁ POR VIRnúmero de banco de dados crescendo logs estão distribuídos

CONCLUSÕES

CONCLUSÕEStenha números concretos

CONCLUSÕES tenha números concretosexperimente, teste se funciona

CONCLUSÕES tenha números concretos experimente, teste se funcionatenha solução ideal para o seu problema

CONCLUSÕES tenha números concretos experimente, teste se funcionatenha solução ideal para o seu problema execute em pequenos passos

OBRIGADO !

PERGUNTAS ?

Ricardo Bernardelli Fernando Hamasaki @rbernardelli @prodis WebStore http://www.locaweb.com.br/Loja

REFERÊNCIAShttp://www.tectura.com.br/topics/abordagens_de_multitenanthttp://msdn.microsoft.com/en-us/library/aa479086.aspximagem fail: http://hidefgames.com.br/wp-content/uploads/2011/04/failed1.gifimagem approved: http://3.bp.blogspot.com/-fKxVGdl1KMo/TcdEdjCMuMI/AAAAAAAABQM/FFJOzalJ7EU/s1600/approved-stamp-hi.png

http://www.locawebers.com.br	482
http://prodis.blog.br	456
http://prodis.pro.br	40
http://www.locawebianos.com.br	7
http://www.prodis.pro.br	7
http://feeds2.feedburner.com	5
http://paper.li	4
http://locawebianos.com.br	4
http://a0.twimg.com	3
http://npsprodutosblog.tempsite.ws	2
http://prodis.net.br	2
http://us-w1.rockmelt.com	1

Multitenancy

by Ricardo Bernardelli on Nov 03, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

12 Embeds 1,013

Statistics

Multitenancy — Presentation Transcript