Escalabilidade, as modas, (No)SQL

Escalabilidade, as modas e (No)SQL Fernando Ike

Por que?

Bala de Prata

Bala de Prata ● + de 20 anos como “A” solução ● ORM (Object-relational mapping) ● Transação ● Chave Composta ● Chave Estrangeira ● Porto seguro (ACID) ● Fácil representação (Entidade-Relacional) ● Padronização (SQL)

BIG DATA, 1980

Meu trabalho com BIG DATA...

Meu trabalho com BIG DATA...210 Terabytes/Mês

Meu trabalho com BIG DATA...210 Terabytes/Mês2,5 Petabyte/Ano

Internet das “Coisas”

Tecnocoisas Geotagging GPS RFID Near Field Communication Machine2MachineObject Generated Content (OGC) IPV6

Em 2011...8.000.000.000 de “coisas”

Você gera (produz/consome)11 Gigabytes/mês de dados

...em 2011...2.000.000.000 internautas

...em 2011...2361183241434822606848 bytes

...em 2011...2.147.483.648 terabyte

...em 2011...2 zettabyte

● Logs● RFID● Redes sociais● Textos e documentos

● Indexação p/ pesquisa● Dados científicos● Imagens, áudios e vídeos● Comércio eletrônico

BIG DATA

Um montão de dados

Big Data são base de dados de grande volume e processamento analíticoexecutado rapidamente, sendo muitas vezes dados não estruturados.

● Atomicity ● Basically available● Consistency Soft state X ●● Isolation ● Eventually consistent● Durability

NoSQLFrancesco Rizzi

SQLFrancesco Rizzi

Not only SQL

Tipos● Chave/Valor● Grafo● Orientado à Documentos● Orientado à Coluna

Chave/Valor

Chave/Valorchave valoruser:11:feed [100,99,97,96]user:22:feed [100,99,98]user:33:feed [100,99]user:44:feed [100]

Chave/Valor

Orientado à Documento

Orientado à Documento{ "id": 1, "name": "Foo", "price": 123, "tags": ["Bar","Eek"], "stock": { "warehouse":300, "retail":20 }}

Orientado à Coluna

NewSQL ● Em memória ● ACID ● Particionamento horizontal ● Chave estrangeira somente na mesma instância

Nova Bala de Prata? ● Visualização/Gerenciame nto mais “pobre” ● Maior facilidade de replicação, particionamento, balanceamento de carga ● “Mais entendível” para as equipes de desenvolvimento ● Sem pradonização de linguagem de “banco”

...as a Service

...as a ServiceInfrastructure as a Service

...as a ServicePlatform as a Service

...as a ServiceSoftware as a Service

...as a ServiceInfrastructure as a ServicePlatform as a ServiceSoftware as a Service

Lendas sobre a “Nuvem” Peter Deutsch ● The network is reliable ● Latency is zero ● Bandwidth is infinite ● The network is secure ● Topology doesnt change ● There is one administrator ● Transport cost is zero ● The network is homogeneous

Lendas sobre banco SQL ● Não escalável (um pouco mais trabalhoso) ● In-memory ● Normalização

Database as a Service

Elefante na nuvem ● AWS ● Rackspace ● Heruko ● Scalr ● VFabric

Elefante na nuvem ● Yahoo ● Sony ● ISS (NASA) ● Reddit ● OpenStreetMap ● MySpace ● Skype ● NTT

Bancos Federados

Foreign Data Wrapper

SQL /MED – Management of External Data PostgreSQL + Oracle PostgreSQL + Redis PostgreSQL + CouchDB PostgreSQL + Redis + CouchDB PostgreSQL + Twitter

PL/Proxy + PgBouncer (Skype)

Postgres Cloud Server ● Versão da EnterpriseDB ● Arquitetura base é proxy, failover automático, load balance, streaming replication ● Fácil implantação e crescimento

Postgres-XC

HaddopDB ● Híbrido de banco relacional e Orientado à Coluna ● Backend em PostgreSQL ou MySQL ● Criado pela Universidade de Yale

PgMemcached

PostreSQL(contrib) + HBase

UNLOGGED TABLES

Sistemas mais complexos

Sistemas projetados desde o início para escalabilidade ouPlanejar modificações para de Sistemas para ter escalabilidade

Soluções híbridasCacheNoSQLSQLvirtualização na nuvemservidores/storages físicos

Hardware commodittyScale Out para servidores earmazenamento (Storage)

Problemas de performance, arquitetura e/ou escalabilidade terão umacomplexidade maior para resolver.

Fim do DBA, devels, sysadmins...

Fim do DBA, devels, sysadmins...● Estereótipo do problema definirá a arquitetura de dados e quer um profissional multidisciplinar

Fim do DBA, devels, sysadmins...● Tipo do problema definirá a arquitetura de dados e quer um profissional multidisciplinar● Sistemas: Cloud (PaaS, IaaS, Saas, Dbaas) + Rede + SO + Algorítimos = integração

BIG DATA NEEDS BIG (QUALIFIED) PROFESSIONALSFernando Imbroisi

Obrigado

@fernandoikefernando.ike at gmail.comhttp://midstorm.org/~fike/weblog

Escalabilidade, as modas, (No)SQL

by Fernando Ike on Nov 10, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 416

Statistics

Escalabilidade, as modas, (No)SQL — Presentation Transcript