Como modelar, integrar e desenvolver aplicações com múltiplos bancos de dados NoSQL

Globalcode – Open4education
Como modelar, integrar e desenvolver aplicações
com múltiplos bancos de dados NoSQL
Luiz Henrique Zambom Santana
lhzsantana@gmail.com

Agenda
• Objetivos
• NoSQL?
• Por que usar NoSQL?
• “No size fits all”
• Arquiteturas comuns
• Modelagem
• Desenvolvendo para múltiplos NoSQL (e SQL)
• O que vem aí?
• Conclusões

Objetivos
• Com a evolução dos bancos de dados NoSQL
tornou-se comum o desenvolvimento de
aplicações cujos dados estão armazenados - e
replicados - em múltiplos bancos de dados. Nesse
cenário, modelar, integrar e desenvolver não é
mais como era antigamente. Essa palestra discute
arquiteturas, ferramentas e novos padrões de
desenvolvimento que permitem explorar ao
máximo as capacidades os diversos modelos
NoSQL e facilitam sua integração com técnicas
tradicionais do desenvolvimento de software.
Uma visão sobre
NoSQL desde a
perspectiva de um
desenvolvedor

Apresentação
• Doutorando na UFSC
• Consultor e programador
• Trabalhando com Elasticsearch desde 2013 (versão
0.9.x)
• Autor de artigos, luizsantana.info e livros

NoSQL
Not only SQL
Sadalage e Fowler, 2012
http://martinfowler.com/books/nosql.html
“Banco de Dados Relacional
será nota de rodapé na história”
Nathan Marz, 2014
http://goo.gl/WGXvPy

“Sem tamanho único”
• “a panoply of data models,
and they typically operate on
flexible storage formats such
as JSON”
• “Increasingly, we see
applications that deploy
multiple engines, resulting in
a need to join data across
systems.”

Por que usar NoSQL?

Persistência poliglota
• O modelo certo para cada tipo de dados

Diferentes tipos de escalabilidade
e complexidade

Diferença brutal de
desempenho
• iColabora

Vantagens e desvantagens
(em relação ao SQL)
Vantagens Desvantagens
Maior desempenho Transações limitadas
Maior escalabilidade Limitação nas consultas*
Modelos de dados mais ricos Consistência relaxada
Schema-less “Dados não relacionados”

Arquiteturas comuns

Arquiteturas comuns
• Arquitetura Lambda

Arquitetura avançada

Problemas
• Escolha do modelo
• Modelagem
• Falta de esquema
• Sincronização
• Controle de transação
• Evolução de modelo
• Diferenças de implementação
• Diferenças de desempenho
• Falta de capacidade técnica

Como escolher o modelo NoSQL?
Modelo Bom Ruim
Chave-valor Informações de sessão,
perfis de usuário,
preferências, carrinho de
compras
Quando é necessário fazer
consultas nos dados, quando
há relacionamento entre as
informações, ou
necessitamos acessar as
informações através de
múltiplas chave
Documentos Sistemas de gerenciamento
de conteúdo, blogs, web
analytics, análise em tempo
real, e aplicações
de comércio
Transações complexas que
abrangem várias operações
ou consultas em diversas
estruturas agregadas

Como escolher o modelo NoSQL?
Modelo Bom Ruim
Colunar Sistemas de gerenciamento
de conteúdo, plataformas
de blogs, contadores,
aplicações que possuem
um volume de escrita muito
grande
Sistemas que estão no início
do desenvolvimento ou que
possuam mudanças
frequentes nos seus padrões
de consulta
Grafos Dados conectados, tais
como redes sociais, dados
espaciais, informações de
roteamento para bens e
dinheiro, mecanismos de
recomendação
Modelo de dados simples

Modelagem
• Desafios
•Pouco conhecimento
•Múltiplos fornecedores
• Múltiplos modelos
• Muitas opções

Modelagem unificada?
Conceito RDBMS NoSQL
Entity Table Collection / Column Family
Entity instance Row Document / Row
Property Column Key / Column
Property of an entity
instance
Cell Value Field Value
Domain Data type Data type (Some NoSQL database no data
type, all of value is plain text.)
Relationship Constraint Reference, Embedded, Additional table, row
across multiple column families.
Key Index Index, Additional
table, Reference
Unique identification Primary Key Row Key

Modelagem unificada?

Desnormalização
• Desculpa Codd!

Agregação
• Aplicável a Chave-valor,
Documentos e Colunar
• Cuidado especial durante
as atualizações

Joins na aplicação
• Aplicável em Chave-valor, Documentos, Colunar e Grafos
• As vezes é inevitável
• Entidade aninhada é atualizada de forma frequente
• Many-to-many

Agregações atômicas
• Aplicável em Chave-valor, Documentos, Colunar e Grafos
• As vezes é inevitável
• Desnormalizar as vezes facilita o controle de
transações

Inverted Search – Direct
Aggregation
• Aplicável em Chave-valor, Documentos
e Colunar
• Armazenar os dados agregados de
diversas formas para facilitar
agregações posteriores

Tree Aggregation
• Aplicável em Chave-valor
e Documentos
• Facilita o acesso quando
os dados devem ser
apresentados em
conjunto
• Busca e atualizações
podem ser complicadas e
ineficientes

Materialized Paths
• Aplicável em Chave-valor e Documentos
• Uma maneira de tornar planos os modelos hierárquicos

Ferramentas para
desenvolvimento

Desenvolvimento
• Dificuldades:
•Não existe uma linguagem única
•Não existe um padrão (como o JDBC)
•Muitas vezes as aplicações também falam SQL
• Algumas frameworks estão surgindo para facilitar o
desenvolvimento com NoSQL
• Java
•Spring Data suporta muitos de bancos de dados NoSQL
•GemFire, Redis, MongoDB, Neo4j, Solr, Elasticsearch, Couchbase,
FuzzyDB
• PHP
•Doctrine está começando a suportar NoSQL
•MongoDB, Elasticsearch, Cassandra, CouchDB

Spring Data

Exemplo Spring Data
•Usando Maven
<dependencies>

<dependency>
<groupId>org.springframework.data</groupId>
<artifactId>spring-data-cassandra</artifactId>
<version>1.0.0.RELEASE</version>
</dependency>
</dependencies>

Exemplo Spring Data
•Criando uma classe
package org.spring.cassandra.example;
import org.springframework.data.cassandra.mapping.PrimaryKey;
import org.springframework.data.cassandra.mapping.Table;
@Table
public class Person {
@PrimaryKey
private String id;
private String name;
}

Exemplo Spring Data
•Acessando dados com Spring Data
package org.spring.cassandra.example;
import org.springframework.data.cassandra.core.CassandraOperations;
import org.springframework.data.cassandra.core.CassandraTemplate;
public class CassandraApp {
…
cluster = Cluster.builder().addContactPoints(InetAddress.getLocalHost()).build();
session = cluster.connect("mykeyspace");
CassandraOperations cassandraOps = new CassandraTemplate(session);
cassandraOps.insert(new Person("1234567890", "David", 40));

Desenvolvimento
• PHP
• Doctrine

Desenvolvimento
• Cuidado com ORM
• Projeções

Nem tudo são flores...

...e que nem todo dia tem sol...

Reconciliação
• Reparação na leitura:
• A correção é feita quando uma leitura encontra uma
inconsistência.
• Reparação na escrita:
• A correção ocorre durante uma operação de gravação,
porém dificulta e onera operação de gravação.
• Reparação assíncrona

Os dados devem ser
consistentes!

Event-driven

Filas
Client API MongoDBUsuários
Usuários

Alteração em Batch com
intervalos ou range
ElasticsearchAPI

Fontes de problemas
• Falta de esquema
• Evolução de esquema
• Diferenças no tempo de processamento
• Existe uma grande diferença nos tempos de
processamento entre os bancos de dados
• Tratamento de erros
• Transações Idempotente
• Não tirar informações da fila até que tenha sido
realmente atualizadas

Sincronização
• Anti-Pattern?
•Problemas de desempenho
•Atualizações parciais?
•O que acontece na exclusão?
•Em atualizações bulk?
Nome Cidade Indexado?
Maria Lages SIM
José Lins SIM
João Florianópolis NÃO

O que vem aí?

Questões não abordadas
•Como integrar com sistemas legados?
•Como migrar de SQL para NoSQL?
•Outros tipos de dados: media (imagens, sons,
vídeos),
•Outros modelos: XML e objetos
•Integração com outras ferramentas, principalmente
para processamento
•Problemas de desempenho
•Falta de capacidade técnica
•Event sourcing e CQRS
•Integração entre modelos
•https://www.arangodb.com/

Conclusões

Conclusões
•SQL, NoSQL, ou a integração entre eles?
•NoSQL + SQL parece mais prudente
•Atenção aos padrões de desenvolvimento
•Muito ainda está na mão dos desenvolvedores
•Cuidados
•Evolução de esquema
•Sincronismo
•Busca/Consulta em NoSQL apresentação em SQL
•Estão surgindo algumas ferramentas mais
completas de integração

Materiais recomendados
• https://spring.io/understanding/NoSQL
• http://www.cio.com/article/3033218/open-source-tools/10-tips-for-integrating-
nosql-databases-in-your-business.html
• https://www.youtube.com/watch?v=KRcecxdGxvQ
• http://www.planetcassandra.org/what-is-nosql/
• http://pt.slideshare.net/fabiofumarola1/data-modeling-for-nosql-12
• http://www.infoq.com/articles/spring-data-intro
• http://pt.slideshare.net/beberlei/doctrine-for-nosql
• http://www.informit.com/articles/article.aspx?p=1930511&seqNum=4
• http://queue.acm.org/detail.cfm?id=1394128
• http://pt.slideshare.net/MikeDias/index-activiti-data-on-elasticsearch
• https://highlyscalable.wordpress.com/2012/03/01/nosql-data-modeling-techniques/
• https://highlyscalable.wordpress.com/2012/01/07/mvcc-transactions-key-value/
• https://www.elastic.co/blog/found-keeping-elasticsearch-in-sync

Temos vagas!

Como modelar, integrar e desenvolver aplicações com múltiplos bancos de dados NoSQL

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Viewers also liked

Viewers also liked (8)

Similar to Como modelar, integrar e desenvolver aplicações com múltiplos bancos de dados NoSQL

Similar to Como modelar, integrar e desenvolver aplicações com múltiplos bancos de dados NoSQL (20)

More from Luiz Henrique Zambom Santana

More from Luiz Henrique Zambom Santana (20)

Como modelar, integrar e desenvolver aplicações com múltiplos bancos de dados NoSQL