Essa palestra foi uma apresentação sobre itens do ciclo de vida do dado e como fazê-lo usando Open Source. A palestra começa falando sobre ILM (Information Lifecycle Management) e termina falando sobre Governança de Dados e como é possível fazê-lo com Open Source.

1. ILM com PostgreSQL

2. Raul Oliveira
 DBA Multiplataforma
@rauldoliveira
raul.oliveira@msn.com
 Meetup Brasília DataGroup
http://www.meetup.com/pt-BR/Brasilia-DataGroup/
 SQLServerDF
http://groups.google.com/group/sqlserverdf
 MTAC
http://www.mtac.org.br

3. Patrocinadores

4. Agenda da Apresentação
• Cenário de Dados Atual
• Reflexão sobre a diversidade de
operação
• Principais argumentos usados para
ambientes com e sem open source
• Destaques do que podemos fazer
• Argumentos para “vender”.

5. ILM – Information Lifecycle Management
• Refere-se a um amplo conjunto de estratégias para administrar
sistemas de armazenamento em dispositivos de computação.
• Compreende as políticas processos práticas e ferramentas usadas
para alinhar o valor comercial da informação com a infraestrutura de
TI mais apropriada e econômica a partir do momento em que a
informação é concebida por meio de sua disposição final.
• Procura adequar os melhores recursos entendendo o dado.
• Nos faz refletir sobre a Governança dos Dados

6. Alguns pontos mudaram com o tempo...

7. Até que descobrimos um novo petróleo

8. Necessidade aquece mercados e tecnologias

15. O DBA mudou
Passado
O padrão corporativo
Data Centers
Waterfall
Provisionamento da TI
Desenvolver e Operar
Tarefas Manuais
Tarefas Rotineiras
Database Expert
Presente
O padrão é ter boas opções
Cloud*
Agile
Self-Service
DevOps
Automação
Problemas / Desafios difíceis
Data Expert!

16. O que mensurar ao aderir a novas tecnologias?
Necessidade do
cliente
Preço
Funcionalidade
Analítica
Conjunto de
Ferramentas
Requerimentos
de
Processamento
Tolerância à falha
Capacidade de
extensibilidade
Maturidade
Numero de
clientes
Performance
Opções de
Deploy
Latência
Feedback de
Clientes
Requerimentos
de Hardware
Batch / Real Time
/ Streaming /
Transacional
Tamanho da
comunidade
[não][semi]-
estruturado
Opções de
otimização
Portabilidade
Penetração de
mercado
Visibilidade
Disponiblidade
de Profissionais
Disponibilidade
de Empresas
Conhecimento
da Equipe
Material para
estudo
Documentação Integração Mobilidade

17. Reações Comuns do Mercado Leigo ao Open
Source
• Licença de Software
• Banco de dados é produto X

19. O que meu profissional/equipe pode cuidar?

20. O que pode ser feito com o dado?
Extraído Exportado Importado Migrado Validado Editado
Atualizado Limpo Transformado Convertido Integrado Segregado
Agregado Referenciado Revisado Relatado Analisado Garimpado
Salvo Recuperado Arquivado Restaurado Eliminado Persistido

21. E o que fazemos*?
• Backup (para ambientes bem maduros).
• Restart.

22. Ciclo de Vida do Dado
Ciclo de
Vida do
Dado
Planejar Especificar Disponibilizar
Criar e
Adquirir
Manter e
Usar
Arquivar e
Recuperar
Eliminar
Ciclo de
Vida da
Aplicação
Planejar Analisar Design Construir Testar Implantar Manter

23. Governança
• Estratégia
• Organização e Papéis
• Políticas e Padrões
• Projetos e Serviços
• Avaliações

24. Custo

25. Competição eterna
Custo
PerformanceSegurança

26. Ciclo de Vida do Dado
Planejar Especificar Disponibilizar
Criar e
Adquirir
Manter e
Usar
Arquivar e
Recuperar
Eliminar!
Eliminar?
Em Repouso
(Disco)
Em Uso
(Processador /
Memória)
Em Trânsito /
Movimento
(Rede)

27. Principais nomes que ouviremos falar
• Tier / Classificação / Racionalização
• Compressão (para custo)
• Deduplicação
• como um todo e não (apenas) como compressão
• Expurgo
• Arquivamento
• Otimizar (Armazenamento)
• Armazenamento
• Velocidade de acesso
• Gerenciar / Monitorar

28. Oracle

29. IBM

30. Microsoft

31. Arquitetura
Desenvolvimento
Documentação
e Conteúdo
Dados /
Metadados /
Qualidade
Operações
Segurança
DW / BI /
Analytics
Principais Tópicos
• Análise
• Modelagem de Dados
• Design de banco de dados
• Implementação
• Produtividade com e sem IDE
• PgModeler
• DevOps em Alta

32. Arquitetura
Desenvolvimento
Documentação
e Conteúdo
Dados /
Metadados /
Qualidade
Operações
Segurança
DW / BI /
Analytics
Principais Tópicos
• Aquisição e Armazenamento
• Backup e Recuperação
• Gestão de Conteúdo
• Retenção
• Não subestime o Dump
• O Backup é a mesma coisa!
• Ferramentas como Barman
• Segmento de Undo
• Bacula

33. Arquitetura
Desenvolvimento
Documentação
e Conteúdo
Dados /
Metadados /
Qualidade
Operações
Segurança
DW / BI /
Analytics
Principais Tópicos
• Dados de clientes e produtos
• Integração
• Controle
• Melhoria Contínua
• Centralização dos Metadados
• NiFi, Pentaho...
• Qualidade dos dados:
Deduplicação, sanitização...
(processo)

34. Arquitetura
Desenvolvimento
Documentação
e Conteúdo
Dados /
Metadados /
Qualidade
Operações
Segurança
DW / BI /
Analytics
Principais Tópicos
• Aquisição
• Recuperação
• Otimização
• FDW
• Replicação
• Operação
• Tunning

35. Arquitetura
Desenvolvimento
Documentação
e Conteúdo
Dados /
Metadados /
Qualidade
Operações
Segurança
DW / BI /
Analytics
Principais Tópicos
• Padrão
• Autenticação
• Classificação
• Auditoria
• Auditoria(s) - mtas
• MLS, RLS...
• Padrão de código seguro

36. Arquitetura
Desenvolvimento
Documentação
e Conteúdo
Dados /
Metadados /
Qualidade
Operações
Segurança
DW / BI /
Analytics
Principais Tópicos
• Arquitetura
• Implementação
• Análise
• Diversidade de Ferramentas
gratuitas de BI
• Self Service BI
• GreenPlum

37. Conclusão
• Pense macro o seu ambiente
• Não pense sozinho (forme um comitê)
• Cuidado com a operação, balanceie gestão
• Explore as várias óticas do seu ambiente
• Pense no ciclo de vida do seu dado e de onde seu dado está.
Aplicações e Hardware que o tocam (Da visão de um DBA).
• Se você fala muito mal de um produto, há grandes chances de você
não conhecer ele bem. Estude.

38. @rauldoliveira
raul.oliveira@msn.com
Muito Obrigado!