Data warehouse 01 introdução

  • 3,190 views
Uploaded on

Uma visão introdutória sobre DataWarehouse

Uma visão introdutória sobre DataWarehouse

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
3,190
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
187
Comments
0
Likes
3

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ETL / ETC OLAP OLTP Datamining Data MartCubo de decisão DW Dashboard Data Warehouse “Eu presto atenção no que eles dizem mas eles não dizem nada” Humberto Gessinger
  • 2. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaO dado é um pingo de água.Você está andando e sente um pingo,um segundo pingo, um terceiro pingo.Aquilo não significa que é uma chuva,pode ser um ar condicionado, pingando num dia de calor.
  • 3. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaNo momento em que você olha para o céu erepara que existem nuvens eque começa ver os primeirosraios e sentir mais pingos,complementa aquele conjunto de dados echega a uma informação: vai chover!
  • 4. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaO conhecimento é quando você percebeque com a chuva você vai se molhar enão poderá ir a um compromisso ou poderá ficar resfriado.Então, isso é um conhecimento.
  • 5. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaA sabedoria é o que vai fazer com tudo isso.Se você vai continuar andando no meio da chuva ese molhar todo, ou vai se proteger em um abrigo edeixar a chuva passar.
  • 6. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaDado: Conjunto símbolos e sinaisInformação: É a interpretação de um conjunto de dadosConhecimento: Modelo da realidade, construído através da experiência, aprendizado e comunicaçãoSabedoria: Meta-conhecimento, ou seja, um conhecimento sobre o próprio conhecimento.
  • 7. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaDado: Sinal verde; Motoqueiro aproximandoInformação: Sinal verde posso passar; Motoqueiro tem que pararConhecimento: Motoqueiros apressados costumam não pararSabedoria: É melhor esperar o motoqueiro parar ou passar para depois eu atravessar
  • 8. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ E no mundo computacional ?• Geralmente nossos dados estão em sistemas, banco de dados, planilhas, arquivos, etc.• Mais comum: banco de dados relacional
  • 9. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE¿ Onde estão meus dados ?
  • 10. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE OLTP – Online Transaction Processing (Processamento de transações Online)• Sistemas que registram transações operacionais: ERP Sistema bancário Sistema de vendas, Gestão hospitalar Gestão acadêmica Controle de serviços
  • 11. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Entidade-Relacionamento (OLTP x ME-R)• Modelo de abstração para descrever a organização dos dados em um Sistema de Informação Entidade Relacionamento Normalização (3NF) Integridade Banco de Dados Relacional
  • 12. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEDiagrama Entidade Relacioanmento
  • 13. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEDiagrama Entidade RelacioanmentoR/3: 14.000 tabelas Linha RM: 5.000 tabelas
  • 14. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ Consigo produzir informações ?• Relatórios• Consultas SQL – Inner Join – Left Join – UNION – IN, LIKE – SubConsulta – AVG, SUM, MAX, MIN
  • 15. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE¿ E a velocidade do mundo atual ?
  • 16. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Business Intelligence• Forma gráfica, fácil compreensão e interpretação, fácil navegação• Cubo de decisão – Uma informação vista de vários ângulos• Gráficos de sinalização – Semáforo, Gauge (velocímetro), Pizza
  • 17. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEOLAP – Online Analytical Processing(Processamento Analítico Online)• Possibilidade de manipular e analisar uma grande quantidade de dados por várias perspectivas Fácil análise Drill down Drill up
  • 18. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Dashboard/Cockpit
  • 19. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Dashboard/Cockpit
  • 20. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Business Intelligence
  • 21. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Tomada de decisão
  • 22. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Tomada de decisão
  • 23. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ De onde buscar esses dados ?• Banco de dados relacional? Consultas complexas Tratamento dos dados Compromete a performance OLAP e OLTP Pode ter dados que não estão no BD OLTP
  • 24. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Data Warehouse• Armazém (repositório) de dados (Base de dados relacional)• Dados/informações consolidadas• Grande quantidade de dados• Dados não mudam (exceto na carga)• Modelagem que favorece o desempenho de consultas
  • 25. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional OLAP X MD• Modelo de dados voltado para performance de leitura (recuperação da informação)• Não serão efetuados processos operacionais• Não precisam estar Normalizados
  • 26. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Dois pilares: Fatos Dimensões• Dois tipos: Estrela Floco de neve
  • 27. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Fato: É a tabela (ou entidade) mais importante do negócio é nela que estão todas as métricas que se pretende analisar: – Vendas – Consultas – Notas – Pagamentos – Empréstimos
  • 28. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Métricas: São os valores que queremos analisar. – Vendas: Quantidade, Valor – Consultas: Quantidade, tempo de espera – Notas: Valor, média – Pagamentos: Quantidade, valor monetário – Empréstimos: Quantidade, valor monetário, quantidade de parcelas
  • 29. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Dimensões: São os pontos de vista (visão de análise) das métricas de um fato – Vendas: Produto, loja, data – Consultas: Especialidade, plano, faixa etária – Notas: Disciplina, bimestre, curso – Pagamentos: Fornecedor, data, tipo de gasto – Empréstimos: Tipo de cliente, motivo, classe econômica, grau de instrução
  • 30. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEModelagem Dimensional
  • 31. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Fato é a tabela principal• Dimensão são tabelas que se relacionam com a tabela fato (entidade relacionamento)
  • 32. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEModelagem Dimensional (Estrela - Star)
  • 33. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional(Floco de neve – Snowflake)
  • 34. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Data Warehouse• ¿ Então um Data Warehouse nada mais é que um Banco de Dados ?Resposta: Sim. Mas com uma diferença, ele é modelado para ter uma excelente performance de consulta e contém dados consolidados de várias fontes.
  • 35. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ E o que é Data Mart ?• É um subconjunto de dados dentro do Data Warehouse voltado para uma finalidade específica: Vendas, Financeiro, Contábil, RH, Acadêmico
  • 36. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE
  • 37. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE
  • 38. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ETL – Extract Transform and Load (ETC – Extração Transformação e Carga)• É a fase de extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados em um Data Mart ou um Data Warehouse.• É considerada uma das fases mais críticas do Data Warehouse e/ou Data Mart.• Alguns consideram que ETL não são ferramentas e sim uma metodologia
  • 39. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEETL – Extract Transform and Load
  • 40. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ Afinal, o que é BI ? (Business Intelligence)• É todo o processo de coleta, organização, análise, compartilhamento e monitoramento de informações que oferecem suporte a gestão de negócios.
  • 41. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEBusiness Intelligence
  • 42. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEBusiness Intelligence
  • 43. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE O caso da Fralda e da Cerveja• Conta uma lenda urbana, que uma loja descobriu que a maioria das vendas de fraldas que ocorriam de quinta a domingo, eram acompanhadas da compra de cervejas• Os donos, então, colocaram as cervejas perto das fraldas e as vendas dispararam
  • 44. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE O caso da Fralda e da CervejaDado Informação (Padrão de comportamento) Conhecimento Sabedoria
  • 45. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEOps... tenho um tesouro nas mãos
  • 46. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE¿ Posso procurar padrões de comportamento ?
  • 47. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEData Mining(Mineração de Dados)
  • 48. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Data Mining (Mineração de Dados)• Data Mining ou Mineração de Dados consiste em um processo analítico projetado para explorar grandes quantidades de dados (tipicamente relacionados a negócios, mercado ou pesquisas científicas), na busca de padrões consistentes e/ou relacionamentos sistemáticos entre variáveis e, então, validá-los aplicando os padrões detectados a novos subconjuntos de dados.• O processo consiste basicamente em 3 etapas: exploração; construção de modelo ou definição do padrão; e validação/verificação.
  • 49. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Data Mining (Mineração de Dados)• Data Mining é parte de um processo maior de conhecimento denominado Knowledge Discovery in Database (KDD).• KDD consiste, fundamentalmente, na estruturação do banco de dados; na seleção, preparação e pré-processamento dos dados; na transformação, adequação e redução da dimensionalidade dos dados; no processo de Data Mining; e nas análises, assimilações, interpretações e uso do conhecimento extraído do banco de dados, através do processo de Data Mining.
  • 50. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEDado x Informação x Conhecimento x SabedoriaOLTP Modelagem Entidade-RelacionamentoOLAP Modelagem DimensionalETL / ETC Extract Tranform and LoadDW Data Warehouse Data MartCubo de decisãoCockpitDashboardDatamining “Nem tão longe que eu não possa crer, que um dia chego lá...” Humberto Gessinger
  • 51. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE¿Dúvidas? @_rpinheiro www.facebook.com/rpinheiro2 www.linkedin.com/pub/rafael-pinheiro/24/31/b47 rpinheiro2@gmail.com