Data warehouse 01 introdução

3,753 views

Published on

Uma visão introdutória sobre DataWarehouse

Published in: Technology
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,753
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
222
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

Data warehouse 01 introdução

  1. 1. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ETL / ETC OLAP OLTP Datamining Data MartCubo de decisão DW Dashboard Data Warehouse “Eu presto atenção no que eles dizem mas eles não dizem nada” Humberto Gessinger
  2. 2. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaO dado é um pingo de água.Você está andando e sente um pingo,um segundo pingo, um terceiro pingo.Aquilo não significa que é uma chuva,pode ser um ar condicionado, pingando num dia de calor.
  3. 3. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaNo momento em que você olha para o céu erepara que existem nuvens eque começa ver os primeirosraios e sentir mais pingos,complementa aquele conjunto de dados echega a uma informação: vai chover!
  4. 4. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaO conhecimento é quando você percebeque com a chuva você vai se molhar enão poderá ir a um compromisso ou poderá ficar resfriado.Então, isso é um conhecimento.
  5. 5. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaA sabedoria é o que vai fazer com tudo isso.Se você vai continuar andando no meio da chuva ese molhar todo, ou vai se proteger em um abrigo edeixar a chuva passar.
  6. 6. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaDado: Conjunto símbolos e sinaisInformação: É a interpretação de um conjunto de dadosConhecimento: Modelo da realidade, construído através da experiência, aprendizado e comunicaçãoSabedoria: Meta-conhecimento, ou seja, um conhecimento sobre o próprio conhecimento.
  7. 7. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Dado x Informação x Conhecimento x SabedoriaDado: Sinal verde; Motoqueiro aproximandoInformação: Sinal verde posso passar; Motoqueiro tem que pararConhecimento: Motoqueiros apressados costumam não pararSabedoria: É melhor esperar o motoqueiro parar ou passar para depois eu atravessar
  8. 8. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ E no mundo computacional ?• Geralmente nossos dados estão em sistemas, banco de dados, planilhas, arquivos, etc.• Mais comum: banco de dados relacional
  9. 9. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE¿ Onde estão meus dados ?
  10. 10. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE OLTP – Online Transaction Processing (Processamento de transações Online)• Sistemas que registram transações operacionais: ERP Sistema bancário Sistema de vendas, Gestão hospitalar Gestão acadêmica Controle de serviços
  11. 11. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Entidade-Relacionamento (OLTP x ME-R)• Modelo de abstração para descrever a organização dos dados em um Sistema de Informação Entidade Relacionamento Normalização (3NF) Integridade Banco de Dados Relacional
  12. 12. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEDiagrama Entidade Relacioanmento
  13. 13. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEDiagrama Entidade RelacioanmentoR/3: 14.000 tabelas Linha RM: 5.000 tabelas
  14. 14. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ Consigo produzir informações ?• Relatórios• Consultas SQL – Inner Join – Left Join – UNION – IN, LIKE – SubConsulta – AVG, SUM, MAX, MIN
  15. 15. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE¿ E a velocidade do mundo atual ?
  16. 16. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Business Intelligence• Forma gráfica, fácil compreensão e interpretação, fácil navegação• Cubo de decisão – Uma informação vista de vários ângulos• Gráficos de sinalização – Semáforo, Gauge (velocímetro), Pizza
  17. 17. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEOLAP – Online Analytical Processing(Processamento Analítico Online)• Possibilidade de manipular e analisar uma grande quantidade de dados por várias perspectivas Fácil análise Drill down Drill up
  18. 18. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Dashboard/Cockpit
  19. 19. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Dashboard/Cockpit
  20. 20. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Business Intelligence
  21. 21. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Tomada de decisão
  22. 22. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEÉ preciso agilidade, facilidade, flexibilidade Tomada de decisão
  23. 23. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ De onde buscar esses dados ?• Banco de dados relacional? Consultas complexas Tratamento dos dados Compromete a performance OLAP e OLTP Pode ter dados que não estão no BD OLTP
  24. 24. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Data Warehouse• Armazém (repositório) de dados (Base de dados relacional)• Dados/informações consolidadas• Grande quantidade de dados• Dados não mudam (exceto na carga)• Modelagem que favorece o desempenho de consultas
  25. 25. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional OLAP X MD• Modelo de dados voltado para performance de leitura (recuperação da informação)• Não serão efetuados processos operacionais• Não precisam estar Normalizados
  26. 26. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Dois pilares: Fatos Dimensões• Dois tipos: Estrela Floco de neve
  27. 27. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Fato: É a tabela (ou entidade) mais importante do negócio é nela que estão todas as métricas que se pretende analisar: – Vendas – Consultas – Notas – Pagamentos – Empréstimos
  28. 28. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Métricas: São os valores que queremos analisar. – Vendas: Quantidade, Valor – Consultas: Quantidade, tempo de espera – Notas: Valor, média – Pagamentos: Quantidade, valor monetário – Empréstimos: Quantidade, valor monetário, quantidade de parcelas
  29. 29. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Dimensões: São os pontos de vista (visão de análise) das métricas de um fato – Vendas: Produto, loja, data – Consultas: Especialidade, plano, faixa etária – Notas: Disciplina, bimestre, curso – Pagamentos: Fornecedor, data, tipo de gasto – Empréstimos: Tipo de cliente, motivo, classe econômica, grau de instrução
  30. 30. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEModelagem Dimensional
  31. 31. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional• Fato é a tabela principal• Dimensão são tabelas que se relacionam com a tabela fato (entidade relacionamento)
  32. 32. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEModelagem Dimensional (Estrela - Star)
  33. 33. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Modelagem Dimensional(Floco de neve – Snowflake)
  34. 34. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Data Warehouse• ¿ Então um Data Warehouse nada mais é que um Banco de Dados ?Resposta: Sim. Mas com uma diferença, ele é modelado para ter uma excelente performance de consulta e contém dados consolidados de várias fontes.
  35. 35. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ E o que é Data Mart ?• É um subconjunto de dados dentro do Data Warehouse voltado para uma finalidade específica: Vendas, Financeiro, Contábil, RH, Acadêmico
  36. 36. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE
  37. 37. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE
  38. 38. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ETL – Extract Transform and Load (ETC – Extração Transformação e Carga)• É a fase de extração de dados de diversos sistemas, transformação desses dados conforme regras de negócios e por fim a carga dos dados em um Data Mart ou um Data Warehouse.• É considerada uma das fases mais críticas do Data Warehouse e/ou Data Mart.• Alguns consideram que ETL não são ferramentas e sim uma metodologia
  39. 39. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEETL – Extract Transform and Load
  40. 40. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE ¿ Afinal, o que é BI ? (Business Intelligence)• É todo o processo de coleta, organização, análise, compartilhamento e monitoramento de informações que oferecem suporte a gestão de negócios.
  41. 41. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEBusiness Intelligence
  42. 42. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEBusiness Intelligence
  43. 43. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE O caso da Fralda e da Cerveja• Conta uma lenda urbana, que uma loja descobriu que a maioria das vendas de fraldas que ocorriam de quinta a domingo, eram acompanhadas da compra de cervejas• Os donos, então, colocaram as cervejas perto das fraldas e as vendas dispararam
  44. 44. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE O caso da Fralda e da CervejaDado Informação (Padrão de comportamento) Conhecimento Sabedoria
  45. 45. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEOps... tenho um tesouro nas mãos
  46. 46. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE¿ Posso procurar padrões de comportamento ?
  47. 47. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEData Mining(Mineração de Dados)
  48. 48. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Data Mining (Mineração de Dados)• Data Mining ou Mineração de Dados consiste em um processo analítico projetado para explorar grandes quantidades de dados (tipicamente relacionados a negócios, mercado ou pesquisas científicas), na busca de padrões consistentes e/ou relacionamentos sistemáticos entre variáveis e, então, validá-los aplicando os padrões detectados a novos subconjuntos de dados.• O processo consiste basicamente em 3 etapas: exploração; construção de modelo ou definição do padrão; e validação/verificação.
  49. 49. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE Data Mining (Mineração de Dados)• Data Mining é parte de um processo maior de conhecimento denominado Knowledge Discovery in Database (KDD).• KDD consiste, fundamentalmente, na estruturação do banco de dados; na seleção, preparação e pré-processamento dos dados; na transformação, adequação e redução da dimensionalidade dos dados; no processo de Data Mining; e nas análises, assimilações, interpretações e uso do conhecimento extraído do banco de dados, através do processo de Data Mining.
  50. 50. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSEDado x Informação x Conhecimento x SabedoriaOLTP Modelagem Entidade-RelacionamentoOLAP Modelagem DimensionalETL / ETC Extract Tranform and LoadDW Data Warehouse Data MartCubo de decisãoCockpitDashboardDatamining “Nem tão longe que eu não possa crer, que um dia chego lá...” Humberto Gessinger
  51. 51. Prof. Rafael Pinheiro – rpinheiro2@gmail.com DATA WAREHOUSE¿Dúvidas? @_rpinheiro www.facebook.com/rpinheiro2 www.linkedin.com/pub/rafael-pinheiro/24/31/b47 rpinheiro2@gmail.com

×