Data Mining e Data Warehouse

725 views
545 views

Published on

Data Mining e Data Warehouse

Published in: Engineering
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
725
On SlideShare
0
From Embeds
0
Number of Embeds
40
Actions
Shares
0
Downloads
44
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Data Mining e Data Warehouse

  1. 1. UNIVERSIDADE DO ESTADO DO AMAPÁ ENGENHARIA DE PRODUÇÃO ACADÊMICOS: JADDY OLIVEIRA; JEORGE SILVA; LUAN FELIPE; MARLUCIA SANTOS; ROSINALDO MONTEIRO
  2. 2. DEFINIÇÃO Data Warehouse (DW) pode ser definido como uma coleção de dados, orientados por assunto, integrados, variáveis com o tempo e não voláteis, para dar suporte ao processo de tomada de decisão.
  3. 3. OBJETIVOS Criar uma visão única e centralizada dos dados que estavam dispersos em diversos Bancos de Dados; Permitir que usuários finais executem consultas, gerem relatórios e façam análises. Permitir um maior desempenho e menor custo de espaço para o armazenamento de dados.
  4. 4. Extract-Transform-Load (ETL) Uma das características de um DW é que antes dos dados serem armazenados eles passam por um processo de extração, tradução, filtragem e integração com os dados relevantes já contidos no DW.
  5. 5. Extrair dados das mais diversas fontes de dados, garantir a qualidade de dados e padrões de consistência, traduzir dados de forma que fontes distintas possam ser usadas juntas, e finalmente a entrega de dados em um formato de apresentação pronto de forma que desenvolvedores de aplicação possam construir aplicativos aos usuários finais encarregados de tomar decisões (KIMBALL e CASERTA, 2004) .
  6. 6. PRINCIPAIS CARACTERÍSTICAS  Orientado por assunto;  Integrado; Variável no tempo;  Não volátil.
  7. 7. Orientado por assunto: O DW está orientado em torno do principal assunto da organização, armazenando informações agrupadas por assuntos de interesse da empresa que são considerados mais importantes, sendo estes chamados de processos de negócio de um empreendimento.
  8. 8.  Integrado: Num DW os dados devem ser transformados em formatos comuns de medida referência e armazenamento para que possam ser aproveitados. Por exemplo, considere-se sexo como um elemento de dado. Uma aplicação pode codificar sexo como M/F, outra como 1/0 e uma terceira como H/M. Assim, conforme os dados são trazidos para o DW, eles serão convertidos para um estado uniforme.
  9. 9. Variável no tempo: Os dados de um DW são precisos em relação ao tempo e representam resultados operacionais do momento em que foram capturados. A cada mudança, uma nova entrada é criada, ou seja, os dados não são atualizáveis.
  10. 10.  Não volátil: Após serem integrados e transformados, os dados são carregados em bloco para o DW, para que estejam disponíveis aos usuários para acesso, possibilitando realizar apenas consultas e geração de relatórios necessários à tomada de decisão, não permitindo, portanto atualizações nos mesmos.
  11. 11. BD OPERACIONAL DATA WAREHOUSE USUÁRIOS Funcionários Alta Administração UTILIZAÇÃO Tarefas cotidianas Decisões estratégicas PADRÃO DE USO Previsível Difícil de prever PRINCÍPIOS DE FUNCIONAMENTO Com base em transações Com base em análise de dados VALORES DOS DADOS Valores atuais e voláteis Valores históricos e imutáveis DETALHAMENTO Alto Sumarizado ORNIGANIZAÇÃO DOS DADOS Orientado a aplicações Orientado a assunto BD OPERACIONAL X DW
  12. 12. PRINCIPAL FERRAMENTA  OLAP- Online Analytical Processing (Processo Analítico emTempo Real) Sistema de armazenamento de dados agregados com capacidade para manipular e analisar um grande volume de dados sob múltiplas perspectivas. As aplicações OLAP são usadas pelos gestores em qualquer nível da organização, permitindo análises comparativas que facilitam a tomada de decisões diárias.
  13. 13.  Benefícios do OLAP Fornece às organizações um método de acessar, visualizar e analisar os dados corporativos com alta flexibilidade e desempenho. Dessa forma, usuários finais podem rapidamente analisar inúmeros cenários, gerar relatórios, e descobrir tendências e fatos relevantes, independentemente do tamanho, complexidade e fonte dos dados corporativos.
  14. 14.  Modelo de dados OLAP A informação é conceitualmente organizada em cubos que armazenam valores quantitativos ou medidas. As medidas são identificadas por duas ou mais dimensões (categorias descritivas) que formam a estrutura de um cubo (Data Marts). Uma dimensão pode ser qualquer visão do negócio que faça sentido para sua análise, como produto, departamento , região ou tempo.
  15. 15.  Aplicações do OLAP Finanças Análise de L&P, Relatórios L&P, Orçamento, Análise de Balanço, Fluxo de Caixa, Contas a Receber. Vendas Análise de vendas (por região, produto, vendedor, etc.), Previsões, Lucratividade de Cliente/Contrato, Análise de Canais de Distribuição. Marketing Análise de Preço/Volume, Lucratividade de Produto, Análise de Mercados. Recursos Humanos Análise de Benefícios, Projeção de Salários, Análise de "Headcount". Manufatura Gerência de Estoque, Cadeia de Fornecimento, Planejamento de Demanda, Análise de custos de matéria- prima.
  16. 16. FASES DE IMPLEMENTAÇÃO DE UM DW  1ª - Definição da Infraestrutura: o BD projetado deverá suportar o alto crescimento de dados, consultas complexas e não previstas, diversidade de integração, diferentes tipos de tecnologias etc.  2ª - Levantamento dos dados: Identificação dos dados que deverão ser extraídos dos sistemas transacionais. Em seguida, estes serão integrados e testados para que se verifique se há distorções neles.
  17. 17.  3ª - Modelagem: Iniciação da modelagem para armazenamento no DW.  4ª - Extração de dados: extração de dados dos sistemas transacionais no formato adequado para importação no DW.  5ª - Modelagem multidimensional: onde serão desenvolvidos os cubos, definindo as visões multidimensionais nas ferramentas OLAP.  6ª - Análise dos resultados: o analista de suporte a decisão com o apoio do arquiteto do DW, poderão identificar falhas no processo de extração, validando ou não as informações contidas no DW.
  18. 18.  7ª - Visões pré-definidas: disponibilização de visões direcionadas e, frequentemente, extraídas do DW, através de relatórios.  8ª - Segurança da informação: trata de quem pode, quem deve, como pode e por onde as informações devem ser consultadas.  9ª - Administração: estará voltada para o banco de dados, verificando a integridade, o desempenho e o volume de dados. Deve-se ter atenção especial para os cubos, das ferramentas OLAP.
  19. 19. APLICAÇÕES DE UM DW  US West – empresa americana com sede em Denver (EUA), provedora de serviços de telecomunicações. Em meados da dec. de 90, implantou um DW, para facilitar o acesso dos funcionários.  Sears Roebuck and Company - maior rede de lojas de departamentos dos EUA. Criou um DW para armazenar os dados provenientes das vendas, substituindo os seus 18 BDs que continham muitos dados redundantes, obsoletos e até contraditórios.
  20. 20. DEFINIÇÃO É um conjunto de técnicas de estatística e inteligência artificial aplicadas à análise de grandes volumes de dados, para dar subsídio à tomada de decisões.
  21. 21. OBJETIVOS O objetivo principal do Data Mining (DM) é extrair as informações valiosas contidas nos dados, ou seja, fazer uma “mineração de dados”.
  22. 22. PRINCIPAIS CARACTERÍSTICAS Estatística Clássica: É a base da maioria das tecnologias a partir da qual o DM é construído. Inteligência Artificial (IA): Tenta imitar a maneira como o homem pensa na resolução dos problemas estatísticos. Machine Learning: Tenta fazer com que os programas de computador “aprendam” com os dados que eles estudam.
  23. 23. PRINCIPAIS FERRAMENTAS  Redes neurais: Sistemas computacionais baseados numa aproximação à computação baseada em ligações.  Indução de regras: Refere-se à detecção de tendências dentro de grupos de dados, ou de “regras” sobre o dado.
  24. 24.  Árvores de decisão: Baseiam-se numa análise que trabalha testando automaticamente todos os valores do dado.  Análise de séries temporais: Interpreta os resultados dos modelos de forma especializada.  Visualização: Mapeia o dado sendo minerado de acordo com dimensões especificadas.
  25. 25. FASES DE IMPLEMENTAÇÃO DE UM DM  1ª - Entendimento do negócio: Tem por objetivo identificar as metas e requerimentos e então convertê-las para uma aplicação de DM.  2ª - Entendimento dos dados: Extração de uma amostra dos dados e avaliação do ambiente em que os mesmos se encontram.  3ª - Preparação dos dados: Criação de programas de extração, limpeza e transformação dos dados.
  26. 26. FASES DE IMPLEMENTAÇÃO DE UM DM  4ª - Modelagem: Seleção do algoritmo a ser utilizado e efetivo processamento do modelo.  5ª - Avaliação do modelo: Avaliação de vários modelos pelo analista responsável.  6ª - Publicação: Criação e validação do modelo.
  27. 27. APLICAÇÕES DE UM DM  Para Assistência Médica;  Em Ciência eTecnologia;  Para o Poder Judiciário;  Para Bancos deVarejo.
  28. 28. Disponível em: <http://tecnologiae-e-negocios-thiagoreis.blogspot.com.br/2010/04/data-wa rehouse-e-data-mining.html> Acesso em: 08/06/2014. Disponível em: <www.geocities.ws/ldaguia/aulas/TI/Aula21_22.doc> Acesso em: 12/06/2014. Disponível em: <http://www.dct.ufms.br/~mzanusso/Data_Mining> Acesso em: 12/06/2014. Disponível em: <http://www.cce.puc-rio.br/sitecce/website/website.dll/folder_curso?nCurso= data-mining> Acesso em: 12/06/2014. Disponível em: <http://www.knbs.com.br/data.htm>Acesso em: 12/06/2014. Disponível em: <http://portogente.com.br/portopedia/datamining-73758> Acesso em: 12/06/2014. Disponível em: <www.tiselvagem.com.br/geral/caracteristicas-de-um-data-warehouse/> Acesso em: 15/06/2014. Disponível em: <http://www.coladaweb.com/informatica/data-warehouse> Acesso em: 15/06/2014. REIS, Thiago. Data Warehouse e Data Mining. Disponível em: <http://tecnologiae-e-negocios- thiagoreis.blogspot.com.br/2010/04/data-warehouse-e-data-mining.html> Acesso em: 10/06/2014. Disponível em: < http://www.devmedia.com.br/a-tecnologia-de-data-warehouse-nas-organizacoes/ 5939#ixzz35HW 7ph83 > Acesso em: 20/06/2014. Disponível em: < http://www.scribd.com/doc/8504866/Metodologia-para-Implantacao-de-Data-Warehouse> > Acesso em: 26/06/2014.

×