DATA WAREHOUSE Cassius Busemeyer Cristiane Luquetta Rafael Slonik

1º computador em 1946

Armazenamento de dados Anos 60

Dispositivo de armazenamento Acesso direto (DASD) Anos 70

Linguagem 4ª geração Computador pessoal Anos 80 - 90

OLTP gerou SAD que por sua vez gerou DW

DW é orientado por temas,

É integrado, DW é orientado por temas,

Não-volátil e É integrado, DW é orientado por temas,

Variante no tempo Não-volátil e É integrado, DW é orientado por temas,

OLAP: (Online Analytical Processing) OLTP: (Online Transaction Processing) Do negócio; Transacional; Operacional; Volátil; Não-padronizada; Sobre o negócio; Analítica: Tático-estratégica; Não-volátil; Padronizada; Outros: ROLAP (relacional); MOLAP (Multi); HOLAP (Híbrido); DOLAP (Desktop);

Do negócio;

Transacional;

Operacional;

Volátil;

Não-padronizada;

Sobre o negócio;

Analítica:

Tático-estratégica;

Não-volátil;

Padronizada;

Outros:

ROLAP (relacional);

MOLAP (Multi);

HOLAP (Híbrido);

DOLAP (Desktop);

Como funciona o data warehouse ? Metadados : “dados sobre dados”; Granularidade : nível de detalhe contido nas unidades de dados existentes no data warehouse; ETL :Extrair,Transformar,Carregar (Vidotti,2001)

Data Mart é um DW segmentado, por departamento, por exemplo

Método Kimball

Método Inmon

O data warehouse é o ponto central de todos os seus dados ; O sistema Linux suporta o processamento de extração, transformação e carregamento e suporta também a Interface do Usuário; O tempo de trabalho foi reduzido de fato em 20%

Data Mining Mineração de dados

“ Data mining é o processo de busca de dados por padrões anteriormente desconhecidos e uso freqüente destes padrões para predizer conseqüências futuras.” - Jeff Jonas e Jim Harper

Simplificando...

Torture os dados até eles confessarem ... Se você torturar o suficiente, eles irão confessar tudo - ACM SIGKDD

O Web Mining apresenta-se como responsável pela procura de regras e padrões importantes de uma forma automática. Permite saber, por exemplo, quais os padrões de navegação típicos dentro do site, o que caracteriza os visitantes / clientes ou qual a sua propensão para adquirir determinado produto ou serviço . Fonte: http://www.novabase.pt/showNews.asp?idProd=reswebmining

Compreender o domínio da aplicação, entender as expectativas do usuário final do processo. 2. Criar/selecionar uma coleção de dados para aplicação. 3. Pré-processar e limpar os dados (eliminar impurezas e dados irrelevantes). O Processo de KDD

Compreender o domínio da aplicação, entender as expectativas do usuário final do processo.

2. Criar/selecionar uma coleção de dados para aplicação.

3. Pré-processar e limpar os dados (eliminar impurezas e dados irrelevantes).

4. Transformar (reduzir e reprojetar) os dados (encontrar atributos úteis e interessantes). 5. Escolher a tarefa, métodos, modelos, parâmetros etc. do processo de mineração de dados e executar este processo. 6. Interpretar os resultados. 7. Consolidar o conhecimento adquirido, resolver conflitos.

Aprendizagem Supervisionada: Classificação ( Árvores e Regras). Aprendizagem Não-super-visionada : Associação; Clustering. Mineração de Dados

Aprendizagem Supervisionada:

Classificação ( Árvores e Regras).

Aprendizagem Não-super-visionada :

Associação;

Clustering.

Caso de Fracasso Gazelle.com (simulado) : CL/DM caro Total Information Awareness : ético?

Cases de Sucesso IMS América: campanha de MKT Harrah’s Entertainment Inc : clientes prospects Highmark: fraudes

Créditos pelas fotos: Sxc.hu e Flickr.com Referências no próximo slide Obrigado! Cassius Busemeyer - cassiusbusemeyer@hotmail.com Cristiane Luquetta - criscrical@hotmail.com Rafael Slonik – rafael@novo-mundo.org