Escalando o Algoritmo de aprendizagem daestrutura Bayesiana k2 utilizando MapReduce          e banco de dados NoSQL       ...
Revisão...Redes Bayesianas:   Um dos principais métodos para a modelagem da incerteza,  incerteza    permitindo tanto a p...
Revisão...Redes Bayesianas:   O aprendizado de estrutura é um importante problema a ser estudado pelo    fato de o tamanh...
   Algoritmo K2       Embora proposto em 1992, ainda se apresenta como uma grande        referência entre os algoritmos ...
Revisão...MapReduce:O cálculo toma um conjunto de pares de entradas de chave/valor, eproduz um conjunto de pares de saídas...
MapEscrito pelo usuário, leva um par de entrada e produz um conjunto depares intermediários de chave/valor.Neste processo ...
A função Reduce, também escrita pelo usuário, aceita   uma chave intermediária e um conjunto de valores para essa chave....
Estudo de Caso   Base de Segurança Pública do Estado do Pará:        Nº Total de Registros: 769.254       Bairros: 46   ...
   Problemáticas       BAIRRO → 46       BAIRRO, CRIME → 6.238       BAIRRO,CRIME,LOCAL → 26.772       Muitas iteraçõ...
MapReduce e o estudo de caso   As etapas mais com maior custo computacional    foram todas substituidas por redução de ma...
MapReduce e o estudo de caso   As Reduções de mapa a seguir , representam a etapa    de busca por frequencia equivalente ...
   Redução de Mapa por Bairro (Count: 46, Time:    17030ms)    17030ms    Processamento interno do banco de dados    1171...
   Redução de Mapa por CRIME (Count: 388, Time:    22393ms)    Processamento interno do banco de dados    82600/769254   ...
   Para as bucas compostas, onde o resultado é a    combinação entre estados de vários atributos:   Ex.:    BAIRRO,CRIME...
   BAIRRO,CRIME,LOCAL (Count: 26772, Time: 20219ms)    53800/769254    6%    141700/769254   18%    239300/769254   31%  ...
Considerações Finais   Conclusão        Melhor desempenho do algoritmo bayesiano        Maior aproveitamento dos dados ...
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2
Upcoming SlideShare
Loading in...5
×

Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2

707

Published on

Apresentação feita para o LINC (Laboratório de Inteligência Computacional) explicando a otimização do algoritmo de aprendizagem da estrutura da rede bayesiana em um grande volume de dados utilizando MapReduce

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
707
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
12
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

Escalando o algoritmo de aprendizagem da estrutura da rede bayesiana k2

  1. 1. Escalando o Algoritmo de aprendizagem daestrutura Bayesiana k2 utilizando MapReduce e banco de dados NoSQL J. Gabriel Lima http://jgabriellima.in jgabriel.ufpa@gmail.com
  2. 2. Revisão...Redes Bayesianas: Um dos principais métodos para a modelagem da incerteza, incerteza permitindo tanto a previsão quanto o diagnóstico de eventos. Modelos que codificam os relacionamentos probabilísticos entre as variáveis que definem um determinado domínio e que são utilizadas para representar processos probabilísticos e causais. causais grafo acíclico dirigido, composto por uma estrutura qualitativa, dirigido qualitativa representando as dependências entre suas variáveis; e quantitativa, quantitativa avaliando, em termos probabilísticos, essas dependências
  3. 3. Revisão...Redes Bayesianas: O aprendizado de estrutura é um importante problema a ser estudado pelo fato de o tamanho do espaço de busca de possíveis estruturas aumentar exponencialmente junto com o número de variáveis do modelo. Esse crescimento exponencial pode ser visualizado pela fórmula:
  4. 4.  Algoritmo K2  Embora proposto em 1992, ainda se apresenta como uma grande referência entre os algoritmos existentes para aprendizado de redes Bayesianas, sendo um dos mais confiáveis e bem sucedidos algoritmos de aprendizado.  Percorre todo o especo de possíveis estruturas candidatas aplicando uma pontuação de acordo com a equação:
  5. 5. Revisão...MapReduce:O cálculo toma um conjunto de pares de entradas de chave/valor, eproduz um conjunto de pares de saídas chave/valor. O usuário que implementa o MapReduce expressa o cálculo como duasfunções: Map e Raduce.
  6. 6. MapEscrito pelo usuário, leva um par de entrada e produz um conjunto depares intermediários de chave/valor.Neste processo há uma junção de todos os valores intermediáriosassociados com uma mesma chave intermediária, afim de passá-lospara a função Reduce.
  7. 7. A função Reduce, também escrita pelo usuário, aceita uma chave intermediária e um conjunto de valores para essa chave. Ela faz uma fusão desses valores em conjunto, para formar um menor conjunto de valores possível. Tipicamente apenas zero ou um valor de saída é produzido por um método Reduce. Os valores intermédios são fornecidos para a função através de uma iteração. Isto permite-nos lidar com listas de valores que são demasiadamente grandes para caber na memória.
  8. 8. Estudo de Caso Base de Segurança Pública do Estado do Pará: Nº Total de Registros: 769.254  Bairros: 46 Bairros  Crime: 388 Crime  Local: 32 Local  Logradouro: 3.312 Logradouro  Unidade Policial: 304 Policial  Classe Crime: 46 Crime
  9. 9.  Problemáticas  BAIRRO → 46  BAIRRO, CRIME → 6.238  BAIRRO,CRIME,LOCAL → 26.772  Muitas iterações dentro de muitas combinações  457784406908348220669381056297854997416 34114232516550750301927014...
  10. 10. MapReduce e o estudo de caso As etapas mais com maior custo computacional foram todas substituidas por redução de mapa. O fluxo do algoritmo foi modificado de modo a invocar a redução de mapa no lugar da busca no banco de dados Cenário:  Banco de Dados NoSQL MongoDB2 que implementa MapReduce nativamente utilizando seu Grid File System interno.
  11. 11. MapReduce e o estudo de caso As Reduções de mapa a seguir , representam a etapa de busca por frequencia equivalente ao aijk do algoritmo
  12. 12.  Redução de Mapa por Bairro (Count: 46, Time: 17030ms) 17030ms Processamento interno do banco de dados 117100/769254 15% 260800/769254 33% 400600/769254 52% 534600/769254 69% 667600/769254 86%
  13. 13.  Redução de Mapa por CRIME (Count: 388, Time: 22393ms) Processamento interno do banco de dados 82600/769254 10% 193800/769254 25% 307500/769254 39% 404900/769254 52% 517000/769254 67% 628800/769254 81% 734300/769254 95%
  14. 14.  Para as bucas compostas, onde o resultado é a combinação entre estados de vários atributos: Ex.: BAIRRO,CRIME (Count: 6238, Time: 24348ms) 53800/769254 6% 141700/769254 18% 239300/769254 31% 330300/769254 42% 423300/769254 55% 513600/769254 66% 598800/769254 77% 690300/769254 89%
  15. 15.  BAIRRO,CRIME,LOCAL (Count: 26772, Time: 20219ms) 53800/769254 6% 141700/769254 18% 239300/769254 31% 330300/769254 42% 423300/769254 55% 513600/769254 66% 598800/769254 77% 690300/769254 89%
  16. 16. Considerações Finais Conclusão  Melhor desempenho do algoritmo bayesiano  Maior aproveitamento dos dados  Maior capacidade de processamento de consultas complexas  Apesar de aumentar o desempenho em relação às buscas complexas, ainda temos as barreiras matemáticas.  Produtórios, Somatórios...
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×