Ferramentas para Mineração de Dados

  • 551 views
Uploaded on

 

More in: Technology
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
551
On Slideshare
0
From Embeds
0
Number of Embeds
0

Actions

Shares
Downloads
19
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Ferramentas para Mineração de Dados Manoel de Albuquerque Lira Amaroquinta-feira, 6 de dezembro de 12
  • 2. Agenda • Introdução • Mahout • Weka • Introdução ao Mahout • Interface Gráfica • Conclusão/Referências • Arquivos ARFF • Ferramentas para ARFF • Exemplosquinta-feira, 6 de dezembro de 12
  • 3. Introdução • Softwares: • Weka • Mahout • OpenSource • Utilizados pela academiaquinta-feira, 6 de dezembro de 12
  • 4. Weka • Software de aprendizagem de máquina • Pré-processamento • Mineração de Dados • Escrito em JAVAquinta-feira, 6 de dezembro de 12
  • 5. Weka • Algoritmos de: • Classificação • Clusterização • Regras de Associação • Permite • Seleção de Atributos • Visualização de Dadosquinta-feira, 6 de dezembro de 12
  • 6. Interfacequinta-feira, 6 de dezembro de 12
  • 7. Interface • Simple CLI • Command Line Interface • Simples e útil • Para sistemas sem interface gráfica • java weka.associations.Appriori -t veiculos.arffquinta-feira, 6 de dezembro de 12
  • 8. Explorerquinta-feira, 6 de dezembro de 12
  • 9. Entrada de dados Arquivo ARFF Por uma URL Banco de Dados JDBCquinta-feira, 6 de dezembro de 12
  • 10. Arquivo ARFF • Arquivo de texto com todos os dados, precedido de um cabeçalho • Semelhante ao CSV • O cabeçalho define a estrutura dos dados • Nome, domínio, tipo, etc.quinta-feira, 6 de dezembro de 12
  • 11. Arquivo ARFF • Cabeçalho • Dadosquinta-feira, 6 de dezembro de 12
  • 12. Arquivo ARFF • @relation • nome do arquivo • @attribute [nome] [tipo|{valores}] • Declaração de atributos • Colunas de uma tabelaquinta-feira, 6 de dezembro de 12
  • 13. Arquivo ARFF • @data • Segue a sequência definida pelos atributos • Linhas de uma tabelaquinta-feira, 6 de dezembro de 12
  • 14. Ferramentas para ARFF • Formato pouco utilizado • Ferramentas para conversão • CSV > ARFF (online) • http://slavnik.fe.uni-lj.si/markot/csv2arff/csv2arff.phpquinta-feira, 6 de dezembro de 12
  • 15. Ferramentas para ARFF • Programa em JAVA para conversão • API do Weka • Fácil adaptação para outras fontes de dadosquinta-feira, 6 de dezembro de 12
  • 16. Exemplo 1 • ARFF • Venda de veículos • Atributos • idade, renda, carroquinta-feira, 6 de dezembro de 12
  • 17. Exemplo 1 • Classificação • Base de dados precisa conter: • Um ou mais atributos preditivos; • Idade e Renda • Um atributo especial, denominado atributo classe (ou atributo alvo). • Carroquinta-feira, 6 de dezembro de 12
  • 18. Exemplo 1quinta-feira, 6 de dezembro de 12
  • 19. Exemplo 1quinta-feira, 6 de dezembro de 12
  • 20. Exemplo 1quinta-feira, 6 de dezembro de 12
  • 21. Exemplo 1- Resultadosquinta-feira, 6 de dezembro de 12
  • 22. Exemplo 2 • Dataset de vendas do supermercado • Carrinho de compras • Departamentos do supermercadoquinta-feira, 6 de dezembro de 12
  • 23. Exemplo 2 • Uso de um algoritmo de associação • Descobrir relações entre os departamentos, a partir do histórico de compras dos clientes.quinta-feira, 6 de dezembro de 12
  • 24. Exemplo 2quinta-feira, 6 de dezembro de 12
  • 25. Weka • Software bem didático • Alguns papers utilizaram para mineração de dados reais • Permite integração a aplicações JAVA via API (não tão simples assim) • Independente de plataforma • Atualizações frequentesquinta-feira, 6 de dezembro de 12
  • 26. Apache Mahout • Biblioteca para Aprendizagem de Máquina • Licença OpenSource • Escalável • Paradigma Map/Reduce • Plataforma Hadoopquinta-feira, 6 de dezembro de 12
  • 27. Hadoopquinta-feira, 6 de dezembro de 12
  • 28. Referências • http://www.cs.waikato.ac.nz/ml/weka/ • http://www.metaemotion.com/ diego.garcia.morate/download/weka.pdf • http://mahout.apache.org/ • http://hadoop.apache.org/quinta-feira, 6 de dezembro de 12