Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Uma Metodologia que utiliza princípios
da Representação do Conhecimento
para Avaliação de ontologias
Judson Melo Bandeira
...
2
Agenda
• Introdução
• Problemática
• Proposta
• Validação
• Conclusões
• Artigos
• Referências
Judson Melo Bandeira jmb@...
3
Introdução
Judson Melo Bandeira jmb@ic.ufal.br
Introdução
4
Introdução
Judson Melo Bandeira jmb@ic.ufal.br
Introdução
ontologia
Filosofia
Computação
5
Introdução
• Na Filosofia: [Thomasson, 2004]
• Entendida por “O estudo do ser”;
• Tentativa de filósofos de definir cada...
6
Introdução
• Na computação:
• Entendida por “uma especificação formal e explícita de uma conceitualização”
[Gruber, 1993...
7
Introdução
Judson Melo Bandeira jmb@ic.ufal.br
ontologia
Substituto
Compromissos
Ontológicos
Raciocínio
Inteligente
Comp...
8
Introdução
• Web Semântica: Extensão da web atual, que traz estrutura para o conteúdo significativo
das páginas da Web, ...
9
Problemática
• Porém, modelar uma ontologia é uma tarefa
árdua, pois
• É necessário estudar o domínio profundamente;
• E...
10
Problemática
Judson Melo Bandeira jmb@ic.ufal.br
Problemática
11
Problemática
• Assim, é necessário uma metodologia para
engenharia de ontologias. Porém...
Judson Melo Bandeira jmb@ic....
12
Problemática
• E assim...
Judson Melo Bandeira jmb@ic.ufal.br
Complexidade
Qualidade
Desta forma, é necessário avaliar ...
13
Problemática
Judson Melo Bandeira jmb@ic.ufal.br
[Obrst, 2007]
• Cobertura,
• Complexidade,
• Granularidade,
• Casos de...
14
Problemática
• [Vrandečić, 2009] organizou todos esses
critérios em 8 principais, seguidos com
questões:
• Precisão;
• ...
15
Problemática
• Porém, todos estes trabalhos apenas
apresentam os critérios;
• Poucos deles possuem um passo-a-passo
de ...
16
Problemática
• Aumenta o esforço por parte do avaliador;
• Dependente da experiência do avaliador;
• Imprecisão sobre a...
17
Proposta
Uma Metodologia que utiliza princípios da
Representação do Conhecimento para Avaliação
de Ontologias
Judson Me...
18
Proposta
Judson Melo Bandeira jmb@ic.ufal.br
Proposta
19
Proposta
• A metodologia contribui para:
• Diminuir o esforço do avaliador;
• Útil para avaliadores com qualquer experi...
20
Proposta
• Passo 1: Verificação do Tipo da ontologia
Nem toda ontologia precisa executar todos os critérios. Pois exist...
21
Proposta
• Passo 2: Verificação das Questões e Mensurar
• É onde a avaliação ocorre de fato;
• Cada questão possui uma ...
22
Proposta
• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira jmb@ic.ufal.br
Proposta
23
Proposta
- Goal 1: Verificar se a ontologia cumpre Substituto.
- Question 1: As competências da ontologia foram definid...
24
Proposta
• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira jmb@ic.ufal.br
Proposta
25
Proposta
• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira jmb@ic.ufal.br
Proposta
26
Proposta
• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira jmb@ic.ufal.br
Proposta
29
Proposta
• Passo 2: Verificação das Questões e Mensurar
Judson Melo Bandeira jmb@ic.ufal.br
Proposta
30
Proposta
• Passo 3: Verificação da Qualidade da ontologia
Judson Melo Bandeira jmb@ic.ufal.br
• Qualidade total;
• Qual...
31
Validação - Experimento
• Foram modeladas quatro ontologias;
• Domínio: Sistema de Currículos Lattes;
• Foram seleciona...
32
Validação - Experimento
Judson Melo Bandeira jmb@ic.ufal.br
Validação
33
Validação
• Todas as notas de todos os participantes foram
coletadas;
• Surgiu uma questão: A metodologia explica os va...
34
Validação
Judson Melo Bandeira jmb@ic.ufal.br
Validação
35
Validação
Judson Melo Bandeira jmb@ic.ufal.br
Validação
36
Validação
Judson Melo Bandeira jmb@ic.ufal.br
Validação
37
Validação
• Utilizar as notas subjetivas e objetivas para criar
um modelo de regressão;
• O modelo de regressão servirá...
38
Validação
Judson Melo Bandeira jmb@ic.ufal.br
Validação
39
Validação
• Encontrar os BETAS (pesos);
• Estimar o valor de ;
• Fazer ee e observar os resíduos;
• Se os resíduos fore...
40
Validação
Judson Melo Bandeira jmb@ic.ufal.br
Validação
41
Validação
Judson Melo Bandeira jmb@ic.ufal.br
Validação
Substituindo os BETAS encontrados, temos:
42
Validação – Ameaças à Validade
• Apenas um domínio poderia não ter sido o suficiente para o
experimento;
• Apenas prati...
43
Conclusões - Vantagens
• Foi possível criar os dois escores, validando a metodologia
estatisticamente;
• Agora a comuni...
44
Conclusões - Limitações
• A metodologia não possui questões suficientes para diferenciar bem os
dois tipos de ontologia...
45
Conclusões – Trabalhos Futuros
• Inserir o tipo Top Ontology, para completar os três tipos enunciados por
Guarino;
• In...
46
Artigos
• Capítulos de Livro:
• Dados Abertos Conectados para a Educação (JAIE – 2015);
• Dados Abertos Conectados (SBT...
47
Referências
• Gruber, Thomas R. "A translation approach to portable ontology specifications." Knowledge acquisition
5.2...
47
Muito Obrigado!
Judson Melo Bandeira jmb@ic.ufal.br
Referências
Upcoming SlideShare
Loading in …5
×

Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do conhecimento para avaliação de ontologias

366 views

Published on

Minha defesa de mestrado em 2015. Universidade Federal de Alagoas

Published in: Science
  • Be the first to comment

  • Be the first to like this

Defesa de mestrado 2015 foca uma metodologia que utiliza princípios da representação do conhecimento para avaliação de ontologias

  1. 1. Uma Metodologia que utiliza princípios da Representação do Conhecimento para Avaliação de ontologias Judson Melo Bandeira Orientação Ig Ibert Bittencourt Patricia Ospina Judson Melo Bandeira jmb@ic.ufal.br
  2. 2. 2 Agenda • Introdução • Problemática • Proposta • Validação • Conclusões • Artigos • Referências Judson Melo Bandeira jmb@ic.ufal.br Agenda
  3. 3. 3 Introdução Judson Melo Bandeira jmb@ic.ufal.br Introdução
  4. 4. 4 Introdução Judson Melo Bandeira jmb@ic.ufal.br Introdução ontologia Filosofia Computação
  5. 5. 5 Introdução • Na Filosofia: [Thomasson, 2004] • Entendida por “O estudo do ser”; • Tentativa de filósofos de definir cada coisa existente no mundo; • Categorias de Aristóteles e Kant: Questionamento e Julgamento; • Filósofos Contemporâneos: Abstração Sucessiva. Judson Melo Bandeira jmb@ic.ufal.br Bicicleta Veículo Objeto Coisa Introdução
  6. 6. 6 Introdução • Na computação: • Entendida por “uma especificação formal e explícita de uma conceitualização” [Gruber, 1993]; • Ou por “explícita e parte de uma descrição de uma conceitualização”; [Guarino, 1998] ; • Consenso, Reúso; • Uma outra forma de entender o conceito de ontologia é através dos papeis da representação do conhecimento [Davis, 1993] Judson Melo Bandeira jmb@ic.ufal.br Introdução
  7. 7. 7 Introdução Judson Melo Bandeira jmb@ic.ufal.br ontologia Substituto Compromissos Ontológicos Raciocínio Inteligente Computação Eficiente Expressão Humana fast Introdução
  8. 8. 8 Introdução • Web Semântica: Extensão da web atual, que traz estrutura para o conteúdo significativo das páginas da Web, criando um ambiente em que os agentes de software a partir de uma página para outra podem facilmente realizar tarefas sofisticadas para os usuários; [Berners- Lee, 2001]. Judson Melo Bandeira jmb@ic.ufal.br imagem • Imagem de uma bicicleta, • Que tem a cor verde, • Que tem guidão de cor amarela, • Que não tem marchas... Introdução
  9. 9. 9 Problemática • Porém, modelar uma ontologia é uma tarefa árdua, pois • É necessário estudar o domínio profundamente; • Evitar o problema da inconsistência (intersecção). Judson Melo Bandeira jmb@ic.ufal.br Problemática
  10. 10. 10 Problemática Judson Melo Bandeira jmb@ic.ufal.br Problemática
  11. 11. 11 Problemática • Assim, é necessário uma metodologia para engenharia de ontologias. Porém... Judson Melo Bandeira jmb@ic.ufal.br [Cardoso, 2007] Problemática
  12. 12. 12 Problemática • E assim... Judson Melo Bandeira jmb@ic.ufal.br Complexidade Qualidade Desta forma, é necessário avaliar a qualidade da ontologia após sua modelagem. Problemática
  13. 13. 13 Problemática Judson Melo Bandeira jmb@ic.ufal.br [Obrst, 2007] • Cobertura, • Complexidade, • Granularidade, • Casos de Uso, • Cenários, • Requisitos, • Aplicações, • Consistência e • Completude. [Gangemi, 2006] • Acordo, • Satisfação do usuário, • Tarefa, • Tópico e • Modularidade. [Gruber, 1995] • Clareza, • Coerência, • Estendibilidade, • Mínimo Viés de Codificação e • Compromisso ontológico mínimo. [Gómez-Pérez, 2001] • Completude, • Concisão, • Expansibilidade. Problemática
  14. 14. 14 Problemática • [Vrandečić, 2009] organizou todos esses critérios em 8 principais, seguidos com questões: • Precisão; • Adaptabilidade; • Clareza; • Completude; • Eficiência Computacional; • Concisão; • Consistência; • Aptidão Organizacional. Judson Melo Bandeira jmb@ic.ufal.br Problemática
  15. 15. 15 Problemática • Porém, todos estes trabalhos apenas apresentam os critérios; • Poucos deles possuem um passo-a-passo de como executar esses critérios; • Eles não possuem métricas para avaliar a ontologia. Judson Melo Bandeira jmb@ic.ufal.br Problemática
  16. 16. 16 Problemática • Aumenta o esforço por parte do avaliador; • Dependente da experiência do avaliador; • Imprecisão sobre a qualidade da ontologia; Judson Melo Bandeira jmb@ic.ufal.br Problemática
  17. 17. 17 Proposta Uma Metodologia que utiliza princípios da Representação do Conhecimento para Avaliação de Ontologias Judson Melo Bandeira jmb@ic.ufal.br Proposta
  18. 18. 18 Proposta Judson Melo Bandeira jmb@ic.ufal.br Proposta
  19. 19. 19 Proposta • A metodologia contribui para: • Diminuir o esforço do avaliador; • Útil para avaliadores com qualquer experiência; • Tornar a avaliação mais precisa. Judson Melo Bandeira jmb@ic.ufal.br Proposta
  20. 20. 20 Proposta • Passo 1: Verificação do Tipo da ontologia Nem toda ontologia precisa executar todos os critérios. Pois existem critérios que são contraditórios. [Vrandečić, 2009] • Tipo 1: Ontologia de domínio ou tarefa: Domínio mais geral (como bicicleta). • Tipo 2: Ontologia de aplicação: Domínio mais específico (como um sistema de computador). • Inspirado em [Guarino, 1998] Judson Melo Bandeira jmb@ic.ufal.br Proposta
  21. 21. 21 Proposta • Passo 2: Verificação das Questões e Mensurar • É onde a avaliação ocorre de fato; • Cada questão possui uma nota associada e um goal associado, com um passo-a-passo; • Avaliação no formato G.Q.M [Basili, 1992]. Judson Melo Bandeira jmb@ic.ufal.br Proposta
  22. 22. 22 Proposta • Passo 2: Verificação das Questões e Mensurar Judson Melo Bandeira jmb@ic.ufal.br Proposta
  23. 23. 23 Proposta - Goal 1: Verificar se a ontologia cumpre Substituto. - Question 1: As competências da ontologia foram definidas? - Metric 1: Completude - Como verificar: Primeiramente, verifique se existe algum documento que explique as competências da ontologia. Se não existir, a nota será automaticamente 0. Se existir, verifique: • Se define o objetivo da ontologia (por ex: esta ontologia modela o domínio de...) Notas: 25, 50, 75, 100 • Se define o público alvo da ontologia (por ex: esta ontologia será utilizada por...) Notas: 25, 50, 75, 100 • Se define cenários de uso desta ontologia (ou seja, em que situações ela deve ser utilizada). Notas: 25, 50, 75, 100 Judson Melo Bandeira jmb@ic.ufal.br Proposta
  24. 24. 24 Proposta • Passo 2: Verificação das Questões e Mensurar Judson Melo Bandeira jmb@ic.ufal.br Proposta
  25. 25. 25 Proposta • Passo 2: Verificação das Questões e Mensurar Judson Melo Bandeira jmb@ic.ufal.br Proposta
  26. 26. 26 Proposta • Passo 2: Verificação das Questões e Mensurar Judson Melo Bandeira jmb@ic.ufal.br Proposta
  27. 27. 29 Proposta • Passo 2: Verificação das Questões e Mensurar Judson Melo Bandeira jmb@ic.ufal.br Proposta
  28. 28. 30 Proposta • Passo 3: Verificação da Qualidade da ontologia Judson Melo Bandeira jmb@ic.ufal.br • Qualidade total; • Qualidade parcial. Proposta
  29. 29. 31 Validação - Experimento • Foram modeladas quatro ontologias; • Domínio: Sistema de Currículos Lattes; • Foram selecionadas seis pessoas, de diferentes experiências; • Vasta, Grande, Média, Pouca e Pouquíssima. Judson Melo Bandeira jmb@ic.ufal.br Validação
  30. 30. 32 Validação - Experimento Judson Melo Bandeira jmb@ic.ufal.br Validação
  31. 31. 33 Validação • Todas as notas de todos os participantes foram coletadas; • Surgiu uma questão: A metodologia explica os valores dados no documento SEM MODELO, ou seja, a metodologia é adequada? • Duas Hipóteses: • É possível criar um escore Global para a ontologia? • É possível criar um escore Parcial para a ontologia? Judson Melo Bandeira jmb@ic.ufal.br Validação
  32. 32. 34 Validação Judson Melo Bandeira jmb@ic.ufal.br Validação
  33. 33. 35 Validação Judson Melo Bandeira jmb@ic.ufal.br Validação
  34. 34. 36 Validação Judson Melo Bandeira jmb@ic.ufal.br Validação
  35. 35. 37 Validação • Utilizar as notas subjetivas e objetivas para criar um modelo de regressão; • O modelo de regressão servirá para as notas objetivas explicarem as notas subjetivas; • A metodologia será validada quando conseguirmos ajustar o modelo adequadamente e verificar se os resíduos estão próximos de zero. Judson Melo Bandeira jmb@ic.ufal.br Validação
  36. 36. 38 Validação Judson Melo Bandeira jmb@ic.ufal.br Validação
  37. 37. 39 Validação • Encontrar os BETAS (pesos); • Estimar o valor de ; • Fazer ee e observar os resíduos; • Se os resíduos forem próximos de 0, as notas objetivas conseguem explicar as notas subjetivas, validando a metodologia. Judson Melo Bandeira jmb@ic.ufal.br Validação
  38. 38. 40 Validação Judson Melo Bandeira jmb@ic.ufal.br Validação
  39. 39. 41 Validação Judson Melo Bandeira jmb@ic.ufal.br Validação Substituindo os BETAS encontrados, temos:
  40. 40. 42 Validação – Ameaças à Validade • Apenas um domínio poderia não ter sido o suficiente para o experimento; • Apenas praticamente uma pessoa de cada experiência pode ter afetado a precisão dos valores obtidos no experimento; • Alguns participantes sentiram-se cansados durante a execução do experimento, o que pode ter afetado as notas dadas por eles. Judson Melo Bandeira jmb@ic.ufal.br Validação
  41. 41. 43 Conclusões - Vantagens • Foi possível criar os dois escores, validando a metodologia estatisticamente; • Agora a comunidade de ontologias possui uma metodologia para avaliação com passo-a-passo e estabelecimento de nota; • Agora a comunidade de ontologias possui uma metodologia que independe da experiência do avaliador. Judson Melo Bandeira jmb@ic.ufal.br Conclusões
  42. 42. 44 Conclusões - Limitações • A metodologia não possui questões suficientes para diferenciar bem os dois tipos de ontologia; • A verificação de duas ou mais ontologias, pode se tornar um processo um pouco cansativo. Judson Melo Bandeira jmb@ic.ufal.br Conclusões
  43. 43. 45 Conclusões – Trabalhos Futuros • Inserir o tipo Top Ontology, para completar os três tipos enunciados por Guarino; • Inserir mais questões para tornar mais precisa a avaliação de acordo com os tipos; • Automatizar ou semi-automatizar o processo, para diminuir a exaustão. Judson Melo Bandeira jmb@ic.ufal.br Conclusões
  44. 44. 46 Artigos • Capítulos de Livro: • Dados Abertos Conectados para a Educação (JAIE – 2015); • Dados Abertos Conectados (SBTI – 2014); • Artigos • Desafios no uso de Dados Abertos Conectados na Educação Brasileira (DesafIE – 2015) • Artigo Aceito (porém não publicado) • Lessons Learned About Ontology Development Using Methontology (ICEIS – 2015) • À submeter • Artigo da dissertação. Judson Melo Bandeira jmb@ic.ufal.br Conclusões
  45. 45. 47 Referências • Gruber, Thomas R. "A translation approach to portable ontology specifications." Knowledge acquisition 5.2 (1993): 199-220. • Cardoso, Jorge. "The semantic web vision: Where are we?." Intelligent Systems, IEEE 22.5 (2007): 84- 88. • Vrandečić, Denny. Ontology evaluation. Springer Berlin Heidelberg, 2009. • Thomasson, Amie L. "Methods of categorization." Proceedings of the 3rd International Conference (FOIS'04). 2004. • Guarino, Nicola. Formal ontology in information systems: Proceedings of the first international conference (FOIS'98), June 6-8, Trento, Italy. Vol. 46. IOS press, 1998. • Davis, Randall, Howard Shrobe, and Peter Szolovits. "What is a knowledge representation?." AI • Berners-Lee, Tim, James Hendler, and Ora Lassila. "The semantic web."Scientific american 284.5 (2001): 28-37. • Obrst, Leo, et al. "The evaluation of ontologies." Semantic Web. Springer US, 2007. 139-158. • Gangemi, Aldo, et al. Modelling ontology evaluation and validation. Springer Berlin Heidelberg, 2006. • Gruber, Thomas R. "Toward principles for the design of ontologies used for knowledge sharing?." International journal of human-computer studies 43.5 (1995): 907-928. • Gómez‐Pérez, Asunción. "Evaluation of ontologies." International Journal of intelligent systems 16.3 (2001): 391-409. • Ferrari, Silvia, and Francisco Cribari-Neto. "Beta regression for modelling rates and proportions." Journal of Applied Statistics 31.7 (2004): 799-815. • Espinheira, Patrícia L., Luana Cecília Meireles da Silva, and Alisson de Oliveira Silva. "Prediction Measures in Beta Regression Models." arXiv preprint arXiv:1501.04830 (2015). • Basili, Victor R. "Software modeling and measurement: the Goal/Question/Metric paradigm." (1992). Judson Melo Bandeira jmb@ic.ufal.br Referências
  46. 46. 47 Muito Obrigado! Judson Melo Bandeira jmb@ic.ufal.br Referências

×