Seminário especial de pesquisaLetícia StrehlBibliotecáriaBiblioteca Central - UFRGS
 Dilemas de avaliação da produção científica Indicadores das publicações científicas O Fator de Impacto daThomson Reute...
 Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?
Pesquisa de problemas predominantemente nacionais eregionaisXPesquisa de problemas internacionaisPesquisa BásicaXPesquisaA...
“Em termos de comunicação científica, as duasprincipais características do pesquisador são aquantidade de informações que ...
Esta é fácil:Determina-se quantas publicações foramescritas por um cientista em um dadomomento!Fácil... será?A questão dei...
Fonte: Dados compilados do Censo 2010 do Diretório dos Grupos de Pesquisa.http://dgp.cnpq.br/censos/sumula_estatistica/201...
 Avaliação por pares Ex.: consultoria ad hoc Indicadores de impacto(considerando, neste caso, citação=visibilidade =qua...
Trabalhos importantes são freqüentementecitados na literatura científica
 Existência de bases de dados que indexem: uma quantidade representativa de documentos; as referências citadas nas publ...
 Tradicionalmente, as bases de dados capazesde fornecer informações sobre o impacto dostrabalhos centram-se basicamente n...
20012962303102662081470501001502002503003502010 2009 2008 2007Web of ScienceScopus
0 20,000 40,000 60,000 80,000 100,000120,000140,000Ciências AgráriasCiências BiológicasCiências da SaúdeCiências Exatas e ...
Partindo dos indicadores desenvolvidos para ostrabalhos publicados em periódicosinternacionais
 Há décadas o principal indicador de visibilidade das publicações Indicador criado em 1963 por Eugene Garfield e Irving ...
SCI E SSCI NA WEB OF SCIENCE JOURNAL CITATION REPORTSAcesso via:
 Trabalhos publicados em periódicos com altoFI são considerados melhores do que ospublicados em periódicos com FI menores.
a comparação de fatores de impacto de periódicos de áreas dediferentes ou, até mesmo, de subáreas diversas de uma mesmaáre...
 Oncologia Densidade dos artigos Idade das citações Matemática Densidade dos artigos Idade das citações
2 anos
AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct.
EstratosFaixas de FI por área de avaliaçãoMedicina I Medicina II Medicina IIIA1 >3,8 >3,8 >2,96A2 Entre 3,799 e 2,5 Entre ...
Subárea damedicinaÁreas do JCR Mediana do FI FI AgregadoMeia-VidaAgregadaCANCEROLOGIA ONCOLOGY 2,455 4,604 5,7CARDIOLOGIAC...
Medicina IISubárea da medicina Áreas do JCRMedianado FIFIAgregadoMeia-VidaAgregadaALERGOLOGIA EIMUNOLOGIA CLÍNICA ALLERGY ...
Subárea damedicinaÁreas do JCR Mediana do FI FI AgregadoMeia-VidaAgregadaANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5CIRU...
 Dificuldades relacionadas com o levantamento dedados de citações a trabalhos individuais Facilidade de compreensão “R...
 Dificuldades relacionadas com o levantamento dedados de citações a trabalhos individuais Facilidade de compreensão “R...
A PlataformaLattes é umexemplo
 Divide-se o número de citações recebidas porum dado autor pelo número de artigos queele publicou Sabidamente é um índic...
Indicador de produtividade e impacto de um cientista
 Definição: h é o número de artigos publicadospor um pesquisador que obtenham um totalde citações igual ou superior a hFo...
Stephen Hawking, autor de "UmaBreve História doTempo": seu h é62, ou seja, ele já publicou 62trabalhos que receberam pelom...
I H I H++ProdutivosCitados+-ProdutivosCitados-+ProdutivosCitados--ProdutivosCitadosLegenda:I= ImpactoH = Índice HAltoBaixo
 Padrões de citação distintos verificados nas diversasáreas Artigos escritos em co-autoria Influência do tempo de ativi...
Usando aWeb of Science, a Scopuse o Google Acadêmico para calcularo Índice H
 Os artigos de um autor são ordenados demodo decrescente por número de citações,quando o número de artigos coincidir com ...
 O que é: Versão especializada do Google para documentoscientíficos Lançado em nov. 2004 Como funciona: Robôs recompi...
FORMAS DE BUSCA Autores Periódicos Palavras-chaveÍNDICES PRINCIPAIS Número total: trabalhos Citações Número médio d...
https://addons.mozilla.org/en-US/firefox/addon/scholar-h-index-calculator/
 Cobertura extensa, mas indefinida Forma de coleta dos metadados acarretamuitas inconsistências nos dadosJacsó, P. Googl...
Jacsó, P. Google Scholars Ghost Authors. Library Journal. 2009.
1 em4
7 em 3
 Autor fantasma: P Login ou seja Please Login (2.340 artigos) Autores perdidos
Jacsó, P. Google Scholars Ghost Authors. Library Journal. 2009. Todavia, para Peter Jácso as inconsistênciasdo GA são tan...
SCOPUS SCIMAGOAcesso via: Acesso livre!
http://www.scimagojr.com/
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal ofthe American S...
LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal ofthe American S...
 A avaliação capaz de considerar as diferençasexistentes entre as várias (sub-)áreas Desenvolvimento de indicadores que ...
leticia.strehl@ufrgs.com
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Indicadores de produção e impacto da produção científica
Upcoming SlideShare
Loading in …5
×

Indicadores de produção e impacto da produção científica

1,215 views

Published on

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,215
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
43
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Indicadores de produção e impacto da produção científica

  1. 1. Seminário especial de pesquisaLetícia StrehlBibliotecáriaBiblioteca Central - UFRGS
  2. 2.  Dilemas de avaliação da produção científica Indicadores das publicações científicas O Fator de Impacto daThomson Reuters▪ O Qualis da CAPES nas áreas médicas O Índice H calculado em diversas bases de dados O Scimago Journal Ranking com dados da Scopus
  3. 3.  Critérios para analisar O que é produzido? Quanto é produzido? Com que qualidade é produzido?
  4. 4. Pesquisa de problemas predominantemente nacionais eregionaisXPesquisa de problemas internacionaisPesquisa BásicaXPesquisaAplicada
  5. 5. “Em termos de comunicação científica, as duasprincipais características do pesquisador são aquantidade de informações que comunica e asua qualidade.“"Como se pode estudar isto?"Fonte: MEADOWS, A.J. A comunicação científica. Brasília: Briquet de Lemos, 1999. p. 85Quanto? Como?
  6. 6. Esta é fácil:Determina-se quantas publicações foramescritas por um cientista em um dadomomento!Fácil... será?A questão deixa de ser trivial quando asdiferenças entre as áreas do conhecimento sãoexaminadas.
  7. 7. Fonte: Dados compilados do Censo 2010 do Diretório dos Grupos de Pesquisa.http://dgp.cnpq.br/censos/sumula_estatistica/2010/producao/producao.htm0 20,000 40,000 60,000 80,000 100,000120,000140,000Ciências AgráriasCiências BiológicasCiências da SaúdeCiências Exatas e daTerraCiências HumanasCiências Sociais AplicadasEngenharias e Ciência daComputaçãoLingüística, Letras e ArtesProdução de pesquisadores doutores segundo o tipo de produção e agrande área no quadriênio 2007-2010Capítulos de livrosLivrosTrabalhos completospublicados em anaisArtigos em periódicosinternacionaisArtigos em periódicosnacionais
  8. 8.  Avaliação por pares Ex.: consultoria ad hoc Indicadores de impacto(considerando, neste caso, citação=visibilidade =qualidade?!) Ex.: Fator de Impacto e Scimago Journal Ranking
  9. 9. Trabalhos importantes são freqüentementecitados na literatura científica
  10. 10.  Existência de bases de dados que indexem: uma quantidade representativa de documentos; as referências citadas nas publicações.Atualmente, as principais bases de dados para ocumprimento desta finalidade são aWeb ofScience, a Scopus e o Google Acadêmico
  11. 11.  Tradicionalmente, as bases de dados capazesde fornecer informações sobre o impacto dostrabalhos centram-se basicamente noconhecimento veiculado em periódicosinternacionais!
  12. 12. 20012962303102662081470501001502002503003502010 2009 2008 2007Web of ScienceScopus
  13. 13. 0 20,000 40,000 60,000 80,000 100,000120,000140,000Ciências AgráriasCiências BiológicasCiências da SaúdeCiências Exatas e daTerraCiências HumanasCiências Sociais AplicadasEngenharias e Ciência daComputaçãoLingüística, Letras e ArtesProdução de pesquisadores doutores segundo o tipo de produção e agrande área no quadriênio 2007-2010Capítulos de livrosLivrosTrabalhos completospublicados em anaisArtigos em periódicosinternacionaisArtigos em periódicosnacionais
  14. 14. Partindo dos indicadores desenvolvidos para ostrabalhos publicados em periódicosinternacionais
  15. 15.  Há décadas o principal indicador de visibilidade das publicações Indicador criado em 1963 por Eugene Garfield e Irving Sher Publicado anualmente no Journal Citation Reports (JCR) pelaconsolidação dos dados de citação concedidas aos periódicosindexados no: ScienceCitation Index Social Science Citation IndexInterface de acesso:Cobertura:mais 10.100 títulos
  16. 16. SCI E SSCI NA WEB OF SCIENCE JOURNAL CITATION REPORTSAcesso via:
  17. 17.  Trabalhos publicados em periódicos com altoFI são considerados melhores do que ospublicados em periódicos com FI menores.
  18. 18. a comparação de fatores de impacto de periódicos de áreas dediferentes ou, até mesmo, de subáreas diversas de uma mesmaárea é impraticável
  19. 19.  Oncologia Densidade dos artigos Idade das citações Matemática Densidade dos artigos Idade das citações
  20. 20. 2 anos
  21. 21. AMIN, M.; MABE, M. Impact factors: use and abuse. Perspectives in Publising, n. 1, p. 3, Oct.
  22. 22. EstratosFaixas de FI por área de avaliaçãoMedicina I Medicina II Medicina IIIA1 >3,8 >3,8 >2,96A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34B3 <0,11Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas
  23. 23. Subárea damedicinaÁreas do JCR Mediana do FI FI AgregadoMeia-VidaAgregadaCANCEROLOGIA ONCOLOGY 2,455 4,604 5,7CARDIOLOGIACARDIAC &CARDIOVASCULARSYSTEMS 1,993 3,769 6,3DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5ENDOCRINOLOGIAENDOCRINOLOGY &METABOLISM 2,796 4,072 6,6GASTROENTEROLOGIAGASTROENTEROLOGY& HEPATOLOGY 2,210 3,606 6MEDICINA LEGAL EDEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9Medicina I
  24. 24. Medicina IISubárea da medicina Áreas do JCRMedianado FIFIAgregadoMeia-VidaAgregadaALERGOLOGIA EIMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6ANATOMIA PATOLÓGICAE PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5DOENÇAS INFECCIOSAS EPARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7PEDIATRIA PEDIATRICS 1,314 1,858 7,1PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3RADIOLOGIA MÉDICARADIOLOGY, NUCLEAR MEDICINE& MEDICAL IMAGING 1,861 2,832 6,7REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9
  25. 25. Subárea damedicinaÁreas do JCR Mediana do FI FI AgregadoMeia-VidaAgregadaANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5CIRURGIA SURGERY 1,263 2,105 7,6GINECOLOGIA EOBSTETRÍCIAOBSTETRICS &GYNECOLOGY 1,616 2,182 6,8OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4CIRURGIA SURGERY 1,263 2,105 7,6Medicina III
  26. 26.  Dificuldades relacionadas com o levantamento dedados de citações a trabalhos individuais Facilidade de compreensão “Robustez” (pequena variação de um ano paraoutro) Rápida disponibilidadeFonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics,v. 53, n.2, p.171-193, 2002.
  27. 27.  Dificuldades relacionadas com o levantamento dedados de citações a trabalhos individuais Facilidade de compreensão “Robustez” (pequena variação de um ano paraoutro) Rápida disponibilidadeTópico polêmico: O Fator de Impacto realmente revelaalgo sobre o impacto dos artigos?SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nosmeandros das citações. In: Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR. São Paulo,2011.
  28. 28. A PlataformaLattes é umexemplo
  29. 29.  Divide-se o número de citações recebidas porum dado autor pelo número de artigos queele publicou Sabidamente é um índice que não funciona, otamanho da amostragem dos dados não ésuficiente para eliminar possíveis distorções
  30. 30. Indicador de produtividade e impacto de um cientista
  31. 31.  Definição: h é o número de artigos publicadospor um pesquisador que obtenham um totalde citações igual ou superior a hFonte: HIRSCH, J.E. An index to quantify an individuals scientific research output. Proceedings of the NationalAcademy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.
  32. 32. Stephen Hawking, autor de "UmaBreve História doTempo": seu h é62, ou seja, ele já publicou 62trabalhos que receberam pelomenos 62 citações.
  33. 33. I H I H++ProdutivosCitados+-ProdutivosCitados-+ProdutivosCitados--ProdutivosCitadosLegenda:I= ImpactoH = Índice HAltoBaixo
  34. 34.  Padrões de citação distintos verificados nas diversasáreas Artigos escritos em co-autoria Influência do tempo de atividade do pesquisador
  35. 35. Usando aWeb of Science, a Scopuse o Google Acadêmico para calcularo Índice H
  36. 36.  Os artigos de um autor são ordenados demodo decrescente por número de citações,quando o número de artigos coincidir com onúmero de citações obtem-se o índice H
  37. 37.  O que é: Versão especializada do Google para documentoscientíficos Lançado em nov. 2004 Como funciona: Robôs recompilam as informações disponíveis nosdomínios institucionais, com permissão dosprodutores, na filosofia dos Arquivos Abertos Não utiliza os metadados dos editores daspublicações Não possui ferramenta própria para sistematização deinformações das citações para cálculo dos indicadoresTorres-Salinas, D., R. Ruiz-Perez, et al. Google Scholar as a tool for research assessment. Profesional De La Informacion, v.18, n.5,Sep-Oct, p.501-510. 2009.
  38. 38. FORMAS DE BUSCA Autores Periódicos Palavras-chaveÍNDICES PRINCIPAIS Número total: trabalhos Citações Número médio de: citações por artigo citações por autor citações por ano trabalhos por autor Índice H e indicadoresrelacionados
  39. 39. https://addons.mozilla.org/en-US/firefox/addon/scholar-h-index-calculator/
  40. 40.  Cobertura extensa, mas indefinida Forma de coleta dos metadados acarretamuitas inconsistências nos dadosJacsó, P. Google Scholars Ghost Authors. Library Journal. 2009.
  41. 41. Jacsó, P. Google Scholars Ghost Authors. Library Journal. 2009.
  42. 42. 1 em4
  43. 43. 7 em 3
  44. 44.  Autor fantasma: P Login ou seja Please Login (2.340 artigos) Autores perdidos
  45. 45. Jacsó, P. Google Scholars Ghost Authors. Library Journal. 2009. Todavia, para Peter Jácso as inconsistênciasdo GA são tantas que inviabilizam porcompleto o uso dos dados para cálculo deíndices bibliométricosMas, para a recuperação, o GA é umaexcelente ferramenta
  46. 46. SCOPUS SCIMAGOAcesso via: Acesso livre!
  47. 47. http://www.scimagojr.com/
  48. 48. LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal ofthe American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.ImpactoProdução
  49. 49. LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal ofthe American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.Sim!
  50. 50.  A avaliação capaz de considerar as diferençasexistentes entre as várias (sub-)áreas Desenvolvimento de indicadores que valorizem osperiódicos de qualidade que tratam de problemasregionais
  51. 51. leticia.strehl@ufrgs.com

×