• Like
Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais

  • 1,947 views
Published

A análise exploratória das referências bibliográficas dos artigos ao longo do tempo permitem uma estimativa do consumo de informação das diversas áreas da ciência, revelando a tipologia documental …

A análise exploratória das referências bibliográficas dos artigos ao longo do tempo permitem uma estimativa do consumo de informação das diversas áreas da ciência, revelando a tipologia documental mais prevalente a cada área, assim como sua obsolescência.

O conhecimento destes aspectos, e a observação de tais peculiaridades, desafiam as comunidades científicas das diversas áreas a incrementarem seu complexo sistema de avaliação, o que se concretiza pela definição de critérios específicos.

A análise do consumo de informação em periódicos científicos brasileiros indexados na SciELO e dos documentos de área do Qualis Periódicos permite a observação deste cenário para aprimoramento da Política Científica brasileira.

The exploratory analysis of the bibliographic references of articles over time allows an estimate of the consumption of information in the diverse areas of knowledge, revealing
the most prevalent document types in each subject area, as well as their obsolescence.

Knowing these aspects, and observing these peculiarities, the academic communities in each of the diverse areas are challenged to enhance their complex system of evaluation, which formalizes itself by defining specific criteria.

The analysis of the consumption of information in Brazilian academic journals indexed in SciELO and of the documents in the subject areas of Qualis Periódicos (the Qualis Journals Evaluation System) provides relevant and important information for the improvement of Brazilian academic policies.

El análisis exploratorio de las referencias bibliográficas de los artículos a lo largo del tiempo permite una estimación del consumo de información de diferentes áreas de la ciencia, revelando la tipología documental predominante en cada área, así como su obsolescencia.

El conocimiento de estos datos y la observación de tales peculiaridades, desafían a las comunidades científicas de las diferentes áreas a reforzar su sistema complejo de evaluación, que se realiza por la definición de criterios específicos.

El análisis del consumo de información en revistas científicas brasileñas indexadas en SciELO y de los documentos del área de revistas Qualis permite la observación de este escenario para mejorar la política científica brasileña.

  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,947
On SlideShare
0
From Embeds
0
Number of Embeds
1

Actions

Shares
Downloads
20
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais Rogério Mugnaini
  • 2. Introdução  Consumo de informação na produção científica  A análise exploratória das referências bibliográficas dos artigos ao longo do tempo revelam a tipologia documental mais prevalente em cada área, assim como sua obsolescência.  Política Científica  O conhecimento destas peculiaridades (consumo de informação) permite às comunidades científicas das diversas áreas a incrementarem seu complexo sistema de avaliação. Rogério Mugnaini | SciELO 15 anos
  • 3. Metodologia • Consumo de informação na produção científica brasileira – A análise estatística descritiva das referências bibliográficas dos artigos de autores brasileiros na Rede SciELO; – Período: 2004-2012, correspondente aos últimos 3 triênios de avaliação da Capes. Rogério Mugnaini | SciELO 15 anos
  • 4. Metodologia • Política Científica brasileira – Informação qualitativa, derivada das decisões dos comitês, que definem os critérios específicos para avaliação de produção científica de cada área. – Análise documental dos documentos de área propostos pelas comissões das 46 Áreas de Avaliação do Qualis (triênio 2007 - 2009). – Rica fonte de informação, fruto de consenso entre os pesquisadores, que oferece os aspectos contextuais do processo de comunicação científica de cada área. Rogério Mugnaini | SciELO 15 anos
  • 5. Metodologia – Política Científica brasileira • Relevância dos seguintes quesitos para definição de critérios: livros > periódicos científicos > bases de dados e Fator de Impacto – Consumo de informação na produção científica brasileira • Obsolescência da literatura (percentual de citações a documentos recentes – 1 e 2 anos); • Peso atribuído a periódicos científicos na avaliação geral do PPG; • Prevalência das citações a: livros > periódicos científicos indexados (SciELO ou Web of Science) ou não Rogério Mugnaini | SciELO 15 anos
  • 6. Política Científica brasileira • Estudo dos critérios para classificação dos periódicos (Qualis) das diferentes Áreas de Avaliação de cada uma das Grandes Áreas? Agricultural Sciences AGRICULTURAL SCIENCES ANIMAL SCIENCE / FISHING RESOURCES FOOD SCIENCE AND TECHNOLOGY VETERINARY MEDICINE Applied Social Sciences APPLIED SOCIAL SCIENCES ARCHITECTURE, URBAN PLANNING AND DESIGN BUSINESS, ACCOUNTING (SCIENCES ) AND TOURISM ECONOMICS LAW SOCIAL SERVICES / DOMESTIC ECONOMY URBAN AND REGIONAL PLANNING / DEMOGRAPHICS Biological Sciences BIOLOGICAL SCIENCES I BIOLOGICAL SCIENCES II BIOLOGICAL SCIENCES III ECOLOGY AND ENVIRONMENT Engineering AGRIC AN-SCI, FISH FOOD S&T VET-MED ENGINEERING I ENGINEERING II ENGINEERING III ENGINEERING IV ENG 1 ENG 2 ENG 3 ENG 4 Exact and Earth Sciences APP-SOC-SCI ASTRONOMY / PHYSICS ASTR, PHYS ARCHT, URB, DESN CHEMISTRY CHEM BUS, ACC, TOUR COMPUTER SCIENCE COMP ECON GEOSCIENCES GEOSC LAW MATH / PROBABILITY AND STATISTICS MATH, PROB, STAT SOC-SERV, DOM-ECON Health Sciences URB-REG-PLAN, DEMOG DENTISTRY DENT MEDICINE I MED 1 BIO 1 MEDICINE II MED 2 BIO2 MEDICINE III MED 3 BIO 3 NURSING NURS ECOL, ENV PHARMACY PHARM PHYSICAL EDUCATION PHYS-EDUC PUBLIC HEALTH PUB-HEAL Human Sciences ANTHROPOLOGY / ARCHAEOLOGY EDUCATION GEOGRAPHY HISTORY PHILOSOPHY / THEOLOGY POLITICAL SCIENCE AND INTERNATIONAL RELATIONS PSYCHOLOGY SOCIOLOGY Linguistics, Letters and Arts ARTS / MUSIC LETTERS / LINGUISTICS Multidisciplinar BIOTECHNOLOGY INTERDISCIPLINARY MATERIALS SCIENCE AND MATH TEACHING Lista de acrônimos (em inglês) das Áreas de Avaliação e respectivas Grandes Áreas Rogério Mugnaini | SciELO 15 anos ANTR, ARCH EDUC GEOGR HIST PHIL, THEOL POL-SCI, INT-REL PSYCH SOCIOL ART, MUSC LETT. LING BIOTECH INTERD MATER-SCI SCI&MATH -TEACH
  • 7. Política Científica brasileira Quais índices de citação são utilizados pelas diferentes Áreas de Avaliação das Grandes Áreas? Rogério Mugnaini | SciELO 15 anos
  • 8. Política Científica brasileira Ciências Agrárias (4) Linguística, Letras e Artes (2) 100% 75% Ciências Biológicas (4) 50% 25% Ciências Humanas (8) Ciências da Saúde (8) 0% Ciências Sociais Aplicadas (7) Ciências Exatas e da Terra (5) Multidisciplinar (4) WoS Engenharias (4) SciELO SCOPUS (Mugnaini e Sales, 2011) Mapeamento da utilização de bases de dados para definição de critério de avaliação de periódicos do estrato A1, segundo Grande Área e número de Áreas de Avaliação. Rogério Mugnaini | SciELO 15 anos
  • 9. Política Científica brasileira Quais Áreas de Avaliação • Definem critérios para avaliação de livros • Consideram a indexação na SciELO como critério de qualidade ? E qual o peso atribuído a • Periódicos, em relação ao total de pontos de avaliação dos Programas de Pós-Graduação ? E qual o valor do Fator de Impacto exigido para o estrato mais alto (A1)? Rogério Mugnaini | SciELO 15 anos
  • 10. Política Científica brasileira SciELO SIM Grande Área BIO Área de Avaliação 25% BIO2 % EXA ASTR, FÍS 40% COMP ENG ENG 4 50% ENG 3 Média Livro NÃO SciELO NÃO Peso Peso Grande Área de FI JCR % FI JCR Periódico Periódic Área Avaliação 14 4.7 BIO 25% BIO 3 20 4.9 MED 2 20 3.8 MED 1 20 3.8 SAÚ 50% ODONT 20 3.1 MED 3 20 3 17.5 6 QUÍM 21 4 26 1.4 EXA 60% GEOC 24 2.8 MAT, PROB, ESTAT 26 1 MED-VET 22 2.6 AGR 50% AGRIC 22 2 MULT 25% CI-MATER 17.5 1 17.5 1 ENG 25% ENG 2 20 1 17.5 - 18.5 3.3 Média 21.0 2.7 Diversos critérios de avaliação utilizado pelas diversas Áreas de Avaliação, dentro das Grandes Áreas. Rogério Mugnaini | SciELO 15 anos (Miranda e Mugnaini, 2013)
  • 11. Livro SIM SciELO NÃO Grande Área % MULT 50% BIO 50% AGR 50% SAÚ 38% ENG 25% SOC 43% HUM 25% LLA 100% Área de Grande Área de Peso Peso FI JCR % FI JCR Avaliação Periódico Área Avaliação Periódic BIOTEC 16 5 MULT 25% INTERD 21 ENS-CI&MAT 17.5 BIO 1 15.8 4.1 ECOL, AMB 20 3 C&T ALIM 22 2.6 ZOOT, PESC 22 2 FARM 16 3 SAÚ 13% SAÚ-PUB 16 4 EDUC-FÍS 16 1.9 ENF 16 0.8 ENG 1 17.5 0.8 ADM, CONT, TU 22.8 0.5 URB&PLAN-REG, D 17.5 ECON 22.8 SERV-SOC, ECON-D 16 SOC 57% CI-SOC-AP ARQ, URB, DES 16 16 DIR 16 FIL, TEOL 17.5 GEOGR 14 0.5 EDUC 17.5 PSIC 17.5 CI-POL, REL-INT 24 HUM 75% SOCIOL 20 ANTR, ARQ 16 HIST 14 LING, LET 20 ART, MUSC 12 - Média ... continuação SciELO SIM 18.1 2.4 Rogério Mugnaini | SciELO 15 anos Média 17.3 2.3 (Miranda e Mugnaini, 2013)
  • 12. Política Científica brasileira Qual o valor médio de Fator de Impacto exigido pelas Áreas de Avaliação de cada Grande Área? Áreas de Avaliação que avaliam livros apresentam diferente nível de exigência do Fator de Impacto? Rogério Mugnaini | SciELO 15 anos
  • 13. Política Científica brasileira Média do Fator de Impacto das Áreas de Avaliação Linguística, Letras e Artes Ciências Humanas Ciências Sociais Aplicadas Engenharias Ciências Agrárias Ciências da Saúde Multidisciplinar Ciências Exatas e da Terra Ciências Biológicas 0,000 1,000 Livro Não 2,000 3,000 4,000 5,000 6,000 Livro Sim Média do Fator de Impacto utilizado , pelas diversas Áreas de Avaliação das Grandes Áreas, como critério de classificação de periódicos do mais alto estrato (A1). Rogério Mugnaini | SciELO 15 anos
  • 14. Política Científica brasileira Qual o valor médio do peso atribuído a periódicos científicos na avaliação geral do Programa de Pós-Graduação definido pelas Áreas de Avaliação de cada Grande Área? Áreas de Avaliação que destacam periódicos SciELO apresentam diferente nível de peso atribuído a periódicos? Rogério Mugnaini | SciELO 15 anos
  • 15. Política Científica brasileira Média do Peso (%) dos periódicos nas Áreas de Avaliação Ciências Biológicas Ciências da Saúde Ciências Humanas Engenharias Ciências Sociais Aplicadas Multidisciplinar Ciências Agrárias Ciências Exatas e da Terra 0,0 5,0 SciELO Não 10,0 15,0 20,0 SciELO Sim Média do peso percentual atribuído à produção em periódicos, pelas diversas Áreas de Avaliação das Grandes Áreas. Rogério Mugnaini | SciELO 15 anos 25,0
  • 16. Consumo de informação na produção científica brasileira (tipo de documento citado) Quais são os tipos de documento mais citados nos artigos de brasileiros publicados nos periódicos da Rede SciELO das diferentes Grandes Áreas? Rogério Mugnaini | SciELO 15 anos
  • 17. Consumo de informação na produção científica brasileira (tipo de documento citado) 0% 20% 40% 60% 80% 100% Ciências Agrárias Ciências da Saúde Ciências Biológicas Ciências Exatas e da Terra Engenharias Ciências Sociais Aplicadas Ciências Humanas Linguística, Letras e Artes Livro Periódico WoS Periódico SciELO Teses Anais Outros periódicos Outros documentos Distribuição das referências bibliográficas dos artigos de brasileiros na Rede SciELO, segundo tipo de documento citado, e Grande Área – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos
  • 18. Consumo de informação na produção científica brasileira (tipo de documento citado) Qual é o percentual de citações a livros nas Grandes Áreas, nos períodos relativos aos últimos 3 triênios de avaliação da Capes? Rogério Mugnaini | SciELO 15 anos
  • 19. Consumo de informação na produção científica brasileira (tipo de documento citado) Ciências Exatas e da Terra Ciências Biológicas Ciências da Saúde Engenharias Ciências Agrárias Ciências Sociais Aplicadas Ciências Humanas Linguística, Letras e Artes % do consumo: Livros 0% 2004-2006 10% 20% 2007-2009 30% 40% 50% 60% 2010-2012 Percentual de citações a livros nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos
  • 20. Consumo de informação na produção científica brasileira (tipo de documento citado) Qual é o percentual de citações a periódicos Web of Science (WoS) nas Grandes Áreas, nos períodos relativos aos últimos 3 triênios de avaliação da Capes? Rogério Mugnaini | SciELO 15 anos
  • 21. Consumo de informação na produção científica brasileira (tipo de documento citado) Linguística, Letras e Artes Ciências Humanas Ciências Sociais Aplicadas Ciências Agrárias Engenharias Ciências Biológicas Ciências da Saúde Ciências Exatas e da Terra % do consumo: Periódicos WoS 0% 2004-2006 10% 20% 2007-2009 30% 40% 50% 60% 2010-2012 Percentual de citações a periódicos Web of Science nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos
  • 22. Consumo de informação na produção científica brasileira (tipo de documento citado) Qual é o percentual de citações a periódicos SciELO nas Grandes Áreas, nos períodos relativos aos últimos 3 triênios de avaliação da Capes? Rogério Mugnaini | SciELO 15 anos
  • 23. Consumo de informação na produção científica brasileira (tipo de documento citado) Linguística, Letras e Artes Engenharias Ciências Exatas e da Terra Ciências Sociais Aplicadas Ciências Humanas Ciências Biológicas Ciências da Saúde Ciências Agrárias % do consumo: Periódicos SciELO 0% 2004-2006 5% 2007-2009 10% 15% 20% 25% 2010-2012 Percentual de citações a periódicos SciELO nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos
  • 24. Consumo de informação na produção científica brasileira (obsolescência) Qual é o percentual de citações captado pela janela de citação de 2 anos (citações recentes, conforme computado pelo Fator de Impacto) considerando-se periódicos Web of Science (WoS) sendo citados nas Grandes Áreas -, nos períodos relativos aos últimos 3 triênios de avaliação da Capes? Rogério Mugnaini | SciELO 15 anos
  • 25. Consumo de informação na produção científica brasileira (obsolescência) % jan. 2 anos: Periódicos WoS Linguística, Letras e Artes Ciências Sociais Aplicadas Ciências Agrárias Ciências Humanas Ciências Biológicas Engenharias Ciências da Saúde Ciências Exatas e da Terra 0% 2004-2006 2% 4% 2007-2009 6% 8% 10% 12% 2010-2012 Representatividade das citações a artigos de um ou 2 anos de idade de periódicos Web of Science nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da Rogério Mugnaini avaliação da Capes – período de 2004-2012 | SciELO 15 anos
  • 26. Consumo de informação na produção científica brasileira (obsolescência) Qual é o percentual de citações captado pela janela de citação de 2 anos (citações recentes, conforme computado pelo Fator de Impacto) considerando-se periódicos SciELO sendo citados nas Grandes Áreas -, nos períodos relativos aos últimos 3 triênios de avaliação da Capes? Rogério Mugnaini | SciELO 15 anos
  • 27. Consumo de informação na produção científica brasileira (obsolescência) % jan. 2 anos: Periódicos SciELO Ciências Humanas Ciências Sociais Aplicadas Ciências Biológicas Ciências Agrárias Linguística, Letras e Artes Engenharias Ciências da Saúde Ciências Exatas e da Terra 0% 4% 2004-2006 8% 2007-2009 12% 16% 20% 24% 28% 2010-2012 Representatividade das citações a artigos de um ou 2 anos de idade de periódicos SciELO nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos
  • 28. Política Científica X Consumo de informação Utilizando todas as variáveis anteriores, recorrese à análise de clusters para reconhecer características comuns das Grandes Áreas! Rogério Mugnaini | SciELO 15 anos
  • 29. Política Científica X Consumo de informação Análise multivariada dos indicadores anteriores (política científica e consumo Rogério Mugnaini | SciELO Grandes Áreas de informação), para definição de clusters das 15 anos
  • 30. Política Científica X Consumo de informação Para cada cluster das Grandes Áreas, são identificados os indicadores cuja magnitude pode ser considerada Destacada, Alta ou Moderada! Rogério Mugnaini | SciELO 15 anos
  • 31. Política Científica X Consumo de informação Grande Área Ciências Agrárias Ciências Biológicas Ciências da Saúde Engenharias Ciências Exatas e da Terra Ciências Humanas Ciências Sociais Aplicadas Linguística, Letras e Artes Política científica (Qualis) Cluster Periódico Média (FI) Peso % Consumo de informação (SciELO) % jan. cit. % do tipo de documento Per. SciELO Per. SciELO Per. WoS Livros 1 2 3 4 5 Níveis de magnitude dos indicadores anteriores, segundo os clusters das Grandes Áreas. Níveis Moderado Alto Destacado Rogério Mugnaini | SciELO 15 anos
  • 32. Referências citadas MIRANDA, E. C. ; MUGNAINI, R. Scientific policy in Brazil: exploratory analysis of assessment criteria. In: 14th International Society of Scientometrics and Informetrics Conference, 2013, Vienna. Proceedings of the ISSI 2013. Vienna: AIT Austrian Institute of Technology GmbH, 2013. v. II. p. 15781586. MUGNAINI, R. ; SALES, D. P. Mapeamento do uso de índices de citação e indicadores bibliométricos na avaliação da produção científica brasileira. In: ENANCIB - Encontro Nacional de Pesquisa em Ciência da Informação, 2011, Brasília. Anais do XII ENANCIB - Encontro Nacional de Pesquisa em Ciência da Informação. Brasília: Thesaurus, 2011. v. 12. p. 2361-2372. Rogério Mugnaini | SciELO 15 anos
  • 33. Rogério Mugnaini mugnaini@usp.br  Este estudo é parte da pesquisa desenvolvida no âmbito do Programa Jovens Pesquisadores da FAPESP, intitulada: Link para o projeto: “Avaliação de produção científica no Brasil: estudo da comunicação científica nas diversas áreas e desenvolvimento de infraestrutura institucional” Rogério Mugnaini | SciELO 15 anos
  • 34. Scientific policy in Brazil: exploratory analysis of assessment criteria Elaine Cristina Pinto de Miranda1, Rogério Mugnaini1,2, 1 elainecpm@hotmail.com Universidade de São Paulo, Escola de Comunicações e Artes, Depto. de Ciência da Informação, Av. Prof. Lúcio Martins Rodrigues, 443, CEP 05508-020, São Paulo, SP, Brazil 2 mugnaini@usp.br Universidade de São Paulo, Escola de Artes, Ciências e Humanidades, Av. Arlindo Bettio, 1000, CEP 03828000,São Paulo, SP, Brazil Abstract Brazilian scientific evaluation process involves nowadays 3,000 postgraduate programs and almost 1,000 of ad hoc consultants from educational institutions of all regions of the country. Each triennial cycle, produces a lot of information, part of it qualitative, derived from the decisions of the committees of the 46 assessment areas. Our study proposes a documentary analysis of this documentation, in order to express contextual aspects of scientific communication process in each area. We aimed to compare the different scientific fields, due to the importance given to publication in scientific journals as well as its contrast to books and national journals importance. The results here presented show groups of Assessment Areas at different stages of the scientific communication process. We found that there are areas in which publications occurs primarily in indexed international journals, otherwise there are areas proposing specific criteria to evaluate the quality of national journals. There are also areas that are in the process of establishing their journals, and others are being forced to change the practice of publishing books and start publishing on journals. Conference Topic Science Policy and Research Evaluation: Quantitative and Qualitative Approaches (Topic 3) Introduction Since 1976, the Coordination of Higher Education Personnel Improvement (CAPES) is developing a national wide evaluation process of Brazilian postgraduate programs, which has been significantly improved between 1996 and 1997, in order to establish a triennial evaluation cycle since 1998. This is a huge effort considering that Brazil presents nowadays around 3,000 postgraduate programs. The evaluation process involves almost 1,000 of ad hoc consultants from educational institutions of all regions of the country, composing committees in 46 assessment areas of the different scientific fieldsi. Between the different aspects evaluated, scientific production is the one that most influence and determine the level of the postgraduate program (Souza & Paula, 2002). Follow up evaluations are done annually, and the final one, at the end of each triennial cycle, producing a lot of information published in the Coordination’s website: documents, tables and even raw bibliographic data. The information can be found in different levels of aggregation (researcher, postgraduate program, institution, assessment area and broad scientific area). Significant part of the information gathered by CAPES comes directly from Lattes Platformii – the curriculum database maintained by the National Council for Scientific and Technological Development (CNPq). The reliability of this process is based on policies that guarantee that the researchers will maintain their curriculum up-to-date periodically. It will refer about all information related to the scientific production, research projects, academic career, and any information inserted in the curriculum. The objective character of this type of information has served a diversity of scientometric analysis that has been widely published in important specialized information sources (Leite et al., 2011). The other part consists mainly of qualitative information, which composes the documentation derived from the decisions of the committees (CAPES, 2011), in order to define specific
  • 35. criteria to each assessment area. These committees are composed by the Area Representative at CAPES and ad hoc consultants, who are responsible for setting criteria for qualifying vehicles and their classification for subsequent use as an input to postgraduate program evaluation (Souza & Paula, 2002). This rich information reflects the consensus among the researchers, bringing in itself, the capability of express contextual aspects of scientific communication process in each area. Hicks (2004) argues that, although journal articles have its importance, in Social Sciences and Humanities, books publishing predominates, and due to its characteristics an ideal evaluation should consider what she calls the four literatures: journals, books, national and non-scholarly literature – being "national literature" the one developed in local context and "non-scholarly literature" the knowledge reaching out to application. These concerns are contemplated in CAPES documentation, which requires each area decide about setting specific criteria based in: (1) a book classification form, and; (2) a national citation index to infer quality of national journals. This study aims to compare the difference between the scientific communication process in the 46 areas of CAPES national assessment, based in the documentation derived from the decisions of the committees of each assessment area. More specifically it analyses the importance given to publication in scientific journals as well as its contrast to books and national journals importance. The next stage of this ongoing project aims to evaluate the whole Brazilian Scientific Community, including the scientific indicators derived from the Lattes Platform. Methodology An exploratory research was carried out, applying documentary analysis to the documents proposed by the committees of the 46 assessment areas, classified into nine broad subject areas, that are described on Figure 1. These documents are part of the Qualis, a set of procedures used by CAPES to realize a more systematic treatment and quality of scientific intellectual output of postgraduate programs aiming to improve the indicators that support the evaluation of these programs (Souza & Paula, 2002). Agricultural Sciences AGRICULTURAL SCIENCES ANIMAL SCIENCE / FISHING RESOURCES FOOD SCIENCE AND TECHNOLOGY VETERINARY MEDICINE Applied Social Sciences APPLIED SOCIAL SCIENCES ARCHITECTURE, URBAN PLANNING AND DESIGN BUSINESS, ACCOUNTING (SCIENCES ) AND TOURISM ECONOMICS LAW SOCIAL SERVICES / DOMESTIC ECONOMY URBAN AND REGIONAL PLANNING / DEMOGRAPHICS Biological Sciences BIOLOGICAL SCIENCES I BIOLOGICAL SCIENCES II BIOLOGICAL SCIENCES III ECOLOGY AND ENVIRONMENT Engineering AGRIC AN-SCI, FISH FOOD S&T VET-MED ENGINEERING I ENGINEERING II ENGINEERING III ENGINEERING IV ENG 1 ENG 2 ENG 3 ENG 4 Exact and Earth Sciences APP-SOC-SCI ASTRONOMY / PHYSICS ASTR, PHYS ARCHT, URB, DESN CHEMISTRY CHEM BUS, ACC, TOUR COMPUTER SCIENCE COMP ECON GEOSCIENCES GEOSC LAW MATH / PROBABILITY AND STATISTICS MATH, PROB, STAT SOC-SERV, DOM-ECON Health Sciences URB-REG-PLAN, DEMOG DENTISTRY DENT MEDICINE I MED 1 BIO 1 MEDICINE II MED 2 BIO2 MEDICINE III MED 3 BIO 3 NURSING NURS ECOL, ENV PHARMACY PHARM PHYSICAL EDUCATION PHYS-EDUC PUBLIC HEALTH PUB-HEAL Human Sciences ANTHROPOLOGY / ARCHAEOLOGY EDUCATION GEOGRAPHY HISTORY PHILOSOPHY / THEOLOGY POLITICAL SCIENCE AND INTERNATIONAL RELATIONS PSYCHOLOGY SOCIOLOGY Linguistics, Letters and Arts ARTS / MUSIC LETTERS / LINGUISTICS Multidisciplinar BIOTECHNOLOGY INTERDISCIPLINARY MATERIALS SCIENCE AND MATH TEACHING ANTR, ARCH EDUC GEOGR HIST PHIL, THEOL POL-SCI, INT-REL PSYCH SOCIOL ART, MUSC LETT. LING BIOTECH INTERD MATER-SCI SCI&MATH -TEACH Figure 1: List of acronyms of Assessment Areas and respective Broad Areas Qualis consists of the classification of vehicles in which the scholars of postgraduate programs publish their findings. Titles are analyzed and ranked according to criteria established by committees of area. According to Capes (2004), "is at the discretion of each area to decide on the category of vehicle used by it: there are areas that rank only journals, as there are those who classify other types of vehicles such as: annals, newspapers and magazines”. As one might expect, the relative importance of journals, against books and proceedings is a constant discussion of the committees of different assessment areas, that
  • 36. develops its own document based on the main guidelines from CAPES Board of Assessment. These documents are reviewed and approved by the Scientific Technical Council (CTC). The CAPES document is structured into six parts: a) Identification (Assessment Area, area coordinator, area assistant coordinator, modality); b) I. General considerations on the current stage of area; c) II. General considerations on the evaluation form for the respective triennium; d) III. General Considerations for Qualis journals, books classification form and criteria for usage and stratification of these documents in the assessment; IV. General Evaluation Form for the respective triennium; e) V. Considerations and definitions about assigning grades 6 and 7 (maximum) – international insertion. As this study intent to study the specific criteria to evaluate books and national journals, it considered the sections III and IV that are described below, from the last completed triennial assessment (2007 - 2009). Section III: consists in the defined criteria to (1) journals classification (A1, A2, B1, B2, B3, B4, B5 – where A1 and A2 are the core journals of each area, and C means "no value"). At one hand, the majority of the areas consider the journal Impact Factor from the Journal Citation Reports (JCR IF) as the main and unique indicator to define the core journals, while other areas value national journals indexed at SciELO (Scientific Electronic Library Online) database. On the other hand, some areas consider the book in its evaluation and also describe the books classification in a detailed (complex and controversial) way, defining the book classification form. A couple of areas still classify conference proceedings, even calculating specific indicators to do so - that is the case of Computer Science. Section IV: shows the general Evaluation Form. It is composed by five items and sub items that receive a weight for the whole evaluation, for example, in a specific area: 1. Proposal of the postgraduate program (0%); 2. Docent staff (20%); 3. Students Thesis and Dissertations (35%); 4. Intellectual Production (35%); 5. Social Inclusion (10%). Each area has the autonomy to set the weight of the items and sub items, in a weight range established at the main guidelines from CAPES Board of Assessment. In order to map the diverse attribution of relevance of scientific journals and books between the different assessment areas, the respective weights were analyzed (information gathered from item 4. Intellectual Production of Evaluation Form). The documents were obtained from CAPES Board of Assessment that sent the material on December 2012. Information of interest were: Broad Area (BA), Assessment Area (AA), the definition or not, by the AA of a detailed book classification form and the consideration about the presence of a journal at SciELO database as a quality criteria. As response variables were selected the JCR IF and the weight attributed to publication on scientific journal (that multiplied by the weight associated to Intellectual Production, gives the importance of publication in journal articles against all the other aspects of the general Evaluation Form). Findings and discussion The first variable analyzed concerns to the percentual weight of the publication on journals in relation to all aspects considered in the general Evaluation Form. Observing Figure 2 it is possible to see that the average weight assigned by the AAs of each BA is more significant (> 22%) for EXA and AGR, followed by SOC, ENG, MULT and HLTH (around 18%), and HUM e BIO (around 17.5%) and LLA (16%). The BAs showing more AAs (8) are HLTH and HUM. The data shows (figure not presented) that most AAs (58.6%) use books classification criteria and, contrarily, the majority (63,6%) do not consider being indexed in SciELO as a criteria for the journal classification on the highest stratum. But is interesting to note that SciELO is more used in areas that classify books (41.4%) than in areas that don’t classify (29.4%).
  • 37. Exact and Earth Sciences (EXA) - 5 25,0 Linguistics, Letters and Arts (LLA) - 2 20,0 Agricultural Sciences (AGR) - 4 15,0 10,0 Biological Sciences (BIO) -4 5,0 Applied Social Sciences (SOC) - 7 0,0 Human Sciences (HUM) 8 Health Sciences (HLTH) 8 Engineering (ENG) - 4 Multidisciplinar (MULT) 4 Figure 2. Broad Areas (and respective number of Assessment Areas) distributed by descendent average weight attributed to journal in the postgraduate program assessment. Another aspect to be mentioned is that the 17 AAs that do not classify books are mostly the so called hard sciences, assigning an average weight to journals in 20.3%. However, when considering the 29 AAs that classify books, the 5 Social Sciences areas attribute the highest average weight to journals (18.6%), followed by 9 hard sciences areas (18.0%) and finally by 3 Arts and Humanities areas (15.1%). Table 1 show areas that don’t use books classification criteria or SciELO indexing to classify journals on the highest stratum (Group 2) are those with highest weight for journal publications. This group concentrates 60% of EXA AAs and 50% of HLTH. It is the second group that requires higher average value of JCR IF to be at the highest stratum, presenting the largest JCR IF on BIO (BIO 3, with 4.9) and AGR (VET-MED, with 2.6). Areas that do not value books but consider indexing in SciELO as criteria for evaluating journals (Group 1) are those that require higher JCR IF as evaluation criteria of journals on the top stratum. We highlight the ASTR, PHYS require JCR IF 6.0 (the highest of EXA) and ENG 4 (IF 1.0) with the higher requirement across the ENG fields. The group concentrates 40% of EXA AAs and 50% of ENG. It should be emphasized that the presence ENG and COMP on this group is because they are areas that use mostly conference proceedings to disseminate their results, not considering either national journals or books – as consequence they require low JCR IF to classify journals. Group 3 shows AAs that classify books but do not consider SciELO indexing as evaluation criteria. It is possible to see that it is the most heterogeneous group and contains the majority of the AAs. Displays the BIOTECH area which requires JCR IF 5.0 (the highest into MULT). And Group 4 concentrates the most part of AAs in HUM (75%) and SOC (57%), and classifies books and considers indexing in SciELO as evaluation criteria. These areas do not often use the JCR IF as journals evaluation criteria on the highest stratum, except in GEOGR areas (IF of 0.5) and PUB-HEAL (IF of 4.0, the highest of HLTH). The evaluation of scientific production nationwide should consider the existing policy model as well as add the scientific communication specificities expressed in the practices of communities of different knowledge areas. The evaluation criteria should be appropriate to the different areas, and also to the national context, in order to give subsidies to a coherent science policy, in which the Brazilian scientific community has played an important role. As explains Trigueiro (2001), the scientific community, together with the state, contributed significantly to the establishment and consolidation of scientific and technological national base through scientific societies that now use the policy weapons, establishing: the institutions that support research, postgraduate programs, national plans and the current evaluation system itself. Already Guédon identifies the emergence of a power structure formed at the scientific
  • 38. field, whose components are institutions, associations and journals - that is involved in a dense and complex web of interactions and influences, characterizing the scientific field. "Institutions, associations and journals will also be relevant to any study of power and competition in the social sciences and the humanities, but they will not work in the same way as in science. Together, they form a national system of science" (Guédon, 2010, p. 26). Table 2. Distribution of Assessment Areas (and respective Broad Area) by journal weight and Impact Factor (JCR) required to get the highest stratum classification, grouped by usage or not of book classification form and/or national journal SciELO indexing Group 1: No books | Yes SciELO Broad Area Journal Assessment Area % Area weight (%) 14 BIO 25% BIO2 ASTR, PHYS 17.5 EXA 40% COMP 26 17.5 ENG 4 ENG 50% 17.5 ENG 3 Avarage 18.5 Group 2: No books | IF JCR 4.7 6 1.4 1 3.3 Broad Area % Area BIO 25% 50% EXA 60% AGR 50% MULT ENG Group 3: Yes books | HLTH 25% 25% No SciELO Broad Area Journal Assessment Area % weight (%) Area BIOTECH 16 MULT 50% 17.5 SCI&MATH -TEACH 15.8 BIO 1 BIO 50% 20 ECOL, ENV 22 FOOD S&T AGR 50% 22 AN-SCI, FISH 16 PHARM 16 HLTH 38% PHYS-EDUC 16 NURS ENG 25% ENG 1 17.5 BUS, ACC, TOUR 22.8 SOC 43% ECON 22.8 ARCHT, URB, DESN 16 PHIL, THEOL 17.5 HUM 25% EDUC 17.5 LETT. LING 20 LLA 100% ART, MUSC 12 Avarage 18.1 Journal weight (%) BIO 3 20 MED 2 20 MED 1 20 20 DENT 20 MED 3 21 CHEM 24 GEOSC 26 MATH, PROB, STAT 22 VET-MED 22 AGRIC 17.5 MATER-SCI 20 ENG 2 Avarage 21.0 Assessment Area Group 4: Yes books | IF JCR 5 4.1 3 2.6 2 3 1.9 0.8 0.8 0.5 2.4 Broad Area % Area HLTH 13% HUM 75% SOC 57% MULT 25% No SciELO 4.9 3.8 3.8 3.1 3 4 2.8 1 2.6 2 1 1 2.7 Yes SciELO Journal weight (%) PUB-HEAL 16 14 GEOGR 17.5 PSYCH 24 POL-SCI, INT-REL 20 SOCIOL 16 ANTR, ARCH 14 HIST 17.5 URB&REG-PLAN, DEMOG 16 SOC-SERV, DOM-ECON APP-SOC-SCI 16 LAW 16 INTERD 21 17.3 Avarage Assessment Area IF JCR IF JCR 4 0.5 2.3 At this context Qualis evaluation process is being developed, while it is always trying to adjust the criteria to the specificities of each area, but always seeking to establish a high standard of excellence, aiming to lead scientific production to most qualified vehicles. Currently it is required that the higher stratum of the journals (A1 and A2) must contain no more than 25% of the journals classified by the area and the number of journals comprising the stratum A1 must be smaller than those classified as A2. This restriction was promptly opposed by several areas - taking as an example the Public Health, because two very important national journals that are doomed to second stratum (A2), what is a problem in one area in which large percentage of the production is directed to the national reality and has no significant international impact (ABRASCO, 2008). However the last triennial evaluation
  • 39. document (2007-2009) shows a remarkable advance by considering national journals indexed in SciELO, as we observed on this study, mostly on Group 4. The outcome is in line with the evaluation studies carried out in some countries where there is also a preoccupation with differences between the areas and the different forms of communication. Among then we highlight Larivière et al (2006) who claim that "while the validity and appropriateness of bibliometric methods are largely accepted in the natural sciences, the situation is more complex in the case of the social sciences and humanities". To the authors, "evaluations based only on measures obtained from journal databases are more likely to be less than adequate for disciplines in which less than 50% of references are made to journal articles than for those in which these references account for more than 50%”. Final remarks The results here presented show groups of AAs at different stages of the scientific communication process. There are areas in which publications occurs primarily on indexed international journals, otherwise there are areas proposing specific criteria to evaluate the quality of national journals. There are also areas that are in the process of establishing their journals, and others being forced to publish on journals. Various adjustments can be observed in passing periods, and a longitudinal approach of this analysis will be undertaken soon. Acknowledgments We acknowledge FAPESP, that supports the Young Investigators Awards project, intitled Scientific assessment in Brazil: study of scientific communication in scientific areas - Grant number 2012/00255-6iii. References ABRASCO (2008). Nota do fórum de coordenadores de Programas de Pós-Graduação em saúde coletiva sobre o novo Qualis Periódicos. Saúde e Sociedade, 17 (4). CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2004). QUALIS: Concepção e diretrizes básicas. Revista Brasileira de Pós-Graduação, 1 (1), 149-151. Retrieved January 14, 2013 from: http://www2.capes.gov.br/rbpg/images/stories/downloads/RBPG/Vol.1_1_jul2004_/Qualis_ConcepcaoDiretrizes.pdf. CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2011). Critérios de avaliação. Retrieved December 7, 2011 from: http://www.capes.gov.br/avaliacao/criterios-de-avaliacao. Guédon, J. C. (2010). Acesso Aberto e a divisão entre ciência predominante e ciência periférica. In: Ferreira, S.M.S.P. & Targino, M.G. (Orgs). Acessibilidade e visibilidade de revistas científicas eletrônicas (pp. 21-77). São Paulo: Senac/CENGAGE Learning. Hicks, D. (2004). The four literatures of Social Science. Retrieved January 12, 2013 from: http://works.bepress.com/diana_hicks/16. Larivière, V. et al. (2006). The Place of Serials in Referencing Practices: Comparing Natural Sciences and Engineering with Social Sciences and Humanities. Journal of the American Society for Information Science and Technology, 57 (8), 997–1004. Leite, P.; Mugnaini, R.; Leta, J. (2011). A new indicator for international visibility: exploring Brazilian scientific community. Scientometrics. 88: 311-319. Souza E. P.; Paula M. C. S. (2002). QUALIS: a base de qualificação dos periódicos científicos utilizada na avaliação CAPES. INFOCAPES – Boletim Informativo da CAPES, 10 (2), 7-25. Retrieved August 1, 2011 from: http://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_2_2002.pdf. Trigueiro, M. G. S. (2001). A comunidade científica, o Estado e as universidades, no atual estágio de desenvolvimento científico tecnológico. Sociologias, 6, 30-50. i http://www.capes.gov.br/avaliacao/tabela-de-areas-de-conhecimento http://www.capes.gov.br/avaliacao/coleta-de-dados iii http://www.bv.fapesp.br/en/auxilios/48066/scientific-assessment-brazil-study-scientific/ ii
  • 40. COMUNICAÇÃO ORAL MAPEAMENTO DO USO DE ÍNDICES DE CITAÇÃO E INDICADORES BIBLIOMÉTRICOS NA AVALIAÇÃO DA PRODUÇÃO CIENTÍFICA BRASILEIRA Rogério Mugnaini, Denise Peres Sales RESUMO O objetivo deste estudo foi mapear o uso dos índices de citação e indicadores bibliométricos pelas se que 37 áreas de avaliação (ou 80,4% do total) pautam-se na Web of Science/Journal Citation Reports A1. O nível do Fator de Impacto mínimo exigido no referido de estrato varia de 6,0 (Astronomia / Física) mapeamento dos critérios das áreas de avaliação, nota-se alguma uniformidade nas grandes áreas. A utilização generalizada dos índices de citação inclui áreas de menor tradição de publicação internacional – Ciências Humanas e Ciências Sociais Aplicadas – que apesar de não se basear num indicador exige a indexação dos periódicos nos índices internacionais. O Índice H evidencia sua utilidade complementar ao Fator de Impacto (principalmente nas áreas da Saúde), mostrando assim o uso que vem se fazendo da Scopus, e sugerindo que outras áreas podem vir a fazer uso desta alternativa. Finalmente, destacase a importância de uma análise comparativa dos critérios de avaliação das diferentes áreas, uma vez que muitas críticas vêm sendo feita pelos pesquisadores da própria área, mas nem sempre pautadas nos logros já evidenciados por outras áreas de avaliação. Citação; Indicadores Bibliométricos. ABSTRACT This study aimed to map the usage of citation indexes and bibliometric indicators, by the diverse GT7 2361
  • 41. Physics) to 0.5 (Business Administration, Accounting & Tourism and Geography). Most of the areas do not mention the JCR edition used. Despite of the diversity of the presented scenario showed by areas. The generalized utilization of citation indexes includes areas less internationally productive – Humanities and Applied Social Sciences – that require journal indexing in international indexes, instead of setting a level to an indicator. H index begins to be used to complement the Impact Factor (principally in Health Sciences), showing the Scopus utilization, and suggesting an alternative way to other areas. Finally, we highlight the importance of a comparative analysis of the evaluation criteria of different areas, since many criticisms have been made by researchers of their own area, but has not always been as evidenced by achievements in other areas of evaluation. Keywords: 1 INTRODUÇÃO O processo de Avaliação da Pós-Graduação no Brasil vem sendo desenvolvido ao longo dos últimos 35 anos pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes) (MOREIRA; HORTALE; HARTZ, 2004; SPAGNOLO; SOUZA, 2004). Porém, uma reformulação PAULA, 2002, p. 7). veículos utilizados pelos programas de pós-graduação para publicação de sua pesquisa. Este processo (SOUZA; PAULA, 2002; CAPES, 2004). Um olhar atento aos critérios propostos, a partir dos documentos de área (CAPES, 2011b), diversidade também poder ser observada a partir dos diversos artigos publicados na Revista Brasileira de Pós-Graduação, que criticam ou oferecem alternativas ao esquema de avaliação da respectiva área, a cada triênio. observado desde o triênio 2001 - 2003, principalmente nas ciências Exatas, Biológicas e Saúde (MUGNAINI, 2006). Apesar dos resultados de Mugnaini sinalizarem que os critérios pautavam-se no Fator de Impacto, tal constatação se deu a partir da observação da média do indicador para os periódicos dos diferentes estratos – uma vez que os documentos de algumas áreas começavam a GT7 2362
  • 42. sinalizar o uso do Fator de Impacto entre os critérios de avaliação dos periódicos naquele triênio1. No triênio mais recente (2007 - 2009) os documentos são muito mais detalhados e permitem análises deste e de outros aspectos dos critérios. A comodidade do uso do indicador é um consenso em algumas áreas, mas é alvo de muitos questionamentos em outras, como é caso das subáreas de Ciências Biológicas I, taxonomia e sistemática biológica, nas quais as citações passam a ser concedidas normalmente após os dois anos considerados no cálculo do Fator de Impacto (MELO; CARVALHO, 2005). Já Alves (2004), completa advertindo fracassada, uma vez que são raras as revistas que aceitam trabalhos taxonômicos restando, para os trabalhos nessa área os níveis menos valorizado nos critérios de avaliação. Rosa (2010) analisou os critérios de avaliação da área de Educação Física, que segundo a autora revela múltiplas identidades, uma vez que suas origens estão nas Biologia, História Natural e Física, e mais recentemente passa a agregar saberes das Ciências Humanas. Essa diversidade foi observada na produção pautados no nível das revistas internacionais de Ciências Biológicas. Apesar do uso do Fator de Impacto por parte de algumas áreas, nota-se que diversas bases de dados são consideradas para avaliação dos periódicos. Dentre elas, os índices de citação têm proeminência, e o uso de variados indicadores de citação se torna cada vez mais recorrente, já podendo ser observado mesmo entre as Ciências Humanas e Sociais Aplicadas. Quatro índices de citação vêm sendo utilizados pelas áreas: Web of Science (WoS), Scopus, SciELO e Google Acadêmico (usado apenas pela Ciência da Computação); e algumas fontes de indicadores deles decorrentes: Journal Citation Reports (JCR) – produto da WoS –, e SJR - SCImago Journal & Country Rank – que usa a base Scopus como fonte de dados. desenvolvendo um importante papel no processo de desenvolvimento dos periódicos nacionais, Deve-se destacar o processo de seleção de novos periódicos, cujos critérios2 têm dinamizado o desenvolvimento dos periódicos nacionais. Permite que editores possam avaliar o impacto nacional dos periódicos, valendo-se de um Módulo de Bibliometria com indicadores similares aos do JCR. A Scopus é a alternativa mais recente, oferecida pela Elsevier, editora comercial, com uma proposta de disponibilizar uma cobertura mais abrangente de periódicos nacionais e regionais – principalmente aqueles publicados em países de língua não-inglesa, consistindo o principal diferencial 1 Avaliação Trienal 2004 (triênio 2001 - 2003). Disponível em <http://www.capes.gov.br/avaliacao/criterios-de-avaliacao/2285>. Acesso em 01 ago. 2011. GT7 2363
  • 43. SCImago, tem cooperado para a divulgação da base no Brasil, dada a disponibilidade de uma série de novos indicadores bibliométricos3 a partir dos dados daquela base. Em especial o SCImago Journal pelo fato da Scopus indexar um maior número de periódicos nacionais, em comparação com a WoS. Porém esta vantagem da Scopus vem sendo superada pela Thomson Reuters4 critérios de seleção de periódicos da WoS para aumento da cobertura, passando a incluir periódicos que tratam de temáticas de reconhecida importância em nível regional – a expansão ocorreu no período de 2007 a 2009 e fez com que o Brasil, de 27 periódicos indexados em 2005, viesse a alcançar a marca de 132 periódicos em 2010 (TESTA, 2011). Até então, essa exigência focava o reconhecimento mundial, ou a ciência mainstream, porém seus critérios não eram explicitados publicamente. Todas estas iniciativas deram lugar à recente indexação de um número considerável de dos documentos de área publicados no Qualis. 2 METODOLOGIA O método de pesquisa utilizado foi o de análise de conteúdo (LEVIN; FOX, 2004), tendo com material de análise os documentos de área propostos pelas comissões das 46 áreas de avaliação do oferecem, os documentos foram descarregados do sítio web da Capes5 entre os meses de maio e julho de 2011. Foi elaborada uma planilha em Microsoft® Excel 2007 para coleta, registro e armazenamento dos dados de cada uma das áreas de avaliação. uma vez que a grande incidência de uso de índices de citação ocorre neste estrato. Somente em alguns casos, como por exemplo a área de Direito, a condição envolveu também o estrato A2, uma vez que este extrato exige indexação na WoS, Scopus ou SciELO, e o estrato A1 exige que o periódico supere As informações de interesse foram: Área de avaliação Qualis; Grande área; Índice(s) de citação e Indicador(es) bibliométrico(s) utilizado(s) e respectivo valor. 3 SCImago. SJR - SCImago Journal & Country Rank. Disponível em: <http://www.scimagojr.com>. Acesso em 01 ago. 2011. 5 Avaliação Trienal 2010 (triênio 2007 - 2009). Disponível em <http://www.capes.gov.br/avaliacao/documentos-de-area->. Acesso em 01 ago. 2011. GT7 2364
  • 44. 3 RESULTADOS que as Ciências da Saúde, Humanas e Sociais Aplicadas são as que apresentam maior número de áreas de avaliação Qualis, enquanto que Lingüística, Letras e Artes apresenta o menor número, e as Quanto ao uso das bases de dados, 37 áreas de avaliação (ou 80,4% do total) pautam-se na o número de áreas de avaliação é de 17 (37%) e 18 (39,1%), respectivamente. de Ciências Agrárias, Biológicas, Saúde, Exatas e da Terra e Engenharias. Na área Multidisciplinar Ciências e Matemática; seguido da área de Ciências Sociais Aplicadas, com 71,4% de áreas que usam a base, com duas exceções: Arquitetura e Urbanismo e Planejamento Urbano e Regional / e Artes, que não considera nenhuma base para composição de seu Qualis. Quanto à utilização das bases SciELO e Scopus nota-se um padrão de uso muito similar. Deve-se portanto, destacar o uso mais acentuado da Scopus na composição dos critérios de área e avaliação de Ciências da Saúde; e da SciELO em áreas de Ciências Exatas e da Terra, Multidisciplinar e Ciências Humanas. Uma análise mais detalhada das áreas de avaliação que utilizam estas bases será apresentada mais adiante. de periódicos do estrato A1, segundo grande área do conhecimento e número de áreas de avaliação Qualis.      §        § ¡    §  # " ! §   §  © ¨ §    ' $ &  %  $   §    £ ¡ ( $ '    1 3   0 )     ©  ¨ § ' ¦    1 A §  ¨  §   §  G   U 4 T © R '  S © G )  R Q P I H § ' 1 1  B  6  © § A     ©  @ 6 9   §  © ¨ § ¦   ¦    ( §  §     ¢ ¦ © C D £ 2  ' ¤  ¡  §  2365  ¨ ' £ ¡  © ¥ ¦ ¡     G     G © F § " 7 §  8  §  !  %  $ §  1  $ "  §  6   § © " ¨ 7 § ¦  5 E GT7
  • 45. Ao analisar o Quadro 1 pode-se perceber que a maioria das áreas utilizam o Fator de Impacto Sociais Aplicadas e Humanas apenas exige que o periódico esteja no JCR; como exceções, as áreas um Fator de Impacto mínimo de 0,5; e a Economia (Sociais Aplicadas) compôs um ranking de citação Quanto ao nível do Fator de Impacto, 6,0 é o valor mais alto (Astronomia / Física) e 0,5 o mínimo (áreas supracitadas). Analisando as grandes áreas do Quadro 1 pode-se notar uma concentração de áreas de Ciências Biológicas, seguidas de áreas de Ciências da Saúde, Ciências Agrárias e Engenharias. sob a grande área Multidisciplinar (com destaque para a área de Biotecnologia, na segunda posição). do estrato A1, segundo grande área do conhecimento e área de avaliação Qualis. GT7 2366
  • 46. Ao se considerar o valor adotado para composição do critério, pelas diversas áreas, evidenciase um ordenamento das grades áreas, tendo as Ciências Biológicas com maiores valores, seguida das Ciências da Saúde, Exatas, Agrárias e Sociais e Humanas. Tal ordenamento é aproximadamente observado quando se compara, tanto o Índice H dos pesquisadores da Academia Brasileira de Ciências (MUGNAINI; PACKER; MENEGHINI, 2008), quanto a tendência de publicação internacional dos pesquisadores, a partir dos currículos Lattes (LEITE; MUGNAINI; LETA, 2011). • apresentam dois níveis de Fator de Impacto: maior exigência quando o periódico é de outra área (Educação Física, Enfermagem e Engenharia IV); • apresentam dois níveis de Fator de Impacto: de acordo com subáreas (Ciências Biológicas I); • considera em conjunto com o Fator de Impacto o indicador Meia-Vida: exigindo que o alto nível de citação que o periódico recebe de se manter por um período mais longo, após a publicação do mesmo (Matemática / Probabilidade e Estatística); • baseia-se na mediana do Fator de Impacto de todos os periódicos informados no Coleta Capes. documentos da maioria das áreas de avaliação (caso observado em 20 das áreas), não sendo possível inferir que edição foi efetivamente consultada. As edições citadas são dos anos 2008 (5 áreas), 2007 (4 áreas) e 2006 (1 área), e a área de Astronomia / Física é uma exceção, que utiliza a média do Fator de Impacto das edições de 2005 a 2007. a c ` ` Y X W ` ` Y X W V V X W V b d ` e ` ` Y X W Y V f h ` b i ` c Y ` g X ` W V Y r q p f q t s e u As edições do JCR são divulgadas normalmente em meados do ano posterior. Dessa forma, GT7 2367
  • 47. pode-se imaginar que a última versão recente pode ter sido a escolhida pelas áreas, o que não pode Com respeito aos demais índices de citação utilizados, e considerando que o Google Acadêmico é utilizado apenas pela área de Ciência da Computação, resta avaliar uso que vem sendo feito das bases Scopus e SciELO. O Quadro 2 permite observar que 24 áreas de avaliação (ou 52,2%) não utilizam nenhuma das duas bases, e destas, apenas 6 áreas tampouco utilizam o JCR/WoS – ou seja, não Educação (Ciências Humanas), Arquitetura e Urbanismo (Ciências Sociais Aplicadas), Letras / Linguística e Artes / Música (Linguística, Letras e Artes), Ensino de Ciências e Matemática (Multidisciplinar). Por outro lado, quatro áreas não usam Scopus, mas usam SciELO: Astronomia / Física (Ciências Exatas e da Terra), Antropologia / Arqueologia (Ciências Humanas), Planejamento Urbano Ao contrário, existem cinco que usam somente Scopus: predominando áreas de Ciências da Saúde, que são Odontologia, Farmácia, Enfermagem e Educação Física; e uma área de Ciências Sociais Aplicadas (Administração, Ciências Contábeis e Turismo). estrato A1, apenas Sociologia não utiliza JCR/WoS. Entre as doze restantes, que fazem uso das três bases, é interessante destaca cinco, que apenas consideram a indexação nas mesmas, em detrimento de um indicador: Ciência Política e Relações Internacionais e História (Ciências Humanas); e Psicologia, Direito e Serviço Social (Ciências Sociais Aplicadas). E pelo fato do Índice H ser o único indicador utilizado de forma alternativa – ou complementar – ao Fator de Impacto, o Quadro 3 permite observar as áreas de avaliação que o utilizam, assim como a base de dados de onde se obteve o mesmo. Pode-se perceber que predominam áreas de Ciências da Saúde , conforme já se havia observado índice H, enquanto que a Ciência da Computação, conforme já se havia mencionado, utiliza-o na composição se seu próprio indicador. Vale observar que estas seis áreas consideram também o Fator de Impacto no JCR, bastando portanto o periódico cumprir uma das condições – valor mínimo do Fator de Impacto ou do Índice H. de avaliação de periódicos do estrato A1, segundo grande área do conhecimento e número de áreas de avaliação Qualis. GT7 2368
  • 48. GT7 2369 menção “SCOPUS” não permite descartar a possibilidade da área ter utilizado dados do SCImago. Merecem atenção as menções à base, que variam entre “SCOPUS” e “SCOPUS/SCImago”. Os documentos não deixam claro se o uso do SCImago leva à adoção do segundo termo “SCOPUS/ SCImago”, pelo fato do grupo SCImago utilizar a Scopus como fonte de dados; e por outro lado a ’ ‚ „  ~ ‘  z y  ~ ‚ †  ~ Ž  Š ‰ ~ Š Œ ‹ Š €  ~ } z | { ~ } z | { f  ‰ † ™ r ’ ‘ †  †  ‰ † ” ˜  g s ‘  ˆ † i ‰ “ ‡ ˆ ‡ ˆ ‡ ˆ ‡ ˆ ˆ ~ } z | ‚ „ …  ‡ ˆ  „ …  ƒ ‘ ‘ ‡ ˆ ‰ ‚ ˆ € e q e ‡ ˆ ‚ j † … ‡ ‘  ˆ  p o n ‘  † ‰ † … „ … ƒ  ” ” i m  f i ‘  l  k j ‘  † ‰ † ‚ … „ … ƒ i ƒ ‘ f  ‰ h  † g “ d  ™ ˜ f † ‘ —  ‘  † ‰ † ‰ † … € ‘  f  ‰ † ™ r ’ ‘ †  † ‰ ˜ g ‘  † ‰ †  ~ } z | f h  g  f ‘  † ‰ { z y x … z i † y x …  € €  ~ } z | {  f  ‰ † ™ r  ’ ‘ ˆ † †  ™ † r † ‰ ‰ ˜ ‘ g † f ‘  † ™ l † o ‰  ~ } z | { z y x „ … ” ‘ ™ l ‚ … † ‡ ƒ – † ‚ ƒ ƒ ‚ w ‡ ˆ ‡ ˆ ‡ ˆ † … „ … ƒ ‘ ƒ  ‚ ” ” i m   f ˆ  i ‘ p  o l n  k ‘ j  ‘  † ‰ † ‰ † … € ”  ˆ † ™ r † ‰ ‘ † f † ‚ … †  e o  ~ } z | { z y x w z q ‘ i l ” ’ i ‘  ” l i t v q  ‘ q ‘  f  ‰ † ™ r ’ ‘ †  †  ‰ ‰ † † ” ˜ l  ‘ u o s g ‘ “ ˆ  † i ‰ ˆ † “ ˆ ‡ ˆ ‡ ˆ ‡ ˆ ‡ ˆ ‡ ˆ ‡ ˆ  ~ ‘  ‘  ” ” i m   f ˆ y  ~  ~ Ž  i ‘ i ‘ f  ‰ p  h d † n  k g “  o l  † ‘ z ‚ ˜ • ‘ j f † ”  ‘  ™ ”  ‘ —  ‘ “ ’  ‘  † ‰ † ‰ † ‰ † ‰ † ‰ y x t j † … z q e e e – „ † y x … † … † … † … † …  ‚ x ~ Š Œ ‹ Š ‰ x ~ „ ƒ ‚  v v € y x z y  ~ – Š ‰ x Š ‰ „ Š „ „ ~ Š Œ ‹ Š ‰ z Œ v ~ • ‚ ‰ w Œ — Š Š ” … “
  • 49. do estrato A1, segundo base para cômputo do indicador, grande área do conhecimento e área de avaliação Qualis.    £ ¢  š ™   £ ¬ ¡ › ¦   « ª © ¨ §   › ¦   ¥ ¤  ´ ´ š ³ ³ ² ½   ­  £ ± ¼ ¢ ­ ­  ° » ¯ º ­ ´ ® ¡   Ÿ ž  œ › š ™ ˜ ­ ¸ ® ¸ · ­ Ð ¶ Í Õ È µ È Í É È Ä Ç Æ Å Ä µ ¶ ¹ µ ¶ µ ¶ ² ¿ ´ Á ³ ´ ¼ ¹ ° ¿ ± ¾ ¹ ­ ¶ ¸ ¹ ® ¹ ¯ À ¶ ¸ µ ­ µ ´ ¹ · µ · µ ­ ¶ µ Ã Ì É È Í È Ç Ë Ä É Ä È Ä Ç Ê µ É È Ä Ç Æ Å Ä ¶ ­ ³ ¿ ¸ µ ° ¾ Î Î Î Ð ° Ð ­ » º ´ ° ¸ · ­ ´ ® ´ ³ ¯ Ò Ð È Í É È Ô È Ó ¹ É È Ä Ç Æ Å Ä ¶ ¿ ¶ ¶ Ï Ë Î · ³ Ê È Â ´ Í È Ç Ä Í Æ Ä ¶ Ê Ð Ê Ç Ä Ñ Ä Ç Ë Ð É 4 CONSIDERAÇÕES FINAIS alguma uniformidade entre os critérios de áreas de avaliação pertencentes a uma mesma grande área. Já se percebe que os índices de citação vêm sendo adotados amplamente – mesmo em áreas que não faziam uso dos mesmos em triênios anteriores, como Ciências Humanas e Ciências Sociais Aplicadas – ainda que não se paute num indicador, e se limite na exigência que o periódico seja indexado na base de dados. O Fator de Impacto é utilizado na maioria das áreas, o que já era se podia esperava dada a tradição e popularidade do JCR, contudo não existe consenso sobre a edição do JCR utilizada para Impacto, mostrando assim o uso que vem se fazendo da Scopus, e sugerindo que outras áreas podem vir a fazer uso desta alternativa. Finalmente, destaca-se a importância de uma análise comparativa entre as diferentes áreas, uma vez que muitas críticas vêm sendo feita pelos pesquisadores da própria área, mas nem sempre pautadas nos logros já evidenciados por outras áreas de avaliação. Longe de almejar uma metodologia padronizada, podem ser propostos ajustes para adequação dos critérios, que têm resultado de um árduo debate dentro de cada área, por cada comissão dos diversos triênios. GT7 2370
  • 50. 5 REFERÊNCIAS BIBLIOGRÁFICAS JC e-mail, n. 2646, 12 nov. 2004. Disponível em: <http://www.jornaldaciencia.org.br/Detalhe.jsp?id=23144>. Acesso em 01 ago. 2011. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes). WEBQUALIS, BBS (site). Disponível em: <http://qualis.capes.gov.br/webqualis>. Acesso em: 1 ago. 2011a. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes). CRITÉRIOS DE AVALIAÇÃO, BBS (site). Disponível em: <http://www.capes.gov.br/avaliacao/ criterios-de-avaliacao>. Acesso em: 1 ago. 2011b. COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes): Diretoria de Avaliação. QUALIS: Concepção e diretrizes básicas. Revista Brasileira de Pós-Graduação, v. 1, n. 1, p. 149-151, 2004. Disponível em: <http://www2.capes.gov.br/rbpg/images/stories/downloads/ RBPG/Vol.1_1_jul2004_/Qualis_ConcepcaoDiretrizes.pdf>. Acesso em: 1 ago. 2011. LEITE, P.; MUGNAINI, R.; LETA, J. A new indicator for international visibility: exploring Brazilian Scientometrics, v. 88, p. 311-319, 2011. LEVIN, J.; FOX, J. A Estatística para Ciências Humanas, 9a ed. São Paulo: Prentice Hall, 2004. MELO, G. A. R.; CARVALHO, C. J. B. Impacto Profundo: o que o fator de impacto não nos revela. JC e-mail, n. 2921, 22 dez. 2005. Disponível em: <http://www.jornaldaciencia.org.br/Detalhe. jsp?id=34047>. Acesso em 01 ago. 2011. MOREIRA, C. O. F.; HORTALE, V. A.; HARTZ, Z. A. Avaliação da pós-graduação: buscando consenso. Revista Brasileira de Pós-Graduação, v. 1, n. 1, p. 26-40, 2004. Disponível em: <http:// www2.capes.gov.br/rbpg/images/stories/downloads/RBPG/Vol.1_1_jul2004_/26_40_avaliacao_da_ posgraduacao.pdf>. Acesso em: 12 set. 2006. MUGNAINI, R. impacto nacional versus internacional. São Paulo, 2006. 253 p. Tese (Doutorado em Ciência da Informação) - Escola de Comunicações e Artes. Universidade de São Paulo, 2006. Disponível em: <http://www.teses.usp.br/teses/disponiveis/27/27151/tde-11052007-091052/publico/TESE_ mugnaini_r.pdf>. Acesso em: 01 ago. 2011. MUGNAINI, R.; PACKER, A.L.; MENEGHINI, R. Comparison of scientists of the Brazilian Academy of Sciences and of the National Academy of Sciences of the USA on the basis of the h-index. Braz J Med Biol Res, Ribeirão Preto, v. 41, n. 4, 2008. Disponível em <http://www.scielo. br/scielo.php?script=sci_arttext&pid=S0100-879X2008000400001&lng=pt&nrm=iso>. Acesso em: 01 ago. 2011. GT7 2371
  • 51. ROSA, S. P. . Rio de Janeiro, 2010. 197 p. Tese (Doutorado em Ciências . Área de concentração: Educação, Gestão e Difusão em Biociências) - Universidade Federal do Rio de Janeiro, Instituto de Bioquímica Médica, 2010. Disponível em: <http://www.dominiopublico.gov.br/pesquisa/DetalheObraForm.do?select_ action=&co_obra=181373>. Acesso em: 01 ago. 2011. na avaliação CAPES. INFOCAPES – Boletim Informativo da CAPES, v. 10, n. 2, p. 7-25, 2002. Disponível em: <http://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_2_2002. pdf>. Acesso em 1 ago. 2011. SPAGNOLO, F.; SOUZA, V. C. O que mudar na avaliação da Capes? Revista Brasileira de PósGraduação, v. 1, n. 2, p. 8-34, 2004. Disponível em: <http://www2.capes.gov.br/rbpg/images/stories/ downloads/RBPG/Vol.1_2_nov2004_/08_34_o_que_mudar_na_avaliacao_capes.pdf>. Acesso em: 12 set. 2006. TESTA, J. The Globalization of Web of Science. Thomson Reuters Expert Essays, 2011. Disponível em: <http://wokinfo.com/products_tools/multidisciplinary/webofscience/contentexp/expansionessay/>. Acesso em 01 ago. 2011. Regional Content Expansion in Web of Science: Opening Borders to Exploration. GT7 2372