Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais

Consumo de informação e
critérios de avaliação:
o desempenho dos
periódicos nacionais
Rogério Mugnaini

Introdução
 Consumo de informação
na produção científica
 A análise exploratória das
referências bibliográficas
dos artigos ao longo do
tempo revelam a
tipologia documental
mais prevalente em cada
área, assim como sua
obsolescência.

 Política Científica

 O conhecimento destas
peculiaridades (consumo
de informação) permite
às comunidades
científicas das diversas
áreas a incrementarem
seu complexo sistema de
avaliação.

Rogério Mugnaini | SciELO 15 anos

Metodologia
• Consumo de informação na produção
científica brasileira
– A análise estatística descritiva das referências
bibliográficas dos artigos de autores brasileiros na
Rede SciELO;
– Período: 2004-2012, correspondente aos últimos
3 triênios de avaliação da Capes.


Metodologia
• Política Científica brasileira
– Informação qualitativa, derivada das decisões dos comitês,
que definem os critérios específicos para avaliação de
produção científica de cada área.
– Análise documental dos documentos de área propostos
pelas comissões das 46 Áreas de Avaliação do Qualis
(triênio 2007 - 2009).
– Rica fonte de informação, fruto de consenso entre os
pesquisadores, que oferece os aspectos contextuais do
processo de comunicação científica de cada área.

Metodologia
– Política Científica brasileira
• Relevância dos seguintes quesitos para definição de critérios:
livros > periódicos científicos > bases de dados e Fator de Impacto

– Consumo de informação na produção científica
brasileira
• Obsolescência da literatura (percentual de citações a
documentos recentes – 1 e 2 anos);
• Peso atribuído a periódicos científicos na avaliação geral do PPG;
• Prevalência das citações a:
livros >
periódicos científicos indexados (SciELO ou Web of Science) ou não

Política Científica brasileira
• Estudo dos critérios para classificação dos periódicos (Qualis) das
diferentes Áreas de Avaliação de cada uma das Grandes Áreas?
Agricultural Sciences
AGRICULTURAL SCIENCES
ANIMAL SCIENCE / FISHING RESOURCES
FOOD SCIENCE AND TECHNOLOGY
VETERINARY MEDICINE
Applied Social Sciences
APPLIED SOCIAL SCIENCES
ARCHITECTURE, URBAN PLANNING AND DESIGN
BUSINESS, ACCOUNTING (SCIENCES ) AND TOURISM
ECONOMICS
LAW
SOCIAL SERVICES / DOMESTIC ECONOMY
URBAN AND REGIONAL PLANNING / DEMOGRAPHICS
Biological Sciences
BIOLOGICAL SCIENCES I
BIOLOGICAL SCIENCES II
BIOLOGICAL SCIENCES III
ECOLOGY AND ENVIRONMENT

Engineering
AGRIC
AN-SCI, FISH
FOOD S&T
VET-MED

ENGINEERING I
ENGINEERING II
ENGINEERING III
ENGINEERING IV

ENG 1
ENG 2
ENG 3
ENG 4
Exact and Earth Sciences
APP-SOC-SCI
ASTRONOMY / PHYSICS
ASTR, PHYS
ARCHT, URB, DESN
CHEMISTRY
CHEM
BUS, ACC, TOUR
COMPUTER SCIENCE
COMP
ECON
GEOSCIENCES
GEOSC
LAW
MATH / PROBABILITY AND STATISTICS MATH, PROB, STAT
SOC-SERV, DOM-ECON
Health Sciences
URB-REG-PLAN, DEMOG DENTISTRY
DENT
MEDICINE I
MED 1
BIO 1
MEDICINE II
MED 2
BIO2
MEDICINE III
MED 3
BIO 3
NURSING
NURS
ECOL, ENV
PHARMACY
PHARM
PHYSICAL EDUCATION
PHYS-EDUC
PUBLIC HEALTH
PUB-HEAL

Human Sciences
ANTHROPOLOGY / ARCHAEOLOGY
EDUCATION
GEOGRAPHY
HISTORY
PHILOSOPHY / THEOLOGY
POLITICAL SCIENCE AND INTERNATIONAL RELATIONS
PSYCHOLOGY
SOCIOLOGY
Linguistics, Letters and Arts
ARTS / MUSIC
LETTERS / LINGUISTICS
Multidisciplinar
BIOTECHNOLOGY
INTERDISCIPLINARY
MATERIALS
SCIENCE AND MATH TEACHING

Lista de acrônimos (em inglês) das Áreas de Avaliação e respectivas Grandes Áreas

ANTR, ARCH
EDUC
GEOGR
HIST
PHIL, THEOL
POL-SCI, INT-REL
PSYCH
SOCIOL
ART, MUSC
LETT. LING
BIOTECH
INTERD
MATER-SCI
SCI&MATH -TEACH


Quais índices de citação são utilizados
pelas diferentes Áreas de Avaliação
das Grandes Áreas?


Ciências Agrárias (4)
Linguística, Letras e
Artes (2)

100%
75%

Ciências Biológicas
(4)

50%
25%

Ciências Humanas (8)

Ciências da Saúde (8)

0%

Ciências Sociais
Aplicadas (7)

Ciências Exatas e da
Terra (5)

Multidisciplinar (4)

WoS

Engenharias (4)

SciELO

SCOPUS

(Mugnaini e Sales, 2011)

Mapeamento da utilização de bases de dados para definição de critério de avaliação
de periódicos do estrato A1, segundo Grande Área e número de Áreas de Avaliação.

Quais Áreas de Avaliação
• Definem critérios para avaliação de livros
• Consideram a indexação na SciELO como critério de
qualidade
?
E qual o peso atribuído a
• Periódicos, em relação ao total de pontos de avaliação dos
Programas de Pós-Graduação
?
E qual o valor do Fator de Impacto exigido
para o estrato mais alto (A1)?

SciELO SIM
Grande
Área
BIO

Área de
Avaliação
25% BIO2
%

EXA

ASTR, FÍS
40% COMP

ENG

ENG 4
50% ENG 3

Média

Livro NÃO

SciELO NÃO

Peso
Peso
Grande
Área de
FI JCR
%
FI JCR
Periódico
Periódic
Área
Avaliação
14
4.7 BIO 25% BIO 3
20
4.9
MED 2
20
3.8
MED 1
20
3.8
SAÚ 50% ODONT
20
3.1
MED 3
20
3
17.5
6
QUÍM
21
4
26
1.4 EXA 60% GEOC
24
2.8
MAT, PROB, ESTAT
26
1
MED-VET
22
2.6
AGR 50% AGRIC
22
2
MULT 25% CI-MATER
17.5
1
17.5
1 ENG 25% ENG 2
20
1
17.5
-

18.5

3.3

Média

21.0

2.7

Diversos critérios de avaliação utilizado pelas diversas Áreas de Avaliação,
dentro das Grandes Áreas.

(Miranda e Mugnaini, 2013)

Livro SIM
SciELO NÃO
Grande
Área

%

MULT

50%

BIO

50%

AGR

50%

SAÚ

38%

ENG

25%

SOC

43%

HUM

25%

LLA

100%

Área de
Grande
Área de
Peso
Peso
FI JCR
%
FI JCR
Avaliação Periódico
Área
Avaliação
Periódic
BIOTEC
16
5 MULT 25% INTERD
21
ENS-CI&MAT
17.5
BIO 1
15.8
4.1
ECOL, AMB
20
3
C&T ALIM
22
2.6
ZOOT, PESC
22
2
FARM
16
3 SAÚ 13% SAÚ-PUB
16
4
EDUC-FÍS
16
1.9
ENF
16
0.8
ENG 1
17.5
0.8
ADM, CONT, TU
22.8
0.5
URB&PLAN-REG, D
17.5
ECON
22.8
SERV-SOC, ECON-D
16
SOC 57% CI-SOC-AP
ARQ, URB, DES
16
16
DIR
16
FIL, TEOL
17.5
GEOGR
14
0.5
EDUC
17.5
PSIC
17.5
CI-POL, REL-INT
24
HUM 75% SOCIOL
20
ANTR, ARQ
16
HIST
14
LING, LET
20
ART, MUSC
12
-

Média

... continuação

SciELO SIM

18.1

2.4


Média

17.3

2.3

(Miranda e Mugnaini, 2013)

Qual o valor médio de Fator de Impacto
exigido pelas Áreas de Avaliação de cada
Grande Área?
Áreas de Avaliação que avaliam livros
apresentam diferente nível de exigência do
Fator de Impacto?

Média do
Fator de Impacto
das Áreas
de Avaliação

Linguística, Letras e Artes
Ciências Humanas
Ciências Sociais Aplicadas
Engenharias
Ciências Agrárias
Ciências da Saúde
Multidisciplinar
Ciências Exatas e da Terra
0,000

1,000
Livro Não

2,000

3,000

4,000

5,000

6,000

Livro Sim

Média do Fator de Impacto utilizado , pelas diversas Áreas de Avaliação das
Grandes Áreas, como critério de classificação de periódicos do mais alto estrato
(A1).

Qual o valor médio do peso atribuído a
periódicos científicos na avaliação geral do
Programa de Pós-Graduação definido pelas
Áreas de Avaliação de cada Grande Área?
Áreas de Avaliação que destacam periódicos
SciELO apresentam diferente nível de peso
atribuído a periódicos?

Média do
Peso (%) dos
periódicos
nas Áreas
de Avaliação

Ciências da Saúde
Ciências Humanas
Engenharias
Multidisciplinar
Ciências Agrárias
0,0

5,0
SciELO Não

10,0

15,0

20,0

SciELO Sim

Média do peso percentual atribuído à produção em periódicos, pelas diversas
Áreas de Avaliação das Grandes Áreas.

25,0

Consumo de informação na produção
científica brasileira (tipo de documento citado)

Quais são os tipos de documento mais citados
nos artigos de brasileiros publicados nos
periódicos da Rede SciELO das diferentes
Grandes Áreas?


0%

20%

40%

60%

80%

100%

Ciências Agrárias
Ciências da Saúde
Engenharias
Ciências Humanas
Livro

Periódico WoS

Periódico SciELO

Teses

Anais

Outros periódicos

Outros documentos

Distribuição das referências bibliográficas dos artigos de brasileiros na Rede SciELO,
segundo tipo de documento citado, e Grande Área – período de 2004-2012


Qual é o percentual de citações a livros nas
Grandes Áreas, nos períodos relativos aos
últimos 3 triênios de avaliação da Capes?


Ciências da Saúde
Engenharias
Ciências Agrárias
Ciências Humanas

% do consumo:
Livros

0%
2004-2006

10%

20%

2007-2009

30%

40%

50%

60%

2010-2012

Percentual de citações a livros nos artigos de brasileiros na Rede SciELO, segundo
Grande Área e triênio da avaliação da Capes – período de 2004-2012


Qual é o percentual de citações a periódicos
Web of Science (WoS) nas Grandes Áreas, nos
períodos relativos aos últimos 3 triênios de
avaliação da Capes?


Ciências Humanas
Ciências Agrárias
Engenharias
Ciências da Saúde

% do consumo:
Periódicos WoS

0%
2004-2006

10%

20%

2007-2009

30%

40%

50%

60%

2010-2012

Percentual de citações a periódicos Web of Science nos artigos de brasileiros na Rede
SciELO, segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012


Qual é o percentual de citações a periódicos
SciELO nas Grandes Áreas, nos períodos
relativos aos últimos 3 triênios de avaliação da
Capes?


Engenharias
Ciências Humanas
Ciências da Saúde
Ciências Agrárias

% do consumo:
Periódicos SciELO

0%
2004-2006

5%
2007-2009

10%

15%

20%

25%

2010-2012

Percentual de citações a periódicos SciELO nos artigos de brasileiros na Rede SciELO,
segundo Grande Área e triênio da avaliação da Capes – período de 2004-2012

científica brasileira (obsolescência)

Qual é o percentual de citações captado pela
janela de citação de 2 anos (citações recentes,
conforme computado pelo Fator de Impacto) considerando-se periódicos Web of Science
(WoS) sendo citados nas Grandes Áreas -, nos
períodos relativos aos últimos 3 triênios de
avaliação da Capes?

% jan. 2 anos:
Periódicos WoS

Ciências Agrárias
Ciências Humanas
Engenharias
Ciências da Saúde
0%
2004-2006

2%

4%

2007-2009

6%

8%

10%

12%

2010-2012

Representatividade das citações a artigos de um ou 2 anos de idade de periódicos Web of
Science nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da
Rogério Mugnaini
avaliação da Capes – período de 2004-2012 | SciELO 15 anos


Qual é o percentual de citações captado pela
janela de citação de 2 anos (citações recentes,
conforme computado pelo Fator de Impacto) considerando-se periódicos SciELO sendo
citados nas Grandes Áreas -, nos períodos
relativos aos últimos 3 triênios de avaliação da
Capes?

% jan. 2 anos:
Periódicos SciELO

Ciências Humanas
Ciências Agrárias
Engenharias
Ciências da Saúde
0%

4%

2004-2006

8%
2007-2009

12%

16%

20%

24%

28%

2010-2012

Representatividade das citações a artigos de um ou 2 anos de idade de periódicos SciELO
nos artigos de brasileiros na Rede SciELO, segundo Grande Área e triênio da avaliação da
Capes – período de 2004-2012 Rogério Mugnaini | SciELO 15 anos

Política Científica X Consumo de informação

Utilizando todas as variáveis anteriores, recorrese à análise de clusters para reconhecer
características comuns das Grandes Áreas!



Análise multivariada dos indicadores anteriores (política científica e consumo
Rogério Mugnaini | SciELO Grandes Áreas
de informação), para definição de clusters das 15 anos


Para cada cluster das Grandes Áreas,
são identificados os indicadores
cuja magnitude pode ser considerada
Destacada, Alta ou Moderada!


Grande Área
Ciências Agrárias
Ciências da Saúde
Engenharias
Ciências Humanas

Política científica
(Qualis)
Cluster
Periódico
Média (FI) Peso %

Consumo de informação (SciELO)
% jan. cit.

% do tipo de documento

Per. SciELO Per. SciELO

Per. WoS

Livros

1
2
3
4
5

Níveis de magnitude dos indicadores anteriores,
segundo os clusters das Grandes Áreas.

Níveis
Moderado
Alto
Destacado


Referências citadas
MIRANDA, E. C. ; MUGNAINI, R. Scientific policy in Brazil: exploratory analysis
of assessment criteria. In: 14th International Society of Scientometrics and
Informetrics Conference, 2013, Vienna. Proceedings of the ISSI 2013.
Vienna: AIT Austrian Institute of Technology GmbH, 2013. v. II. p. 15781586.
MUGNAINI, R. ; SALES, D. P. Mapeamento do uso de índices de citação e
indicadores bibliométricos na avaliação da produção científica brasileira.
In: ENANCIB - Encontro Nacional de Pesquisa em Ciência da Informação,
2011, Brasília. Anais do XII ENANCIB - Encontro Nacional de Pesquisa em
Ciência da Informação. Brasília: Thesaurus, 2011. v. 12. p. 2361-2372.


Rogério Mugnaini
mugnaini@usp.br

 Este estudo é parte da pesquisa desenvolvida no âmbito do Programa
Jovens Pesquisadores da FAPESP, intitulada:
Link para o projeto: “Avaliação de produção científica no Brasil: estudo da
comunicação científica nas diversas áreas e desenvolvimento de
infraestrutura institucional”


Scientific policy in Brazil: exploratory analysis of assessment criteria
Elaine Cristina Pinto de Miranda1, Rogério Mugnaini1,2,
1

elainecpm@hotmail.com

Universidade de São Paulo, Escola de Comunicações e Artes, Depto. de Ciência da Informação, Av. Prof. Lúcio
Martins Rodrigues, 443, CEP 05508-020, São Paulo, SP, Brazil
2

mugnaini@usp.br

Universidade de São Paulo, Escola de Artes, Ciências e Humanidades, Av. Arlindo Bettio, 1000, CEP 03828000,São Paulo, SP, Brazil

Abstract
Brazilian scientific evaluation process involves nowadays 3,000 postgraduate programs and almost 1,000 of ad
hoc consultants from educational institutions of all regions of the country. Each triennial cycle, produces a lot of
information, part of it qualitative, derived from the decisions of the committees of the 46 assessment areas. Our
study proposes a documentary analysis of this documentation, in order to express contextual aspects of scientific
communication process in each area. We aimed to compare the different scientific fields, due to the importance
given to publication in scientific journals as well as its contrast to books and national journals importance. The
results here presented show groups of Assessment Areas at different stages of the scientific communication
process. We found that there are areas in which publications occurs primarily in indexed international journals,
otherwise there are areas proposing specific criteria to evaluate the quality of national journals. There are also
areas that are in the process of establishing their journals, and others are being forced to change the practice of
publishing books and start publishing on journals.

Conference Topic
Science Policy and Research Evaluation: Quantitative and Qualitative Approaches (Topic 3)

Introduction
Since 1976, the Coordination of Higher Education Personnel Improvement (CAPES) is
developing a national wide evaluation process of Brazilian postgraduate programs, which has
been significantly improved between 1996 and 1997, in order to establish a triennial
evaluation cycle since 1998. This is a huge effort considering that Brazil presents nowadays
around 3,000 postgraduate programs. The evaluation process involves almost 1,000 of ad hoc
consultants from educational institutions of all regions of the country, composing committees
in 46 assessment areas of the different scientific fieldsi. Between the different aspects
evaluated, scientific production is the one that most influence and determine the level of the
postgraduate program (Souza & Paula, 2002).
Follow up evaluations are done annually, and the final one, at the end of each triennial cycle,
producing a lot of information published in the Coordination’s website: documents, tables and
even raw bibliographic data. The information can be found in different levels of aggregation
(researcher, postgraduate program, institution, assessment area and broad scientific area).
Significant part of the information gathered by CAPES comes directly from Lattes Platformii
– the curriculum database maintained by the National Council for Scientific and
Technological Development (CNPq). The reliability of this process is based on policies that
guarantee that the researchers will maintain their curriculum up-to-date periodically. It will
refer about all information related to the scientific production, research projects, academic
career, and any information inserted in the curriculum. The objective character of this type of
information has served a diversity of scientometric analysis that has been widely published in
important specialized information sources (Leite et al., 2011).
The other part consists mainly of qualitative information, which composes the documentation
derived from the decisions of the committees (CAPES, 2011), in order to define specific

criteria to each assessment area. These committees are composed by the Area Representative
at CAPES and ad hoc consultants, who are responsible for setting criteria for qualifying
vehicles and their classification for subsequent use as an input to postgraduate program
evaluation (Souza & Paula, 2002). This rich information reflects the consensus among the
researchers, bringing in itself, the capability of express contextual aspects of scientific
communication process in each area.
Hicks (2004) argues that, although journal articles have its importance, in Social Sciences and
Humanities, books publishing predominates, and due to its characteristics an ideal evaluation
should consider what she calls the four literatures: journals, books, national and non-scholarly
literature – being "national literature" the one developed in local context and "non-scholarly
literature" the knowledge reaching out to application.
These concerns are contemplated in CAPES documentation, which requires each area decide
about setting specific criteria based in: (1) a book classification form, and; (2) a national
citation index to infer quality of national journals.
This study aims to compare the difference between the scientific communication process in
the 46 areas of CAPES national assessment, based in the documentation derived from the
decisions of the committees of each assessment area. More specifically it analyses the
importance given to publication in scientific journals as well as its contrast to books and
national journals importance. The next stage of this ongoing project aims to evaluate the
whole Brazilian Scientific Community, including the scientific indicators derived from the
Lattes Platform.
Methodology
An exploratory research was carried out, applying documentary analysis to the documents
proposed by the committees of the 46 assessment areas, classified into nine broad subject
areas, that are described on Figure 1. These documents are part of the Qualis, a set of
procedures used by CAPES to realize a more systematic treatment and quality of scientific
intellectual output of postgraduate programs aiming to improve the indicators that support the
evaluation of these programs (Souza & Paula, 2002).
AGRICULTURAL SCIENCES
ANIMAL SCIENCE / FISHING RESOURCES
FOOD SCIENCE AND TECHNOLOGY
VETERINARY MEDICINE
APPLIED SOCIAL SCIENCES
ARCHITECTURE, URBAN PLANNING AND DESIGN
BUSINESS, ACCOUNTING (SCIENCES ) AND TOURISM
ECONOMICS
LAW
SOCIAL SERVICES / DOMESTIC ECONOMY
URBAN AND REGIONAL PLANNING / DEMOGRAPHICS
Biological Sciences
BIOLOGICAL SCIENCES I
BIOLOGICAL SCIENCES II
BIOLOGICAL SCIENCES III
ECOLOGY AND ENVIRONMENT

Engineering
AGRIC
AN-SCI, FISH
FOOD S&T
VET-MED

ENGINEERING I
ENGINEERING II
ENGINEERING III
ENGINEERING IV

ENG 1
ENG 2
ENG 3
ENG 4
APP-SOC-SCI
ASTRONOMY / PHYSICS
ASTR, PHYS
ARCHT, URB, DESN
CHEMISTRY
CHEM
BUS, ACC, TOUR
COMPUTER SCIENCE
COMP
ECON
GEOSCIENCES
GEOSC
LAW
MATH / PROBABILITY AND STATISTICS MATH, PROB, STAT
SOC-SERV, DOM-ECON
Health Sciences
URB-REG-PLAN, DEMOG DENTISTRY
DENT
MEDICINE I
MED 1
BIO 1
MEDICINE II
MED 2
BIO2
MEDICINE III
MED 3
BIO 3
NURSING
NURS
ECOL, ENV
PHARMACY
PHARM
PHYSICAL EDUCATION
PHYS-EDUC
PUBLIC HEALTH
PUB-HEAL

Human Sciences
ANTHROPOLOGY / ARCHAEOLOGY
EDUCATION
GEOGRAPHY
HISTORY
PHILOSOPHY / THEOLOGY
POLITICAL SCIENCE AND INTERNATIONAL RELATIONS
PSYCHOLOGY
SOCIOLOGY
Linguistics, Letters and Arts
ARTS / MUSIC
LETTERS / LINGUISTICS
Multidisciplinar
BIOTECHNOLOGY
INTERDISCIPLINARY
MATERIALS
SCIENCE AND MATH TEACHING

ANTR, ARCH
EDUC
GEOGR
HIST
PHIL, THEOL
POL-SCI, INT-REL
PSYCH
SOCIOL
ART, MUSC
LETT. LING
BIOTECH
INTERD
MATER-SCI
SCI&MATH -TEACH

Figure 1: List of acronyms of Assessment Areas and respective Broad Areas

Qualis consists of the classification of vehicles in which the scholars of postgraduate
programs publish their findings. Titles are analyzed and ranked according to criteria
established by committees of area. According to Capes (2004), "is at the discretion of each
area to decide on the category of vehicle used by it: there are areas that rank only journals, as
there are those who classify other types of vehicles such as: annals, newspapers and
magazines”. As one might expect, the relative importance of journals, against books and
proceedings is a constant discussion of the committees of different assessment areas, that

develops its own document based on the main guidelines from CAPES Board of Assessment.
These documents are reviewed and approved by the Scientific Technical Council (CTC).
The CAPES document is structured into six parts: a) Identification (Assessment Area, area
coordinator, area assistant coordinator, modality); b) I. General considerations on the current
stage of area; c) II. General considerations on the evaluation form for the respective
triennium; d) III. General Considerations for Qualis journals, books classification form and
criteria for usage and stratification of these documents in the assessment; IV. General
Evaluation Form for the respective triennium; e) V. Considerations and definitions about
assigning grades 6 and 7 (maximum) – international insertion.
As this study intent to study the specific criteria to evaluate books and national journals, it
considered the sections III and IV that are described below, from the last completed triennial
assessment (2007 - 2009).
Section III: consists in the defined criteria to (1) journals classification (A1, A2, B1, B2, B3,
B4, B5 – where A1 and A2 are the core journals of each area, and C means "no value"). At
one hand, the majority of the areas consider the journal Impact Factor from the Journal
Citation Reports (JCR IF) as the main and unique indicator to define the core journals, while
other areas value national journals indexed at SciELO (Scientific Electronic Library Online)
database. On the other hand, some areas consider the book in its evaluation and also describe
the books classification in a detailed (complex and controversial) way, defining the book
classification form. A couple of areas still classify conference proceedings, even calculating
specific indicators to do so - that is the case of Computer Science.
Section IV: shows the general Evaluation Form. It is composed by five items and sub items
that receive a weight for the whole evaluation, for example, in a specific area: 1. Proposal of
the postgraduate program (0%); 2. Docent staff (20%); 3. Students Thesis and Dissertations
(35%); 4. Intellectual Production (35%); 5. Social Inclusion (10%). Each area has the
autonomy to set the weight of the items and sub items, in a weight range established at the
main guidelines from CAPES Board of Assessment.
In order to map the diverse attribution of relevance of scientific journals and books between
the different assessment areas, the respective weights were analyzed (information gathered
from item 4. Intellectual Production of Evaluation Form). The documents were obtained from
CAPES Board of Assessment that sent the material on December 2012.
Information of interest were: Broad Area (BA), Assessment Area (AA), the definition or not,
by the AA of a detailed book classification form and the consideration about the presence of a
journal at SciELO database as a quality criteria. As response variables were selected the JCR
IF and the weight attributed to publication on scientific journal (that multiplied by the weight
associated to Intellectual Production, gives the importance of publication in journal articles
against all the other aspects of the general Evaluation Form).
Findings and discussion
The first variable analyzed concerns to the percentual weight of the publication on journals in
relation to all aspects considered in the general Evaluation Form.
Observing Figure 2 it is possible to see that the average weight assigned by the AAs of each
BA is more significant (> 22%) for EXA and AGR, followed by SOC, ENG, MULT and
HLTH (around 18%), and HUM e BIO (around 17.5%) and LLA (16%). The BAs showing
more AAs (8) are HLTH and HUM.
The data shows (figure not presented) that most AAs (58.6%) use books classification criteria
and, contrarily, the majority (63,6%) do not consider being indexed in SciELO as a criteria for
the journal classification on the highest stratum. But is interesting to note that SciELO is more
used in areas that classify books (41.4%) than in areas that don’t classify (29.4%).

(EXA) - 5
25,0

Linguistics, Letters and
Arts (LLA) - 2

20,0

(AGR) - 4

15,0
10,0

Biological Sciences (BIO)
-4

5,0

(SOC) - 7

0,0

Human Sciences (HUM) 8
Health Sciences (HLTH) 8

Engineering (ENG) - 4
Multidisciplinar (MULT) 4

Figure 2. Broad Areas (and respective number of Assessment Areas) distributed by descendent
average weight attributed to journal in the postgraduate program assessment.

Another aspect to be mentioned is that the 17 AAs that do not classify books are mostly the so
called hard sciences, assigning an average weight to journals in 20.3%. However, when
considering the 29 AAs that classify books, the 5 Social Sciences areas attribute the highest
average weight to journals (18.6%), followed by 9 hard sciences areas (18.0%) and finally by
3 Arts and Humanities areas (15.1%).
Table 1 show areas that don’t use books classification criteria or SciELO indexing to classify
journals on the highest stratum (Group 2) are those with highest weight for journal
publications. This group concentrates 60% of EXA AAs and 50% of HLTH. It is the second
group that requires higher average value of JCR IF to be at the highest stratum, presenting the
largest JCR IF on BIO (BIO 3, with 4.9) and AGR (VET-MED, with 2.6).
Areas that do not value books but consider indexing in SciELO as criteria for evaluating
journals (Group 1) are those that require higher JCR IF as evaluation criteria of journals on
the top stratum. We highlight the ASTR, PHYS require JCR IF 6.0 (the highest of EXA) and
ENG 4 (IF 1.0) with the higher requirement across the ENG fields. The group concentrates
40% of EXA AAs and 50% of ENG. It should be emphasized that the presence ENG and
COMP on this group is because they are areas that use mostly conference proceedings to
disseminate their results, not considering either national journals or books – as consequence
they require low JCR IF to classify journals.
Group 3 shows AAs that classify books but do not consider SciELO indexing as evaluation
criteria. It is possible to see that it is the most heterogeneous group and contains the majority
of the AAs. Displays the BIOTECH area which requires JCR IF 5.0 (the highest into MULT).
And Group 4 concentrates the most part of AAs in HUM (75%) and SOC (57%), and
classifies books and considers indexing in SciELO as evaluation criteria. These areas do not
often use the JCR IF as journals evaluation criteria on the highest stratum, except in GEOGR
areas (IF of 0.5) and PUB-HEAL (IF of 4.0, the highest of HLTH).
The evaluation of scientific production nationwide should consider the existing policy model
as well as add the scientific communication specificities expressed in the practices of
communities of different knowledge areas. The evaluation criteria should be appropriate to
the different areas, and also to the national context, in order to give subsidies to a coherent
science policy, in which the Brazilian scientific community has played an important role.
As explains Trigueiro (2001), the scientific community, together with the state, contributed
significantly to the establishment and consolidation of scientific and technological national
base through scientific societies that now use the policy weapons, establishing: the institutions
that support research, postgraduate programs, national plans and the current evaluation system
itself. Already Guédon identifies the emergence of a power structure formed at the scientific

field, whose components are institutions, associations and journals - that is involved in a
dense and complex web of interactions and influences, characterizing the scientific field.
"Institutions, associations and journals will also be relevant to any study of power and
competition in the social sciences and the humanities, but they will not work in the same way
as in science. Together, they form a national system of science" (Guédon, 2010, p. 26).
Table 2. Distribution of Assessment Areas (and respective Broad Area) by journal weight and
Impact Factor (JCR) required to get the highest stratum classification, grouped by usage or not
of book classification form and/or national journal SciELO indexing
Group 1: No books |

Yes SciELO

Broad Area
Journal
Assessment Area
%
Area
weight (%)
14
BIO 25% BIO2
ASTR, PHYS
17.5
EXA 40%
COMP
26
17.5
ENG 4
ENG 50%
17.5
ENG 3
Avarage
18.5

Group 2: No books |

IF JCR
4.7
6
1.4
1
3.3

Broad Area
%
Area
BIO
25%

50%

EXA

60%

AGR

50%

MULT
ENG

Group 3: Yes books |

HLTH

25%
25%

No SciELO

Broad Area
Journal
Assessment Area
%
weight (%)
Area
BIOTECH
16
MULT 50%
17.5
SCI&MATH -TEACH
15.8
BIO 1
BIO 50%
20
ECOL, ENV
22
FOOD S&T
AGR 50%
22
AN-SCI, FISH
16
PHARM
16
HLTH 38% PHYS-EDUC
16
NURS
ENG 25% ENG 1
17.5
BUS, ACC, TOUR
22.8
SOC 43% ECON
22.8
ARCHT, URB, DESN
16
PHIL, THEOL
17.5
HUM 25%
EDUC
17.5
LETT. LING
20
LLA 100%
ART, MUSC
12
Avarage
18.1

Journal
weight (%)
BIO 3
20
MED 2
20
MED 1
20
20
DENT
20
MED 3
21
CHEM
24
GEOSC
26
MATH, PROB, STAT
22
VET-MED
22
AGRIC
17.5
MATER-SCI
20
ENG 2
Avarage
21.0
Assessment Area

Group 4: Yes books |

IF JCR
5
4.1
3
2.6
2
3
1.9
0.8
0.8
0.5
2.4

Broad Area
%
Area
HLTH 13%

HUM

75%

SOC

57%

MULT

25%

No SciELO

4.9
3.8
3.8
3.1
3
4
2.8
1
2.6
2
1
1
2.7

Yes SciELO

Journal
weight (%)
PUB-HEAL
16
14
GEOGR
17.5
PSYCH
24
POL-SCI, INT-REL
20
SOCIOL
16
ANTR, ARCH
14
HIST
17.5
URB&REG-PLAN, DEMOG
16
SOC-SERV, DOM-ECON
APP-SOC-SCI
16
LAW
16
INTERD
21
17.3
Avarage
Assessment Area

IF JCR

IF JCR
4
0.5
2.3

At this context Qualis evaluation process is being developed, while it is always trying to
adjust the criteria to the specificities of each area, but always seeking to establish a high
standard of excellence, aiming to lead scientific production to most qualified vehicles.
Currently it is required that the higher stratum of the journals (A1 and A2) must contain no
more than 25% of the journals classified by the area and the number of journals comprising
the stratum A1 must be smaller than those classified as A2. This restriction was promptly
opposed by several areas - taking as an example the Public Health, because two very
important national journals that are doomed to second stratum (A2), what is a problem in one
area in which large percentage of the production is directed to the national reality and has no
significant international impact (ABRASCO, 2008). However the last triennial evaluation

document (2007-2009) shows a remarkable advance by considering national journals indexed
in SciELO, as we observed on this study, mostly on Group 4.
The outcome is in line with the evaluation studies carried out in some countries where there is
also a preoccupation with differences between the areas and the different forms of
communication. Among then we highlight Larivière et al (2006) who claim that "while the
validity and appropriateness of bibliometric methods are largely accepted in the natural
sciences, the situation is more complex in the case of the social sciences and humanities". To
the authors, "evaluations based only on measures obtained from journal databases are more
likely to be less than adequate for disciplines in which less than 50% of references are made
to journal articles than for those in which these references account for more than 50%”.
Final remarks
The results here presented show groups of AAs at different stages of the scientific
communication process. There are areas in which publications occurs primarily on indexed
international journals, otherwise there are areas proposing specific criteria to evaluate the
quality of national journals. There are also areas that are in the process of establishing their
journals, and others being forced to publish on journals.
Various adjustments can be observed in passing periods, and a longitudinal approach of this
analysis will be undertaken soon.
Acknowledgments
We acknowledge FAPESP, that supports the Young Investigators Awards project, intitled
Scientific assessment in Brazil: study of scientific communication in scientific areas - Grant
number 2012/00255-6iii.
References
ABRASCO (2008). Nota do fórum de coordenadores de Programas de Pós-Graduação em saúde
coletiva sobre o novo Qualis Periódicos. Saúde e Sociedade, 17 (4).
CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2004). QUALIS:
Concepção e diretrizes básicas. Revista Brasileira de Pós-Graduação, 1 (1), 149-151. Retrieved
January 14, 2013 from:
http://www2.capes.gov.br/rbpg/images/stories/downloads/RBPG/Vol.1_1_jul2004_/Qualis_ConcepcaoDiretrizes.pdf.

CAPES - Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2011). Critérios de
avaliação. Retrieved December 7, 2011 from: http://www.capes.gov.br/avaliacao/criterios-de-avaliacao.
Guédon, J. C. (2010). Acesso Aberto e a divisão entre ciência predominante e ciência periférica. In:
Ferreira, S.M.S.P. & Targino, M.G. (Orgs). Acessibilidade e visibilidade de revistas científicas
eletrônicas (pp. 21-77). São Paulo: Senac/CENGAGE Learning.
Hicks, D. (2004). The four literatures of Social Science. Retrieved January 12, 2013 from:
http://works.bepress.com/diana_hicks/16.

Larivière, V. et al. (2006). The Place of Serials in Referencing Practices: Comparing Natural Sciences
and Engineering with Social Sciences and Humanities. Journal of the American Society for
Information Science and Technology, 57 (8), 997–1004.
Leite, P.; Mugnaini, R.; Leta, J. (2011). A new indicator for international visibility: exploring
Brazilian scientific community. Scientometrics. 88: 311-319.
Souza E. P.; Paula M. C. S. (2002). QUALIS: a base de qualificação dos periódicos científicos
utilizada na avaliação CAPES. INFOCAPES – Boletim Informativo da CAPES, 10 (2), 7-25.
Retrieved August 1, 2011 from: http://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_2_2002.pdf.

Trigueiro, M. G. S. (2001). A comunidade científica, o Estado e as universidades, no atual estágio de
desenvolvimento científico tecnológico. Sociologias, 6, 30-50.
i

http://www.capes.gov.br/avaliacao/tabela-de-areas-de-conhecimento
http://www.capes.gov.br/avaliacao/coleta-de-dados
iii
http://www.bv.fapesp.br/en/auxilios/48066/scientific-assessment-brazil-study-scientific/
ii

COMUNICAÇÃO ORAL

MAPEAMENTO DO USO DE ÍNDICES DE CITAÇÃO E
INDICADORES BIBLIOMÉTRICOS NA AVALIAÇÃO DA
PRODUÇÃO CIENTÍFICA BRASILEIRA
Rogério Mugnaini, Denise Peres Sales

RESUMO
O objetivo deste estudo foi mapear o uso dos índices de citação e indicadores bibliométricos pelas

se que 37 áreas de avaliação (ou 80,4% do total) pautam-se na Web of Science/Journal Citation Reports
A1. O nível do Fator de Impacto mínimo exigido no referido de estrato varia de 6,0 (Astronomia / Física)

mapeamento dos critérios das áreas de avaliação, nota-se alguma uniformidade nas grandes áreas. A
utilização generalizada dos índices de citação inclui áreas de menor tradição de publicação internacional
– Ciências Humanas e Ciências Sociais Aplicadas – que apesar de não se basear num indicador exige a
indexação dos periódicos nos índices internacionais. O Índice H evidencia sua utilidade complementar
ao Fator de Impacto (principalmente nas áreas da Saúde), mostrando assim o uso que vem se fazendo
da Scopus, e sugerindo que outras áreas podem vir a fazer uso desta alternativa. Finalmente, destacase a importância de uma análise comparativa dos critérios de avaliação das diferentes áreas, uma vez
que muitas críticas vêm sendo feita pelos pesquisadores da própria área, mas nem sempre pautadas nos
logros já evidenciados por outras áreas de avaliação.

Citação; Indicadores Bibliométricos.
ABSTRACT
This study aimed to map the usage of citation indexes and bibliometric indicators, by the diverse

GT7

2361

Physics) to 0.5 (Business Administration, Accounting & Tourism and Geography). Most of the areas
do not mention the JCR edition used. Despite of the diversity of the presented scenario showed by
areas. The generalized utilization of citation indexes includes areas less internationally productive
– Humanities and Applied Social Sciences – that require journal indexing in international indexes,
instead of setting a level to an indicator. H index begins to be used to complement the Impact Factor
(principally in Health Sciences), showing the Scopus utilization, and suggesting an alternative way to
other areas. Finally, we highlight the importance of a comparative analysis of the evaluation criteria
of different areas, since many criticisms have been made by researchers of their own area, but has not
always been as evidenced by achievements in other areas of evaluation.
Keywords:

1 INTRODUÇÃO
O processo de Avaliação da Pós-Graduação no Brasil vem sendo desenvolvido ao longo
dos últimos 35 anos pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (Capes)
(MOREIRA; HORTALE; HARTZ, 2004; SPAGNOLO; SOUZA, 2004). Porém, uma reformulação

PAULA, 2002, p. 7).

veículos utilizados pelos programas de pós-graduação para publicação de sua pesquisa. Este processo

(SOUZA; PAULA, 2002; CAPES, 2004).
Um olhar atento aos critérios propostos, a partir dos documentos de área (CAPES, 2011b),
diversidade também poder ser observada a partir dos diversos artigos publicados na Revista Brasileira
de Pós-Graduação, que criticam ou oferecem alternativas ao esquema de avaliação da respectiva área,
a cada triênio.
observado desde o triênio 2001 - 2003, principalmente nas ciências Exatas, Biológicas e Saúde
(MUGNAINI, 2006). Apesar dos resultados de Mugnaini sinalizarem que os critérios pautavam-se
no Fator de Impacto, tal constatação se deu a partir da observação da média do indicador para os
periódicos dos diferentes estratos – uma vez que os documentos de algumas áreas começavam a
GT7

2362

sinalizar o uso do Fator de Impacto entre os critérios de avaliação dos periódicos naquele triênio1.
No triênio mais recente (2007 - 2009) os documentos são muito mais detalhados e permitem análises
deste e de outros aspectos dos critérios.
A comodidade do uso do indicador é um consenso em algumas áreas, mas é alvo de muitos
questionamentos em outras, como é caso das subáreas de Ciências Biológicas I, taxonomia e sistemática
biológica, nas quais as citações passam a ser concedidas normalmente após os dois anos considerados
no cálculo do Fator de Impacto (MELO; CARVALHO, 2005). Já Alves (2004), completa advertindo
fracassada, uma vez que são raras as revistas que aceitam trabalhos taxonômicos restando, para os
trabalhos nessa área os níveis menos valorizado nos critérios de avaliação.
Rosa (2010) analisou os critérios de avaliação da área de Educação Física, que segundo a autora
revela múltiplas identidades, uma vez que suas origens estão nas Biologia, História Natural e Física, e mais
recentemente passa a agregar saberes das Ciências Humanas. Essa diversidade foi observada na produção

pautados no nível das revistas internacionais de Ciências Biológicas.
Apesar do uso do Fator de Impacto por parte de algumas áreas, nota-se que diversas bases
de dados são consideradas para avaliação dos periódicos. Dentre elas, os índices de citação têm
proeminência, e o uso de variados indicadores de citação se torna cada vez mais recorrente, já podendo
ser observado mesmo entre as Ciências Humanas e Sociais Aplicadas.
Quatro índices de citação vêm sendo utilizados pelas áreas: Web of Science (WoS), Scopus,
SciELO e Google Acadêmico (usado apenas pela Ciência da Computação); e algumas fontes de
indicadores deles decorrentes: Journal Citation Reports (JCR) – produto da WoS –, e SJR - SCImago
Journal & Country Rank – que usa a base Scopus como fonte de dados.
desenvolvendo um importante papel no processo de desenvolvimento dos periódicos nacionais,
Deve-se destacar o processo de seleção de novos periódicos, cujos critérios2 têm dinamizado o
desenvolvimento dos periódicos nacionais. Permite que editores possam avaliar o impacto nacional
dos periódicos, valendo-se de um Módulo de Bibliometria com indicadores similares aos do JCR.
A Scopus é a alternativa mais recente, oferecida pela Elsevier, editora comercial, com uma
proposta de disponibilizar uma cobertura mais abrangente de periódicos nacionais e regionais –
principalmente aqueles publicados em países de língua não-inglesa, consistindo o principal diferencial

1
Avaliação Trienal 2004 (triênio 2001 - 2003). Disponível em <http://www.capes.gov.br/avaliacao/criterios-de-avaliacao/2285>.
Acesso em 01 ago. 2011.

GT7

2363

SCImago, tem cooperado para a divulgação da base no Brasil, dada a disponibilidade de uma série de
novos indicadores bibliométricos3 a partir dos dados daquela base. Em especial o SCImago Journal
pelo fato da Scopus indexar um maior número de periódicos nacionais, em comparação com a WoS.
Porém esta vantagem da Scopus vem sendo superada pela Thomson Reuters4
critérios de seleção de periódicos da WoS para aumento da cobertura, passando a incluir periódicos que
tratam de temáticas de reconhecida importância em nível regional – a expansão ocorreu no período de
2007 a 2009 e fez com que o Brasil, de 27 periódicos indexados em 2005, viesse a alcançar a marca de
132 periódicos em 2010 (TESTA, 2011). Até então, essa exigência focava o reconhecimento mundial,
ou a ciência mainstream, porém seus critérios não eram explicitados publicamente.
Todas estas iniciativas deram lugar à recente indexação de um número considerável de

dos documentos de área publicados no Qualis.
2 METODOLOGIA
O método de pesquisa utilizado foi o de análise de conteúdo (LEVIN; FOX, 2004), tendo com
material de análise os documentos de área propostos pelas comissões das 46 áreas de avaliação do

oferecem, os documentos foram descarregados do sítio web da Capes5 entre os meses de maio e julho
de 2011. Foi elaborada uma planilha em Microsoft® Excel 2007 para coleta, registro e armazenamento
dos dados de cada uma das áreas de avaliação.
uma vez que a grande incidência de uso de índices de citação ocorre neste estrato. Somente em alguns
casos, como por exemplo a área de Direito, a condição envolveu também o estrato A2, uma vez que
este extrato exige indexação na WoS, Scopus ou SciELO, e o estrato A1 exige que o periódico supere
As informações de interesse foram: Área de avaliação Qualis; Grande área; Índice(s) de
citação e Indicador(es) bibliométrico(s) utilizado(s) e respectivo valor.
3

SCImago. SJR - SCImago Journal & Country Rank. Disponível em: <http://www.scimagojr.com>. Acesso em 01 ago. 2011.

5
Avaliação Trienal 2010 (triênio 2007 - 2009). Disponível em <http://www.capes.gov.br/avaliacao/documentos-de-area->. Acesso
em 01 ago. 2011.

GT7

2364

3 RESULTADOS

que as Ciências da Saúde, Humanas e Sociais Aplicadas são as que apresentam maior número de
áreas de avaliação Qualis, enquanto que Lingüística, Letras e Artes apresenta o menor número, e as
Quanto ao uso das bases de dados, 37 áreas de avaliação (ou 80,4% do total) pautam-se na
o número de áreas de avaliação é de 17 (37%) e 18 (39,1%), respectivamente.
de Ciências Agrárias, Biológicas, Saúde, Exatas e da Terra e Engenharias. Na área Multidisciplinar
Ciências e Matemática; seguido da área de Ciências Sociais Aplicadas, com 71,4% de áreas que
usam a base, com duas exceções: Arquitetura e Urbanismo e Planejamento Urbano e Regional /

e Artes, que não considera nenhuma base para composição de seu Qualis.
Quanto à utilização das bases SciELO e Scopus nota-se um padrão de uso muito similar.
Deve-se portanto, destacar o uso mais acentuado da Scopus na composição dos critérios de área e
avaliação de Ciências da Saúde; e da SciELO em áreas de Ciências Exatas e da Terra, Multidisciplinar
e Ciências Humanas. Uma análise mais detalhada das áreas de avaliação que utilizam estas bases será
apresentada mais adiante.

de periódicos do estrato A1, segundo grande área do conhecimento e número de áreas de avaliação
Qualis.

§

§

¡

§

#

!

§

§

©

¨

§

'

$

%

$

§

£

¡
(

$

'

1
3

0

)

©

¨

§

'

¦

1

A

§

¨

§

§

G

U

4
T

©
R

'

S

©
G

)

R

Q

P

I

H

§

'

1

1

B

6

©

§

A

©

@

6

9

§

©

¨

§

¦

¦

(

§

§

¢

¦
©

C

D

£

2

'

¤

¡

§

2365

¨

'
£

¡

©
¥

¦
¡

G

G

©
F

§

7

§

8

§

!

%

$

§

1

$

§

6

§

©

¨
7

§

¦

5

E

GT7

Ao analisar o Quadro 1 pode-se perceber que a maioria das áreas utilizam o Fator de Impacto
Sociais Aplicadas e Humanas apenas exige que o periódico esteja no JCR; como exceções, as áreas
um Fator de Impacto mínimo de 0,5; e a Economia (Sociais Aplicadas) compôs um ranking de citação
Quanto ao nível do Fator de Impacto, 6,0 é o valor mais alto (Astronomia / Física) e 0,5 o mínimo
(áreas supracitadas). Analisando as grandes áreas do Quadro 1 pode-se notar uma concentração de
áreas de Ciências Biológicas, seguidas de áreas de Ciências da Saúde, Ciências Agrárias e Engenharias.
sob a grande área Multidisciplinar (com destaque para a área de Biotecnologia, na segunda posição).

do estrato A1, segundo grande área do conhecimento e área de avaliação Qualis.

GT7

2366

Ao se considerar o valor adotado para composição do critério, pelas diversas áreas, evidenciase um ordenamento das grades áreas, tendo as Ciências Biológicas com maiores valores, seguida
das Ciências da Saúde, Exatas, Agrárias e Sociais e Humanas. Tal ordenamento é aproximadamente
observado quando se compara, tanto o Índice H dos pesquisadores da Academia Brasileira de Ciências
(MUGNAINI; PACKER; MENEGHINI, 2008), quanto a tendência de publicação internacional dos
pesquisadores, a partir dos currículos Lattes (LEITE; MUGNAINI; LETA, 2011).

•

apresentam dois níveis de Fator de Impacto: maior exigência quando o periódico é de
outra área (Educação Física, Enfermagem e Engenharia IV);

•

apresentam dois níveis de Fator de Impacto: de acordo com subáreas (Ciências
Biológicas I);

•

considera em conjunto com o Fator de Impacto o indicador Meia-Vida: exigindo que
o alto nível de citação que o periódico recebe de se manter por um período mais
longo, após a publicação do mesmo (Matemática / Probabilidade e Estatística);

•

baseia-se na mediana do Fator de Impacto de todos os periódicos informados no
Coleta Capes.

documentos da maioria das áreas de avaliação (caso observado em 20 das áreas), não sendo possível
inferir que edição foi efetivamente consultada. As edições citadas são dos anos 2008 (5 áreas), 2007
(4 áreas) e 2006 (1 área), e a área de Astronomia / Física é uma exceção, que utiliza a média do Fator
de Impacto das edições de 2005 a 2007.

a
c

`

`

Y

X

W

`

`

Y

X

W

V

V
X

W

V

b
d
`
e

`

`

Y

X

W

Y

V

f
h

`

b
i

`
c

Y
`

g

X
`

W

V

Y
r

q

p

f
q
t

s

e
u

As edições do JCR são divulgadas normalmente em meados do ano posterior. Dessa forma,
GT7

2367

pode-se imaginar que a última versão recente pode ter sido a escolhida pelas áreas, o que não pode
Com respeito aos demais índices de citação utilizados, e considerando que o Google Acadêmico
é utilizado apenas pela área de Ciência da Computação, resta avaliar uso que vem sendo feito das
bases Scopus e SciELO.
O Quadro 2 permite observar que 24 áreas de avaliação (ou 52,2%) não utilizam
nenhuma das duas bases, e destas, apenas 6 áreas tampouco utilizam o JCR/WoS – ou seja, não
Educação (Ciências Humanas), Arquitetura e Urbanismo (Ciências Sociais Aplicadas), Letras
/ Linguística e Artes / Música (Linguística, Letras e Artes), Ensino de Ciências e Matemática
(Multidisciplinar).
Por outro lado, quatro áreas não usam Scopus, mas usam SciELO: Astronomia / Física
(Ciências Exatas e da Terra), Antropologia / Arqueologia (Ciências Humanas), Planejamento Urbano
Ao contrário, existem cinco que usam somente Scopus: predominando áreas de Ciências da
Saúde, que são Odontologia, Farmácia, Enfermagem e Educação Física; e uma área de Ciências
Sociais Aplicadas (Administração, Ciências Contábeis e Turismo).
estrato A1, apenas Sociologia não utiliza JCR/WoS. Entre as doze restantes, que fazem uso das três
bases, é interessante destaca cinco, que apenas consideram a indexação nas mesmas, em detrimento de
um indicador: Ciência Política e Relações Internacionais e História (Ciências Humanas); e Psicologia,
Direito e Serviço Social (Ciências Sociais Aplicadas).
E pelo fato do Índice H ser o único indicador utilizado de forma alternativa – ou complementar
– ao Fator de Impacto, o Quadro 3 permite observar as áreas de avaliação que o utilizam, assim como
a base de dados de onde se obteve o mesmo.
Pode-se perceber que predominam áreas de Ciências da Saúde , conforme já se havia observado

índice H, enquanto que a Ciência da Computação, conforme já se havia mencionado, utiliza-o na
composição se seu próprio indicador. Vale observar que estas seis áreas consideram também o Fator
de Impacto no JCR, bastando portanto o periódico cumprir uma das condições – valor mínimo do
Fator de Impacto ou do Índice H.

de avaliação de periódicos do estrato A1, segundo grande área do conhecimento e número de áreas
de avaliação Qualis.

GT7

2368

GT7

2369

menção “SCOPUS” não permite descartar a possibilidade da área ter utilizado dados do SCImago.
Merecem atenção as menções à base, que variam entre “SCOPUS” e “SCOPUS/SCImago”.
Os documentos não deixam claro se o uso do SCImago leva à adoção do segundo termo “SCOPUS/
SCImago”, pelo fato do grupo SCImago utilizar a Scopus como fonte de dados; e por outro lado a
’

‚

„

~

‘

z

y

~

‚

†

~

Ž

Š

‰

~

Š

Œ

‹

Š

€

~

}

z

|

{

~

}

z

|

{

f

‰

†

™

r

’

‘

†

†

‰

†

”

˜

g

s

‘

ˆ

†

i

‰

“

‡

ˆ

‡

ˆ

‡

ˆ

‡

ˆ

ˆ

~

}

z

|

‚

„

…

‡

ˆ

„

…

ƒ

‘

‘

‡

ˆ

‰

‚

ˆ

€

e

q

e

‡

ˆ

‚

j

†

…

‡

‘

ˆ

p

o

n

‘

†

‰

†

…

„

…

ƒ

”

”

i

m

f

i

‘

l

k

j

‘

†

‰

†

‚

…

„

…

ƒ

i

ƒ

‘

f

‰

h

†

g

“

d

™

˜

f

†

‘

—

‘

†

‰

†

‰

†

…

€

‘

f

‰

†

™

r

’

‘

†

†

‰

˜

g

‘

†

‰

†

~

}

z

|

f

h

g

f

‘

†

‰

{

z

y

x

…

z

i

†

y

x

…

€

€

~

}

z

|

{

f

‰

†

™

r

’

‘

ˆ

†

†

™

†

r

†

‰

‰

˜

‘

g

†

f

‘

†

™

l

†

o

‰

~

}

z

|

{

z

y

x

„

…

”

‘

™

l

‚

…

†

‡

ƒ

–

†

‚

ƒ

ƒ

‚

w

‡

ˆ

‡

ˆ

‡

ˆ

†

…

„

…

ƒ

‘

ƒ

‚

”

”

i

m

f

ˆ

i

‘

p

o

l

n

k

‘

j

‘

†

‰

†

‰

†

…

€

”

ˆ

†

™

r

†

‰

‘

†

f

†

‚

…

†

e

o

~

}

z

|

{

z

y

x

w

z

q

‘

i

l

”

’

i

‘

”

l

i

t

v

q

‘

q

‘

f

‰

†

™

r

’

‘

†

†

‰

‰

†

†

”

˜

l

‘

u

o

s

g

‘

“

ˆ

†

i

‰

ˆ

†

“

ˆ

‡

ˆ

‡

ˆ

‡

ˆ

‡

ˆ

‡

ˆ

‡

ˆ

~

‘

‘

”

”

i

m

f

ˆ

y

~

~

Ž

i

‘

i

‘

f

‰

p

h

d

†

n

k

g

“

o

l

†

‘

z

‚

˜

•

‘

j

f

†

”

‘

™

”

‘

—

‘

“

’

‘

†

‰

†

‰

†

‰

†

‰

†

‰

y

x

t

j

†

…

z

q

e

e

e

–

„

†

y

x

…

†

…

†

…

†

…

†

…

‚

x

~

Š

Œ

‹

Š

‰

x

~

„

ƒ

‚

v

v

€

y

x

z

y

~

–

Š

‰

x

Š

‰

„

Š

„

„

~

Š

Œ

‹

Š

‰

z

Œ

v

~

•

‚
‰

w

Œ

—

Š

Š

”

…

“

do estrato A1, segundo base para cômputo do indicador, grande área do conhecimento e área de
avaliação Qualis.

£

¢

š

™

£

¬

¡

›

¦

«

ª

©

¨

§

›

¦

¥

¤

´
´

š

³

³

²
½

£

±

¼

¢

°

»

¯

º

´

®

¡

Ÿ

ž

œ

›

š

™

˜

¸

®

¸

·

Ð
¶
Í

Õ

È

µ

È

Í

É

È

Ä

Ç

Æ

Å

Ä

µ

¶

¹

µ

¶

µ

¶
²
¿
´

Á

³

´

¼

¹

°

¿
±

¾

¹

¶

¸
¹

®

¹

¯
À

¶
¸

µ

µ

´

¹

·

µ

·

µ

¶

µ
Ã

Ì
É

È

Í

È

Ç

Ë

Ä

É

Ä

È

Ä

Ç

Ê

µ

É

È

Ä

Ç

Æ

Å

Ä

¶

³
¿

¸

µ

°

¾
Î

Î

Î

Ð

°

Ð

»

º

´

°

¸

·

´

®

´

³

¯

Ò

Ð

È

Í

É

È

Ô

È

Ó

¹

É

È

Ä

Ç

Æ

Å

Ä

¶

¿

¶

¶

Ï

Ë

Î

·

³
Ê

È

Â

´
Í

È

Ç

Ä

Í

Æ

Ä

¶

Ê
Ð

Ê

Ç

Ä

Ñ

Ä

Ç

Ë

Ð
É

4 CONSIDERAÇÕES FINAIS

alguma uniformidade entre os critérios de áreas de avaliação pertencentes a uma mesma grande área.
Já se percebe que os índices de citação vêm sendo adotados amplamente – mesmo em áreas
que não faziam uso dos mesmos em triênios anteriores, como Ciências Humanas e Ciências Sociais
Aplicadas – ainda que não se paute num indicador, e se limite na exigência que o periódico seja
indexado na base de dados.
O Fator de Impacto é utilizado na maioria das áreas, o que já era se podia esperava dada a
tradição e popularidade do JCR, contudo não existe consenso sobre a edição do JCR utilizada para
Impacto, mostrando assim o uso que vem se fazendo da Scopus, e sugerindo que outras áreas podem
vir a fazer uso desta alternativa.
Finalmente, destaca-se a importância de uma análise comparativa entre as diferentes áreas,
uma vez que muitas críticas vêm sendo feita pelos pesquisadores da própria área, mas nem sempre
pautadas nos logros já evidenciados por outras áreas de avaliação. Longe de almejar uma metodologia
padronizada, podem ser propostos ajustes para adequação dos critérios, que têm resultado de um
árduo debate dentro de cada área, por cada comissão dos diversos triênios.

GT7

2370

5 REFERÊNCIAS BIBLIOGRÁFICAS

JC e-mail, n. 2646, 12 nov. 2004.
Disponível em: http://www.jornaldaciencia.org.br/Detalhe.jsp?id=23144. Acesso em 01 ago. 2011.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes).
WEBQUALIS, BBS (site). Disponível em: http://qualis.capes.gov.br/webqualis. Acesso em: 1
ago. 2011a.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes).
CRITÉRIOS DE AVALIAÇÃO, BBS (site). Disponível em: http://www.capes.gov.br/avaliacao/
criterios-de-avaliacao. Acesso em: 1 ago. 2011b.
COORDENAÇÃO DE APERFEIÇOAMENTO DE PESSOAL DE NÍVEL SUPERIOR (Capes):
Diretoria de Avaliação. QUALIS: Concepção e diretrizes básicas. Revista Brasileira de Pós-Graduação,
v. 1, n. 1, p. 149-151, 2004. Disponível em: http://www2.capes.gov.br/rbpg/images/stories/downloads/
RBPG/Vol.1_1_jul2004_/Qualis_ConcepcaoDiretrizes.pdf. Acesso em: 1 ago. 2011.
LEITE, P.; MUGNAINI, R.; LETA, J. A new indicator for international visibility: exploring Brazilian
Scientometrics, v. 88, p. 311-319, 2011.
LEVIN, J.; FOX, J. A Estatística para Ciências Humanas, 9a ed. São Paulo: Prentice Hall, 2004.
MELO, G. A. R.; CARVALHO, C. J. B. Impacto Profundo: o que o fator de impacto não nos revela.
JC e-mail, n. 2921, 22 dez. 2005. Disponível em: http://www.jornaldaciencia.org.br/Detalhe.
jsp?id=34047. Acesso em 01 ago. 2011.
MOREIRA, C. O. F.; HORTALE, V. A.; HARTZ, Z. A. Avaliação da pós-graduação: buscando
consenso. Revista Brasileira de Pós-Graduação, v. 1, n. 1, p. 26-40, 2004. Disponível em: http://
www2.capes.gov.br/rbpg/images/stories/downloads/RBPG/Vol.1_1_jul2004_/26_40_avaliacao_da_
posgraduacao.pdf. Acesso em: 12 set. 2006.
MUGNAINI, R.
impacto nacional versus internacional. São Paulo, 2006. 253 p. Tese (Doutorado em Ciência
da Informação) - Escola de Comunicações e Artes. Universidade de São Paulo, 2006. Disponível
em:
http://www.teses.usp.br/teses/disponiveis/27/27151/tde-11052007-091052/publico/TESE_
mugnaini_r.pdf. Acesso em: 01 ago. 2011.
MUGNAINI, R.; PACKER, A.L.; MENEGHINI, R. Comparison of scientists of the Brazilian
Academy of Sciences and of the National Academy of Sciences of the USA on the basis of the
h-index. Braz J Med Biol Res, Ribeirão Preto, v. 41, n. 4, 2008. Disponível em http://www.scielo.
br/scielo.php?script=sci_arttextpid=S0100-879X2008000400001lng=ptnrm=iso. Acesso em:
01 ago. 2011.
GT7

2371

ROSA, S. P.

. Rio

de Janeiro, 2010. 197 p. Tese (Doutorado em Ciências . Área de concentração: Educação, Gestão e
Difusão em Biociências) - Universidade Federal do Rio de Janeiro, Instituto de Bioquímica Médica,
2010. Disponível em: http://www.dominiopublico.gov.br/pesquisa/DetalheObraForm.do?select_
action=co_obra=181373. Acesso em: 01 ago. 2011.

na avaliação CAPES. INFOCAPES – Boletim Informativo da CAPES, v. 10, n. 2, p. 7-25, 2002.
Disponível em: http://www.capes.gov.br/images/stories/download/bolsas/Infocapes10_2_2002.
pdf. Acesso em 1 ago. 2011.
SPAGNOLO, F.; SOUZA, V. C. O que mudar na avaliação da Capes? Revista Brasileira de PósGraduação, v. 1, n. 2, p. 8-34, 2004. Disponível em: http://www2.capes.gov.br/rbpg/images/stories/
downloads/RBPG/Vol.1_2_nov2004_/08_34_o_que_mudar_na_avaliacao_capes.pdf. Acesso em:
12 set. 2006.
TESTA, J. The Globalization of Web of Science. Thomson Reuters Expert Essays, 2011. Disponível em:
http://wokinfo.com/products_tools/multidisciplinary/webofscience/contentexp/expansionessay/.
Acesso em 01 ago. 2011.
Regional Content Expansion in Web of Science: Opening Borders to Exploration.

GT7

2372

Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (8)

Similar to Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais

Similar to Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais (20)

More from SciELO - Scientific Electronic Library Online

More from SciELO - Scientific Electronic Library Online (20)

Consumo de informação e critérios de avaliação: o desempenho dos periódicos nacionais