Este documento discute o potencial dos repositórios de produção científica para a avaliação da pós-graduação. Apresenta exemplos de repositórios brasileiros como eduCAPES, BDTD e OASISBR e destaca vantagens como melhoria da qualidade dos dados e inclusão de múltiplos indicadores. Também aponta desafios como definição de metadados padronizados e acordos de propriedade intelectual.

1. Repositórios de
produção científica e seu
potencial na avaliação
Roberto C. S. Pacheco
Universidade Federal de Santa Catarina - UFSC
PPG em Engenharia e Gestão do Conhecimento – EGC
22 de agosto de 2018. CAPES, DF.

2. Agenda
1.Antecedentes
• Trajetória nos sistemas de informação de CTI
• Avaliação dos sistemas de informação da PG (GT)
2.Oportunidade e Demanda por Repositórios
3.Exemplos de Repositórios
4.Possibilidades de melhoria para a avaliação
5.Principais desafios e reflexões

3. 1 - Antecedentes
Que trajetória profissional nos trouxe até aqui?
Que projetos influenciam mais diretamente nossa visão sobre
avaliação e repositórios?

4. 22 anos de Projetos CRIS e Aprendizados
GT Capes
1998-2004
2004-2011
2005-2007
2011-2012
2016-2017
2009-2011
1997
1996
Como integrar informações das IES com Agências?
Como levar formulários a sistemas CRIS?
Como integrar sistemas de diferentes agências?
Como internacionalizar sistemas CRIS nacionais?
Como integrar sistemas de CTI e de Educação Superior?
Como integrar sistemas estaduais de informação em CTI?
Como integrar bibliotecas digitais e sistemas CRIS?
ORGANIZAÇÕES PROMOTORAS
Como incluir repositórios em sistemas CRIS (SAAEL)?
Como atender Governança Pública integrando sistemas CRIS?
Quais são as tendências em sistemas CRIS?
Como sistemas CRIS podem apoiar a Inovação?

5. GT Sistemas de Informação (2016)

6. Análise de sistemas e padrões afins
BDTD
CERIF
Dublin Core
EduCAPES
Plataforma Aquarius
Plataforma Lattes
Plisa PAHO/WHO
Portal Inovação
SciENcv
SciVal
SIFAPs
SINAES/MEC
Starmetrics
VIVO
Sistemas e padrões internacionais
Sistemas nacionais

7. Relações com os demais GTs
• Os resultados de todos os GTs
foram verificados com relação ao
seu potencial de impacto e
demanda junto aos sistemas de
informação da pós-graduação
• As análises identificaram
oportunidade para repositórios
apoiarem diversos desafios e
demandas dos GTs.

8. Loja APPs Acervo de Dados Digitais (ADD) – dados e serviços de informação
Coprodução
Enquetes
Projetos
PAEP PAEX
Qualis
Periódicos
Bolsas
EduCAPES
Áreas do Conhecimento
(CNPq, CAPES, OCDE)
Periódicos CAPES
Eventos
IES Setores CNAE
Financiadores
Empresas
NITsEditoras
IBGE
Educação Básica
PTT
Livros
Teses
Allumni
RepositóriosePortais
Livros
& Cap.
(PPG)
Eventos
(PPG)
Artigos em
Periódicos
(PPG)
PTT
(PPG)
Projetos
PI
Dados
PPG
Estrutura
BD Sucupira
(OLTP)
Contextos
Corpo Discente
Projetos Teses
PI
Estrutura Acadêmica
PPG Contextos
Corpo
Docente
Docentes
Discentes
Pessoas
do PPG
Demais
Internalização
Teses
(PPG)
Egressos
Projetos
Identificação
Ativ. Prof.
CVs
PI
GPs
Projetos
Bolsas
Integração
Indicadores
do PPG
Indicadores
Scientometrics
AltMetrics
Qualidade
de dados
Avaliação
Impacto
Riscos
Data Science
Qualis Periódicos
Qualis Livros
Qualis Eventos
Interação com EB
Egressos
Qualis PTT
Bases corporativas
da IES
Teses ISSNs
ProjetosEmpresas
ISBNs Livros
Serviços
de info.
SIFAPsProjetos Bolsas Auxílios
DemandasEmpresasAgentes
Propriedade Intelectual
Bases e sistemas afins
Outras Bases CAPES
Entidades emergentes
Entidades derivadas
Entidades referenciais
Entidades canônicas
Processos de informação
Plataforma Integradora

9. CONSÓRCIO BRCRIS
http://www.capes.gov.br/sala-de-imprensa/noticias/8641-instituicoes-discutem-consorcio-para-assinatura-de-identificador-digital
https://www.rnp.br/noticias/lancado-consorcio-brasileiro-assinatura-identificador-digital-pesquisadores
http://www.ibict.br/Sala-de-Imprensa/noticias/2017/201cdia-cris201d-e-realizado-no-ibict/impressao
Entre 2017 e 2018, parcerias entre CAPES,CONFAP,
IBICT, CNPq, SciELO e RNP levaram à formação de
um Consórcio Multi-Institucional para geração de
informações sobre a CTI brasileira em formatos
internacionais de dados abertos.

10. 2 – Oportunidades e
Demanda por Repositórios
Por que adotar repositórios?

11. Vantagens de aplicar Bibliometria
em repositórios de textos completos
• Melhoria da qualidade dos Metadados de bases informétricas
(VanVeller,W. Gerritsma, P. derTogt, C Leon, C. Zeist, 2010)
• Aumento da longevidade (ciclo de vida) dos repositórios
(Maron et al, 2009)
• Indicadores de Uso impactam na relevância e valor do repositório
(Marcial, L. and Hemminger, B.M., 2010)
• Promoção de citizen Science (compartilhamento e não “reinvenção de roda”)
(Bonney, R. et al, 2014)
• 6 vantagens organizacionais: melhoria no acesso, mais segurança, gestão de documentos
otimizada, melhor visibilidade, melhoria na tomada de decisão.
(Teresa Cvetkov, 2018)

12. Expectativas (Neste Seminário)
Artístico Tecnológico Livros Periódicos Eventos
SIM SIM SIM - SIM
SIM SIM SIM SIM SIM
- SIM - - -
SIM SIM SIM - SIM
SIM SIM SIM - SIM
Demandas
Acesso a documento/conteúdo
Análise de aderência ao PPG
Autoria multi-institucional
Impacto e Abrangência
Qualidade nos dados da avaliação
Pontos oriundos da discussão deste Seminário que
indicam possibilidades e oportunidades de
contribuições dos repositórios para a avaliação da PG.

13. 3 – Exemplos

14. eduCAPES
https://educapes.capes.gov.br/
1. 107,55 mil objetos de aprendizagem
• Arquivos de áudio
• Imagens
• Vídeos em qualquer formato digital
• Textos
O eduCAPES é um portal de objetos educacionais abertos para uso de alunos e
professores da educação básica, superior e pós graduação que busquem aprimorar
seus conhecimentos.

15. BDTD
1. 150,7 milTeses
2. 381 mil Dissertações
1. Buscas configuradas (ex. por PPG, IES)
2. Acesso a documentos completos
3. ExportaçãoCSV (Metadados)
4. Indicadores
http://bdtd.ibict.br/vufind/

16. OASISBR
1. Revistas
2. Repositórios institucionais
3. Teses e Dissertações
4. 2,1 milhões de documentos
1. Buscas configuradas (ex. por PPG, IES)
2. Acesso a documentos completos
3. ExportaçãoCSV (Metadados)
4. Indicadores
http://oasisbr.ibict.br/vufind/

17. REPOSITÓRIOS INSTITUCIONAIS
1. Livros
2. Capítulos
3. Artigos
4. Documentos didáticos
5. Relatórios técnicos
6. Produção administrativa
7. Produção artística

18. OBSERVATÓRIOS DE CONHECIMENTO
Nestes repositórios, os documentos
completos se unem a Metadados e a
Ontologias, viabilizando serviços de
informação e conhecimento, incluindo
coprodução entre especialistas.

19. 4 - Possibilidades de
melhoria para a avaliação
Como os repositórios podem contribuir para a avaliação?
Que desafios teremos que enfrentar?

20. Contexto, Oportunidades e Desafios
Digital and
Citizen Science
Modelos e
Missões da
Avaliação
Oportunidades
e Desafios para
Avaliação e
Repositórios
Fatores
estruturantes
para os CRIS
contemporâneos

21. Connectivitytechnologies
Digital Science –Visão Geral
Data
Exploitation
Data
Analysis
Data
Dissemination
Data
Creation
CI
eS
CS
Crowd
sourcing
Open
access
Data
Science
CB
M
Service
oriented
comp.
cloud
Grid
Connectivit
y
Scientific
Workflow
Semantic
eS
Linked
Data
Network
Ontology
GridComputing
CloudComputing
Service oriented computing
Citizen scientists Students
Professors
Researchers
Policy makers
Business people
Social workers
Crowdsourcing
Data
Science
Open
Access
Common Information
Common Knowledge
Common
Data Sets
Network
Ontologies
Linked Data
Collaboratories

22. Referenciais de Avaliação
W.K. Kellogg Foundation Logic Model
https://www.wkkf.org/who-we-are/overview?#mission-vision
Consórcio Britânico Universidade-Empresa
https://www.snowballmetrics.com/

23. Repositórios e Avaliação da PG
Vantagens
• Acesso a conteúdos (ex. avaliação de potencial)
• Melhoria na qualidade dos dados
• Complemento de conteúdos à avaliação
• Rastreabilidade de insumo à avaliação
• Indução da coprodução multi-institucional
• Indução de coprodução com comunidade
científica
• Serviços de autopopulação de dados
• Acreditação institucional na avaliação
• Inclusão de múltiplos indicadores (altimetria)
• Controle e participação social na avaliação
Desafios
• Definição e uso de Metadados padronizados
• Tecnologias interoperáveis
• Acordos institucionais pró-coprodução
• Governança em rede
• Acordos de propriedade intelectual de conteúdos
• Convivência de múltiplas métricas e modelos de
avaliação
• Compreensão dos papéis de cada sistema de
informação (redundância x ambiguidade)
• Cultura e tradição de avaliação centralizada

24. Repositórios de produção
científica e seu potencial na
avaliação
Roberto C. S. Pacheco
pacheco@egc.ufsc.br

25. Bibliografia
• BONNEY, Rick et al. Next steps for citizen science. Science, v. 343, n. 6178, p. 1436-1437, 2014.
• VANVELLER, Marco GP et al. Bibliometric analyses on repository contents for the evaluation of research at
Wageningen UR. In: Qualitative and quantitative methods in libraries:Theory and applications. 2010. p.
19-26.
• MARON, Nancy; SMITH, K. Kirby; LOY, Matthew. Sustaining digital resources: an on-the-ground view of
projects today: Ithaka case studies in sustainability. Ithaka S+ R, 2009.
• MARCIAL, Laura Haak; HEMMINGER, Bradley M. Scientific data repositories on theWeb: An initial survey.
Journal of the American Society for Information Science andTechnology, v. 61, n. 10, p. 2029-2048, 2010.
• PACHECO, R. C. S. National information systemplatforms (NISP) to support decision making in ST&I
policies: Brazilian NISP: analysis and perspectives –Technical Report available in:
https://www.researchgate.net/publication/234112508_National_information_system_platforms_to_suppor
t_decision_making_in_STI_policies_Brazilian_NISP_analysis_and_perspectives
• Teresa Cvetkov - http://www.therefore.net/6-benefits-of-a-digital-repository/