Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Métricas alternativas

72 views

Published on

Palestra parte do Ciclo de Oficinas “O futuro das ideias”, realizado no Centro Cultural da Justiça Federal do Rio de Janeiro, em junho de 2015.

Published in: Science
  • Be the first to comment

  • Be the first to like this

Métricas alternativas

  1. 1. Métricas Alternativas Andréa Gonçalves do Nascimento Mestranda do Programa de Pós-Graduação em Biblioteconomia da UNIRIO Ciclo de Oficinas “O futuro das ideias” | CCJF | Rio de Janeiro | junho 2015
  2. 2. Agenda • Cenário • Impacto • Métricas tradicionais • Métricas alternativas (e um pouco de prática)
  3. 3. Cenário • Avaliação de impacto da produção científica é tema de constante discussão na comunidade acadêmica • Índices tradicionais de impacto são alvo de questionamentos e críticas sobre a sua validade e atualidade • Surgimento de novas práticas e ferramentas para a comunicação acadêmica • Produção acadêmica cada vez mais vinculada aos meios eletrônicos no que tange à produção, publicação, disseminação e validação • Comunidade acadêmica busca maneiras alternativas de medir, avaliar e dar significado à produção acadêmica
  4. 4. IMPACTO (efeito) (alcance) (influência) (valor)
  5. 5. Métricas de impacto • Para ser utilizado, deve ser medido • Para ser entendido, deve ser contextualizado artigo periódico autor instituição níveis
  6. 6. Métricas de artigo • Contagem de citações “Na ciência, o fato de um artigo ter sido publicado não é suficiente. Para provar o seu impacto, um artigo precisa de outros artigos posteriores que o ratifiquem.” Bruno Latour, “Ciência em Ação”
  7. 7. Métricas de periódico • Impact factor • Immediacy index • Cited half-life • Eigenfactor and Article Influence • SCImago Journal Ranking (SJR) • h5-index • h5-median • Taxa de aceitação • Assinaturas, circulação, acervo em bibliotecas
  8. 8. Métricas de autor • H-Index • i10-Index • Publish or Perish
  9. 9. Métricas institucionais • Essencial Science Indicators Ranking • SCImago Institutions Ranking • Snowball Metrics
  10. 10. Em resumo... Fonte: MyRI, Product Decision chart – What do you want to do? Disponível em: www.ndlr.ie/myri
  11. 11. “No one can read everything. We rely on filters to make sense of the scholarly literature, but the narrow, traditional filters are being swamped. However, the growth of new, online scholarly tools allows us to make new filters; these altmetrics reflect the broad, rapid impact of scholarship in this burgeoning ecosystem. We call for more tools and research based on altmetrics.” Jason Priem, Dario Taraborelli, Paul Groth and Cameron Neylon, “altmetrics: a manifesto”
  12. 12. altmetrics: “a criação e estudo de novas métricas baseadas na web social para analisar e informar atividades acadêmicas” altmetric.org
  13. 13. Indicadores Bibliometria Geração de indicadores a partir de dados bibliográficos e de citação Altmetria Geração de indicadores a partir de dados de ambientes e ferramentas na web
  14. 14. Article-level Metrics (ALM) • ALM é muitas vezes confundido com altmetrics • ALM busca medir o impacto de um artigo usando fontes de dados tradicionais e alternativas • Incorporar fontes de dados alternativas fornece uma imagem mais rica sobre como esse artigo está sendo discutido, compartilhado e usado
  15. 15. ALM vs. altmetrics ALMs = nível de agregação de dados Altmetrics = tipo de fontes de dados
  16. 16. IMPACTO USO Downloads Visualizações REVISÃO POR PARES Opinião de especialistas CITAÇÕES INTERAÇÃO Favoritos Comentários Compartilhamentos Adaptado de altmetrics.org Múltiplas dimensões
  17. 17. Métricas alternativas • Para ser considerado, deve ser medido • Para ser entendido, deve ser contextualizado produto periódico autor instituição níveis
  18. 18. O que se mede? Adaptado de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013; e TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013. Métrica Descrição Fontes Views / Downloads Downloads ou visualizações na web e em sites de mídia social Figshare, Slideshare, Dryad, Facebook, YouTube, LinkedIn Shares / Mentions Post público para compartilhar notícias de um artigo ou resultado de pesquisa Twitter, Topsy, Facebook, reddit, artigos de notícias, blog posts, Google+, YouTube, Figshare, Mendeley Saves / Captures Salvo em um site de bookmark social ou marcado como favorito em um site de mídia social ou gestor de referência Mendeley, CiteULike, Delicious, Github, Twitter, and Slideshare Reviews / Social Media Discutido com inclusão de um comentário adicional Faculty of 1000 (F1000), blog posts, comentários de artigos, comentários no Facebook Adaptations Criação de trabalhos derivados usando um artigo ou outro resultado de pesquisa Github Cites Citações em literatura acadêmica Pubmed, Scopus, Web of Science
  19. 19. Métricas de produto • Métricas de uso: • Clicks / Visualizações • Downloads • Métricas de captura: • Bookmarks • Favoritos • Salvo / Lido • Menções: • Blog • Comentários • Resenhas • Mídia social: • Curtidas • Compartilhamento • Tweets
  20. 20. • Pioneira no desenvolvimento e uso de Article-Level Metrics • ALM disponível para todos os artigos publicados na PLOS. Rastreia uso, citações e atividade social na web. • Inclui visualizações em HTML, downloads de PDFs e XML, uso no PubMed Central, citações em bases de dados e mecanismos de busca externos (incluindo Google Scholar e Scopus), Facebook, Twitter, blogs, e comentários no próprio site.
  21. 21. • Monitora a influência dos artigos a curto, médio e longo prazo • Indicadores: estatísticas de uso, compartilhamentos sociais, bookmarks acadêmicos, citações acadêmicas ou não • Audiências: público em geral e acadêmico • Dimensões: atenção, autopromoção e impacto • Adotada também por outros editores, instituições e publicações (ex: OJS/PKP) • API permite usar e melhor desenvolver a ferramenta de ALM construída pela PLOS.
  22. 22. • Altmetric.com rastreia menções de produtos científicos em sites de mídia social, jornais, blogs e outras fontes, e registra a resposta online a esses produtos • Empresa com fins de lucro • Adotada por diversos editores, bases de dados e periódicos • Altmetric score indica a atenção recebida por um determinado item, ponderando quantidade e “qualidade” da menção • Três fatores principais: número de menções, onde foi feita a menção e frequência de menções do autor
  23. 23. Number = score Blue = Twitter Yellow = blogs Red = news Altmetric score
  24. 24. Altmetric score • Maioria dos artigos tem score 0 • Média de 30-40% dos artigos mencionados pelo menos uma vez • Dados incompletos para artigos publicados antes de julho de 2011 Produtos • Altmetric Explorer • Altmetric for Institutions • API • Bookmarklet • Badges
  25. 25. Exemplo com artigo de autores da USP
  26. 26. Prática #1 – Instalar e usar o Altmetric Bookmarklet Prática #2 – Usar o Altmetric Explorer para descobrir o score de artigos publicados em periódicos da Fiocruz
  27. 27. Métricas de periódico “Até agora, nenhuma métrica alternativa desafiou seriamente o fator de impacto […]. Dito isso, à medida que [números de] visualizações e downloads de artigos se tornem mais comuns, é possível que métricas de periódico baseadas em métricas de artigo agregadas comecem a ser uma alternativa útil para ver a frequencia com que os usuários estão interagindo com o conteúdo do periódico.” Roemer & Borchardt, “Meaningful metrics: a 21st-Century Librarian’s Guide to Bibliometrics, Altmetrics and Research Impact
  28. 28. Editores que firmaram parcerias para incluir altmetrics em seus artigos online: • Elsevier • BioMed Central • Nature • Springer • Emerald • Wiley • EBSCO • High Wire Press • Ingenta • Taylor & Francis
  29. 29. Vantagens para editores • Revistas focadas em nichos específicos • Revistas que não possuem cálculo de FI • Revistas destinadas a um público mais amplo que o acadêmico • altmetrics podem ajudar a justificar a importância do periódico e necessidade de mais recursos
  30. 30. Métricas de autor • Funcionam como perfil online do pesquisador • Permite monitorar e compartilhar suas métricas em diferentes fontes • ImpactStory • PlumX • ResearchGate score
  31. 31. • ImpactStory é uma ferramenta online que permite aos pesquisadores descobrir e compartilhar os diversos impactos de seus produtos de pesquisa, de artigos a posts em blogs, datasets, softwares, entre outros. • Voltada para pesquisadores, permite importação de registros de outros sites e inserção manual de identificadores de artigo/autor. • Assinatura mensal (US$10) ou anual (US$60) • Métricas abertas e contextualizadas: classificadas por audiência e por tipo de engajamento – citações, recomendações, discussões, etc.
  32. 32. Prática #3 – Criar um perfil no ImpactStory e adicionar seus produtos de pesquisa
  33. 33. Métricas institucionais • Mesmo conjunto de dados baseados em métricas de artigo, agregados por instituição • Segmento com potencial de crescimento, mas ainda com baixa adoção • PlumX Group Metrics • Altmetric for Institutions
  34. 34. • Usado por universidades e institutos de pesquisa como um meio de aferir a produtividade de departamentos e grupos • Disponível por assinatura. Adquirido pela EBSCO em 2014. • Inclui métricas relacionadas a produtos, grupos, pesquisadores, laboratórios, departamentos e publicações. • Permite que instituições acompanhem a influência de seus pesquisadores, rastreando mais de 20 diferentes tipos de 'artefatos', incluindo artigos de periódicos, livros, vídeos, apresentações, trabalhos de conferência, códigos, etc.
  35. 35. for Institutions • Acesso a toda a base de dados do Altmetric.com em uma interface semelhante a Altmetric Explorer • Permite agrupar artigos por autor, departamento ou instituição, usar filtros e receber alertas • Disponível somente por assinatura institucional
  36. 36. Enfim...
  37. 37. Prós • Complemento aos métodos tradicionais de avaliação • Diversidade: métricas diversas, produtos diversos, captura múltiplas dimensões do impacto científico • Velocidade: Apuração quase imediata da atenção recebida por um trabalho científico • Colaboração: participação em discussões sobre o artigo em blogs e sites de mídia social • Visibilidade: permite acompanhar a repercussão online dos trabalho e entender melhor sua audiência • Implementação: dados abertos e múltiplas ferramentas disponíveis para desenvolvimento
  38. 38. Contras • Heterogeneidade e efemeridade das fontes, indicadores e ferramentas • Falta de credibilidade: medida de impacto ou de popularidade? • Métodos limitados de identificação única de artigos • Dificuldades técnicas e tecnológicas para implementação • Direcionamento das fontes de coleta de citações • Possibilidade de manipulação dos dados • Necessidade de contexto/significado • Desafio na adoção e uso por universidades e órgãos de fomento
  39. 39. Para pensar... • O atual ciclo de pesquisa não termina com a publicação, mas com o compartilhamento e medição do impacto • altmetrics permitem que o autor/pesquisador/editor veja onde o trabalho está sendo visualizado, compartilhado e discutido na web • É responsabilidade do autor/editor promover a visibilidade e o uso de seu trabalho
  40. 40. Leitura adicional Research Impact & Visibility: Traditional and altmetrics http://libguides.library.uu.nl/researchimpact/altmetrics Altmetrics in action: examples and feedback from data-savvy researchers http://www.altmetric.com/blog/altmetrics-in-action-examples- and-feedback-from-data-savvy-researchers/ Exploring altmetrics in an emerging country context http://figshare.com/articles/Exploring_altmetrics_in_an_emergin g_country_context/1041797
  41. 41. Andréa Gonçalves do Nascimento aandreafg@gmail.com

×