Avaliação de Artigos Científicos

11,920 views

Published on

Transparências da apresentação sobre "Avaliação de Artigos Científicos"

4 Comments
11 Likes
Statistics
Notes
No Downloads
Views
Total views
11,920
On SlideShare
0
From Embeds
0
Number of Embeds
679
Actions
Shares
0
Downloads
243
Comments
4
Likes
11
Embeds 0
No embeds

No notes for slide

Avaliação de Artigos Científicos

  1. 1. Avaliação de Artigos CientíficosUNIVERSIDADE DE AVEIRO - 20 de Maio de 2011Seminários de Investigação em DidácticaPrograma Doutoral em Didáctica e Formação
  2. 2. 1. O PROCESSO DA AVALIAÇÃO2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO 4. O RELATÓRIO DO REVISOR 5. TIPOS DE ARTIGOS 6. NOVAS TENDÊNCIAS
  3. 3. 1. O PROCESSO DA AVALIAÇÃO2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO 4. O RELATÓRIO DO REVISOR 5. TIPOS DE ARTIGOS 6. NOVAS TENDÊNCIAS
  4. 4. 1. O PROCESSO DA AVALIAÇÃOEsta é a terminologia para revistas (journals). No caso das conferências, o papel do editor editor é exercido pelo presidente da comissão de programa (ou comissão científica). Os restantes membros da comissão de programa actuam como editores associados revisor revisor revisor revisor = avaliador = árbitro (reviewer = referee) editor ed. assoc. ed. assoc. revisor revisor revisor revisor revisor revisor
  5. 5. 1. O PROCESSO DA AVALIAÇÃO NÍVEIS DE ANONIMATO:Revisão duplamente anónima Revisão aberta. Vários níveis de (double-blind review) – anonimato: Revisores não sabem quem •  As identidades das duas partes são os autores e autores não são conhecidas. sabem quem são os revisores. •  As avaliações, assinadas, são Revisão anónima (single- enviadas aos autores. blind review) – Revisores •  São colocadas on-line versões sabem quem são os autores, preliminares dos artigos e mas autores não sabem quem pedem-se revisões e são os revisores. comentários.
  6. 6. 1. O PROCESSO DA AVALIAÇÃO COMPENSAÇÕES: •  Tipicamente, o esforço de •  Nas revistas, pode oferecer-se uma revisão não é remunerado. assinatura ou uma autorização de acesso gratuito por tempo limitado. •  A principal “remuneração” é oprestígio, quer seja reconhecido em •  Nas conferências, oferece-se às privado, quer seja tornado público vezes a participação na em listas de revisores. conferência ou no programa social. •  Nas conferências, por vezes •  Apesar de não haver pagamentos, convidam-se os revisores para as o custo estimado da revisão decomissões de programa, para que o artigos de revista é da ordem de destaque possa ser mais evidente. 25% dos custos totais de publicação e disseminação.
  7. 7. 1. O PROCESSO DA AVALIAÇÃO2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO 4. O RELATÓRIO DO REVISOR 5. TIPOS DE ARTIGOS 6. NOVAS TENDÊNCIAS
  8. 8. 2. BOAS PRÁTICAS DA AVALIAÇÃO •  A avaliação de artigos científicos deve ser encarada como uma actividade cívica do cientista na sua contribuição para melhorar o eco-sistema de produção científica •  O revisor deve auxiliar o editor a defender os interesses do leitor na obtenção de trabalhos de melhor qualidade e utilidade, mas respeitar o autor, ajudando-o a melhorar o seu trabalho e a progredir como autor •  Nesse sentido, um avaliador que se limite a preencher grelhas, sem comentar nem justificar os seus julgamentos, deve ser excluído e remetido para lista negra•  A decisão de aceitar ou rejeitar um artigo cabe ao editor. O papel do revisor é fornecer ao editor elementos que sustentem a sua decisão, bem como propor recomendações que ajudem o autor a melhorar o seu trabalho
  9. 9. 2. BOAS PRÁTICAS DA AVALIAÇÃO•  As avaliações devem ser sempre justificadas, eventualmente com referências que as apoiem (o revisor deve abster-se de sugerir referências da sua própria autoria, que poderão denunciar arrogância ou parcialidade da sua parte) •  Na maior parte dos casos, a contribuição do revisor é importante, por representar experiência e competência no domínio, mas por vezes é útil que, como advogado do diabo, assuma um papel exterior ao domínio •  O papel do revisor não é dar largas à sua vaidade e mostrar como é competente e superior, mas sim oferecer, discretamente, uma avaliação útil e objectiva
  10. 10. 2. BOAS PRÁTICAS DA AVALIAÇÃO•  Um revisor que não seja suficientemente crítico está a prestar um mau serviço à comunidade, encorajando investigação de má qualidade, iludindo autores inexperientes, incentivando a progressão de autores incompetentes, degradando a qualidade do conhecimento tornado público, incentivando a proliferação de trabalhos que tornam os processos de revisão insustentáveis. Poderá estar, assim, a contribuir para um mundo mais ignorante do que aquele em que vivemos •  Um revisor que seja demasiado crítico pode bloquear o progresso da investigação, matar à nascença ideias promissoras, prejudicar carreiras, deixar as revistas e conferências sem nada que publicar. Em particular, não deverá rejeitar, sem boas razões, trabalhos que se oponham às ideias correntes e que, por esse motivo, poderão vir a ser embriões de novos e valiosos desenvolvimentos
  11. 11. 2. BOAS PRÁTICAS DA AVALIAÇÃO •  Deve-se usar um tom civilizado e não insultuoso nas avaliações. As críticas devem ser dirigidas ao artigo e não ao autor •  Um revisor deverá evitar, em absoluto, actuar em situação de conflito de interesses, nomeadamente se for parte interessada na aprovação ou rejeição de um artigo•  Um artigo submetido a avaliação é confidencial, pelo que, uma vez avaliado, deverá ser esquecido. Não poderá ser copiado nem divulgado. A apropriação, mesmo que subconsciente, de ideias alheias é uma falta grave, e, neste caso, um abuso de um privilégio •  Se um revisor não estiver à vontade num tópico em avaliação, não tiver tempo para avaliar um artigo, ou tiver conflito de interesses, deverá comunicá-lo de imediato ao editor
  12. 12. 2. BOAS PRÁTICAS DA AVALIAÇÃO •  É frequente os autores de artigos para conferências serem convidados a actuar também como revisores. Deverão aceitar, a bem do sucesso da conferência, entendida como evento de partilha•  Quando um artigo é definitivamente mau e irrecuperável, não se deve perder tempo a dar sugestões que tentem melhorá-lo. O papel do revisor é auxiliar o autor, mas nãoescrever o artigo por ele. Nesses casos, deve apontar duas ou três falhas graves e passar ao trabalho seguinte
  13. 13. 1. O PROCESSO DA AVALIAÇÃO2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO 4. O RELATÓRIO DO REVISOR 5. TIPOS DE ARTIGOS 6. NOVAS TENDÊNCIAS
  14. 14. 3. GRELHAS DE AVALIAÇÃO Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens: Relevância. É relevante para a conferência ou revista? Resolve problemas efectivos? De quem? Permite que o leitor passe a utilizar as propostas? Ou, pelo contrário, é uma acrobacia intelectual, sem utilidade? Significado. Altera de forma significativa a visão que temos da realidade estudada? Ou, pelo contrário, limita-se a retomar formulações cujo significado está mais do que esclarecido?Originalidade. Representa um avanço sensível relativamente ao que já existe? Abre novas perspectivas para a compreensão do tema?
  15. 15. 3. GRELHAS DE AVALIAÇÃO Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens: Adequação dos métodos de investigação. Em que medida é que os métodos de investigação adoptados se adequam ao trabalho realizado? Há inovações na exploração desses métodos? Adequação dos processos de investigação. O processo usado parachegar às propostas é cientificamente sólido? Fundamentou-se em teorias e dados experimentais credíveis? Justificou essa fundamentação? Análise e interpretação dos dados. Em que medida é que a análise e interpretação dos dados são adequadas e rigorosas?
  16. 16. 3. GRELHAS DE AVALIAÇÃO Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens: Lógica da argumentação. Em que medida é que a lógica da argumentação é rigorosa, fluente e acessível aos leitores? Adequação do título, resumo, introdução e conclusões. O título éesclarecedor? O resumo satisfaz os requisitos de um resumo? A introdução dáo enquadramento adequado? As conclusões são objectivas e esclarecedoras? Profundidade. Explora a temática em profundidades, ou fica-se por generalidades? Deixa em aberto aspectos de aplicação ou operacionalização das propostas? Completude e coerência. Há aspectos importantes que deviam ter sido incluídos? Há aspectos desnecessários que deviam ter sido omitidos?
  17. 17. 1. O PROCESSO DA AVALIAÇÃO2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO 4. O RELATÓRIO DO REVISOR 5. TIPOS DE ARTIGOS 6. NOVAS TENDÊNCIAS
  18. 18. 4. O RELATÓRIO DO REVISOR 1.  Sumário do artigo. Uma a cinco frases. Útil para o editor, mas também para o próprio revisor. 2.  Relevância, significado e originalidade. 3.  Qualidade do trabalho. Adequação dos métodos, processos e e análise, lógica da argumentação, adequação do título, resumo, introdução e conclusão, profundidade, completude e coerência4.  Recomendação. Aprovação, rejeição, aprovação com reservas. Incluir justificação da recomendação, para que o editor possa decidir. 5.  Sugestões de melhoramentos. Apenas em caso de aprovação ou se a decisão de rejeição for acompanhada da sugestão de posterior re-submissão ou de submissão noutro local.
  19. 19. 1. O PROCESSO DA AVALIAÇÃO2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO 4. O RELATÓRIO DO REVISOR 5. TIPOS DE ARTIGOS 6. NOVAS TENDÊNCIAS
  20. 20. 5. TIPOS DE ARTIGOS •  Criação de teoria (empírica) •  Verificação de teoria (empírica) •  Estudo conceptual-analítico •  Proposta de criação de inovação•  Proposta de avaliação de inovação •  Artigo de opinião •  Levantamento do estado da arte •  Tutorial (Jarvinen, 2004; Smith, 1990; Wiering, 2006)
  21. 21. 1. O PROCESSO DA AVALIAÇÃO2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO 4. O RELATÓRIO DO REVISOR 5. TIPOS DE ARTIGOS 6. NOVAS TENDÊNCIAS
  22. 22. 6. NOVAS TENDÊNCIAS CRÍTICAS À AVALIAÇÃO PELOS PARES: •  Introduz atrasos excessivos •  Nem sempre detecta negligência e más condutas(falsificação, plágio, encobrimento de conflitos de interesses) •  É prejudicada pela parcialidade dos revisores •  Pode ser subjectiva e incoerente •  Incentiva conservadorismo e reprime inovação •  Prejudica investigação interdisciplinar •  Sobrecarrega os avaliadores (muitas submissões de má qualidade)
  23. 23. 6. NOVAS TENDÊNCIAS EMERGÊNCIA DA “SCHOLARSHIP 2.0”: •  Circulação dos artigos on-line, em pré-versões, antes da publicação formal, para recolha aberta dos comentários de uma população alargada de investigadores (Exemplo: arXiv) •  Avaliações pós-publicação, eventualmente complementadas com comentários informais em blogs, redes sociais e plataformas derecomendação (recommender systems), quer sociais, quer algorítmicas. •  Avaliação mista: formal, expedita mas rigorosa na pré- publicação, seguida, na pós-publicação, por avaliações formais ou informais com base em comentários e/ou classificações •  Recurso a variantes de crowdsourcing e contagens de downloads em vez de avaliações formais pelos pares.
  24. 24. FIM Avaliação de Artigos CientíficosUNIVERSIDADE DE AVEIRO - 20 de Maio de 2011Seminários de Investigação em DidácticaPrograma Doutoral em Didáctica e Formação

×