Cabral LIMA - DCC/UFRJ Observatório da Universidade Universidade: publicar, publicar, publicar.... O que acontece nas aval...
Observatório da Universidade <ul><li>Motivações para Reflexões:  </li></ul><ul><li>A Universidade deve ser o celeiro de pe...
Observatório da Universidade <ul><li>Motivação para Reflexões:  </li></ul><ul><li>E as publicações, quem as lê? </li></ul>...
Observatório da Universidade <ul><li>Motivação para Reflexões:  </li></ul><ul><li>Porque a Graduação (primo pobre) não tem...
Publicar, publicar e publicar... <ul><li>Frases interessantes do artigo “ Stop the Numbers Game ” de David L. Parnas, full...
Publicar, publicar e publicar... <ul><li>“ The widespread practice of counting publications... is flawed for a number of r...
Publicar, publicar e publicar... <ul><ul><li>It encourages repetition </li></ul></ul><ul><ul><ul><li>pesquisadores que apl...
Publicar, publicar e publicar... <ul><li>Ranquear via cômputo de artigos publicados em periódicos tem sido blindado como o...
Publicar, publicar e publicar... <ul><li>Outras coisas interessantes de se observar: </li></ul><ul><ul><ul><li>Eu colocare...
Publicar, publicar e publicar... <ul><ul><ul><li>Em conferencias as pessoas vêm para falar e não para ouvir. Depois da apr...
Avaliações das pós-graduações <ul><li>As avaliações das pós-graduações brasileiras são efetuadas pela CAPES. O primeiro pr...
Avaliações das pós-graduações <ul><li>A Capes afirma que o processo de avaliação visa: </li></ul><ul><ul><li>estabelecer o...
Avaliações das pós-graduações <ul><li>O Sistema de Avaliação vigente abrange dois processos que são conduzidos por comissõ...
Avaliações das pós-graduações <ul><li>A despeito dos critérios gerais estabelecidos globalmente pela Capes, os termômetros...
Avaliações das pós-graduações <ul><li>A capes dispõe uma planilha comparativa entre os programas de uma mesma área. As col...
Avaliações das pós-graduações <ul><li>A preocupação principal das pós-graduações deixa de ser a qualidade na formação de m...
Avaliações das pós-graduações <ul><li>Dois critérios principais para escolher as revistas aonde publicar: </li></ul><ul><u...
Avaliações das pós-graduações <ul><li>Um critério para julgar o pesquisador:  </li></ul><ul><ul><ul><li>Quanto publicou/fo...
Avaliações das pós-graduações <ul><li>O caso da Ciência da Computação: </li></ul><ul><ul><li>Única área do saber a levar e...
Conclusões <ul><li>Os indicadores utilizados são medidas quantitativas que buscam aferir conceitos muitas vezes intangívei...
Upcoming SlideShare
Loading in...5
×

Publicar, publicar, publicar

1,274

Published on

Palestra do Prof. Cabral(UFRJ) no espaco OBSUNI da Ilha Educacao do Second Life
www.observatoriodauniversidade.blog.br

Published in: Education

Publicar, publicar, publicar

  1. 1. Cabral LIMA - DCC/UFRJ Observatório da Universidade Universidade: publicar, publicar, publicar.... O que acontece nas avaliações das pós-graduações? O Caso da Ciência da Computação Cabral LIMA
  2. 2. Observatório da Universidade <ul><li>Motivações para Reflexões: </li></ul><ul><li>A Universidade deve ser o celeiro de pesquisadores? </li></ul><ul><li>O pesquisador pesquisa e o professor dá aula? </li></ul><ul><li>Porque a publicação é praticamente o único atual termômetro de avaliação de qualidade? </li></ul>Cabral LIMA - DCC/UFRJ
  3. 3. Observatório da Universidade <ul><li>Motivação para Reflexões: </li></ul><ul><li>E as publicações, quem as lê? </li></ul><ul><li>Quantas publicações realmente contribuem para o desenvolvimento social/humano? </li></ul><ul><li>Como evitar a especificação incisiva do conhecimento? </li></ul><ul><li>Porque quase não temos centros de pesquisas independentes das Universidades? </li></ul>Cabral LIMA - DCC/UFRJ
  4. 4. Observatório da Universidade <ul><li>Motivação para Reflexões: </li></ul><ul><li>Porque a Graduação (primo pobre) não tem o “mesmo valor” da pós-graduação (primo rico)? </li></ul><ul><li>O que se avalia num concurso para professor universitário? </li></ul><ul><li>E as avaliações de pós-graduações, estão no caminho correto? </li></ul><ul><li>É isto que queremos construir e legar ? </li></ul>Cabral LIMA - DCC/UFRJ
  5. 5. Publicar, publicar e publicar... <ul><li>Frases interessantes do artigo “ Stop the Numbers Game ” de David L. Parnas, full professor and director of computer science and information system at the University of Limerick, Ireland. </li></ul><ul><li>“ I am annoyed to see the computer science literature being polluted by more and more papers of less end less scientific value ”. </li></ul><ul><li>“ The cause of all of these manifestations is the widespread policy of measuring researchers by the number of papers they published than… by relevance of their contribution ”. </li></ul>Cabral LIMA - DCC/UFRJ
  6. 6. Publicar, publicar e publicar... <ul><li>“ The widespread practice of counting publications... is flawed for a number of reasons” : </li></ul><ul><ul><li>It encourages superficial research </li></ul></ul><ul><ul><ul><li>publicar muito, mesmo draft papers, ranqueia melhor do que uma pesquisa cuidadosa que leva muitos anos. </li></ul></ul></ul><ul><ul><li>It encourages overly large groups </li></ul></ul><ul><ul><ul><li>pesquisador liderando grandes grupos de alunos, gastando pouco tempo (ou nenhum) com cada aluno, mas colocando o nome em todos os papers, ranqueia muito mais do que os que gastam tempo com seus (poucos) alunos. </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  7. 7. Publicar, publicar e publicar... <ul><ul><li>It encourages repetition </li></ul></ul><ul><ul><ul><li>pesquisadores que aplicam o paradigma do “copy and paste and disguise” para publicar em vários veículos ranqueiam melhor do que os que escrevem apenas quando têm novas idéias ou novos resultados a mostrarem. </li></ul></ul></ul><ul><ul><li>It encourages small, insignificant studies </li></ul></ul><ul><ul><ul><li>aqueles que publicam estudos empíricos baseados em breve observações conseguem mais do que os que fazem experimentos e análises antes de implementar e publicar. </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  8. 8. Publicar, publicar e publicar... <ul><li>Ranquear via cômputo de artigos publicados em periódicos tem sido blindado como o objetivo, especialmente em avaliações de pós-graduações. Um argumento muito usado é que apenas os melhores papers estão nos periódicos. </li></ul><ul><li>Entretanto, sabemos que existe uma grande variante na seriedade, objetividade e cuidado com os quais os referees fazem sua tarefa. Eles freqüentemente contradizem uns aos outros. </li></ul><ul><li>Papers inicialmente rejeitados já foram premiados depois... E papers aceitos foram descobertos errados a posteriori. </li></ul>Cabral LIMA - DCC/UFRJ
  9. 9. Publicar, publicar e publicar... <ul><li>Outras coisas interessantes de se observar: </li></ul><ul><ul><ul><li>Eu colocarei o seu nome no meu artigo se você colocar o meu nome no seu (autores as vezes nunca leram papers que publicaram). </li></ul></ul></ul><ul><ul><ul><li>Após completar um estudo, o “ideal” é dividir os resultados para produzir o máximo de papers. </li></ul></ul></ul><ul><ul><ul><li>Fazer parte do comitê organizador (nem sempre por mérito científico) facilita publicar papers naquele veículo. </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  10. 10. Publicar, publicar e publicar... <ul><ul><ul><li>Em conferencias as pessoas vêm para falar e não para ouvir. Depois da apresentação de seu paper o “ideal” é viajar/conhecer a região. </li></ul></ul></ul><ul><ul><ul><li>Líderes de grupos são geralmente os primeiros autores, independentes de eles terem participado na pesquisa ou não. </li></ul></ul></ul><ul><ul><ul><li>Um titulo de um paper pode fazer idéias velhas soar como novas. </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  11. 11. Avaliações das pós-graduações <ul><li>As avaliações das pós-graduações brasileiras são efetuadas pela CAPES. O primeiro processo de avaliação foi implantado em 1976. </li></ul><ul><li>Idealmente o processo de avaliação das pós-graduações deveria servir para definir diretrizes de alocação de investimentos, de sustentabilidade para atividades relacionadas ao desenvolvimento científico, humano e tecnológico do país. </li></ul>Cabral LIMA - DCC/UFRJ
  12. 12. Avaliações das pós-graduações <ul><li>A Capes afirma que o processo de avaliação visa: </li></ul><ul><ul><li>estabelecer o padrão de qualidade exigido dos cursos de mestrado e de doutorado e identificar os cursos que atendem a tal padrão; </li></ul></ul><ul><li>  </li></ul><ul><ul><li>contribuir para o aumento da eficiência dos programas no atendimento das necessidades nacionais e regionais de formação de recursos humanos de alto nível. </li></ul></ul>Cabral LIMA - DCC/UFRJ
  13. 13. Avaliações das pós-graduações <ul><li>O Sistema de Avaliação vigente abrange dois processos que são conduzidos por comissões de especialistas: </li></ul><ul><ul><ul><li>A avaliação dos programas de pós-graduação que compreende a realização do acompanhamento anual e da avaliação trienal do desempenho. ( Os resultados desse processo são expressos pela atribuição de uma nota na escala de &quot;1&quot; a &quot;7“ ). </li></ul></ul></ul><ul><ul><ul><li>A avaliação das propostas de cursos novos de pós-graduação. </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  14. 14. Avaliações das pós-graduações <ul><li>A despeito dos critérios gerais estabelecidos globalmente pela Capes, os termômetros reais de avaliação de pós-graduações dependem da área (basicamente cada área tem formalmente um conjunto de critérios). </li></ul><ul><li>Esses termômetros utilizados pelas áreas tem um único escopo principal: quantidade de publicações e veículos utilizados. </li></ul>Cabral LIMA - DCC/UFRJ
  15. 15. Avaliações das pós-graduações <ul><li>A capes dispõe uma planilha comparativa entre os programas de uma mesma área. As colunas que mostram a qualidade dos programas são: </li></ul><ul><ul><ul><li>Quantidade de docentes permanentes (1 coluna); </li></ul></ul></ul><ul><ul><ul><li>Quantidade de teses e dissertações defendidas (1 coluna); </li></ul></ul></ul><ul><ul><ul><li>Publicações ( 6 colunas qualificando os artigos) </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  16. 16. Avaliações das pós-graduações <ul><li>A preocupação principal das pós-graduações deixa de ser a qualidade na formação de mestres e doutores e passa a ser a quantidade de publicações (e respectivos veículos) que o par orientador/orientado pode produzir. </li></ul><ul><ul><ul><li>A discussão sobre a freqüência com que um pesquisador é citado ganhou importância quando a Folha de 21.05.95 publicou a relação dos 170 pesquisadores nacionais em atividade com mais de duzentas citações na literatura internacional. </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  17. 17. Avaliações das pós-graduações <ul><li>Dois critérios principais para escolher as revistas aonde publicar: </li></ul><ul><ul><ul><li>a periodicidade da revista (e subliminarmente a anterioridade); </li></ul></ul></ul><ul><ul><ul><li>o impacto da revista (que é medido pelo número de citações de seus artigos em outras revistas). </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  18. 18. Avaliações das pós-graduações <ul><li>Um critério para julgar o pesquisador: </li></ul><ul><ul><ul><li>Quanto publicou/foi citado nos últimos 3 anos. </li></ul></ul></ul><ul><li>Subjetividade de avaliação: </li></ul><ul><ul><ul><li>“ Darwin ” seria um nome melhor do que “ Wallace ”?: autores cujas letras iniciais começam pelas primeiras letras teriam maior probabilidade de serem mais citados do que aqueles cujos sobrenomes comecem pelas últimas letras (referencias geralmente são feitas por ordem alfabética). </li></ul></ul></ul>Cabral LIMA - DCC/UFRJ
  19. 19. Avaliações das pós-graduações <ul><li>O caso da Ciência da Computação: </li></ul><ul><ul><li>Única área do saber a levar em consideração os congressos. </li></ul></ul><ul><ul><li>Congressos x periódicos. </li></ul></ul>Cabral LIMA - DCC/UFRJ
  20. 20. Conclusões <ul><li>Os indicadores utilizados são medidas quantitativas que buscam aferir conceitos muitas vezes intangíveis e/ou deveras qualitativos. </li></ul><ul><li>Não há outro termômetro confiável proposto. </li></ul><ul><li>As avaliações têm melhorado a qualidade da pesquisa brasileira: o problema é que CAPES e CNPq parecem ter sido apoderados por grupos fechados que formam feudos que não representam a comunidade cientifica como um todo. </li></ul>Cabral LIMA - DCC/UFRJ

×