1.
« modes de peer-reviewing et modes
de publication »
Fev 2019
Gabriel Gallezot

2.
Evaluation pour la publication…
Evaluation qualitative : traditionnellement a priori, le
peer reviewing, …
•Auto-évaluation
•Collègues de labo (évaluation)
•Direction de N° (guest éditor) ou d’ouvrage
(sélection/évaluation)
•Comité de rédaction (sélection)
•Comité scientifique (évaluation)
•Editeur (évaluation/correction)
•Lecteur (évaluation)

3.
… Publication pour l’évaluation
Evaluation quantitative : a posteriori, la bibliométrie et
autres métriques
•À l’origine : Garfield et le Science Citation Index (SCI,
1961) de l’Institute for Scientific Information (ISI), puis
JCR (1975)
•Des référentiels : Wos OST, ERIH, JQL, listes
HCeRES, Scopus, …des bases (JournalBase), des
listes…
•Des mesures : Impact Factor, Classement de
Shanghai, H index, Eigen Factor, Leiden Facteurs,
indicateurs OST,...
•Des évaluations : HCERES, CNU, Université, …
Et … d’autres formes d’évaluation et de mesures
Altmetrics,F1000, Citeseer, Citebase, scholar

4.
●c’est dans cette « dialectique » de l’évaluation amont
/ évaluation aval que se joue une partie de la
question de l’intégrité scientifique
●Qualité des résultats publiés (?), passer le crible du
« peer-reviewing » (?) pour être publier dans une
« bonne revue » (?) et ainsi « créditer » son indice de
citation (?) pour obtenir des financement (?), faire
avancer sa carrière (?)
=> notions étroitement liées d’intégrité Sc. /
évaluation / publication

5.
Intégrité scientifique
« L’intégrité scientifique est la conduite intègre et honnête qui doit présider à
toute recherche. »
[…] « La qualité et la fiabilité de la production scientifique dépendent d’elle »
[…] « Comment alors supporter la course à la « valorisation », au
financement et à la publication, sachant l’importance donnée à la liste des
publications – qui se doivent d’être dans des journaux à haut facteur
d’impact – pour la plupart des jurys ? Et comment ne pas reconnaître
qu’aujourd‘hui, les conditions de l’exercice de la recherche se sont
considérablement durcies dans un environnement de concurrence
mondialisée ? » (Corvol, 2016)
- Faudres : FFP = Fabrication, Falsification, Plagiat
- Méconduites scientifiques : FFP + pratiques questionnables
de recherche (PQR) + conflits d’intérêt + signatures des publi
●Délégué intégrité sc. dans les Ets de Recherche
●En 2015 charte « déontologie » signée par la CPU et 7 Ets de recherche (ratifiée oct 2018)
●Rapport Corvol juin 2016 : « le respect de l’intégrité scientifique relève d’une responsabilité à la fois individuelle et
collective en terme d’exemplarité de l’ensemble de la communauté scientifique. »
●Mars 2017 l’OFIS (Office français de l’intégrité scientifique) au sein du Hcéres

6.
La fraude « annoncée » de plus en plus importe : Fang, Ferric
C., R. Grant Steen, et Arturo Casadevall. 2012. « Misconduct accounts
for the majority of retracted scientific publications ». Proceedings of the
National Academy of Sciences.
Et Pierre Barthélémy, « passeurdesciences »
http://passeurdesciences.blog.lemonde.fr/2012/10/03/la-fraude-scientifique-est-plus-
repandue-recherche/
" l'augmentation des rétractions et des manquements à l'éthique peut résulter, au
moins en partie, du système de la science au résultat, basé sur la logique
économique de la prime au vainqueur, qui confère au premier des
récompenses disproportionnées, sous la forme de subventions, de postes et
de prix, à une période où le financement de la recherche se restreint ".

7.
Fonctionnement des revues
7
•Deux fonctions : editor et publisher
–Editeur scientifique = gère le contenu scientifique
–Editeur commercial = s ’occupe de
•la production
•le marketing
•la diffusion
•Les contrats avec les auteurs
•Le comité de rédaction
•Le comité scientifique
•Evaluation par les pairs
Source : M.Lefebvre / M. Bertin – Urfist Toulouse

8.
Un système d’évaluation par rapporteurs
8
Limites de ce système
–Rapporteurs pas toujours spécialistes
–pénurie de reviewers
–anonymat difficile à respecter
–longueur de la procédure
–dimension subjective de la procédure
–anonymat favorise désengagement
–évaluation ¹ vérification
–plagiat
–Copinage
–…
=> alors quel « peer reviewing » ?
Source : M.Lefebvre / M. Bertin – Urfist Toulouse

9.
Penser au contexte actuel :
l’Open Science / Science Ouverte
et publicisation

10.
FAIR ou pourquoi et comment
« entreposer » mes données ?

11.
Source : Note d’orienta,on proposée par le Collège « Europe et interna,onal » du Coso. SPSO du 23 janvier 2019.
Rédac,on : David Aymonin ; Isabelle Mauger Perez et les membres du Collège Europe et interna,onal. 17/01/2019

12.
DORA (Declaration On Research Assessment)
et Manifeste de Leiden
Faire évoluer l’évaluation !
https://sfdora.org/read/fr/ DORA (2012) :
- la nécessité de mettre un terme à l’utilisation d’indicateurs basés sur les revues, c
- celle d’évaluer la recherche sur sa valeur intrinsèque plutôt qu’en fonction de la rev
- celle encore d’exploiter au mieux les possibilités offertes par la publication en ligne
10 principes de Leiden (2015) :
http://www.leidenmanifesto.org/translations.html

13.
DORA et Manifeste de leiden
Faire évoluer l’évaluation !
Ne plus faire du « JIF chaising » et utiliser la bibliome
Source : JNSO2018

14.
Source : BJSM Online First, published on November 17, 2017 as 10.1136/bjsports-2017-098367
Publicisation
From « Publish or Perish » to « Visible or Vanish »
+ INC : ORCID, ...

15.
●Différences AO / RLA : Green / Gold / diamond
et et le « Plan S » (dia suivante)
●Incise : Gold APC et éditeur prédateur :
https://predatoryjournals.com/journals/
●Pré-print, post-print
●OAI-PMH / google scholar / SciHub ?
●Voir aussi DOAB : https://www.doabooks.org/
●Loi sur la République Numérique (dias suivantes)

16.
9 voies de l’OA, conformes (?) au Plan S.
green, gold apc, diamond
https://101innovations.wordpress.com/2018/11/30/nine-routes-towards-plan-s-compliance/

17.
Plan S
https://www.coalition-s.org/10-principles/
Structuré autour de 10 principes applicables d'ici
2020 pour la recherche financée par des
subventions publiques
1. les auteurs conservent le droit d'auteur sur
leurs publications, qui doivent être publiés sous
une licence libre de droits telles que Creative
Commons;
2. les membres de la coalition établissent des
critères et prérequis solides pour déterminer la
conformité du libre accès des revues et des plate-
formes ;

18.
Déclaration commune franco-
allemande à Berlin 14
●[...] compte tenu de la situation actuelle de
l'édition scientifique et des perspectives ouvertes
par la publication de Plan S, il nous semblerait
raisonnable de proposer, à moyen terme, un
soutien formel et financier à la coexistence de
trois modes de publication en parties à peu près
égales:
●1. la diffusion des écrits scientifiques, dès leur
publication, en accès libre dans une archive
ouverte, permanente et reconnue par les

19.
la loi sur la République
Numérique

20.
La loi est promulguée le 7 octobre 2016. Elle favorise l’ouverture
et la circulation des données et du savoir et à garantir un
environnement numérique accessible aux citoyens et respectueux
de la vie privée des internautes.
L’article 30 vise à renforcer le droit des chercheurs à diffuser
librement leurs travaux scientifiques majoritairement financées par
des fonds publics.
L’enjeu est de garantir l’accès de tous à la production scientifique
en respectant – si nécessaire – des délais d’embargo fixés en
cohérence avec les recommandations de l’Union européenne
(programme-cadre de recherche H2020)
Les objectifs de la loi pour une République numérique
Source : I. Gras & P. Mouron, AMU

21.
Différents modes de publication,
différents modes de « peer review »,
à la recherche de la qualité ou de
changement de l’écosysteme de la
recherche :
Des exemples pour mieux
comprendre

22.
« registered reports »
« An analysis now suggests that registering and peer-reviewing stu
Source : https://www.nature.com/articles/d41586-018-07118-1
164 revues acceptent
actuellement (fev 2019)
les « registered report » :
https://cos.io/rr/

23.
Publier les recherches infructueuses
●De manière connexe Emergent Scientist (EmSci)
, une revue orienté étudiants propose de publier
également les hypothèses non fructueuses.
●Aspect formation à la recherche intègre par
l’exercice de la publication
●Appréhender le modèle de reviewing (les
étudiants peuvent être auteurs et rapporteurs)
Quelques exemples (suite)

24.
Quelques exemples (suite)
●Les éditeurs prédateurs, dérive du Gold
APC : : https://predatoryjournals.com/journals/
●
●Megarevues : http://openaccess.inist.fr/?Les-
megarevues (ie ; PlosOne & PeerJ)
– Diffusion en ligne uniquement
– Mutidisciplinaires
– Mode d’évaluation différents (allégé, post peer
review, …)
– Délais de publication rapide

25.
●Open peer reviewing (experience Vertigo),
avec plugin hypothes.is
expérimentation de La revue Vertigo (revues.org)
à Open peer review. Exemple sur un article
publié : http://vertigo.hypotheses.org/1924. Voir
OPRISM (Open Peer Review facilitation through
Social Media) , un modèle pour d’autres revues en
Open peer review sur OpenEdition
●Pubpeer et RetractionWatch, des sites dédiés à
la traque du retrait d’articles (qualité peer
reviewing vs. qualité du post open peer reviewing)
Quelques exemples (suite)

26.
Retraction index
(en relation avec Retractionwatch et Pubpeer)
Fang, Ferric C., et Arturo Casadevall. 2011. « Retracted Science and the
Retraction Index ». Infection and Immunity 79(10): 3855-3859.
Correlation entre
L'IF et le retraction index

27.
●Epi-revues (cf. EpiScience, du CCSD)
https://www.episciences.org/
Modèle à associer à PCI par exemple
« third-party » peer review
(dia suivante)
●Data paper / data journal : https://coop-ist.cirad.fr/aide-a-la-
publication/rediger/data-paper/5-liens-utiles-exemples-et-guides
Quelques exemples (suite)

28.
PCI
https://peercommunityin.org/
déconnecter l’évaluation de l’article de sa publication
Favoriser le Green et réduire la valeur ajoutée des revu
Parfaitement compatible avec les Epi-revues

29.
●Publons : valoriser son travail de Peer reviewing
(interfaçage Orcid, mais attention racheter par
Clarivate en 2017 ) https://publons.com/
Quelques exemples (suite)

30.
En guise de conclusion :
Entre dispositif hypertélique et slow science
●Une chaîne de dispositifs socio-techniques dont
l’utilisateur ne peut se libérer.
●Retrouver le temps de la recherche
●Pour éviter un cycle absurde ? des logiciels
« d’écriture » d’articles (ex. SCIgen) et des outils
informatique (cf. IA ou autres) à la place des
reviewers :https://pdos.csail.mit.edu/archive/scigen/ et
https://retractionwatch.com/2016/09/02/weve-seen-computer-generated-fake-papers-get-published-
now-we-have-computer-generated-fake-peer-reviews/
- penser qualité, fiabilité (intégrité) et non