Intervention de Alain Monteil, Responsable documentation INRIA, Sophia Antipolis, lors de la cinquième journée nationale du Réseau des URFIST : Nouvelles formes de communication et d’évaluation scientifiques : perspectives et légitimités (le 25 septembre 2014)
Jabes 2011 - Session plénière 18 mai "Politique du CNRS en information scient...
Perspectives de l’évaluation ouverte dessinée par la voie verte de l’Open Access, quelle réflexion portée par OpenEdition@Inria ?
1. Perspectives de l’évaluation ouverte
dessinée par la voie verte de l’Open Access,
quelle réflexion portée par le Service Edition
Scientifique Inria ?
Nice, journée nationale d’étude URFIST 2014
2. Introduction :
Quelques mots sur Inria
De l’IST à l’IES
Episciences IAM
Du journal à l’épi-journal : pour un partage plus équitable des
connaissances
Workflow éditorial
Deux premières revues: JDMDH et DMTCS
Services proposés
Evaluation ouverte :
Définition
Historique de l’évaluation
Les enjeux
Evaluation Ouverte et édition scientifique Inria
Conclusion :
L’épi-journal et son environnement futur ?
Episciences IAM - Journée URFIST 2014 - 2
3. Institut National de Recherche
en Informatique et Automatique
Episciences IAM - Journée URFIST 2014 - 3
4. Inria
4
•un établissement public de recherche dédié aux
sciences du numérique (EPST) créé en 1967
•institut public de recherche entièrement dédié aux
sciences du numérique
•à l’interface des sciences informatiques et des
mathématiques
•développement des technologies numériques de
demain
Episciences IAM - Journée URFIST 2014
5. Axes de recherche
• STIC pour les sciences de la vie et
de l’environnement
• Mathématiques appliquées, calcul & simulation
• Perception, cognition, interaction
• Réseaux, Systèmes et services, calcul distribué
• Algorithmique, programmation, logiciels et
architectures
Episciences IAM - Journée URFIST 2014 - 5
6. Les chiffres clés
6
4,400
Personnes
(dont 60 % salariés
d’Inria)
62
Equipes associées
dans le monde entier
8
Centres de
Recherche en france
41
181
Equipes projets
4,450
Publications
scientifiques
Conférences
internationales
UN BUDGET DE
250
Brevets en activité
(au total)
265 M€
Dont plus de 29% de
ressources propres
3,400
Scientifiques
1250 Doctorants
280 Post-Doctorants
460 ingénieurs R&D
Budget IST/IES
Env. 1 M€/an
Dont 85%
abonnement
électronique
Episciences IAM - Journée URFIST 2014
8. 2004 – 2014 dix ans s’investissement
• 2004-2005 : début de la collaboration avec le CCSD pour créer HAL-Inria
lancement le 01/04/2005
• 2005 – 2013 : le temps de l’incitation
–Investissement des documentalistes : Formation communication et gestion
des dépôts
–Reprises de corpus : base des publications du Loria
–Migration de la gestion des Rapports de Recherche et Rapports Techniques
dans HAL-Inria
Episciences IAM - Journée URFIST 2014 - 8
9. 2004 – 2014 dix ans s’investissement
• Développement d’outils et services pour les chercheurs et les documentalistes :
haltools et haltools-gestion
• Accompagnement de certaines conférences pour la diffusion des actes
• 2013 - -> HAL-Inria référentiel officiel de la production scientifique Inria
–Listes des publications pour les évaluations et rapport d’activité extraites
quasi exclusivement de HAL
–Indicateurs bibliométriques réalisés à partir de HAL
–Mise en place des services Édition Scientifique Inria et Archives Ouvertes
dans la cadre de l’évolution de l’IST vers l’IES.
Episciences IAM - Journée URFIST 2014 - 9
10. Traduction dans la politique Inria
• Gold
–Adoption maîtrisée et inquiétudes
–Rejet du modèle hybride
–Mise en place d’un suivi sur le modèle Gold
–Tableau de bord des revues: coût, qualité, prédateurs
–Financement centralisé
–Bilan et suivi annuel
Episciences IAM - Journée URFIST 2014 - 10
11. Traduction dans la politique Inria
• Green
–Priorité forte sur le (épi)-green
–Dépôt obligatoire de toutes les publications Inria sur HAL
–Utilisation exclusive des listes extraites de HAL pour nos
évaluations et nos rapports d’activité
–Projet de plate-forme ouverte d’epi-journaux
Episciences IAM - Journée URFIST 2014 - 11
12. Vers une offre de service Green
• HAL-Inria pour l’ensemble de la production
• Episcience pour les revues
• SciencesConf pour les conférences
Episciences IAM - Journée URFIST 2014 - 12
13. De l’IST à l’IES
Episciences IAM - Journée URFIST 2014 - 13
14. IST => IES
• Création du service Edition Scientifique Inria
• Création du service Archives Ouvertes
• Dans un réseau Information et Edition Scientifique de la
direction scientifique Inria.
Episciences IAM - Journée URFIST 2014 - 14
15. Présentation de l’équipe
1, 95 ETP
Laurent ROMARY
(Scientific Information and
Publishing Service Advisor)
Hélène LOWINGER
(Scientific Information and
Publishing Service Officer)
0,75 ETP
Gaëlle RIVERIEUX
(Scientific Information and Publishing
Service Coordinator )
0,1 + 0,9 ETP Alain MONTEIL
(Scientific Information and
Publishing Service Officer)
0,2 ETP
Episciences IAM - Journée URFIST 2014 - 15
17. Du journal à l’épi-journal pour un partage plus
équitable des connaissances
• Qui crée de la valeur ?
–recherches conduites par les chercheurs
–articles écrits par les chercheurs
–relecture et sélection des articles chercheurs
–promotion et dissémination de l’information défis pour les chercheurs
• Interrogeons le système
–Qui finance la recherche et les chercheurs ?
–Comment les chercheurs et leurs institutions prennent-ils en compte les
problématiques liées à l’information scientifique ?
• Les partenaires
–Les éditeurs : offrent-ils le bon service au bon tarif ?
–Les sociétés savantes : dans quelle mesure travaillent-elles au service de la
recherche ?
Episciences IAM - Journée URFIST 2014 - 17
19. Du journal à l’épi-journal pour un partage plus
équitable des connaissances
[Holzschuch 2012] « There is room for a new publication model,
combining Open Archives for immediate access with editorial peer-reviewing
»
Attentes concernant un nouveau modèle de publication
–Permettre les échanges entre scientifiques
–Réunir plusieurs objets : images, codes, vidéos…en liaison avec
l’article
–Outil souple et robuste
–Multidisciplinaire
–Lié à un processus éditorial de haute qualité scientifique
–Indépendant financièrement, durable et stable
–Non lié au modèle « Gold » pour conserver son indépendance
scientifique
Episciences IAM - Journée URFIST 2014 - 19
20. L’Epi-Journal : définition
L’épi-journal (Overlay Journal) : journal électronique en
libre-accès, soumission des articles via une ou plusieurs
archive(s) ouverte(s) ;
Offrir un accès définitif, libre et immédiat aux résultats
scientifiques, sans embargo, ni contrepartie financière
Rupture chez Episciences IAM : libre accès via un « fair
access » ; Proposer une alternative à l’édition classique qui
soit scientifiquement viable
Episciences IAM - Journée URFIST 2014 - 20
21. La vision d’episciences IAM
Un projet qui se trouve à la croisée des chemins,
entre rupture et continuité
21
Des contenus
scientifiques de
haut niveau
« accessibles »
pour le lecteur et
l’auteur
Reprise en main
par les
communautés
scientifiques de
leurs revues
Rôle des epi-comités
pour garantir
cohérence, haute
qualité et
candidatures des
revues
S’adresse à toutes
revues « migrantes »,
« émergentes », ou «à
des revues
indépendantes »
Continuité Continuité Rupture Rupture
Episciences IAM - Journée URFIST 2014
22. Episciences : les acteurs
• Le CCSD et sa plateforme pour le
peer-reviewing et l’édition d’epi-journaux
• Des communautés thématiques :
–Episciences Maths – Institut Fourier
–http://episciences.org/page/epimath
–Episciences IAM Informatics &
Applied Mathematics – Inria
–http://episciences.org/page/epiiam
Episciences IAM - Journée URFIST 2014 - 22
23. Workflow éditorial
L’auteur dépose un pre-print dans
une archive ouverte compatible (Hal,
Arxiv, CWI….) 1
L’auteur soumet son article à un
épi-journal (saisie de l’ID,
remontée des informations et du
pdf)
Le Rédacteur en Chef assigne des
relecteurs qui peuvent commencer
leur travail de relecture et
d’évaluation de l’article
Les relecteurs peuvent demander
des corrections avant de donner leur
accord pour publication ou rejet de
l’article par la revue
Validation par le Rédacteur en Chef
pour la publication d’un n° de revue
après mise en page, mise en forme,
puis actions de communication
23
2
3
4
5
L’epi-comité gère les
candidatures de revues via
un collège scientifique et
international de haut niveau
Episciences IAM - Journée URFIST 2014
Le rédacteur en chef est
assisté d’un comité
éditorial
Epi-comité comme
chercheur d’Innovation
25. L’épi-journal : « No Go »
Episciences IAM - Journée URFIST 2014 - 25
26. JDMDH : Journal of Data Mining and
Digital Humanities
• Revue nativement créée via Episciences
• Humanités numériques et fouille de données : domaine encore
peu structuré au niveau éditorial
• Un comité scientifique qui a collectivement décidé de passer en
OA
• Le rédacteur en chef avait été contacté par un éditeur
prédateur recherche de partenaire sérieux en OA
• Parution trimestrielle
• En ligne depuis le 24 juin, avec 6 articles pour le volume 0 …
Episciences IAM - Journée URFIST 2014 - 26
28. DMTCS : Discrete Mathematics and
Theoretical Computer Science
• Sujets à l’intersection entre ces deux domaines
• Existe depuis 1997 : serveur interne (+mail), puis OJS, puis abandon
• Problématique de reprise de données dans HAL pour 34 n° de revues
en 15 volumes, 411 articles (dont n° spéciaux et proceedings) ;
croisement d’infos (DBLP, BibTeX…) , corrections des métadonnées
pour l’import dans HAL.
• Délai d’acceptation d’un article : 12 mois ; édition : 2 semaines
• Recherche de qualité et d’immédiateté
• Pourquoi Episciences ?
–Rejoindre une communauté et une mutualisation de services
–Bénéfice de services « supports »
Episciences IAM - Journée URFIST 2014 - 28
32. Services proposés
• Management : peer-reviewing, feedback, relances, parution des
revues et des numéros
• Qualité : bibliographies, métadonnées, références…
• Communication et animation de communautés : publicité,
réseaux sociaux, modération des discussions en ligne
• Visibilité, indexation, référencement (DBLP, Scopus…)
• Services techniques via infrastructure HAL
• Archivage à long terme
• Web design, Archivage des échanges sur la plateforme
• Coordination copy-editing (via un prestataire probablement)
• Licence auteur : CC-BY
Episciences IAM - Journée URFIST 2014 - 32
34. Rapide historique de l’évaluation par les pairs
• Longtemps aucune évaluation scientifique n’était appliquée. Le temps de la
correspondance scientifique et des sociétés savantes…
• Avec l’arrivée des éditeurs, professionnalisation dans la forme et la diffusion.
Face à l’augmentation des volumes appel aux experts pour l’évaluation. Pas
d’anonymisation…
• Au cours du XXème siècle et surtout après la seconde guerre mondiale mise en
place de l’anonymisation : deux modèles :
–anonymisation des auteurs seul
–anonymisation des auteurs et des relecteurs
• Le temps du Web retour sur l’anonymisation et sa pertinence
Episciences IAM - Journée URFIST 2014 - 34
35. Le contexte Green Open Access
• Anonymisation des auteurs disparait
• Le document est public immédiatement
• Il peut être accompagné de commentaires
Episciences IAM - Journée URFIST 2014 - 35
36. Une offre de service à la carte par
Episcience IAM en matière d’évaluation
• Un principe fondamental : la politique est définie par la revue sur le
socle du principe de l’épijournal
• Classique : évaluation menée en interne, aller/retour avec l’auteur
=> aucune visibilité externe
• Semi-ouvert : une partie des éléments de l’évaluation est accessible à
tous =>défini par le comité éditorial
• Ouvert : tous les éléments de l’évaluation sont public
• Social : intégrer la dimension réseau social scientifique où chacun peut
apporter un commentaire ou un avis sur un document scientifique
Episciences IAM - Journée URFIST 2014 - 36
37. Communication scientifique et évaluation
ouverte
• L’évaluation ouverte vue comme un échange / débat
• Quel degré de participation : des relecteurs, un comité, un éditeur
etc…
• Intégrée à la publication par les versions ou mis en annexe
• La communication sera-t-elle figée ou évolutive ?
• Notion d’auteurs collectifs
Episciences IAM - Journée URFIST 2014 - 37
38. Bénéfices attendus de l’ouverture de
l’évaluation
• Meilleur niveau scientifique des documents soumis
• Meilleure argumentation dans l’évaluation
• Compléter le document par les commentaires pour améliorer sa
lisibilité
• Réduire considérablement les conflits d’intérêts
• Participe à la lutte contre le plagiat et les junk documents
• Meilleure gestion des versions du document
• Evolution du peer-review modèle MyScienceWork par exemple « folks
peer reviewing »
Episciences IAM - Journée URFIST 2014 - 38
40. L’épi-journal et son environnement
futur ?
• Flexibilité pour epi-sciences IAM : ne rien imposer aux
revues
• Explorer et accompagner de nouveaux modèles en
matière d’évaluation
• Intégrer dans un environnement de type réseau social
scientifique
Episciences IAM - Journée URFIST 2014 - 40
41. L’epijournal : au coeur de la revue de
demain
41
« Green Open Access »
Solidité des archives
ouvertes (Hal, ArXiv….)
Réduction des délais de
publications
Pour la communauté IAM :
aider à répondre aux
attentes en termes
d’adéquation des rôles
entre revues et actes de
conférences, normaliser les
activités de communication
scientifique
Les revues
« augmentées »
Le « collège
invisible »
Donner accès au
plus grand nombre Documenter les
programmes et
algorithmes
epi-journaux
Echanger
Discuter, partager,
contribuer aux
réseaux sociaux
scientifiques….
Critiquer dans une
approche
constructive
Chercher à faire
progresser la qualité
des pre-prints
Chercher la pépite,
l’innovation qui se
cache peut-être
derrière des
formulation
maladroites
Reproductibilité des
programmes
Permettre le contrôle des
calculs, preuves…
Tester des jeux de données
pour lancer de nouvelles
applications (sérendipité)
Aller vers plus de
transdisciplinarité
Référencer, indexer ces
programmes, (DOI),
changer la granularité : du
document vers la donnée
Episciences IAM - Journée URFIST 2014
44. Références :
Bernat, Andrew P. «Thoughts on the publication culture in computing research.» Dagstuhl
Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.
John Bohannon. Who's Afraid of Peer Review? In Science 4 October 2013: Vol. 342 no. 6154 pp.
60-65 DOI: 10.1126/science.342.6154.60
Chen, Jilin and Konstan, Joseph A. «Conference Paper Selectivity and Impact.» in Commun. ACM,
June 2010: 79--8.
Fortnow, Lance. «Separating the Editorial from the distribution in CS publications.» Dagstuhl
Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.
Francke, H. (2014). Dimensions of Credibility: Review as a Documentary Practice. In iConference
2014 Proceedings (p. 1051–1055). doi:10.9776/14379
Grudin, Jonathan. «Conferences, Journals and the competitive exclusion principles.» Dagstuhl
Perspectives Workshop: Publication Culture in Computing Research, Dagstuhl, 2012.
Hermenegildo, Manuel V. «Conferences vs. Journals in CS, what to do ? Evolutionary ways forward
ICLP/TPLP Model.» Dagstuhl Perspectives Workshop: Publication Culture in Computing Research,
Dagstuhl, 2012.
Holbrook, J. Britt. Does open access really threaten peer review?. UNT Digital Library.
http://digital.library.unt.edu/ark:/67531/metadc84328/. Accessed September 17, 2014
Episciences IAM - Journée URFIST 2014 - 44
45. Références :
Holzschuch, Nicolas. «Open Archives and the Invisible College: driving forces towards a new
publication model.» Dagstuhl Perspectives Workshop: Publication Culture in Computing
Research, Dagstuhl, 2012.
Mabe, Michael. «Scholarly publishing.» European Review 17, n° 1 (2009): 3-22.
Mabe, Michael; Ware, Mark . « The STM report : an overview of scientific and scholarly journal
publishing «, 3rd edition, STM, 2012.
Matthew Sullivan, Peer Review and Open Access. OpenStax CNX. 23 avr. 2014
http://cnx.org/contents/1137808f-5dd6-40d0-b60f-3ddb518122c2@2@2.
Patterson, David ; Snyder, Lauwrence ; Ullman,Jeffrey. «Best Practice Memo : Evaluating
computer scientists and engineers for promotion and tenure.» in Computing Research News,
Computing Research Association, sept. 1999.
Pontille, D., and Torny, D. (2014) The Blind Shall See! The Question of Anonymity in Journal
Peer Review. Ada: A Journal of Gender, New Media, and Technology, No.4.
doi:10.7264/N3542KVW
van Leeuwen, Jan. «Where to send your paper.» Dagstuhl Perspectives Workshop: Publication
Culture in Computing Research, Dagstuhl, 2012.
Episciences IAM - Journée URFIST 2014 - 45
Another part of our motivation is : the way of functioning of the current publishing system -> where the balance seems broken.
Let’s consider some core questions.
Who’s creating value?
Research is made by researchers
Articles are written by researchers
Reviewing and selecting articles are conducted by researchers
-Who is financing research and researchers?
-What about Publishers?: are they providing good services for a fair price?
-What about Learned societies?: how much do they work at the service of research?
In this system, it seems to us that some publishers and scholarly societies no longer offer the necessary services and tend to become profit centers.
How to go back to a fair situation ?
Let’s get back to the basics and question the origins and functions of scientific journals.