De speld in de papierberg - Steven Laporte

1. De speld in de papierberg • Juni 2015
De speld in de papierberg
Steven Laporte
Vrije Universiteit Brussel
steven.laporte@vub.ac.be
Samenvatting
In dit artikel benadrukken we het belang van een degelijke algemene kennis van wetenschapsontwik-
keling en de dynamiek die aanwezig is bij de productie van wetenschappelijke informatie, als onmisbare
voorwaarde voor het verwerven van informatievaardigheden. Aan de hand van het beeld van een steeds
groeiende papierberg gaan we op zoek naar de wortels van de scientometrie en tonen aan hoe deze inzichten
studenten en onderzoekers, maar ook het brede publiek, kunnen helpen om hun weg te vinden naar de
juiste informatie.
Twee werelden
’Wetenschappelijk onderzoek heeft aangetoond
dat...’ Via deze woorden belooft de populaire
pers ons, gewone stervelingen, even mee te ne-
men naar een andere wereld: de wereld van
de harde wetenschap. Dat deze reis niet altijd
vlekkeloos verloopt, mag duidelijk zijn voor
iedereen die de actualiteit met enige kritische
zin opvolgt. Volgend op deze woorden vin-
den we immers niet zelden de samenvatting
van een bestaand onderzoek dat zorgvuldig
werd ontdaan van haar oorspronkelijke weten-
schappelijke betekenis. Objectiviteit en kriti-
sche zin moeten het vaak afleggen tegen de
roep om spraakmakende krantenkoppen en
kant en klaar clickbait.
Wie toch meer wil weten over de precieze toe-
dracht van een wetenschappelijk nieuwsitem,
kan uiteraard zelf de al dan niet meegeleverde
link volgen. Daarop belandt men met wat ge-
luk bij de oorspronkelijke onderzoekspaper. De
doorzetters krijgen dan een technische uiteen-
zetting te zien, waarvan de titel heel wat min-
der wervend blijkt dan die van het artikel in
de krant of op de nieuwssite. Van de reguliere
pers verhuisden zij naar de wereld van acade-
mische papers in wetenschappelijke journals.
Wie niet voldoende gewapend is om een derge-
lijk artikel in het juiste perspectief te plaatsen
- en zich laat afschrikken door het gebruikte
jargon - raakt al gauw ontmoedigd. Men loopt
dan al snel het risico om de schouders op te
halen en maar te aanvaarden wat de journalist
schrijft of zelfs om de hele zaak dan maar te
negeren. Gelukkig gaat het er niet altijd zo
aan toe. Er bestaan nog goede wetenschaps-
journalisten, die een correcte weergave kunnen
geven van de oorspronkelijke inhoud. Maar zij
worden schaars.
Toch hoeft een kennismaking met weten-
schappelijke publicaties ook voor de geïnte-
resseerde leek niet noodzakelijk op een teleur-
stelling uit te draaien. Ook zonder een ge-
specialiseerde opleiding is het vaak mogelijk
- enigszins afhankelijk van het vakgebied - de
conclusie van een wetenschappelijke paper in
essentie te begrijpen. Je kan dus best wel een
brug slaan tussen de twee werelden, maar het
vraagt enige inspanning.
Binnen de context van een voortgezette op-
leiding verwachten we van studenten - en met
name van onderzoekers - dat zij de overstap
van de reguliere media naar de vakbladen hoe
dan ook kunnen maken. De bibliotheek kan
hen hierbij op meer dan één manier bijstaan.
Vrijwel alle moderne bibliotheken beseffen
momenteel dat hun taak niet eindigt met het
louter ter beschikking stellen van materialen
en het verlenen van toegang tot databanken.
Bij introducties rond informatievaardigheden
worden technieken uitgelegd om goede zoek-
opdrachten te formuleren en succesvol te na-
vigeren op de zee van informatie, en dit zo-
wel binnen als buiten het institutionele aanbod.
Deze vaardigheden zijn onmisbaar voor het
1

2. De speld in de papierberg • Juni 2015
voeren van een onderzoek of het voorbereiden
van een eindwerk. Maar zelfs als men een usb-
stick vol heeft weten te stoppen met artikels,
blijven er vaak vragen: heb ik nu werkelijk de
juiste informatie te pakken? Zijn de artikels
die ik vond wel representatief voor de huidige
stand van het onderzoek?
Naast de kennis die eigen is aan het studie-
gebied, kan het voor de gebruiker een grote
hulp zijn wanneer die zich een beeld kan vor-
men van de structuren die eigen zijn aan de
berg van informatie die wordt doorzocht. Of
anders geformuleerd: hoe vind je een speld in
de steeds groeiende papierberg?
De top 100
Ongeveer een jaar geleden verscheen in het
toonaangevende vakblad Nature, een artikel
waarin naar de honderd meest geciteerde we-
tenschappelijke papers aller tijden werd ge-
zocht. Directe aanleiding voor deze proef was
de vijftigste verjaardag van het verschijnen van
de eerste resultaten van de Science Citation In-
dex (SCI) door Eugene Garfield. Deze SCI ging
de geschiedenis in als de eerste systematische
poging om het gebruik van bibliografische ver-
wijzing - ofwel citaties - bij wetenschappelijke
artikels in kaart te brengen. Via het bijhouden
van deze citaties werd het mogelijk om uit te
maken welke publicaties de aandacht trokken
van andere onderzoekers, die er vervolgens in
hun eigen publicaties melding van maken. Dit
gegeven kan mogelijk een indicator zijn voor
hun wetenschappelijke waarde en relevantie.
Het gebruik van dergelijke graadmeters wist
sindsdien een centrale plaats te veroveren bij
de evaluatie van wetenschappelijk onderzoek.
De resultaten van het onderzoek in Nature zijn
op het eerste zicht opzienbarend.
Hoe waren de auteurs precies te werk ge-
gaan? Als databank gebruikten zij de citatie-
gegevens uit het Web of Science (WoS). Deze
dienst is een onderdeel van de media- en in-
formatiegigant Thompson Reuters die in 1992
het Institute for Scientific Information, dat nog
werd opgericht door Garfield zelf, verwierf.
Het corpus van het WoS bevatte op het ogen-
blik van de proef het duizelingwekkend aantal
van 58 miljoen items. Stuk voor stuk publica-
ties die aanspraak maakten op wetenschappe-
lijke eer en glorie.
Om het geheel wat bevattelijker voor te stel-
len, schaalden de auteurs deze immense pa-
pierberg om naar het formaat van een echte
berg, namelijk de Kilimanjaro die met zijn 5895
meter nog steeds de hoogste berg van Afrika is.
De denkbeeldige tocht vanaf de voet van deze
papierberg naar de top is voor veel beginnende
onderzoekers een ontluisterende onderneming.
Zo bestaat de hele eerste etappe - tot ongeveer
2500 meter hoogte - uitsluitend uit publicaties
waar nooit iemand naar verwezen heeft. Meer
dan 25 miljoen items die misschien wel ooit
gelezen zijn geweest - een citatie-index meet
enkel de verwijzingen en niet het gebruik -
maar waar niemand ooit een nieuw onderzoek
op heeft gesteund, noch het de moeite waard
heeft gevonden om het kritisch te bespreken.
De volgende etappe van 18 miljoen items
brengt ons naar een hoogte van bijna 4500 me-
ter. De items die hier te vinden zijn, hebben
in totaal tussen de één en de negen citaties we-
ten te verwerven. De publicaties die het met
minder dan 100 citaties moesten weten te stel-
len, brengen ons tot boven de 5500 meter. En
de toplaag van papers die meer dan duizend
citaties konden verzamelen, beslaat slechts an-
derhalve meter bovenaan de top. De honderd
meest geciteerde artikels nemen amper de bo-
venste centimeter van de berg in beslag. Om
tot die top honderd te kunnen behoren, moet
een artikel dan ook meer dan tienduizend ver-
wijzingen hebben gekregen.
Het artikel dat sinds jaar en dag de academi-
sche hitlijsten aanvoert draagt de titel: Protein
Measurement with the Folin Phenol Reagent en
werd in 1951 geschreven door professor bioche-
mie Oliver H. Lowry.1. Wie het niet luidop zegt,
denkt nu in stilte: ’Daar had ik toch meer van
1In 1990 stelde Garfield zelf een top 100 samen (toen op basis van 33 miljoen items) met als ondertitel Will the Lowry
Method Ever Be Obliterated? en ook toen al voerde Lowry de rangschikking aan. Opvallend aan de rangschikking van
Garfield is dat hij de resultaten in alfabetische volgorde per auteur weergeeft en niet volgens aantal citaties.
2

3. De speld in de papierberg • Juni 2015
verwacht’. Met uitzondering van een beperkt
groepje experts doen noch het onderwerp van
de ’winnende’ paper, noch de naam van haar
auteur namelijk veel belletjes rinkelen. Hoe
komt het dan dat een paper die zo weinig tot
de verbeelding spreekt, aanspraak kan maken
op deze ereplaats? Zou het niet veel meer voor
de hand liggen indien bijvoorbeeld Einsteins
voorstelling van de algemene relativiteitstheo-
rie of de ontdekking van de dubbele helixvorm
van het DNA door Watson en Crick met de ere-
plaatsen zouden zijn gaan lopen? Om op deze
vraag een antwoord te kunnen geven, moe-
ten we een aantal stappen terugzetten in een
poging de vorming en de dynamiek van de
papierberg beter te begrijpen.2
De papierberg
Hoe komt het dat de volledige inhoud van
het WoS in 2014 is aangegroeid tot 58 miljoen
items? Om dit te begrijpen moeten we ons
een beeld trachten te vormen van de groei van
de wetenschappelijke productie en haar relatie
tot de groei van de wetenschap als dusdanig.
Dergelijke vragen zijn een onderdeel van het
vakgebied dat we scientometrie noemen, ofwel
de wetenschap van de wetenschap.
Een klassieke manier om de groei van de
wetenschap te beschrijven is het zogenaamde
informatiemodel van wetenschap. In dit model
gaat men er van uit dat wetenschappelijk on-
derzoek een georganiseerd systeem is dat in-
formatie produceert. Wetenschappelijk onder-
zoek moet bovendien met informatie worden
gevoed om zo nieuwe informatie te kunnen
voortbrengen. De groei van de wetenschap
is in dergelijke modellen eenvoudig meetbaar
door de cumulatieve groei van het aantal pu-
blicaties te meten. Hoewel deze aanpak vrij
makkelijk becijferbare uitkomsten geeft, zijn er
een paar belangrijke tekortkomingen. Zo gaat
men er bijvoorbeeld van uit dat alle oudere pu-
blicaties relevant zijn in het jaar wanneer een
vaststelling wordt gedaan. Bij analyse van de
citaties over een langere periode, zien we ech-
ter een algemene afname van het aantal citaties
naar mate een artikel ouder wordt.
Andere auteurs trachten de ontwikkeling
van de wetenschap te kenschetsen door de ex-
ponentiële groei van het totale aantal publica-
ties in verband te brengen met een al even ex-
ponentiële daling van het volume aan relevante
informatie. Een model dat theoretisch goede
resultaten geeft, maar moeite heeft om deze
tegengestelde ontwikkelingen in een specifieke
periode aan te tonen.
Weer anderen koppelden een gestage con-
stante groei van de wetenschap als cognitieve
discipline los van haar bestaan als productieve
onderneming. In deze optiek zijn de publica-
ties zelf dus eerder een bijverschijnsel, en niet
de essentie van wetenschappelijke vooruitgang.
Om de drijvende krachten achter de groei
van het aantal publicaties te verklaren, moeten
we ons in de eerste plaats bewust zijn van een
aantal eigenschappen van de wetenschappe-
lijke bedrijvigheid zelf: zo produceert weten-
schap steeds - en volgens haar eigen rotsvaste
principes - een grote hoeveelheid redundante
informatie. Zij doet dit omwille van een onmis-
bare eigenschap van de wetenschap zelf. Zo is
de herhaalbaarheid van een experiment essenti-
eel wanneer we over wetenschappelijke kennis
willen spreken. Hierdoor zijn er over de hele
wereld vele onderzoeken die parallel aan el-
kaar verlopen. Op die manier wordt er voor
gezorgd dat er een grote mate van controle
bestaat op de verkregen resultaten, wat er op
zijn beurt voor zorgt dat de uiteindelijke con-
clusies erg betrouwbaar kunnen zijn. Maar dit
wil ook zeggen dat veel resultaten opnieuw en
opnieuw verschijnen binnen de vakliteratuur,
als waren het een origineel werk.
Daarnaast is het zo dat er - met name vanaf
de twintigste eeuw - door alle ontwikkelde lan-
den zwaar in onderzoek werd geïnvesteerd, en
dat er een stabiele financiering werd voorzien
van wetenschappelijke instellingen. Dit zorgde
er mede voor dat het totaal aantal wetenschap-
pers en onderzoekers wereldwijd in 2014 door
UNESCO werd geschat op 7 miljoen voltijdse
equivalenten.
Ook de institutionele verwachtingen van
2Bezoek zeker de website van Nature voor het volledige artikel en een flinke hap interactive content.
3

4. De speld in de papierberg • Juni 2015
academische instellingen spelen een rol bij de
vermeerdering van het globale aantal publi-
caties. Academische overheden meten in het
kader van het evaluatieproces de productiviteit
van hun personeelsleden onder meer aan de
hand van het aantal geproduceerde publicaties
binnen een bepaalde periode. Een principe dat
ondertussen genoegzaam gekend is onder de
noemer publish or perish. Deze gang van zaken
kan er aanleiding toe geven dat een vorser snel-
ler gaat publiceren, een artikel gaat schrijven
over een minder cruciaal deelprobleem van het
onderzoek, dat men onderzoek dat in één arti-
kel kan worden weergegeven zal spreiden over
meerdere publicaties, enzovoort. In combina-
tie met de grote waarde die doorgaans wordt
gehecht aan het produceren van positieve re-
sultaten - en het positieve effect dat dergelijke
resultaten hebben op de persoonlijke citatie-
index - kan dit aanleiding geven tot misstanden
en fraude.
De speld
Het voorgaande geeft ons een aantal indica-
ties voor de snelle aangroei van het aantal
wetenschappelijke publicaties. Ook geeft het
ons een gedeeltelijke verklaring voor het grote
aantal papers waar na publicatie nooit meer
naar werd verwezen. Om te weten te komen
waarom nu precies de paper van Oliver Lowry
zo hoog scoort, moeten we een paar andere
elementen mee in rekening brengen. Zo is het
belangrijk te weten dat elke wetenschappelijke
discipline haar eigen citatiecultuur heeft. Zo is
het onder biochemici de traditie om zeer uit-
voerig te zijn bij het toevoegen van bibliogra-
fische verwijzingen. Dit verklaart waarom de
volledige top zes in de rangschikking binnen
dit vakgebied te situeren valt. Bij wiskundigen
bijvoorbeeld ligt het gemiddelde aantal verwij-
zingen per gepubliceerde artikel een stuk lager,
wat er voor zorgt dat deze laatsten over het
algemeen lager scoren wanneer we een eva-
luatie maken van hun citatiegraad. Ook het
gemiddeld aantal publicaties die door een on-
derzoeker jaarlijks wordt afgeleverd, ligt in de
biochemie erg hoog. Elementen die in het voor-
deel van Lowry spelen.
De paper van Lowry is op zichzelf geen
baanbrekende nieuwe ontdekking binnen het
eigen vakgebied. Wat er in beschreven staat,
is een methode om het gehalte aan proteïnen
in een oplossing te bepalen. Deze methode is
echter al snel na haar publicatie een standaard
geworden binnen de labopraktijk van ieder-
een die met organische chemie werkt. Telkens
wanneer een onderzoeker de test, die dus door
Lowry werd ontwikkeld, gebruikt in de loop
van het eigen onderzoek, zal de bewuste pa-
per een vermelding krijgen. Dat het vooral dit
soort instrumentele ontdekkingen zijn die hoog
scoren in de top 100, wordt al snel duidelijk
wanneer we de andere hoogst genoteerde pa-
pers bekijken. Behalve chemische tests scoort
bijvoorbeeld ook een softwarematige toepas-
sing die gebruikt wordt bij de analyse van ge-
netische sequenties hoog.3
Deze voorbeelden tonen duidelijk aan dat
wanneer we bij het zoeken naar wetenschappe-
lijke informatie uitsluitend het aantal citaties
als criterium nemen voor de relevantie van
een artikel, we ons danig kunnen vergissen.
Uiteraard gaat het hier om belangrijke ontwik-
kelingen, maar doorgaans niet om de grote
mijlpalen in de ontwikkeling van de weten-
schap.
Een andere bedenking die we kunnen ma-
ken wanneer we het aantal citaties vergelijken
met de wetenschappelijke waarde, komt aan
het licht wanneer we kennis maken met het
principe van de halfwaardetijd van wetenschap-
pelijke publicaties.
Halfwaardetijd
Halfwaardetijd is een begrip dat aan de studie
van radioactiviteit ontleend werd. Wanneer
je bijvoorbeeld één uraniumatoom in je hand
houdt, weet je dat het uiteindelijk zal verval-
len. Wanneer dit precies gaat gebeuren weet
je echter niet. Misschien zal dit gebeuren bin-
nen een milliseconde, maar misschien ook pas
na enkele miljoenen jaren. Dit probleem ver-
3Zo vinden we op de twaalfde plaats het artikel Basic local alignment search tool door S.F. Altschul e.a.
4

5. De speld in de papierberg • Juni 2015
dwijnt wanneer we een hele klomp uranium
aangeboden krijgen. Dan weet je dat het 4,47
miljard jaren zal duren vooraleer de helft van
het uranium vervallen zal zijn. Je weet niet
precies welke atomen zullen vervallen, maar je
weet wel welk aandeel.
Met wetenschap gaat het ongeveer op de-
zelfde manier. Hoewel we niet kunnen voor-
spellen welk wetenschappelijk feit uiteindelijk
irrelevant zal worden, zijn er steeds bepaalde
regelmatigheden op te tekenen.4
Bedenk echter ook dat sommige papers niet
meer worden geciteerd, precies omdat ze erg
invloedrijk zijn geworden. Zo zal niemand
nog Newton’s Principia mathematica citeren,
hoewel zijn methoden in de natuurkunde nog
dagelijks worden toegepast. Dergelijke kennis,
die de basiselementen van ons wetenschappe-
lijke wereldbeeld bevatten, verlaten de wereld
van wetenschappelijke journals en komen te-
recht in monografieën en handboeken voor stu-
denten. Dit fenomeen verklaart bijvoorbeeld
waarom er geen enkele paper van Einstein in
de top 100 te vinden is.
Omgekeerd is het trouwens zo dat de over-
grote meerderheid van wetenschappelijke pu-
blicaties hun hoogste activiteitsgraad vlak na
hun publicatie kennen. Stel je dit gerust voor
als een intensieve gedachtewisseling tussen een
groep onderzoekers over een onderwerp dat
op een bepaald moment hot is. Wanneer het
punt uiteindelijk bevredigend is uitgeklaard,
valt de discussie stil en wordt er over een an-
der onderwerp een nieuwe opgestart. Het is
natuurlijk ook mogelijk dat een tekst pas enige
tijd na haar publicatie wordt opgevist en in de
belangstelling komt te staan, maar dit is eerder
zeldzaam. Ook deze vaststelling, die reeds in
de beginjaren van de ontwikkeling van de sci-
entometrie werd gedaan, is veelzeggend over
de betekenis van het aantal citaties ten opzichte
van de relevantie van een artikel.
De groeiende noodzaak aan een
metaverhaal
Hierboven worden slechts een paar elemen-
ten opgenoemd die een rol spelen bij de tot-
standkoming van de academische papierberg.
Moeten wij de bibliotheekgebruiker nu werke-
lijk met deze dingen overstelpen? Ik denk het
wel. Het valt bovendien te verwachten dat een
goede beeldvorming van de mechanismen van
wetenschappelijk publiceren enkel aan belang
zullen winnen. Zeker nu de eerste cohorten di-
gital natives de auditoria van universiteiten en
hogescholen binnenstromen. Praktische vaar-
digheden - zoals het formuleren van een goede
zoekopdracht, het gelijktijdig doorzoeken van
meerdere databanken en het combineren van
zoektermen en het interpreteren van de waarde
van de zoekresultaten - behoren steeds vaker
tot de parate kennis van de student. Technische
evoluties aan de zijde van de aanbieders van
academische databanken zorgen ervoor dat op-
zoeken steeds intuïtiever zal kunnen gebeuren.
Hoe men aan bepaalde informatie komt,
wordt bijgevolg steeds eenvoudiger. Door het
groeiende aanbod wordt het echter steeds be-
langrijker goed te weten wat men precies wil
opvragen. Om op deze vraag een correct ant-
woord te kunnen geven, dient men een breder
perspectief in acht te nemen. Het terugvin-
den van een peer reviewed artikel over eender
welk wetenschappelijk onderwerp is niet het
eindpunt maar het begin van een complexe
zoektocht naar betrouwbare kennis.
4Lees hierover meer in The half life of facts door Samuel Arbesman, 2012. De idee van het maken van een analogie met
radioactief verval werd echter reeds gebruikt door Derek J. de Solla Price in de jaren ’60 van de vorige eeuw.
5