Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
State-fostered immaturity?
Kant, Galileo and the Grand Evaluator
Giuseppe De Nicolao
Università di Pavia
Outline
1. Dead scien,sts’ society
2. League Tables are fun(nnels)
3. The Egyp,an job
4. Unintended(?) consequences
5. The...
1. Dead scien,sts’ society
Valutare le poesie ... determinare la
grandezza di una poesia
diventa una ques4one
rela4vamente semplice.
Se segniamo la
p...
Valutare le poesie
Escrementi!
Ecco cosa penso delle
teorie di J. Evans
Prichard.
Adesso voglio che
strappiate quella
pagi...
IMPACT FACTOR
#CITATIONS
Valutare la ricerca
Valutare la ricerca
«Si costruirà un indicatore simile all’indicatore IRD1 della
VQR 2004-2010. Prima della valutazione, v...
La valutazione in ambito umanis0co
Da: Federico Bertoni (UniBO)
Judgement vs measurement
2. League Tables are
fun(nnels)
17 luglio 2013
L’Italia entra
nell’Europa della
valutazione
S. Fantoni (presidente ANVUR): «il Paese possiede una
fotografi...
Area 9: Ingegneria Industriale e dell’informazione
Area 8b: Archite:ura
MESSINA 12
MESSINA 10
MILANO
POLITECNICO 16
MILANO...
Ritenta e sarai più fortunato
2017: «una valutazione accurata, rigorosa e imparziale»
Giavazzi: «se io ho una figlia che va
all’università e deve decidere qual è
la migliore ... va sul sito dell’ANVUR
e le ved...
Giavazzi: «se io ho una figlia che va
all’università e deve decidere qual è
la migliore ... va sul sito dell’ANVUR
e le ved...
ma anche nella Fisica
succedono cose strane ...
VQR: Kore-Enna prima in Italia nella Fisica?
D. Checchi (ANVUR): «Assurdo ma è così»
Andrea Graziosi (ex presidente ANVUR) spiega le
classifiche VQR: «come se l'Anvur non avesse
spiegato perché quella gradua...
Il genio della lampada: esaudisco i tuoi
desideri ma ....
• Non ammazzo
• Non posso far innamorare qualcuno di
qualcun alt...
Il genio della lampada: esaudisco i tuoi
desideri ma ....
• Non ammazzo
• Non posso far innamorare qualcuno di
qualcun alt...
Geniale, vero?
ANVUR non è d’accordo
ANVUR: «Il caso non ha
dunque nulla a che fare
con i risulta2 della Vqr»
“braghe(one” per
coprire le vergogne
ORIGINALE
Di MICHELANGELO
VERSIONE
CENSURATA
VQR ORIGINALE
(AD “IMBUTO”)
ET VOILÀ!
L’IMBUTO
NON SI VEDE PIÙ!
PARTENDO DA
100 INVECE CHE
DA ZERO
SPARISCONO 22
ATENEI SU...
No, non ci vuole un genio:
sono cose arcinote
1996
Funnel plots: example
SIZE
PERFORMANCE
«This funnel plot clearly reveals
the bulk of the institutions as lying
within the 95 per cent limits, and in
particular e...
Non tu' i valutatori sono miopi nei confron3 degli
imbu3. GEV 01 cambia la definizione di ateneo grande-
medio-piccolo: med...
Ok, Spiegelhalter ci ha convinto:
le classifiche sono folklore.
Però, non si può fare a meno della VQR.
AltrimenA, come div...
Ok, Spiegelhalter ci ha convinto:
le classifiche sono folklore.
Però, non si può fare a meno della VQR.
AltrimenA, come div...
Finanziamento
VQR-based vs "a pioggia"
Solo 16 atenei su 60 ricevono
premi o punizioni superiori al
milione di euro. La me...
... mathema(cs employed as a
rhetorical weapon—an
intellectual creden(al to
convince the public that an idea
or a process ...
A cosa serve la valutazione?
3. The Egyp+an Job
«Siamo agli ultimi posti nelle
classifiche mondiali. Per questo
motivo presenteremo a novembre la
riforma dell’Università,...
16 se&embre 2010
ed ecco a voi
“the gold standard in interna/onal
university performance comparisons”
New York Times, November 14, 2010
Alexandria’s surprising prominence
was actually due to “the high
output from one scholar...
ma cosa c'entrano le classifiche con la
libertà accademica e con l'e3ca?
Twenty Ways
to Rise in the
Rankings!
Twenty Ways to Rise in the Rankings (1/3)
by Richard Holmes h=p://rankingwatch.blogspot.it/2013/12/twenty-ways-to-rise-in-...
7. Amalgamate. What about a new mega university formed by
merging LSE, University College London and Imperial College? Or
...
18. Support your local independence movement. Increasing the
number of interna1onal students and faculty is good for both ...
nota: nel Ranking QS, 50% del punteggio
deriva da un sondaggio reputazionale)
«It is essential that the academics you
contact understand the importance of
UCC improving its University world
ranking an...
«Si precisa che per
“nuovi contatti”
s’intendono contatti di
livello, capaci di
esprimere un parere
positivo nei confronti...
3. Unintended(?)
consequences
una "gola profonda" ci ha de1o che ...
La valutazione induce
comportamen2 opportunis2ci?
“... certamente sì. [...] Questo è un tema ampiamente
riconosciuto nella...
Valutazione a pun-? Abbassa la qualità
“La soluzione ado-ata in paesi come Polonia e Repubblica Ceca
si è basata su una qu...
GIFT AUTHORSHIP NELLA
VQR E NELL’ASN
• Su ques& aspe) l’esperienza personale degli ul&mi anni è
straordinaria.
• All'indomani della VQR nel mio ateneo un dire:...
Il miracolo della mol,plicazione:
mul$ple authorship
Funziona meravigliosamente ...
“se A e B prima scrivevano qua1ro lavori l’anno a firma singola,
se si accordano nel diventa...
Coercive cita+on pianificata per la
promozione in serie A
“Nell’area di economia, come si ricorderà, nella classificazione
d...
Un livello di complessità ulteriore:
il gioco delle cricche
“Ad un livello di complessità ulteriore si colloca il gioco de...
Infine il classico salami slicing
invece di scrivere un solo ar.colo
complesso, si scrivono numerosi ar.cole2
più cor., cor...
ma chi è la nostra
“gola profonda”?
Andrea Bonaccorsi:
Componente del
Dire4vo ANVUR
(2011-2015)
e cosa conclude?
“L'e$ca accademica di un tempo
avrebbe censurato in modo irreversibile
ques$ comportamen$”
ma oggi
“Credo...
e cosa conclude?
“L'e$ca accademica di un tempo
avrebbe censurato in modo irreversibile
ques$ comportamen$”
ma oggi
“quest...
«La chiave non è quindi
abbandonare sistemi di
governo della complessità,
ma assumere il punto di
vista dello scienziato s...
Prevenire i comportamen. opportunis.ci?
C'est très facile!
• frac.onal coun.ng al posto del full coun.ng (il peso di una p...
«Non esiste, a mio modo di
vedere, una evidenza
empirica robusta sul fatto che
la valutazione o anche i
sistemi di publish...
«The apparent endemicity of bad research behaviour is
alarming … Na:onal assessment procedures, such as the
Research Excel...
Incen%vi perversi nell’accademia
“Na$onal assessment procedures, such as the Research
Excellence Framework, incen$vize bad...
Ammettiamo di riuscire a sanzionare gli opportunisti.
Ma non corriamo il rischio di discriminare
un novello Galileo o Newt...
5. The Legend of the
Great Evaluator
[…] nulla mai è stato per l’uomo e per la società umana più
intollerabile della libertà!
Si convinceranno pure che non pot...
Ci saranno miliardi di pargoli felici e centomila
mar2ri che avranno preso su di sé la
maledizione di discernere il bene d...
Gli ANVUR tapes
A. Graziosi: Io credo sia un’illusione penosa –
scusi il termine – immaginarsi che una
qualunque comunità in qualunque mom...
Sul documento ANVUR relativo ai criteri di
abilitazione scientifica nazionale.
Commenti, osservazioni critiche e proposte ...
Due %pi di errore
• Gli errori che possono essere commessi con il criterio della mediana
possono essere di due 2pi, di seg...
Scendiamo nel concreto
• Caso del professore di informa/ca che vuole studiare le
come i Big Data minacciano la democrazia,...
Freedom?
We cannot afford it
If evalua5on does not
exists everything is
allowed
Andrea Graziosi (Vicepresidente ANVUR):
«Questo sistema - questo io lo dico senza
tema di smen2ta - è andato alla deriva, ...
Andrea Graziosi (Vicepresidente ANVUR):
«Questo sistema - questo io lo dico senza
tema di smen2ta - è andato alla deriva, ...
OPERATING
EXPENSES 2012
FONDO FINANZIAMENTO
ORDINARIO 2012
MILIARDIDIEURO
LE “OPERATING EXPENSES” DI HARVARD E YALE AMMONT...
COME PREVISTO, LA TURCHIA
CI HA DAVVERO SUPERATO
L’ITALIA È
L’OTTAVO
“PRODUTTORE”
MONDIALE DI
CONOSCENZA
SCIENTIFICA
Pubblicazioni scien-fiche vs cos- dei migliori atenei di ogni nazione
(Da-: ARWU ranking)
Pubblicazioni scien-fiche vs cos-:
confronto tra campioni nazionali e atenei italiani
(Da-: ARWU ranking)
PENDENZA DELLA RE...
UK and Italy showed significant growth to rank fourth behind
the UK.
Figure 6.3 — Articles (Higher Education sector) per m...
Figure 6.4 — Citations (Higher Education sector) per million USD HERD for UK and comparators,
2010-2014. HERD values are i...
6. The Queen's ques-on
«Why did
nobody
no*ce it?»
La domanda
della Regina
La domanda della regina (Elisabe1a)
• «Why did nobody no*ce it?» (Come mai nessuno si è
accorto di tu8o ciò?)
• A seguito ...
Non solo scienza economica …
Bibliometrics vs peer review:
do they agree?
Ovvero: cosa succede se il
valutatore fa anche lo scienziato?
Ma è lecito mescolare peer review
e bibliometria?
GEV01
GEV02
GEV03
GEV04
GEV05
GEV06
GEV07
GEV08
GEV09
GEV13
Conclusioni tu8e uguali
Facciamo uno zoom
sul Rapporto di
Area 09
Rapporto
di Area 09
ma la concordanza è più che adeguata o moderata?
Facciamo uno zoom
sul Rapporto di
Area 09
Mancano degli spazi.
Non è che il rapporto dell’area 09 (quella con la concordan...
Therefore:
‘‘the agencies that run these evaluations
could feel confident about using
bibliometric evaluations and interpr...
Therefore:
“results of the analysis relative to the degree
of concordance and systematic difference
may be considered to v...
Dal 2014 abbiamo tentato di
replicare l’esperimento
• ANVUR non fornisce i da< necessari
(mail 10/2/2014 a Presidente Fant...
Da# chiusi,
concordanza non replicabile
«K is always statistically different from zero, showing that there is a
fundamental agreement among the two distributions ...
moderate
moderate
unacceptable
unacceptable
fair to good
Concordanza?
E negli altri GEV come va?
1
2
3
4
5
Protocollo 5X5 vs. protocollo 4X4
valori bassi
di kappa non
pubblicati da
ANVUR
Errori inspiegabili nella replica di Ancaiani et al.
ERROR:
47.583?
Popula2on: 86.998
ERROR:
ERROR
7,597
ANVUR e la gius.ficazione della
poli.ca italiana per la ricerca
Why this extraordinary dissemina/on effort was produced by
s...
Poli%ca vaccinale
Government prescribes a new mandatory vaccine in compliance with the
recommenda5on of a report issued by...
[CAESAR NON EST SUPRA GRAMMATICOS] Lo stato, nel saggio
sull’Illuminismo [di Kant], cerca di interferire nella ricerca o
p...
… una scienza di stato che non solo conterrà
e imporrà - come nelle pagine più buie della
storia del Novecento - errori di...
7. Brecht's Galileo
Vita di Galileo (Brecht)
• Anche un venditore di lana, per quanto abile sia ad
acquistarla a buon prezzo per poi rivenderl...
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
State-fostered immaturity? Kant, Galileo and the Grand Evaluator
Upcoming SlideShare
Loading in …5
×

State-fostered immaturity? Kant, Galileo and the Grand Evaluator

2,249 views

Published on

Slide dell'intervento di Giuseppe De Nicolao al convegno “Academic Freedom Today - Insights from Law, Philosophy, and Institutional Practice”, 6-7 dicembre 2018, Libera Università di Bolzano, https://academicfreedom.events.unibz.it/
_________
State-fostered immaturity? Kant, Galileo and the Grand Evaluator

In 2017, the president of Anvur, the Italian agency for research evaluation, was asked if bibliometrics-based research evaluation could discourage innovative research. The answer was disconcerting, yet revealing: a scientific genius “will be rewarded twenty years from now, when he will become the most famous scientist in the world. In the meantime, he should be grateful that he maintained his academic position without being burnt alive. Frankly speaking, we are not all Galilei and Newton”. No less worrying is the creeping effect of research evaluation on the public use of reason by academics. Linking administrative actions such as hiring, career, funding and wages to the outcomes of centralized research evaluation can subtly impair academic freedom in fields such as health, environment, economics, education and research policy. These issues will be illustrated through the analysis of methods, outcomes and unintended effects of research evaluations run by Anvur.

Published in: Education
  • DOWNLOAD FULL eBOOK INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. PDF eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. EPUB eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... 1.DOWNLOAD FULL. doc eBook here { https://tinyurl.com/y3nhqquc } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, CookeBOOK Crime, eeBOOK Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

State-fostered immaturity? Kant, Galileo and the Grand Evaluator

  1. 1. State-fostered immaturity? Kant, Galileo and the Grand Evaluator Giuseppe De Nicolao Università di Pavia
  2. 2. Outline 1. Dead scien,sts’ society 2. League Tables are fun(nnels) 3. The Egyp,an job 4. Unintended(?) consequences 5. The legend of the Great Evaluator 6. The Queen’s ques,on 7. Brecht’s Galileo
  3. 3. 1. Dead scien,sts’ society
  4. 4. Valutare le poesie ... determinare la grandezza di una poesia diventa una ques4one rela4vamente semplice. Se segniamo la perfezione di una poesia sull'asse orizzontale di un grafico e la sua importanza su quello ver4cale, sarà sufficiente calcolare l'area totale della poesia, per misurarne la grandezza.
  5. 5. Valutare le poesie Escrementi! Ecco cosa penso delle teorie di J. Evans Prichard. Adesso voglio che strappiate quella pagina!
  6. 6. IMPACT FACTOR #CITATIONS Valutare la ricerca
  7. 7. Valutare la ricerca «Si costruirà un indicatore simile all’indicatore IRD1 della VQR 2004-2010. Prima della valutazione, verranno calcolate, per ognuno degli SSD presenB nel DiparBmento, la media e la deviazione standard del numero di pubblicazioni, disBnte per categoria, per persona, inserite dai DiparBmenB di tuD gli Atenei. Se il numero di pubblicazioni per persona inserite dal DiparBmento per un dato SSD [...] risulta inferiore al valor medio diminuito di 2 volte la deviazione standard, l'indicatore finale verrà molBplicato per un peso inferiore a 1 che dipende dalla distanza dal valor medio nazionale».
  8. 8. La valutazione in ambito umanis0co Da: Federico Bertoni (UniBO)
  9. 9. Judgement vs measurement
  10. 10. 2. League Tables are fun(nnels)
  11. 11. 17 luglio 2013 L’Italia entra nell’Europa della valutazione S. Fantoni (presidente ANVUR): «il Paese possiede una fotografia de#aglia(ssima e,sopra#u#o, cer(ficata della qualità della ricerca italiana» M.C. Carrozza (Ministro MIUR): «Con questa giornata, l’università italiana entra nell’Europa della valutazione»
  12. 12. Area 9: Ingegneria Industriale e dell’informazione Area 8b: Archite:ura MESSINA 12 MESSINA 10 MILANO POLITECNICO 16 MILANO POLITECNICO 13 Messina ba)e Milano Politecnico 2-0
  13. 13. Ritenta e sarai più fortunato 2017: «una valutazione accurata, rigorosa e imparziale»
  14. 14. Giavazzi: «se io ho una figlia che va all’università e deve decidere qual è la migliore ... va sul sito dell’ANVUR e le vede tu=e classificate»
  15. 15. Giavazzi: «se io ho una figlia che va all’università e deve decidere qual è la migliore ... va sul sito dell’ANVUR e le vede tu=e classificate»
  16. 16. ma anche nella Fisica succedono cose strane ...
  17. 17. VQR: Kore-Enna prima in Italia nella Fisica? D. Checchi (ANVUR): «Assurdo ma è così»
  18. 18. Andrea Graziosi (ex presidente ANVUR) spiega le classifiche VQR: «come se l'Anvur non avesse spiegato perché quella graduatoria "non deve essere impiegata in nessuna circostanza per rappresentare la reale posizione di un Ateneo"» News 3 http://unipv.waypress.eu/RassegnaStampa/LeggiArticolo.asp... articolo - IntraNews 3 http://unipv.waypress.eu/RassegnaStampa/LeggiArticolo.asp... Leggi articolo - IntraNews 3 http://unipv.waypress.eu/RassegnaStampa/LeggiArticolo.asp... Questa graduatoria non è una graduatoria
  19. 19. Il genio della lampada: esaudisco i tuoi desideri ma .... • Non ammazzo • Non posso far innamorare qualcuno di qualcun altro • Non posso assolutamente far resuscitare i morti e ...
  20. 20. Il genio della lampada: esaudisco i tuoi desideri ma .... • Non ammazzo • Non posso far innamorare qualcuno di qualcun altro • Non posso assolutamente far resuscitare i morti e ... • Non posso stilare classifiche degli atenei scientificamente fondate
  21. 21. Geniale, vero?
  22. 22. ANVUR non è d’accordo
  23. 23. ANVUR: «Il caso non ha dunque nulla a che fare con i risulta2 della Vqr»
  24. 24. “braghe(one” per coprire le vergogne ORIGINALE Di MICHELANGELO VERSIONE CENSURATA
  25. 25. VQR ORIGINALE (AD “IMBUTO”) ET VOILÀ! L’IMBUTO NON SI VEDE PIÙ! PARTENDO DA 100 INVECE CHE DA ZERO SPARISCONO 22 ATENEI SU 56 “BRAGHETTONE” CUCITO DA BENEDETTO & TORRINI + = BRAGHETTONE SE INDOSSI IL “BRAGHETTONE” L’IMBUTO NON SI VEDE PIÙ! IL “BRAGHETTONE” LASCIA SCOPERTI SOLO 34 ATENEI SU 56 FUNNEL PLOT
  26. 26. No, non ci vuole un genio: sono cose arcinote
  27. 27. 1996
  28. 28. Funnel plots: example SIZE PERFORMANCE
  29. 29. «This funnel plot clearly reveals the bulk of the institutions as lying within the 95 per cent limits, and in particular emphasises that there is no basis for ranking the hospitals. Four hospitals might perhaps be further scrutinized as having high rates, but no hospital lies outside the 99.8 per cent limits. Such a plot suggests there may be little to be learnt by seeking to understand reasons for the variability» League Tables vs Funnel Plots
  30. 30. Non tu' i valutatori sono miopi nei confron3 degli imbu3. GEV 01 cambia la definizione di ateneo grande- medio-piccolo: medaglia d'oro per università del coordinatore (e due bronzi per quelle dei coordinatori dei sub-GEV)
  31. 31. Ok, Spiegelhalter ci ha convinto: le classifiche sono folklore. Però, non si può fare a meno della VQR. AltrimenA, come divido i soldi? A pioggia?
  32. 32. Ok, Spiegelhalter ci ha convinto: le classifiche sono folklore. Però, non si può fare a meno della VQR. AltrimenA, come divido i soldi? A pioggia? Beh, non farebbe molta differenza ...
  33. 33. Finanziamento VQR-based vs "a pioggia" Solo 16 atenei su 60 ricevono premi o punizioni superiori al milione di euro. La metà degli atenei (30) si discosta in alto o in basso rispe>o alla distribuzione a pioggia per meno di 500mila €.
  34. 34. ... mathema(cs employed as a rhetorical weapon—an intellectual creden(al to convince the public that an idea or a process is “objec&ve” and hence be:er than other compe(ng ideas or processes. This is mathema&cal in&mida&on. It is especially persuasive because so many people are awed by mathema(cs and yet do not understand it—a dangerous combina(on.
  35. 35. A cosa serve la valutazione?
  36. 36. 3. The Egyp+an Job
  37. 37. «Siamo agli ultimi posti nelle classifiche mondiali. Per questo motivo presenteremo a novembre la riforma dell’Università, [...] Mi auguro di non dover più vedere in futuro - conclude - la prima università italiana al 174mo posto»
  38. 38. 16 se&embre 2010
  39. 39. ed ecco a voi “the gold standard in interna/onal university performance comparisons”
  40. 40. New York Times, November 14, 2010 Alexandria’s surprising prominence was actually due to “the high output from one scholar in one journal” — soon iden;fied on various blogs as Mohamed El Naschie, an Egyp;an academic who published over 320 of his own ar9cles in a scien9fic journal of which he was also the editor.
  41. 41. ma cosa c'entrano le classifiche con la libertà accademica e con l'e3ca?
  42. 42. Twenty Ways to Rise in the Rankings!
  43. 43. Twenty Ways to Rise in the Rankings (1/3) by Richard Holmes h=p://rankingwatch.blogspot.it/2013/12/twenty-ways-to-rise-in-rankings-quickly.html 1. Get rid of students. The university will therefore do be2er in the faculty student ra5o indicators. 2. Kick out the old and bring in the young. Get rid of ageing professors, especially if unproduc5ve and expensive, and hire lots of temporary teachers and researchers. 5. Get a medical school. Medical research produces a dispropor5onate number of papers and cita5ons which is good for the ARWU publica5ons indicator.
  44. 44. 7. Amalgamate. What about a new mega university formed by merging LSE, University College London and Imperial College? Or a tres grande ecole from all those li?le grandes ecoles around Paris? 9.The wisdom of crowds. Focus on research projects in those fields that have huge mul9 - “author” publica9ons, parDcle physics, astronomy and medicine for example. Such publicaDons oGen have very large numbers of citaDons. 10. Do not produce too much. If your researchers are producing five thousand papers a year, then those five hundred citaDons from a five hundred “author” report on the latest discovery in parDcle physics will not have much impact. Twenty Ways to Rise in the Rankings (2/3) by Richard Holmes h=p://rankingwatch.blogspot.it/2013/12/twenty-ways-to-rise-in-rankings-quickly.html
  45. 45. 18. Support your local independence movement. Increasing the number of interna1onal students and faculty is good for both the THE and QS rankings. If it is difficult to move students across borders why not create new borders? 20. Get Thee to an Island. Leiden Ranking has a li>le known ranking that measures the distance between collaborators. At the moment the first place goes to the Australian Na1onal University. Twenty Ways to Rise in the Rankings (3/3) by Richard Holmes h<p://rankingwatch.blogspot.it/2013/12/twenty-ways-to-rise-in-rankings-quickly.html
  46. 46. nota: nel Ranking QS, 50% del punteggio deriva da un sondaggio reputazionale)
  47. 47. «It is essential that the academics you contact understand the importance of UCC improving its University world ranking and that they complete the questionnaire before April 12th 2013.»
  48. 48. «Si precisa che per “nuovi contatti” s’intendono contatti di livello, capaci di esprimere un parere positivo nei confronti di Sapienza» 6 febbraio 2017
  49. 49. 3. Unintended(?) consequences
  50. 50. una "gola profonda" ci ha de1o che ...
  51. 51. La valutazione induce comportamen2 opportunis2ci? “... certamente sì. [...] Questo è un tema ampiamente riconosciuto nella le3eratura sulla valutazione (Pawson, Tilley, 1997: Weiss, 1998; Stufflebeam,2001; Stufslebeam, Shinkfield, 2007; Pawson,2013). I soggeQ valutaR ingaggiano un vero e proprio strategic game con l’isRtuzione che valuta, cercando di volgere a proprio vantaggio le regole (Strathern, 2000; Dahler-Larson, 2012; Alkin, 2013)”
  52. 52. Valutazione a pun-? Abbassa la qualità “La soluzione ado-ata in paesi come Polonia e Repubblica Ceca si è basata su una quan8ficazione spinta dei prodo; della ricerça, ciascuno dei quali è stato trado-o in veri e propri pun8, la somma dei quali cos8tuisce la base di ripar8zione delle risorse. [...] Purtroppo, come era prevedibile, questo sistema ha generato un vero e proprio mercato dei pun8, favorendo la proliferazione di prodo% scien+fici di scarso valore ma alto punteggio. Questo fenomeno era peraltro già stato iden8ficato da Diana Hicks in Australia: dopo l'introduzionedi un sistema di incen8vi basato sul numero di pubblicazioni indicizzate,il sistema aveva reagito aumentandoil numero ma abbassando dras+camente la qualità.”
  53. 53. GIFT AUTHORSHIP NELLA VQR E NELL’ASN
  54. 54. • Su ques& aspe) l’esperienza personale degli ul&mi anni è straordinaria. • All'indomani della VQR nel mio ateneo un dire:ore di dipar&mento, il cui posizionamento nel se:ore scien&fico era molto debole, ha scri:o ai colleghi diprovvedere, in vista della successiva valutazione, a inserire come co-autori coloro che risultavano ina)vi, cioè con un numero di pubblicazioni inferiore al richiesto. • Per fare un altro esempio, all'indomani della uscita dei criteri per l’Abilitazione scien&fica ho visto con i miei occhi la tabellina di un se:ore concorsuale nella quale veniva fa:a la lista dei lavori so:omessi a rivista o già acce:a&, con una ripar&zione scien&fica dei casi nei quali agli autori (tu) giovani) sarebbe stato chiesto di aggiungere il nome di un altro prima della pubblicazione finale, il tu:o controllato da un ben organizzato gruppo di professori ordinari.
  55. 55. Il miracolo della mol,plicazione: mul$ple authorship
  56. 56. Funziona meravigliosamente ... “se A e B prima scrivevano qua1ro lavori l’anno a firma singola, se si accordano nel diventare coautori la loro produzione raddoppia magicamente a o1o per anno. Anche qui l’esperienza dire2a degli ul;mi anni è interessante: ho visto cv nei quali il numero di ar;coli per anno triplica da prima a dopo l'Abilitazione scien;fica nazionale. Nel mio se2ore nel quale il numero medio di autori era tradizionalmente intorno a due, ho visto recentemente ar;coli con sei e se1e firme, di cui qua1ro di professori associa; (che nella vita si occupano di cose completamente diverse) e due o tre di studen; di do1orato (tra poco riapre la Abilitazione, meglio essere pron;).”
  57. 57. Coercive cita+on pianificata per la promozione in serie A “Nell’area di economia, come si ricorderà, nella classificazione delle riviste scien5fiche non comparivano riviste italiane nella fascia A, ai fini dell’Abilitazione scien5fica nazionale. [...] L’ANVUR ha poi aperto una procedura, svoltasi per due volte, finalizzata alla revisione periodica del giudizio sulle riviste. [...] Si è poi venu* a sapere che una rivista di area aziendale aveva organizzato la richiesta di revisione con ampio an5cipo, circolando agli autori ar5colate istruzioni su come citare gli ar5coli della rivista stessa. Organizzando cioè una forma di coercive cita*on pianificata, con tanto di periodico monitoraggio deirisulta5 su Google Scholar.”
  58. 58. Un livello di complessità ulteriore: il gioco delle cricche “Ad un livello di complessità ulteriore si colloca il gioco delle clique: A, B e C si accordano in modo che A citi i lavori di B, B quelli di C e C quelli di A, “regalando” reciprocamente citazioni non necessarie dal punto di vista scientifico. Se i protagonisti fossero solo A e B, il gioco verrebbe facilmente scoperto. Da tre in su,identificare una clique è una faccenda più complicata. Così può capitare di vedere articoli che si occupano di logistica che citano articoli di management sanitario, i quali citano articoli di di Customer Relationship Management che alla fine misteriosamente ritengono fondamentale citare articoli di logistica.”
  59. 59. Infine il classico salami slicing invece di scrivere un solo ar.colo complesso, si scrivono numerosi ar.cole2 più cor., corrisponden. alla c.d. unità minima pubblicabile, al solo scopo di mol.plicare il conteggio.
  60. 60. ma chi è la nostra “gola profonda”?
  61. 61. Andrea Bonaccorsi: Componente del Dire4vo ANVUR (2011-2015)
  62. 62. e cosa conclude? “L'e$ca accademica di un tempo avrebbe censurato in modo irreversibile ques$ comportamen$” ma oggi “Credo che l’approccio da ado9are sia diverso”
  63. 63. e cosa conclude? “L'e$ca accademica di un tempo avrebbe censurato in modo irreversibile ques$ comportamen$” ma oggi “questo non dovrebbe in alcun modo stupire o indignare gli scienzia$ sociali”
  64. 64. «La chiave non è quindi abbandonare sistemi di governo della complessità, ma assumere il punto di vista dello scienziato sociale che cerca di an:cipare non solo le conseguenzedire<e della propria azione, ma anche le conseguenze dire<e e indire<e dell’ada<amento dei sogge> sociali alla propria azione, e della loro interazione successiva.»
  65. 65. Prevenire i comportamen. opportunis.ci? C'est très facile! • frac.onal coun.ng al posto del full coun.ng (il peso di una pubblicazione viene frazionato in funzione del numero di coautori), • analisi di discon.nuità (se il numero medio di coautori aumenta improvvisamente si può chiedere de>agliatamente conto dei contribu. individuali). • codici e.ci e campagne di opinione che scoraggiano comportamen. opportunis.ci. • manuali sui metodi di valutazione che aumen.no il grado di consapevolezza delle possibili manipolazioni. • se in sede di ASN si giungesse a sanzionare comportamen. opportunis.ci come quelli denuncia. sopra, si o>errebbe un forte effe>o, simbolico e pra.co, di dissuasione.
  66. 66. «Non esiste, a mio modo di vedere, una evidenza empirica robusta sul fatto che la valutazione o anche i sistemi di publish or perish, inducano nel lungo periodo effetti distorsivi permanenti sulla ricerca. […] » (Bonaccorsi, 2015: 170) «Non esiste, a mio modo di vedere, una evidenza empirica robusta sul faGo che la valutazione o anche i sistemi di publish or perish, inducano nel lungo periodo effeI distorsivi permanenJ sulla ricerca. […] » (Bonaccorsi, 2015: 170)
  67. 67. «The apparent endemicity of bad research behaviour is alarming … Na:onal assessment procedures, such as the Research Excellence Framework, incen:vize bad prac:ces» Na:onal assessment procedures, such as the Research Excellence Framework, incen:vize bad prac:ces»
  68. 68. Incen%vi perversi nell’accademia “Na$onal assessment procedures, such as the Research Excellence Framework, incen$vize bad prac$ces”
  69. 69. Ammettiamo di riuscire a sanzionare gli opportunisti. Ma non corriamo il rischio di discriminare un novello Galileo o Newton? A. Graziosi (Presidente ANVUR): «quello lì avrà il suo premio quando diventerà lo scienziato più famoso del mondo tra vent’anni. Dovrà ringraziare che nel fra<empo è rimasto ricercatore e non l’hanno bruciato vivo. Cioè, francamente, non è che siamo tu@ Galileo e Newton.»
  70. 70. 5. The Legend of the Great Evaluator
  71. 71. […] nulla mai è stato per l’uomo e per la società umana più intollerabile della libertà! Si convinceranno pure che non potranno mai nemmeno essere liberi, perchè sono deboli, viziosi, ine, e ribelli. […] Essi ci ammireranno e ci terranno in conto di dèi per aver acconsen>to, me?endoci alla loro testa, ad assumerci il carico di quella libertà che li aveva sbigoB> e a dominare su loro, tanta paura avranno infine di essere liberi! Ma noi diremo che obbediamo a Te e che dominiamo in nomeTuo. […]. E in quest’inganno starà la nostra sofferenza, poichè saremo costreB a men>re.
  72. 72. Ci saranno miliardi di pargoli felici e centomila mar2ri che avranno preso su di sé la maledizione di discernere il bene dal male. […] Tu vedrai questo docile gregge ge?arsi al primo mio cenno ad a@zzare i carboni arden2 del rogo sul quale Ti brucerò per essere venuto a disturbarci. Perchè se qualcuno più di tu@ ha meritato il nostro rogo, quello sei Tu. Domani Ti arderò. Dixi.
  73. 73. Gli ANVUR tapes
  74. 74. A. Graziosi: Io credo sia un’illusione penosa – scusi il termine – immaginarsi che una qualunque comunità in qualunque momento riesca a vedere qual è la cosa innova>va che si fa tra dieci anni. Cioè non ci vedo perché non è innova>va, a quel punto. Banalmente, non è innova>va. Cioè, Galileo Galilei non [incomprensibile] scienzia>, altrimen> non sarebbe Galileo Galilei, non sarebbe Newton. Se parliamo davvero dell’eccellenza, la becchi, se la becchi …
  75. 75. Sul documento ANVUR relativo ai criteri di abilitazione scientifica nazionale. Commenti, osservazioni critiche e proposte di soluzione approvato dal Consiglio Direttivo il 25 luglio 2011
  76. 76. Due %pi di errore • Gli errori che possono essere commessi con il criterio della mediana possono essere di due 2pi, di segno opposto. • [CONDANNA DELL’INNOCENTE] Il primo errore è di escludere persone di valore che resterebbero al di so:o della mediana, ad esempio perché deliberatamente pubblicano poco. La storia della scienza offre una ricca aneddo2ca in tal senso. […] Va osservato poi che nessuno dei commen2 cri2ci è stato in grado di produrre evidenza su ampi gruppi di scienzia2 che sarebbero sta2 penalizza2 nella loro carriera dalla adozione del criterio della mediana. • [ASSOLUZIONE DEL COLPEVOLE] Siamo dunque al secondo 2po di errore: che il criterio della mediana consenta di selezionare studiosi che hanno solo prodo:o numerosi lavori, ma di bassa qualità. Questo errore è più serio, sopra:u:o per le candidature alla abilitazione dei giovani studiosi.
  77. 77. Scendiamo nel concreto • Caso del professore di informa/ca che vuole studiare le come i Big Data minacciano la democrazia, indagando al confine con le scienze giuridiche, la sociologia, etc • Ca;vo scienziato per Anvur (pubblica fuori se?ore o in riviste che non stanno nel primo quar/le) • Scoraggiato e punito. Se insiste – e non muore di fame – tra 20 anni verrà apprezzato (forse) • Ma questo /po di scommessa scien/fica è ciò di cui avremmo bisogno adesso
  78. 78. Freedom? We cannot afford it If evalua5on does not exists everything is allowed
  79. 79. Andrea Graziosi (Vicepresidente ANVUR): «Questo sistema - questo io lo dico senza tema di smen2ta - è andato alla deriva, a par2re dagli anni ’70-’80 [...] Sono aumentate le università, sono decuplica2 i docen2, ad un certo punto, grosso modo» 16 marzo 2016 Forum al MaBno di Napoli
  80. 80. Andrea Graziosi (Vicepresidente ANVUR): «Questo sistema - questo io lo dico senza tema di smen2ta - è andato alla deriva, a par2re dagli anni ’70-’80 [...] Sono aumentate le università, sono decuplica2 i docen2, ad un certo punto, grosso modo» 16 marzo 2016 Forum al MaBno di Napoli
  81. 81. OPERATING EXPENSES 2012 FONDO FINANZIAMENTO ORDINARIO 2012 MILIARDIDIEURO LE “OPERATING EXPENSES” DI HARVARD E YALE AMMONTANO AL 75%DEL FONDO DI FINANZIAMENTO DELL’INTERO SISTEMA UNIVERSITARIO STATALE ITALIANO TOTALE: ~ 33.000 STUDENTS TOTALE: ~ 1.600.000 STUDENTS
  82. 82. COME PREVISTO, LA TURCHIA CI HA DAVVERO SUPERATO
  83. 83. L’ITALIA È L’OTTAVO “PRODUTTORE” MONDIALE DI CONOSCENZA SCIENTIFICA
  84. 84. Pubblicazioni scien-fiche vs cos- dei migliori atenei di ogni nazione (Da-: ARWU ranking)
  85. 85. Pubblicazioni scien-fiche vs cos-: confronto tra campioni nazionali e atenei italiani (Da-: ARWU ranking) PENDENZA DELLA RETTE = PRODUTTIVITÀ ATENEI ITALIANI: MEDIAMENTE PIÙ PRODUTTIVI
  86. 86. UK and Italy showed significant growth to rank fourth behind the UK. Figure 6.3 — Articles (Higher Education sector) per million USD HERD for UK and comparators, 2010-2014. HERD values are in 2010 prices. The 2014 HERD value for the US is extrapolated from the OECD data. UK ranking in EU28 is amongst 22 (of 28) countries with available data. Higher Education also engages in research. Source: Scopus and OECD MSTI 2015/2. articles(highereducationsector) permilliondollarsherd 0 2 4 6 8 10 12 14 16 18 20 2010 2011 2012 2013 2014 Canada China France Germany Italy Japan South Korea UK US Russia Pubblicazioni scien-fiche per MLN dollari
  87. 87. Figure 6.4 — Citations (Higher Education sector) per million USD HERD for UK and comparators, 2010-2014. HERD values are in 2010 prices. Each data point corresponds to articles published in the year shown. That is, the data point for 2010-2014 corresponds to 2010 articles and citations to these in the period 2010-2014, divided by 2010 HERD. UK ranking in EU28 is amongst 22 (of 28) countries with available data. Source: Scopus and OECD MSTI 2015/2. citations(highereducationsector) permilliondollarsherd 0 20 40 60 80 100 120 140 160 180 2006-2010 2007-2011 2008-2012 2009-2013 2010-2014 Canada China France Germany Italy Japan South Korea UK US Russia Citazioni per MLN dollari
  88. 88. 6. The Queen's ques-on
  89. 89. «Why did nobody no*ce it?» La domanda della Regina
  90. 90. La domanda della regina (Elisabe1a) • «Why did nobody no*ce it?» (Come mai nessuno si è accorto di tu8o ciò?) • A seguito del crollo della Lehman Brothers, la sovrana d’Inghilterra rivolse la famosa domanda agli economis* della London School of Economics, • Il conformismo accademico indo8o da certe forme di valutazione ha for* ricadute sulle poli*che economiche e impedisce che emergano le soluzioni migliori. TuK i consiglieri economici la pensano uguale, ma non c’è stato un libero confronto di idee. Semplicemente, la scuola dominante si autoriproduce e causa l’es*nzione delle altre
  91. 91. Non solo scienza economica …
  92. 92. Bibliometrics vs peer review: do they agree? Ovvero: cosa succede se il valutatore fa anche lo scienziato?
  93. 93. Ma è lecito mescolare peer review e bibliometria?
  94. 94. GEV01 GEV02 GEV03 GEV04 GEV05 GEV06 GEV07 GEV08 GEV09 GEV13 Conclusioni tu8e uguali
  95. 95. Facciamo uno zoom sul Rapporto di Area 09
  96. 96. Rapporto di Area 09 ma la concordanza è più che adeguata o moderata?
  97. 97. Facciamo uno zoom sul Rapporto di Area 09 Mancano degli spazi. Non è che il rapporto dell’area 09 (quella con la concordanza peggiore), ha subito una correzione “last minute” per uniformarlo agli altri rapporB, con una sosBtuzione che richiedeva più caraEeri?
  98. 98. Therefore: ‘‘the agencies that run these evaluations could feel confident about using bibliometric evaluations and interpret the results as highly correlated with what they would obtain if they performed informed peer review’’ (Bertocchi et al. 2015) Is this true?
  99. 99. Therefore: “results of the analysis relative to the degree of concordance and systematic difference may be considered to validate the general approach of combining peer review and bibliometric methods” (Ancaiani et al. 2015) Is this true?
  100. 100. Dal 2014 abbiamo tentato di replicare l’esperimento • ANVUR non fornisce i da< necessari (mail 10/2/2014 a Presidente Fantoni)
  101. 101. Da# chiusi, concordanza non replicabile
  102. 102. «K is always statistically different from zero, showing that there is a fundamental agreement among the two distributions which may not be attributed to mere chance, regardless of the weight used to calculate the differences among the two distributions. The value of K ranges from 0.16 to 0.61 depending on the area and weights, being on average equal to 0.32, a value that is usually considered as ‘poor to fair’ in the literature (Landis and Koch 1977).»
  103. 103. moderate moderate unacceptable unacceptable fair to good Concordanza?
  104. 104. E negli altri GEV come va?
  105. 105. 1 2 3 4 5
  106. 106. Protocollo 5X5 vs. protocollo 4X4 valori bassi di kappa non pubblicati da ANVUR
  107. 107. Errori inspiegabili nella replica di Ancaiani et al. ERROR: 47.583? Popula2on: 86.998 ERROR: ERROR 7,597
  108. 108. ANVUR e la gius.ficazione della poli.ca italiana per la ricerca Why this extraordinary dissemina/on effort was produced by scholars working for ANVUR? Probably because the publica/on in scholarly journals represent an ex-post jus/fica/on of the unprecedented dual system of evalua/on developed and applied by ANVUR. The metodology and results of the research assessment are jus/fied ex-post by papers wriHen by scholars that have developed and applied the methodology adopted by the Italian government. Moreover, the results of these papers cannot be replicated because the data were not made available to scholars other than those working for ANVUR.
  109. 109. Poli%ca vaccinale Government prescribes a new mandatory vaccine in compliance with the recommenda5on of a report issued by an agency such as the Food and Drug Administra5on. A couple of years a=er the mandatory adop5on, scholarly journals publish ar5cles, authored by members of the FDA commi@ee that issued the report. Although not declared, these ar5cles reproduce contents and conclusions of the FDA report, thus providing a de facto – though ex post - scien5fic jus5fica5on of the report itself. When independent scholars ask data for replica5ng results, the agency does not reply or, alterna5vely, denies the data alleging that they are confiden5al. Fortunately, this is not the way health decisions are usually taken.
  110. 110. [CAESAR NON EST SUPRA GRAMMATICOS] Lo stato, nel saggio sull’Illuminismo [di Kant], cerca di interferire nella ricerca o presentando i propri agen8 come pari nella conversazione scien8fica o usando dire<amente il proprio potere per imporre il primato di una scuola di pensiero. Al primo 8po di interferenza si può rispondere come il vescovo Piacenzio rispose a Sigismondo del Lussemburgo, il quale, non gradendo di essere corre<o per i suoi errori di la8no, si pretendeva superiore alla gramma8ca perché imperatore del Sacro Romano Impero: Caesar non est supra gramma;cos. […] Se lo stato sceglie il secondo corno del dilemma, farà valutare la ricerca offrendo l’uso della sua spada agli studiosi più propensi ad assecondarlo. O<erremo, così … Pievatolo su Bonaccorsi
  111. 111. … una scienza di stato che non solo conterrà e imporrà - come nelle pagine più buie della storia del Novecento - errori di stato, ma sarà anche sistema:camente d’ostacolo a ogni libero e serio diba<to scien:fico
  112. 112. 7. Brecht's Galileo
  113. 113. Vita di Galileo (Brecht) • Anche un venditore di lana, per quanto abile sia ad acquistarla a buon prezzo per poi rivenderla cara, deve preoccuparsi che il commercio della lana possa svolgersi liberamente. Non credo che la pra9ca della scienza possa andar disgiunta dal coraggio. • Se gli uomini di scienza non reagiscono all'in9midazione dei poten9 egois9 e si limitano ad accumulare sapere per sapere, la scienza può rimanere fiaccata per sempre, ed ogni nuova macchina non sarà fonte che di nuovi triboli per l'uomo. • … così stando le cose, il massimo in cui si può sperare è una progenie di gnomi inven1vi [=operatori della ricerca], pron9 a farsi assoldare per qualsiasi scopo.

×