Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Il sonno della ragione
genera anamorfosi
bibliometriche
I criteri della VQR spiegati
mediante Escher
Prof. Giuseppe De Nic...
Quos vult Iupiter perdere
dementat prius
In principio era
il quadrato
Magico
In principio era
il quadrato
Magico
Valutare		
le	poesie	
...	determinare	la	
grandezza	di	una	poesia	
diventa	una	ques4one	
rela4vamente	semplice.	Se	
segnia...
IMPACT	FACTOR	
#	CITATIONS	
Valutare		
la	ricerca
For	the	matrix	entries	labeled	IR		we	rely	
on	the	informed	peer	review		
ANVUR	proposal:	Use	bibliometry,	#	of	citaAons		...
I	due	volA	del	quadrato		
magico	del	GEV09	
BEST	
WORST	
Lo	schema	
base	...	
...	ha	due	
varianA	...
Quale	bersaglio	preferite?	
0 punti 0 punti
ING-INF/05	 Resto	del	GEV	09	
JOURNAL RANKINGJOURNAL RANKING
CITATIONS	
BEST	 ...
E = 1 B = 0,8 A = 0,5 L = 0
20%
20%
10%
50%
I	veri	“bersagli	VQR”	sono	diversi	da	
quello	teorico	e	cambiano	da	area	ad	area
Ti	piace	vincere	facile?	
40%
25%
14%
21%
22%
21%
13%
44% Ingegneria	
Industriale	e	
dell’Informazione	
Scienze	
Mediche
Morale:	Le	for4	variazioni		
inter-area	rendono	i	vo4	
incomparabili	tra	aree	diverse	
L’ANVUR	lo	sa	e	predica	bene	...
L’ANVUR	ha	le	idee	molto	chiare	...	
Pertanto, le tabelle che per comodità di
visualizzazione riuniscono nel rapporto i
ri...
...	ma	razzola	male	e	
diffonde	alla	stampa	la	
graduatoria	delle	aree	i	cui	
punteggi	erano	staA	dichiaraA	
“incomparabili...
1°	
2°	
3°	
Il	“bersaglio	
facile”	porta	
l’area	09	sul	
podio:	terzi	dopo	
chimici	e	fisici
...	e	il	Sole	24	Ore	abbocca	subito
ma	questo	è	folklore	(anche	se	
fino	ad	un	certo	punto,	vedi	dopo)	
La	vera	quesAone	è	un’altra	...
Cosa	manca	nell’Appendice	A?	
•  Mancano	le	%	nella	produzione	mondiale	di	E,	
B,	A,	L	per	i	diversi	SSD	(i	bersagli	di	og...
2015:	ANVUR	ammeNe		
che	Roars	aveva	ragione		
(la	VQR	2004-2010	era	scalibrata)
Collezione VQR 2011-2014:
Va di moda la cravatta
(regimental)
Journal	metric	index	(IPP)	
Citazioni	
2013	-	Scopus
Journal metric index (IPP)
Citazioni
6	citazioni	bastano	per	
essere	Eccellente	
9	citazioni	bastano	per	
essere	Eccellent...
B = 0,9⋅G + 1⋅C
voto
articolo
percentile
citazioni
percentile
voto rivista
sensitività rispetto a G: 0,9
“ “ a C: 1,0
B = 0,9⋅G + 1⋅C
voto
articolo
percentile
citazioni
percentile
voto rivista
sensitività rispetto a g: 0,9⋅dG/dg
“ “ a c: 1,...
8 citazioni
35punti
25 citazioni (o più)
10p.ti
2 citazioni
40punti
2 p.ti IPP
60punti
2 p.ti IPP
30punti
4 p.ti IPP (o pi...
Anamorfosi	anvuriana	2013	 Scala	naturale	
0	citazioni	
1	citazione	
2	citazioni	
209	citazioni	
3	citazioni	
*
Anamorfosi	anvuriana	2014	 Scala	naturale	
0	citazioni	
1	citazione	
2	citazioni	
258	citazioni	
3	citazioni
«Manco	le	basi	del	mesAere!»
“The	rubber	ruler”
“Percentile ranks cannot be added”:
nella letteratura pedagogica
è cosa ben nota
FARRALL,	Melissa	Lee.	Reading	assessment:...
hkp://star.cde.ca.gov/star2001/help/ScoreExplanaAons.html	
SIDHU, Kulbir Singh. Statistics In Education And
Psychology. St...
SATTLER,	Jerome	M.;	HOGE,	Robert	D.	Assessment	of	children:	Behavioral,	social,	
and	clinical	founda=ons.	USA:	Publisher	I...
“Percentile ranks cannot be added”:
lo insegnano nel programma di algebra dell’ high school
MALCZEWSKI, Jacek. GIS‐based multicriteria decision
analysis: a survey of the literature. International Journal
of Geograp...
ROBINSON,	Rick	(ed.).	FoundaDons	of	forensic	vocaDonal	
rehabilitaDon.	Springer	Publishing	Company,	2013,	p.	100	
“Percent...
ANVUR
Science
Valutazione	&	conformismo
«Alla guida del veicolen defe sedere
il piloten più experten, uno ingegnerie … »

SARÀ EIN LUNGO VIAGGEN
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Il sonno della ragione  genera anamorfosi bibliometriche
Upcoming SlideShare
Loading in …5
×

Il sonno della ragione genera anamorfosi bibliometriche

8,481 views

Published on

Audio disponibile su http://www.roars.it/online/il-sonno-della-ragione-genera-anamorfosi-bibliometriche/
Seminario di Giuseppe De Nicolao, organizzato dal Circolo universitario pavese Giorgio Errera.
Lunedì 21 dicembre 2015 - ore 18:00
Aula Bruni - Collegio Ghislieri
Piazza Ghislieri, 5 - 27100 Pavia

Published in: Education
  • Be the first to comment

  • Be the first to like this

Il sonno della ragione genera anamorfosi bibliometriche

  1. 1. Il sonno della ragione genera anamorfosi bibliometriche I criteri della VQR spiegati mediante Escher Prof. Giuseppe De Nicolao Università degli Studi di Pavia, ROARS Lunedì 21 dicembre 2015 - ore 18:00 Aula Bruni - Collegio Ghislieri Piazza Ghislieri, 5 27100 Pavia
  2. 2. Quos vult Iupiter perdere dementat prius
  3. 3. In principio era il quadrato Magico
  4. 4. In principio era il quadrato Magico
  5. 5. Valutare le poesie ... determinare la grandezza di una poesia diventa una ques4one rela4vamente semplice. Se segniamo la perfezione di una poesia sull'asse orizzontale di un grafico e la sua importanza su quello ver4cale, sarà sufficiente calcolare l'area totale della poesia, per misurarne la grandezza.
  6. 6. IMPACT FACTOR # CITATIONS Valutare la ricerca
  7. 7. For the matrix entries labeled IR we rely on the informed peer review ANVUR proposal: Use bibliometry, # of citaAons (and informed peer review) 7 A B C D Cita=ons A B C D A B C D A B C D Cita=ons A B C D A B C D A A A? D D D A A A? D IR IR IR IR IR IR IR IR IR IR IR IR IR IR Bibliometry (IF,…) Bibliometry (IF,…) Recent articles Old articles
  8. 8. I due volA del quadrato magico del GEV09 BEST WORST Lo schema base ... ... ha due varianA ...
  9. 9. Quale bersaglio preferite? 0 punti 0 punti ING-INF/05 Resto del GEV 09 JOURNAL RANKINGJOURNAL RANKING CITATIONS BEST BEST WORST WORST 0,5 pti 1 punto 1 punto 0,8 punti 0,8 punti 0,5 pti
  10. 10. E = 1 B = 0,8 A = 0,5 L = 0
  11. 11. 20% 20% 10% 50%
  12. 12. I veri “bersagli VQR” sono diversi da quello teorico e cambiano da area ad area
  13. 13. Ti piace vincere facile? 40% 25% 14% 21% 22% 21% 13% 44% Ingegneria Industriale e dell’Informazione Scienze Mediche
  14. 14. Morale: Le for4 variazioni inter-area rendono i vo4 incomparabili tra aree diverse L’ANVUR lo sa e predica bene ...
  15. 15. L’ANVUR ha le idee molto chiare ... Pertanto, le tabelle che per comodità di visualizzazione riuniscono nel rapporto i risultati delle valutazioni nelle varie Aree non devono essere utilizzate per costruire graduatorie di merito tra le aree stesse, un esercizio senza alcun fondamento metodologico e scientifico. Rapporto Finale ANVUR – Parte I, p. 7
  16. 16. ... ma razzola male e diffonde alla stampa la graduatoria delle aree i cui punteggi erano staA dichiaraA “incomparabili”
  17. 17. 1° 2° 3° Il “bersaglio facile” porta l’area 09 sul podio: terzi dopo chimici e fisici
  18. 18. ... e il Sole 24 Ore abbocca subito
  19. 19. ma questo è folklore (anche se fino ad un certo punto, vedi dopo) La vera quesAone è un’altra ...
  20. 20. Cosa manca nell’Appendice A? •  Mancano le % nella produzione mondiale di E, B, A, L per i diversi SSD (i bersagli di ogni SSD) •  Conoscere le variazioni intra-area permeNerebbe di valutare se e quanto sono scalibrate tra loro le valutazioni degli SSD •  Perché non sono riportate? •  NOTA: Con variazioni intra-area simili a quelle inter-area l’intera VQR sarebbe invalidata
  21. 21. 2015: ANVUR ammeNe che Roars aveva ragione (la VQR 2004-2010 era scalibrata)
  22. 22. Collezione VQR 2011-2014: Va di moda la cravatta (regimental)
  23. 23. Journal metric index (IPP) Citazioni 2013 - Scopus
  24. 24. Journal metric index (IPP) Citazioni 6 citazioni bastano per essere Eccellente 9 citazioni bastano per essere Eccellente 35 (ma anche 70) citazioni non bastano per essere Eccellente: contano come 3 citazioni 2 citazioni bastano per essere Elevato Discreto 2013 - Scopus
  25. 25. B = 0,9⋅G + 1⋅C voto articolo percentile citazioni percentile voto rivista sensitività rispetto a G: 0,9 “ “ a C: 1,0
  26. 26. B = 0,9⋅G + 1⋅C voto articolo percentile citazioni percentile voto rivista sensitività rispetto a g: 0,9⋅dG/dg “ “ a c: 1,0⋅dC/dc dG/dg e dC/dc sono FORTEMENTE NON LINEARI
  27. 27. 8 citazioni 35punti 25 citazioni (o più) 10p.ti 2 citazioni 40punti 2 p.ti IPP 60punti 2 p.ti IPP 30punti 4 p.ti IPP (o più) 10p.ti
  28. 28. Anamorfosi anvuriana 2013 Scala naturale 0 citazioni 1 citazione 2 citazioni 209 citazioni 3 citazioni *
  29. 29. Anamorfosi anvuriana 2014 Scala naturale 0 citazioni 1 citazione 2 citazioni 258 citazioni 3 citazioni
  30. 30. «Manco le basi del mesAere!»
  31. 31. “The rubber ruler”
  32. 32. “Percentile ranks cannot be added”: nella letteratura pedagogica è cosa ben nota FARRALL, Melissa Lee. Reading assessment: Linking language, literacy, and cogni4on. John Wiley & Sons, 2012, p. 66 ARY, Donald, et al. Introduc4on to research in educa4on. Cengage Learning, 2013.p. 134 RAVID, Ruth, et al. Prac4cal sta4s4cs for educators. Rowman & LiNlefield, 2014, p. 97
  33. 33. hkp://star.cde.ca.gov/star2001/help/ScoreExplanaAons.html SIDHU, Kulbir Singh. Statistics In Education And Psychology. Sterling Publishers Pvt. Ltd, 2006, p. 10 ARY, Donald, et al. IntroducAon to research in educaAon. Cengage Learning, 2013. p. 122
  34. 34. SATTLER, Jerome M.; HOGE, Robert D. Assessment of children: Behavioral, social, and clinical founda=ons. USA: Publisher Inc, 2006. “Percentile ranks cannot be added”: anche nella letteratura psicometrica è cosa ben nota https://quizlet.com/6778553/psychometrics-study-guide-flash-cards/
  35. 35. “Percentile ranks cannot be added”: lo insegnano nel programma di algebra dell’ high school
  36. 36. MALCZEWSKI, Jacek. GIS‐based multicriteria decision analysis: a survey of the literature. International Journal of Geographical Information Science, 2006, 20.7: 703-726, p. 8 “Percentile ranks cannot be added”: lo sanno anche chimici e geografi DEAN, John R. Practical skills in chemistry. Pearson Education, 2002, p. 65
  37. 37. ROBINSON, Rick (ed.). FoundaDons of forensic vocaDonal rehabilitaDon. Springer Publishing Company, 2013, p. 100 “Percentile ranks cannot be added”: lo sanno anche i giuristi che raccomandano ai valutatori di evitarli se non vogliono essere portati in giudizio con l’accusa di “decisioni arbitrarie”
  38. 38. ANVUR Science
  39. 39. Valutazione & conformismo
  40. 40. «Alla guida del veicolen defe sedere il piloten più experten, uno ingegnerie … » SARÀ EIN LUNGO VIAGGEN

×