Programma	
  
•  10.30	
  Inizio	
  dei	
  lavori	
  
•  prof.	
  Emilia	
  Perassi,	
  membro	
  del	
  Senato	
  Accadem...
La	
  valutazione	
  della	
  ricerca	
  
umanis@ca:	
  appun@	
  
Giuseppe	
  De	
  Nicolao	
  
Dip.	
  Ingegneria	
  Ind...
La	
  valutazione:	
  
scienza	
  o	
  
stregoneria?	
  
Scienza	
  o	
  stregoneria?	
  (1/2)	
  
1.  Bibliometria	
  e	
  valutazione:	
  esiste	
  una	
  vasta	
  le4eratura	
 ...
Scienza	
  o	
  stregoneria?	
  (2/2)	
  
2.	
  In	
  Italia	
  non	
  esiste	
  uno	
  specifico	
  SSD	
  

a)  La	
  val...
VQR:	
  
Confron?	
  e	
  
proporzioni	
  
Valutazione	
  =	
  classifiche?	
  	
  
“Ogni	
  valutazione	
  deve	
  me4ere	
  capo	
  a	
  una	
  
classifica.	
  Quest...
NO RANKINGS PLEASE!
WE’RE BRITISH!!
“RAE2008 results are in the form of a
quality profile for each submission made
by an H...
Quante	
  sono	
  le	
  VQR?	
  	
  
Non	
  è	
  stata	
  svolta	
  una	
  VQR	
  ma	
  ce	
  ne	
  sono	
  state	
  
16,	...
Ma	
  allora	
  come	
  si	
  fa	
  a	
  ripar@re	
  la	
  
quota	
  premiale	
  del	
  FFO?	
  
•  È	
   necessario	
   a...
L’Appendice	
  D	
  della	
  Relazione	
  VQR	
  
Per	
   la	
   natura	
   stessa	
   del	
   problema,	
   osservazioni	...
Altra	
  ques@one:	
  come	
  usare	
  la	
  VQR	
  
per	
  valutare	
  i	
  singoli	
  ricercatori?	
  
Vediamo	
  cosa	
...
Valutazione	
  intra-­‐dipar@mentale	
  
Last	
   but	
   not	
   least,	
   l’ANVUR	
   so4olinea	
   che	
   i	
   risul...
Il	
  leAo	
  di	
  
Procuste	
  del	
  
paradigma	
  
“hard	
  sciences”	
  
Il	
  paradigma	
  “hard	
  sciences”	
  
•  Risulta?	
   della	
   ricerca	
   diffusi	
   prevalentemente	
   su	
   rivi...
Bri@sh	
  REF	
  (Research	
  Excellence	
  Framework)	
  
Bibliometrics	
   are	
   not	
   sufficiently	
   robust	
   at	...
Australian	
  ERA	
  	
  
(Excellence	
  of	
  Research	
  in	
  Australia)	
  
There	
  is	
  clear	
  and	
  consistent	...
La	
  valutazione	
  delle	
  scienze	
  dure:	
  un	
  
paradigma	
  da	
  esportare?	
  
1.	
  Esempi	
  del	
  paradigm...
Programma	
  
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 
• 

10.30	
  Inizio	
  dei	
  lavori	
  
prof.	
  Emilia	
  Per...
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
Upcoming SlideShare
Loading in …5
×

La valutazione della ricerca umanistica: appunti

391 views

Published on

Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010 "
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
391
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

La valutazione della ricerca umanistica: appunti

  1. 1. Programma   •  10.30  Inizio  dei  lavori   •  prof.  Emilia  Perassi,  membro  del  Senato  Accademico:  salu?  e   presentazione  dell’inizia?va   •  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI:  salu?  delle  Autorità   accademiche   •  10.45  relazione  I:  prof.  Massimo  Florio,  presidente  del  Nucleo  di   Valutazione  UNIMI  -­‐  La  ricerca  umanis?ca:  i  risulta?  del  Nucleo  di   Valutazione     •  11.15  relazione  II:  do=.ssa  Paola  Galimber@,  Ufficio  pianificazione   organizza?va  e  valutazione  UNIMI  –  La  ricerca  umanis?ca:  i  risulta?  della   VQR   •  11.45  Interven?     –  Interven@  dei  Dire=ori  dei  Dipar@men@  della  Facoltà  di  Studi  Umanis@ci   –  Interven@  brevi  programma@   –  Domande  dei  presen@  e  dibaJto     •  Conclusioni:  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI  
  2. 2. La  valutazione  della  ricerca   umanis@ca:  appun@   Giuseppe  De  Nicolao   Dip.  Ingegneria  Industriale  e  dell’Informazione   Università  di  Pavia  
  3. 3. La  valutazione:   scienza  o   stregoneria?  
  4. 4. Scienza  o  stregoneria?  (1/2)   1.  Bibliometria  e  valutazione:  esiste  una  vasta  le4eratura   scien6fica  internazionale   a)  La  produzione  scien?fica  e  la  sua  valutazione  è  un  oggeAo  di   studio  scien?fico  che  per  la  sua  interdisciplinarietà  u?lizza   metodologie  traAe  da  diverse  discipline  sia  delle  scienze  dure  che   delle  HSS  (Human  and  Social  Sciences).   b)  Valgono  le  regole  del  metodo  scien?fico.   c)  Inu?le  re-­‐inventare  la  ruota    ...  magari  quadrata  o  triangolare.  
  5. 5. Scienza  o  stregoneria?  (2/2)   2.  In  Italia  non  esiste  uno  specifico  SSD   a)  La  valutazione  è  appannaggio  di  esper?  di  altre  aree  che  si   muovono  da  dileAan?  più  o  meno  coscien?  dei  risvol?  scien?fici.   b)  Pregiudizio:  essere  un  buono/omo  scienziato  è  sufficiente  per   essere  un  buon  valutatore  senza  documentarsi  sulla  leAeratura   specifica.   c)  Non  essendoci  esper?  accredita?,  le  chiacchiere  da  “Bar  Sport”  ed   il  “fai-­‐da-­‐te”  hanno  libera  circolazione  a  tu  i  livelli.   d)  Che  fare?  Cercare  di  essere  degli  “ones?  dileAan?”  che  imparano  il   mes?ere  documentandosi  coscienzosamente  sullo  stato  dell’arte  e   le  esperienze  internazionali.  D’altronde,  la  capacità  di  studiare  e  il   metodo  scien?fico  non  dovrebbero  esserci  del  tuAo  estranei.    
  6. 6. VQR:   Confron?  e   proporzioni  
  7. 7. Valutazione  =  classifiche?     “Ogni  valutazione  deve  me4ere  capo  a  una   classifica.  Questa  è  la  logica  della   valutazione.  Se  non  c'  è  una  classifica,  non   c'  è  neanche  una  reale  valutazione”   Giulio  Tremon?,  “Il  passato  e  il  buon  senso”  CdS  22-­‐08-­‐08   vediamo  come  fanno  gli  inglesi  ...  
  8. 8. NO RANKINGS PLEASE! WE’RE BRITISH!! “RAE2008 results are in the form of a quality profile for each submission made by an HEI [Higher Education Institution]. We have not produced any ranked lists of single scores for institutions or Units of Assessment, and nor do we intend to.”
  9. 9. Quante  sono  le  VQR?     Non  è  stata  svolta  una  VQR  ma  ce  ne  sono  state   16,   perché   due   delle   14   aree   CUN   sono   state   sdoppiate   in   so4o-­‐area   bibliometrica   e   non   bibliometrica.   Cosa   dice   l’ANVUR   rela6vamente   alla   comparabilità   dei   risulta6   VQR   delle   diverse   aree?  
  10. 10. Ma  allora  come  si  fa  a  ripar@re  la   quota  premiale  del  FFO?   •  È   necessario   a4ribuire   un   peso   a   ciascuna   delle   16   aree   tenendo   conto   anche   dei   diversi   cos6   della  ricerca.   •  Una   volta   no6   i   pesi   diventa   possibile   anche   ripar6re   la   quota   premiale   tra   le   diverse   aree   di   un  ateneo   •  A  chi  spe4a  questa  decisione?  Vediamo  cosa  dice   l’ANVUR  ...  
  11. 11. L’Appendice  D  della  Relazione  VQR   Per   la   natura   stessa   del   problema,   osservazioni   più   tecniche   e   metodologiche   si   fondono   necessariamente   con   valutazioni   di   indirizzo   poli6co   generale   che   esulano   dal   compito   dell’ANVUR  e  rimangono  pienamente  in  capo  al   MIUR,   in   par6colare   nel   momento   in   cui   vi   si   facesse   riferimento   per   la   ripar6zione   di   risorse   finanziarie.  
  12. 12. Altra  ques@one:  come  usare  la  VQR   per  valutare  i  singoli  ricercatori?   Vediamo  cosa  dice  l’ANVUR  ...  
  13. 13. Valutazione  intra-­‐dipar@mentale   Last   but   not   least,   l’ANVUR   so4olinea   che   i   risulta<   della   VQR   non  possono  e  non  devono  essere  u<lizza<  per  valutare  i  singoli   soggeY.   I   mo6vi   sono   molteplici,   e   qui   ne   ci6amo   alcuni   rilevan6:   la   scelta   dell’associazione   prodoY-­‐soggeY   valuta6,   de4ata   dall’oYmizzazione   del   risultato   di   stru4ura   e   non   del   singolo   sogge4o,   la   richiesta   di   conferire   solo   tre   prodoY   di   ricerca  pubblica6  in  se4e  anni,  che  cos6tuiscono  in  mol6  se4ori   della   scienza   un’immagine   della   produzione   complessiva   dei   singoli   soggeY   molto   parziale,   la   non   considerazione   del   contributo   individuale   al   prodo4o   nel   caso   di   presenza   di   coautori,  e,  infine,  l’u6lizzo  di  metodi  di  valutazione  la  cui  validità   dipende   fortemente   dalla   dimensione   del   gruppo   di   ricerca   cui   sono  applica6.   Relazione  Finale  VQR  –  Parte  Prima,  pag.  9  
  14. 14. Il  leAo  di   Procuste  del   paradigma   “hard  sciences”  
  15. 15. Il  paradigma  “hard  sciences”   •  Risulta?   della   ricerca   diffusi   prevalentemente   su   riviste   internazionali   con   citazioni   indicizzate   dai   database   bibliometrici.   •  Indici   bibliometrici   (Impact   Factor,   citazioni,   h-­‐index,   etc)   associa?  a  pubblicazioni,  ar?coli  e  ricercatori.   •  Idea:  la  valutazione  automa?ca  è  a  portata  di  mano  (IF  per   le  riviste,  citazioni  e  h-­‐index  per  i  ricercatori).  Esempi:  VQR   nei  seAori  bibliometrici,  mediane  ASN.   •  DORA  -­‐  San  Francisco  Declara?on  on  Research  Assessment   (hAp://am.ascb.org/dora/):   la   comunità   scien?fica   e   le   esperienze   internazionali   mostrano   diffidenza   crescente   nei   confron?  delle  valutazioni  automa?che.  
  16. 16. Bri@sh  REF  (Research  Excellence  Framework)   Bibliometrics   are   not   sufficiently   robust   at   this   stage   to  be  used  formulaically  or  to  replace  expert  review  in   the  REF   Report  on  the  pilot  exercise  to  develop  bibliometric  indicators  for  the   Research  Excellence  Framework,  September  2009  
  17. 17. Australian  ERA     (Excellence  of  Research  in  Australia)   There  is  clear  and  consistent  evidence  that  the   [journal]  rankings  were  being  deployed   inappropriately  …  in  ways  that  could  produce   harmful  outcomes            Ministro  K.  Carr,  30  Maggio  2011  
  18. 18. La  valutazione  delle  scienze  dure:  un   paradigma  da  esportare?   1.  Esempi  del  paradigma:   a)  Gli  scienzia?  italiani  e  in  par?colare  gli  umanis?  non  sono  adeguatamente  produvi  perché   hanno  pochi  lavori  sul  Web  of  Science    della  Thomson-­‐Reuters.   La  scheda  di  valutazione  calibrata  sulle  scienze  dure  (vedi  giudizio  sulla  internazionalizzazione).   In  mol?  SeAori  Concorsuali  un  ar?colo  pubblicato  su  rivista  di  fascia  A  vale  quanto  una  monografia   di  ricerca.   b)  c)  2.  Cosa  dice  la  le4eratura  per  le  HSS?     a)  b)  c)  One  size  does  not  fit  all  (D.  Hicks,  hAp://www.confero.ep.liu.se/issues/2013/v1/i1/121207b/).  Ci   sono  quaAro  “dis?nct,  yet  par?ally  overlapping  worlds  each  serving  a  different  purpose”:   interna?onal  journals  literature,  books,  na?onal  journals,  non  scholarly  press       Distorsioni  (i  dieci  lavori  di  sociologia  spagnoli  più  cita?  sono  sulla  rivista  Annals  of  tourism   research)   Pericoli:       •  •  •  inaridire  seAori  di  studio  di  interesse  nazionale  pubblica?  in  sedi  non  indicizzate;     scoraggiare  la  scriAura  di  lavori  di  enlightenment  (divulgazione)  rivol?  a  pubblico  non  accademico;         scoraggiare  la  scriAura  di  monografie.   3.  Cosa  dicono  i  rappor6  d’area  della  VQR?   a)  b)  Impossibile  sos?tuire  la  peer  review  con  le  classifiche  delle  riviste   Specificità  delle  HSS  (monografie  per  es.)  che  esigono  modelli  di  valutazione  adegua?  (no  le  di   Procuste)  
  19. 19. Programma   •  •  •  •  •  •  •  •  •  •  •  •  •  •  •  •  10.30  Inizio  dei  lavori   prof.  Emilia  Perassi,  membro  del  Senato  Accademico:  salu?  e  presentazione  dell’inizia?va   prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI:  salu?  delle  Autorità  accademiche   10.45  relazione  I:  prof.  Massimo  Florio,  presidente  del  Nucleo  di  Valutazione  UNIMI  -­‐  La   ricerca  umanis?ca:  i  risulta?  del  Nucleo  di  Valutazione     11.15  relazione  II:  do=.ssa  Paola  Galimber@,  Ufficio  pianificazione  organizza?va  e   valutazione  UNIMI  –  La  ricerca  umanis?ca:  i  risulta?  della  VQR   11.45  Interven?     a)  Interven@  dei  Dire=ori  dei  Dipar@men@  della  Facoltà  di  Studi  Umanis@ci     Dipar?mento  di  Beni  culturali  e  ambientali:  prof.  Paolo  Inghilleri   Dipar?mento  di  Filosofia:  prof.  Guido  Canziani   Dipar?mento  di  Lingue  e  LeAerature  straniere:  prof.  Marco  Modenesi   Dipar?mento  di  Scienze  della  Mediazione  Linguis?ca  e  di  Studi  interculturali:  prof.  Marie   Chris?ne  Jullion   Dipar?mento  di  Studi  LeAerari,  Filologici  e  Linguis?ci:  prof.  Fabrizio  Conca   Dipar?mento  di  Studi  Storici:  prof.  Grado  Merlo  (membro  del  Senato  Accademico)   b)  Interven?  brevi  programma?   c)  Domande  dei  presen?  e  dibato     Conclusioni:  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI  

×