Your SlideShare is downloading. ×
0
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
La valutazione della ricerca umanistica: appunti
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

La valutazione della ricerca umanistica: appunti

250

Published on

Slides preparate in occasione dell'incontro …

Slides preparate in occasione dell'incontro
"La ricerca umanistica: i risultati della VQR 2004-2010 "
Milano 23 ottobre 2013, Università Statale di Milano
La valutazione della ricerca nelle aree 10 e 11: dati, contesti, risultati
I risultati della valutazione del nucleo / i risultati della VQR

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
250
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Programma   •  10.30  Inizio  dei  lavori   •  prof.  Emilia  Perassi,  membro  del  Senato  Accademico:  salu?  e   presentazione  dell’inizia?va   •  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI:  salu?  delle  Autorità   accademiche   •  10.45  relazione  I:  prof.  Massimo  Florio,  presidente  del  Nucleo  di   Valutazione  UNIMI  -­‐  La  ricerca  umanis?ca:  i  risulta?  del  Nucleo  di   Valutazione     •  11.15  relazione  II:  do=.ssa  Paola  Galimber@,  Ufficio  pianificazione   organizza?va  e  valutazione  UNIMI  –  La  ricerca  umanis?ca:  i  risulta?  della   VQR   •  11.45  Interven?     –  Interven@  dei  Dire=ori  dei  Dipar@men@  della  Facoltà  di  Studi  Umanis@ci   –  Interven@  brevi  programma@   –  Domande  dei  presen@  e  dibaJto     •  Conclusioni:  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI  
  • 2. La  valutazione  della  ricerca   umanis@ca:  appun@   Giuseppe  De  Nicolao   Dip.  Ingegneria  Industriale  e  dell’Informazione   Università  di  Pavia  
  • 3. La  valutazione:   scienza  o   stregoneria?  
  • 4. Scienza  o  stregoneria?  (1/2)   1.  Bibliometria  e  valutazione:  esiste  una  vasta  le4eratura   scien6fica  internazionale   a)  La  produzione  scien?fica  e  la  sua  valutazione  è  un  oggeAo  di   studio  scien?fico  che  per  la  sua  interdisciplinarietà  u?lizza   metodologie  traAe  da  diverse  discipline  sia  delle  scienze  dure  che   delle  HSS  (Human  and  Social  Sciences).   b)  Valgono  le  regole  del  metodo  scien?fico.   c)  Inu?le  re-­‐inventare  la  ruota    ...  magari  quadrata  o  triangolare.  
  • 5. Scienza  o  stregoneria?  (2/2)   2.  In  Italia  non  esiste  uno  specifico  SSD   a)  La  valutazione  è  appannaggio  di  esper?  di  altre  aree  che  si   muovono  da  dileAan?  più  o  meno  coscien?  dei  risvol?  scien?fici.   b)  Pregiudizio:  essere  un  buono/omo  scienziato  è  sufficiente  per   essere  un  buon  valutatore  senza  documentarsi  sulla  leAeratura   specifica.   c)  Non  essendoci  esper?  accredita?,  le  chiacchiere  da  “Bar  Sport”  ed   il  “fai-­‐da-­‐te”  hanno  libera  circolazione  a  tu  i  livelli.   d)  Che  fare?  Cercare  di  essere  degli  “ones?  dileAan?”  che  imparano  il   mes?ere  documentandosi  coscienzosamente  sullo  stato  dell’arte  e   le  esperienze  internazionali.  D’altronde,  la  capacità  di  studiare  e  il   metodo  scien?fico  non  dovrebbero  esserci  del  tuAo  estranei.    
  • 6. VQR:   Confron?  e   proporzioni  
  • 7. Valutazione  =  classifiche?     “Ogni  valutazione  deve  me4ere  capo  a  una   classifica.  Questa  è  la  logica  della   valutazione.  Se  non  c'  è  una  classifica,  non   c'  è  neanche  una  reale  valutazione”   Giulio  Tremon?,  “Il  passato  e  il  buon  senso”  CdS  22-­‐08-­‐08   vediamo  come  fanno  gli  inglesi  ...  
  • 8. NO RANKINGS PLEASE! WE’RE BRITISH!! “RAE2008 results are in the form of a quality profile for each submission made by an HEI [Higher Education Institution]. We have not produced any ranked lists of single scores for institutions or Units of Assessment, and nor do we intend to.”
  • 9. Quante  sono  le  VQR?     Non  è  stata  svolta  una  VQR  ma  ce  ne  sono  state   16,   perché   due   delle   14   aree   CUN   sono   state   sdoppiate   in   so4o-­‐area   bibliometrica   e   non   bibliometrica.   Cosa   dice   l’ANVUR   rela6vamente   alla   comparabilità   dei   risulta6   VQR   delle   diverse   aree?  
  • 10. Ma  allora  come  si  fa  a  ripar@re  la   quota  premiale  del  FFO?   •  È   necessario   a4ribuire   un   peso   a   ciascuna   delle   16   aree   tenendo   conto   anche   dei   diversi   cos6   della  ricerca.   •  Una   volta   no6   i   pesi   diventa   possibile   anche   ripar6re   la   quota   premiale   tra   le   diverse   aree   di   un  ateneo   •  A  chi  spe4a  questa  decisione?  Vediamo  cosa  dice   l’ANVUR  ...  
  • 11. L’Appendice  D  della  Relazione  VQR   Per   la   natura   stessa   del   problema,   osservazioni   più   tecniche   e   metodologiche   si   fondono   necessariamente   con   valutazioni   di   indirizzo   poli6co   generale   che   esulano   dal   compito   dell’ANVUR  e  rimangono  pienamente  in  capo  al   MIUR,   in   par6colare   nel   momento   in   cui   vi   si   facesse   riferimento   per   la   ripar6zione   di   risorse   finanziarie.  
  • 12. Altra  ques@one:  come  usare  la  VQR   per  valutare  i  singoli  ricercatori?   Vediamo  cosa  dice  l’ANVUR  ...  
  • 13. Valutazione  intra-­‐dipar@mentale   Last   but   not   least,   l’ANVUR   so4olinea   che   i   risulta<   della   VQR   non  possono  e  non  devono  essere  u<lizza<  per  valutare  i  singoli   soggeY.   I   mo6vi   sono   molteplici,   e   qui   ne   ci6amo   alcuni   rilevan6:   la   scelta   dell’associazione   prodoY-­‐soggeY   valuta6,   de4ata   dall’oYmizzazione   del   risultato   di   stru4ura   e   non   del   singolo   sogge4o,   la   richiesta   di   conferire   solo   tre   prodoY   di   ricerca  pubblica6  in  se4e  anni,  che  cos6tuiscono  in  mol6  se4ori   della   scienza   un’immagine   della   produzione   complessiva   dei   singoli   soggeY   molto   parziale,   la   non   considerazione   del   contributo   individuale   al   prodo4o   nel   caso   di   presenza   di   coautori,  e,  infine,  l’u6lizzo  di  metodi  di  valutazione  la  cui  validità   dipende   fortemente   dalla   dimensione   del   gruppo   di   ricerca   cui   sono  applica6.   Relazione  Finale  VQR  –  Parte  Prima,  pag.  9  
  • 14. Il  leAo  di   Procuste  del   paradigma   “hard  sciences”  
  • 15. Il  paradigma  “hard  sciences”   •  Risulta?   della   ricerca   diffusi   prevalentemente   su   riviste   internazionali   con   citazioni   indicizzate   dai   database   bibliometrici.   •  Indici   bibliometrici   (Impact   Factor,   citazioni,   h-­‐index,   etc)   associa?  a  pubblicazioni,  ar?coli  e  ricercatori.   •  Idea:  la  valutazione  automa?ca  è  a  portata  di  mano  (IF  per   le  riviste,  citazioni  e  h-­‐index  per  i  ricercatori).  Esempi:  VQR   nei  seAori  bibliometrici,  mediane  ASN.   •  DORA  -­‐  San  Francisco  Declara?on  on  Research  Assessment   (hAp://am.ascb.org/dora/):   la   comunità   scien?fica   e   le   esperienze   internazionali   mostrano   diffidenza   crescente   nei   confron?  delle  valutazioni  automa?che.  
  • 16. Bri@sh  REF  (Research  Excellence  Framework)   Bibliometrics   are   not   sufficiently   robust   at   this   stage   to  be  used  formulaically  or  to  replace  expert  review  in   the  REF   Report  on  the  pilot  exercise  to  develop  bibliometric  indicators  for  the   Research  Excellence  Framework,  September  2009  
  • 17. Australian  ERA     (Excellence  of  Research  in  Australia)   There  is  clear  and  consistent  evidence  that  the   [journal]  rankings  were  being  deployed   inappropriately  …  in  ways  that  could  produce   harmful  outcomes            Ministro  K.  Carr,  30  Maggio  2011  
  • 18. La  valutazione  delle  scienze  dure:  un   paradigma  da  esportare?   1.  Esempi  del  paradigma:   a)  Gli  scienzia?  italiani  e  in  par?colare  gli  umanis?  non  sono  adeguatamente  produvi  perché   hanno  pochi  lavori  sul  Web  of  Science    della  Thomson-­‐Reuters.   La  scheda  di  valutazione  calibrata  sulle  scienze  dure  (vedi  giudizio  sulla  internazionalizzazione).   In  mol?  SeAori  Concorsuali  un  ar?colo  pubblicato  su  rivista  di  fascia  A  vale  quanto  una  monografia   di  ricerca.   b)  c)  2.  Cosa  dice  la  le4eratura  per  le  HSS?     a)  b)  c)  One  size  does  not  fit  all  (D.  Hicks,  hAp://www.confero.ep.liu.se/issues/2013/v1/i1/121207b/).  Ci   sono  quaAro  “dis?nct,  yet  par?ally  overlapping  worlds  each  serving  a  different  purpose”:   interna?onal  journals  literature,  books,  na?onal  journals,  non  scholarly  press       Distorsioni  (i  dieci  lavori  di  sociologia  spagnoli  più  cita?  sono  sulla  rivista  Annals  of  tourism   research)   Pericoli:       •  •  •  inaridire  seAori  di  studio  di  interesse  nazionale  pubblica?  in  sedi  non  indicizzate;     scoraggiare  la  scriAura  di  lavori  di  enlightenment  (divulgazione)  rivol?  a  pubblico  non  accademico;         scoraggiare  la  scriAura  di  monografie.   3.  Cosa  dicono  i  rappor6  d’area  della  VQR?   a)  b)  Impossibile  sos?tuire  la  peer  review  con  le  classifiche  delle  riviste   Specificità  delle  HSS  (monografie  per  es.)  che  esigono  modelli  di  valutazione  adegua?  (no  le  di   Procuste)  
  • 19. Programma   •  •  •  •  •  •  •  •  •  •  •  •  •  •  •  •  10.30  Inizio  dei  lavori   prof.  Emilia  Perassi,  membro  del  Senato  Accademico:  salu?  e  presentazione  dell’inizia?va   prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI:  salu?  delle  Autorità  accademiche   10.45  relazione  I:  prof.  Massimo  Florio,  presidente  del  Nucleo  di  Valutazione  UNIMI  -­‐  La   ricerca  umanis?ca:  i  risulta?  del  Nucleo  di  Valutazione     11.15  relazione  II:  do=.ssa  Paola  Galimber@,  Ufficio  pianificazione  organizza?va  e   valutazione  UNIMI  –  La  ricerca  umanis?ca:  i  risulta?  della  VQR   11.45  Interven?     a)  Interven@  dei  Dire=ori  dei  Dipar@men@  della  Facoltà  di  Studi  Umanis@ci     Dipar?mento  di  Beni  culturali  e  ambientali:  prof.  Paolo  Inghilleri   Dipar?mento  di  Filosofia:  prof.  Guido  Canziani   Dipar?mento  di  Lingue  e  LeAerature  straniere:  prof.  Marco  Modenesi   Dipar?mento  di  Scienze  della  Mediazione  Linguis?ca  e  di  Studi  interculturali:  prof.  Marie   Chris?ne  Jullion   Dipar?mento  di  Studi  LeAerari,  Filologici  e  Linguis?ci:  prof.  Fabrizio  Conca   Dipar?mento  di  Studi  Storici:  prof.  Grado  Merlo  (membro  del  Senato  Accademico)   b)  Interven?  brevi  programma?   c)  Domande  dei  presen?  e  dibato     Conclusioni:  prof.  Chiara  Tonelli,  proreAore  alla  ricerca  UNIMI  

×