Procés d’    P    é d’avaluació d l                 l   ió delsprojectes de recerca presentatsp j                  p    a ...
Convocatòries
Procés d’avaluació                                                              SOL·LICITUD                         Format...
Procés d’avaluació 1. Recepció, classificació i anonimització dels      projectes 2. Selecció dels avaluadors 3. Assignaci...
Classificació i anonimització dels projectes                                   p j Classificació dels projectes    Tipus...
Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. As...
Selecció dels avaluadors (1)                         ( )           Fonts                 Criteris principals  • Comitè Cie...
Selecció dels avaluadors (2)                         ( )                      1.041 invitacions                         a ...
Selecció dels avaluadors (i 4)                         ( ) Conflicte d’interès    Manteniment confidencialitat    Absèn...
Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. As...
Assignació    g Tipus de recerca Tipus de projecte / expertesa de l’avaluador Mé d’  Més d’un projecte per avaluador   ...
Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. As...
Avaluació (1)          ( ) Avaluació dels projectes de recerca    Coneixement del tema     Adequació i especificitat d’...
Avaluació (2)          ( ) Qüestionari estructurat         Puntuació quantitativa         Valoració qualitativa     • Tot...
Avaluació (3)          ( )     Finançable       Finançable amb     Dubtós   No finançable         ( )         (F)         ...
Avaluació (i 4)          ( )                            Discordant                              F‐D                       ...
Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. As...
Propietats mètriques del qüestionari (1)   p            q        q           ( )Per a cada projecte:                      ...
Propietats mètriques del qüestionari (i 2)   p            q        q           ( ) Fiabilitat/consistència interna: Preci...
Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. As...
Selecció dels projectes a finançar (1)              p j              ç ( )  C iè dh S   Comitè ad‐hoc Setembre           ...
Els diners recaptats permeten fi        t   finançar un nombre limitat    dels ill    d l millors      projectes
Selecció dels projectes a finançar (2)              p j              ç ( ) Selecció i revisió de tots els projectes finan...
Selecció dels projectes a finançar (3)              p j              ç ( ) Priorització dels projectes (criteris explícits...
Selecció dels projectes a finançar (i 4)              p j              ç ( )    Revisió dels pressupostos sol∙licitats   ...
Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. As...
Presentació dels resultats    Comissió Assessora de la Fundació    Informes anuals del    procés d’avaluació          d ...
Procés d’    P    é d’avaluació d l                 l   ió delsprojectes de recerca presentatsp j                  p    a ...
Upcoming SlideShare
Loading in …5
×

El procés d'avaluació dels projectes de La Marató de TV3 (Barcelona, 21 febrer 2012)

454 views

Published on

L'Agència d'Informació, Avaluació i Qualitat en Salut (AIAQS) va organitzar el proppassat 21 de febrer una sessió informativa pública sobre el procés d'avaluació dels projectes de les convocatòries de recerca de La Marató de TV3.

Seguint els criteris de rigor i transparència, la sessió va tenir com a objectiu,, d'informar la comunitat científica de Catalunya sobre els procés i el mètode d'avaluació que s'aplica durant la gestió de les convocatòries, procés que també es fa explícit i documentat als informes d'avaluació de cadascuna de les convocatòries ja realitzades.

Entre els ponents van participar Carme Basté, directora de la Fundació La Marató de TV3; Carles Miquel, coordinador de la Comissió Assessora de la Fundació La Marató de TV3; Maite Solans, investigadora de l'Àrea de Recerca de l’AIAQS i Paula Adam, responsable de l’Àrea de Recerca de l’AIAQS.

Published in: Health & Medicine
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
454
On SlideShare
0
From Embeds
0
Number of Embeds
123
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

El procés d'avaluació dels projectes de La Marató de TV3 (Barcelona, 21 febrer 2012)

  1. 1. Procés d’ P é d’avaluació d l l ió delsprojectes de recerca presentatsp j p a la Convocatòria de la Fundació La Marató de TV3 Agència d’Informació Avaluació i d Informació Qualitat en Salut(AIAQS) www.aatrm.net Àrea de Recerca en Ciències de la Salut
  2. 2. Convocatòries
  3. 3. Procés d’avaluació SOL·LICITUD Format normalitzat RECEPCIÓ I ORGANITZACIÓ DELS PROJECTES Actualització de la base de dades UDUT Classif icació dels projectes Anonimització dels projectes ASSIGNACIÓ UDUT DELS PROJECTES Selecció dels av aluadors i primer contacte Introducció de les dades dels av aluadors Classif icació per especialitats Assignació de projectes UDd AVALUACIÓ DELS PROJECTES Recepció de les av aluacions Valoració de l’instrument d’av aluació Classif icació i anàlisi de les av aluacions Rev isió del procés d’av aluació Selecció dels projectes f inançables RESOLUCIÓ DE LA CONVOCATÒRIA I PUBLICACIÓ DELS RESULTATS Patronat de la Fundació La Marató de TV3
  4. 4. Procés d’avaluació 1. Recepció, classificació i anonimització dels  projectes 2. Selecció dels avaluadors 3. Assignació dels projectes als avaluadors 4. Avaluació 5. Anàlisi i classificació dels projectes 6. Selecció dels projectes a finançar 7. Presentació dels resultats 7 Presentació dels resultats
  5. 5. Classificació i anonimització dels projectes p j Classificació dels projectes  Tipus de recerca: B, C, E,...  Tipus de projecte: Paraules clau del resumA Anonimització i i ió  No identificar l’equip investigador del projecte  XXXXX  IP, Researcher 1, researcher 2,...
  6. 6. Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. Assignació dels projectes als avaluadors 4. Avaluació 5. A àli i i l ifi ió d l Anàlisi i classificació dels projectes j t 6. Selecció dels projectes a finançar p j ç 7. Presentació dels resultats
  7. 7. Selecció dels avaluadors (1) ( ) Fonts Criteris principals • Comitè Científic AIAQS • Abast internacional • Comissió Assessora  de la  • Experiència i expertesa Experiència i  expertesa  Fundació La Marató de TV3 en recerca en la  • Cerca bibliogràfica malaltia(es) (científica i  • Altres metodològica) • Europeus  majoritàriament
  8. 8. Selecció dels avaluadors (2) ( ) 1.041 invitacions a participar 230 811 Taxa de resposta: 22 1% 22,1% respostes no respostes 139 91 Reviewer form declinen Taxa de cooperació: 60,4% 131 8 Taxa de resposta efectiva: 94,2%avaluadors “pèrdues”
  9. 9. Selecció dels avaluadors (i 4) ( ) Conflicte d’interès  Manteniment confidencialitat  Absència conflicte d’interès Guia d’avaluació Bases de la convocatòria Acceptació de les normes establertes per a l’avaluació dels  projectes presentats  conducta ètica  coneixement sobre el tema a avaluar  capacitat per redactar crítiques constructives  adaptació al calendari d’avaluació establert d t ió l l d i d’ l ió t bl t
  10. 10. Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. Assignació dels projectes als avaluadors 4. Avaluació 5. A àli i i l ifi ió d l Anàlisi i classificació dels projectes j t 6. Selecció dels projectes a finançar p j ç 7. Presentació dels resultats
  11. 11. Assignació g Tipus de recerca Tipus de projecte / expertesa de l’avaluador Mé d’ Més d’un projecte per avaluador j t l d Cerca “manual” d avaluadors per projectes concrets Cerca  manual d’avaluadors per projectes concrets
  12. 12. Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. Assignació dels projectes als avaluadors 4. Avaluació 5. A àli i i l ifi ió d l Anàlisi i classificació dels projectes j t 6. Selecció dels projectes a finançar p j ç 7. Presentació dels resultats
  13. 13. Avaluació (1) ( ) Avaluació dels projectes de recerca  Coneixement del tema   Adequació i especificitat d’hipòtesis, objectius i metodologia  Rellevància científica, sanitària i social  F tibilit t l d t b ll i Factibilitat, pla de treball i cronograma presentats t t  Disponibilitat de recursos i adequació del pressupost sol∙licitat Avaluació curricular dels equips investigadors Avaluació curricular dels equips investigadors  Trajectòria i expertesa de l’equip investigador  Experiència prèvia en la línia de recerca Experiència prèvia en la línia de recerca  Composició de l’equip  Diversitat de disciplines i centres participants Diversitat de disciplines i centres participants
  14. 14. Avaluació (2) ( ) Qüestionari estructurat Puntuació quantitativa Valoració qualitativa • Totalment: 3 punts • Finançable F • Bastant: 2 punts • F amb reserves FR • Poc: 1 punt • Dubtós D • Gens: 0 punts • No finançable NF Puntuació total (0-30):(suma punts/preguntes respostes)*10
  15. 15. Avaluació (3) ( ) Finançable Finançable amb Dubtós No finançable ( ) (F) reserves (FR) ( ) ( ) (Q) ( ) (NF) F‐F FR ‐ FR D‐D Q‐ NF F ‐ FR FR ‐ D NF NF‐ NF Avaluació per part A l ió t Discordant F‐D d’un tercer FR ‐ NF avaluador F ‐ NF independent
  16. 16. Avaluació (i 4) ( ) Discordant F‐D FR ‐ NF F ‐ NF Finançable amb Fi bl b Dubtós D btó No finançable N fi bl reserves (FR) (Q) (NF) F‐F‐D F ‐ D‐ D F ‐ NF‐ NF F ‐FR ‐ D F ‐ D‐ NF FR ‐ D‐ NF F ‐ F ‐ NF F ‐ FR ‐ NF FR ‐ NF‐ NF FR ‐ FR ‐ NF
  17. 17. Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. Assignació dels projectes als avaluadors 4. Avaluació 5. A àli i i l ifi ió d l Anàlisi i classificació dels projectes j t 6. Selecció dels projectes a finançar p j ç 7. Presentació dels resultats
  18. 18. Propietats mètriques del qüestionari (1) p q q ( )Per a cada projecte: Combinació de 2 (3) valoracions 2 (3) valoracions qualitatives en una sola qualitatives Mitjana de les 2 (3) puntuacions 2 (3) puntuacions quantitatives quantitatives
  19. 19. Propietats mètriques del qüestionari (i 2) p q q ( ) Fiabilitat/consistència interna: Precisió de la puntuació quantitativa total Fiabilitat/consistència interna: Precisió de la puntuació quantitativa total  basada en lhomogeneïtat (intercorrelacions) dels ítems del qüestionari  davaluació  d l ió  Alfa de Cronbach Validesa relacionada amb el criteri: Habilitat del qüestionari davaluació  per discriminar la qualitat dels projectes  Mitjana, DE, efectes terra i sostre  Correlació entre la puntuació quantitativa mitjana i la valoració Correlació entre la puntuació quantitativa mitjana i la valoració  qualitativa (criteri de mesura)  Anàlisi discriminant : tècnica receiver operating characteristics (ROC)
  20. 20. Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. Assignació dels projectes als avaluadors 4. Avaluació 5. A àli i i l ifi ió d l Anàlisi i classificació dels projectes j t 6. Selecció dels projectes a finançar p j ç 7. Presentació dels resultats
  21. 21. Selecció dels projectes a finançar (1) p j ç ( ) C iè dh S Comitè ad‐hoc Setembre b  Avaluadors europeus  B – C ‐ E  2 observadors externs  El Coordinador de la Comissió Assessora de la Fundació  La Marató de TV3  U Una representant de la Fundació La Marató de TV3 d l F d ió L M ó d TV3  4 membres de l’Agència  Coordinació de les reunions d ód l
  22. 22. Els diners recaptats permeten fi t finançar un nombre limitat dels ill d l millors projectes
  23. 23. Selecció dels projectes a finançar (2) p j ç ( ) Selecció i revisió de tots els projectes finançables Discordants que incloïen 2 valoracions “F” q Abstract Comentaris dels avaluadors Projecte sencer j
  24. 24. Selecció dels projectes a finançar (3) p j ç ( ) Priorització dels projectes (criteris explícits establerts a priori)   La qualitat dels projectes, d acord amb els comentaris fets  La qualitat dels projectes, d’acord amb els comentaris fets pels avaluador  L importància i la rellevància L’importància i la rellevància  La viabilitat i/o capacitat per dur a terme el projecte  L’experiència prèvia de l’equip investigador amb projectes  L’ iè i è i d l’ i i i d b j d’igual temàtica, sense oblidar de donar oportunitat a  joves investigadors  joves investigadors  L’interès del projecte per novedós
  25. 25. Selecció dels projectes a finançar (i 4) p j ç ( )  Revisió dels pressupostos sol∙licitats  Modificacions suggerides pels avaluadors  Elaboració del llistat de projectes prioritaris per Elaboració del llistat de projectes prioritaris per  al seu finançament  Projectes prioritaris Projectes prioritaris  Reserves prioritzades i amb rànquing
  26. 26. Procés d’avaluació 1. Recepció i anonimització dels projectes 2. Selecció dels avaluadors 2 Selecció dels avaluadors 3. Assignació dels projectes als avaluadors 4. Avaluació 5. A àli i i l ifi ió d l Anàlisi i classificació dels projectes j t 6. Selecció dels projectes a finançar p j ç 7. Presentació dels resultats
  27. 27. Presentació dels resultats  Comissió Assessora de la Fundació  Informes anuals del  procés d’avaluació d avaluació www.gencat.cat/salut/depsan/units/aatrm /html/ca/dir297/index.html
  28. 28. Procés d’ P é d’avaluació d l l ió delsprojectes de recerca presentatsp j p a la Convocatòria de la Fundació La Marató de TV3 Agència d’Informació Avaluació i d Informació Qualitat en Salut(AIAQS) www.aatrm.net Àrea de Recerca en Ciències de la Salut

×