Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Félix de Moya-Anegón - The Technological Impact Factor

53 views

Published on

Más que un término “paraguas”, la ciencia abierta avanza en el sentido de ampliar e integrar el movimiento por el acceso abierto a la literatura científica a otros frentes, como los datos científicos abiertos, las herramientas científicas abiertas, los cuadernos abiertos de laboratorio, la educación abierta y la ciencia ciudadana.

Este “movimiento de movimientos” transforma el escenario y la dinámica de colaboración, comunicación y difusión de la ciencia, ampliando sus condiciones para responder a nuevas y complejas cuestiones de la contemporaneidad, al mismo tiempo que planteando nuevos desafíos. Se abren, por un lado, nuevas posibilidades de generación de beneficios sociales, económicos y ambientales, así como de innovación, asociadas al aumento del alcance, de la velocidad y de la calidad de la producción y circulación del conocimiento científico, sus resultados y posibles usos. Por otro lado, se imponen nuevos requisitos institucionales y tecnológicos a la adopción de políticas, estrategias y prácticas de investigación abierta (regulaciones, capacitaciones, infraestructuras, herramientas), y los costos derivados. Se desarrolla así una nueva economía de la ciencia abierta, junto con nuevos modelos de negocio, con repercusiones sobre el presente y el futuro de las revistas científicas y de su relación con otros sistemas de publicación y publicidad científica emergentes en ese cuadro, así como con los aparatos de monitoreo, evaluación y financiamiento de la investigación.

Al mismo tiempo, se trata de enfrentar el desafío de transponer la barrera entre ciencia (y sus diversas formas de disponibilidad de datos) y política. Hoy tenemos un abismo en esta interfaz que se debería estar estrechando para que, cada vez más, las decisiones políticas, particularmente aquellas que afectan más directamente a las áreas sociales y ambientales, se basen en ciencia de calidad y plural. Para estrechar esa relación, son necesarios esfuerzos para compatibilizar lenguajes y tiempos que permitan el diálogo virtuoso entre esos dos campos.

También cabe por fin reconocer las distintas implicaciones de ese escenario en transformación hacia países más y menos desarrollados, colocando nuevas oportunidades y barreras para sus sistemas de ciencia, tecnología e innovación y sus respectivos reposicionamientos en el escenario global.

Menú
Ciencia abierta, comunicación de la ciencia y los desafíos del desarrollo sostenible; publicaciones abiertas e innovación; la nueva economía (política) de la ciencia abierta y sus infraestructuras de comunicación científica: costos y beneficios (académicos, sociales, económicos); requisitos políticos e institucionales; modelos de negocio emergentes de las publicaciones científicas abiertas; oportunidades y desafíos para los países en desarrollo.

Published in: Science
  • Be the first to comment

  • Be the first to like this

Félix de Moya-Anegón - The Technological Impact Factor

  1. 1. The Technological Impact Factor FÉLIX DE MOYA ANEGÓN SCImago Research Group
  2. 2. El gap de la transferencia
  3. 3. Modalidades básicas de transferencia de conocimiento
  4. 4. Impacto socioeconómico del conocimiento científico Pubish or perish Science Push Marketpull
  5. 5. Total output Excellence and leadership in one scientific domain (country or institution) Participated output Output as main contributor Excellence output Exclusive output Author/s only from one domain Authors from different domains Excellence Output as main contributor Inovative knowledge
  6. 6. Distributionbyfiledscompared: TotalvsCited CHEMISTRY 44.67 ELECTRICITY 23.55 FIXED CONSTRUCTIONS 0.68 HUMAN NECESSITIES… MECHANICAL ENGINEERING… PERFORMING OPERATIONS 12.00 PHYSICS 35.05 TEXTILES, 0.84 Total Cited (*) Source: Scopus; Period: 2017
  7. 7. Total output vs output cited by patents AREA Total Cited Medicine 28,90 33,05 Engineering 21,70 19,91 Computer Science 12,96 12,15 Physics and Astronomy 12,16 12,32 Biochemistry, Genetics and Molecular Biology 12,02 31,62 Materials Science 10,51 15,94 Chemistry 8,76 20,22 Agricultural and Biological Sciences 8,09 6,83 Social Sciences 8,06 0,76 Mathematics 7,25 3,29 Environmental Science 5,43 3,14 Chemical Engineering 4,79 10,14 Earth and Planetary Sciences 4,61 0,91 Arts and Humanities 3,96 0,69 Energy 3,78 3,48 Pharmacology, Toxicology and Pharmaceutics 3,38 8,38 Immunology and Microbiology 2,77 7,78 Neuroscience 2,47 3,05 Business, Management and Accounting 2,39 0,20 Psychology 2,22 0,24 Economics, Econometrics and Finance 1,63 0,04 Nursing 1,58 0,61 Health Professions 1,46 0,78 Multidisciplinary 1,29 2,42 Decision Sciences 1,11 0,24 Veterinary 0,82 0,60 Dentistry 0,56 0,22 (*) Source: Scopus; Period: 2017
  8. 8. Matching: 1. La estructura de PATSTAT 2. TLS214_NPL_PUBLN 3. Cuestiones generales del procedimiento 4. Procedimiento general de matching 5. Preproceso de los datos 6. Preselección de parejas candidatas 7. Evaluación automática de los parejas candidatas 8. Validación humana
  9. 9. 1. La estructura de PATSTAT.  Formada por un gran número de tablas relacionadas con el modelo de la figura.  La tabla TLS214_NPL_PUBLN es la que incluye las referencias a Non Patent Literature.  Este Matching consiste en enlazar los registros de esta tabla con Scopus
  10. 10. 2. TLS214_NPL_PUBLN  Puede parecer que tiene una estructura muy rica.  Pero, se dan unas circunstancias que dificultan el trabajo con ella:  Sólo están completos en todos los registros los tres primeros campos:  NPL_PUBLN_ID: Clave numérica de la tabla.  NPL_TYPE: Tipo  NPL_BIBLIO: Referencia completa (tal y como aparece en la patente, pero que no sigue una norma fija, ni tampoco está completa).  El resto de los campos (18):  Se incorporaron en la versión de Spring 2017.  Están rellenos en un pequeño porcentaje (~20%), y este no aumenta significativamente en la versión de Spring 2018.  Su contenido tampoco es siempre correcto.  Una tercera parte de los registros están repetidos, solo varía la clave.  De una versión a otra no se conservan las claves numéricas, la única forma de relacionarlos es mediante el total de la referencia (NPL_BIBLIO)
  11. 11. 3. Cuestiones generales del procedimiento  Aunque se debe aprovechar la información estructurada presente en el 20% de los registros.  Resulta necesario utilizar también la referencia textual en sí (npl_biblio).  En la referencia textual se pueden buscar algunos patrones para localizar por ejemplo:  Año.  DOI en los pocos casos que lo tienen.
  12. 12. 4. Procedimiento general de matching 1. Preproceso de los datos: Preparación de los datos para facilitar y agilizar los procesos posteriores. 2. Preselección de parejas candidatas: A partir de algunas coincidencias de los elementos de las referencias, se preseleecionan parejas (npl de Patstat, referencia de Scopus) candidatas al match. 3. Evaluación automática de los las parejas candidatas:  Se evalúan los elementos coincidentes de cada pareja candidata.  A cada pareja se le asigna una puntuación. De modo que para cada npl, podamos obtener una lista ordenada de las referencias de Scopus que podrían encajar.  La puntuación global se obtiene mediante el producto de las puntuaciones obtenidas por cada elemento de la referencia (a modo de probabilidad). 4. Validación humana:  Por la parte alta, a partir de una determinada puntuación, las parejas con mayor puntuación pueden resultar validadas.  Por la parte baja, a partir de una puntuación se puede descartar el encaje.  Para cada Npl solamente se puede considerar encajada la referencia de Scopus con mayor puntuación. Aunque también hay registros duplicados en Scopus.
  13. 13. 5. Preproceso de los datos (I). 1. Unificar los registros. 2. Identificar los registros evaluados en alguna fase anterior. 3. Asignar una nueva clave numérica que nos permita hacer rodajas la tabla. En esta clave numérica los registros evaluados tienen una clave posterior (por ejemplo superior a 30.000.000) 4. Localizar patrones correspondientes a DOIs 5. Asignar años de publicación: 1. Utilizando el campo npl_publn_date donde tenga un valor correcto. 2. Localizando los patrones 2003, 2004, …, 2018. 6. Localizar los textos entre comillas, como candidatos a ser títulos. Se almacenan dichos textos normalizados y reducidos a la raíz. …
  14. 14. 5. Preproceso de los datos (II). … 7. Reducir a la raíz y normalizan los campos textuales, tanto de los npls como de la referencias de scopus. 8. Extraer la primera palabra de la referencia como candidata a ser el apellido del primer autor del paper. Se eliminan algunas excepciones (van, der, von, etc.). También se extrae el apellido del primer autor de la referencia Scopus. Ambos se almacenan una vez normalizados y reducidos a la raíz. 9. Se genera un índice invertido con las raíces extraidas de todas las npls, otro con las extráidas de los títulos de revista de scopus y otra con los títulos de las referencias de Scopus. 10. Se realiza un emparejamiento entre las npls de PATSTAT y las 200.000 revistas de Scopus, basádose en el ISSN, el título de las revistas y el título abreviado, utilizando los índices invertidos para evitar una comparación a fuerza bruta. Para cada emparejamiento se anota: 1. Como se ha hecho el emparejamiento (si con el ISSN, con el título, con el título abreviado, reducidos a la raíz, etc). 2. El número de caracteres de la coincidencia (no es la mismo la coincidencia de tres caracteres de un título abreviado que cuarenta de un título sin procesar).
  15. 15. 6 Preselección de parejas candidatas (I)  Se generan unas 3.000 millones de parejas (Npl de Patstat, referencia Scopus) candidatas utilizando las siguientes coincidencias:  DOI.  Revista, volumen (npl_volume) y primera página (npl_page_first).  Revista, volumen (npl_volume) e número (npl_issue).  Revista y apellido del primer autor.  Revista, volumen (incluido en npl_biblio) y primera página (incluida en npl_biblio).  Revista, volumen (incluido en npl_biblio) y número (incluida en npl_biblio).  Revista, volumen (incluido en npl_biblio) y apellido del primer autor. …
  16. 16. 6 Preselección de parejas candidatas (II) …  Revista, año y primera página (incluida en npl_biblio).  Revista, año y última página (incluida en npl_biblio).  Revista, primera página (incluida en npl_biblio) y última página (incluida en npl_biblio).  Primer autor y primera página (npl_page_first).  Primer autor y última página (npl_page_last).  Primer autor, primera página (incluida en npl_biblio) y última página (incluida en npl_biblio).  Revista, primera página (npl_page_first) y última página (npl_page_last). …
  17. 17. 6 Preselección de parejas candidatas (III) …  Title1 (reducido a la raíz) = al título reducido a la raíz de la referencia Scopus.  Primer entrecomillado (reducido a la raíz) = al título reducido a la raíz de la referencia Scopus.  Segundo entrecomillado (reducido a la raíz) = al título reducido a la raíz de la referencia Scopus.  Tercer entrecomillado (reducido a la raíz) = al título reducido a la raíz de la referencia Scopus.  Año y dos de las 4 raíces menos frecuentes del título de la referencia de Scopus en común.  Año y un término del título de la referencia de Scopus que aparezca en menos de 1000 patentes.
  18. 18. 7. Evaluación automática de los las parejas candidatas (I)  Para cada pareja de candidatos se evalúa la coincidencia de cada elemento de la referencia:  Año  Apellido del primer autor  Revista  Volumen  Número  Páginas. …
  19. 19. 7. Evaluación automática de los las parejas candidatas (II) …  En función de la calidad de la coincidencia y de la importancia de la coincidencia se asigna una puntuación:  En caso de que un elemento se considere indispensable, en caso no coincidir se le asigna un valor menor que uno. Si no se considera indispensable se le asigna uno (algunas npls no contienen el título o primer autor, pero están completamente especificadas).  La puntuación está en función del tamaño del matching, aunque se multiplica por un factor en función de la calidad del encaje (este factor es mayor si el encaje es sin reducción a la raíz, o en los campos de la tabla). …
  20. 20. 7. Evaluación automática de los las parejas candidatas (III)  …  La puntuación total del matching se obtiene multiplicando todas las coincidencias. En un muestreo realizado, si la referencia de Scopus que mayor puntuación obtiene para una Npl, obtiene más de: 1. 10.000 puntos, se puede considerar validada. 2. 1000 puntos se puede considerar que tiene un 90% de probabilidad de ser correcta. 3. 700 puntos se puede considerar que tiene un 60% de probabilidad de ser correcta. 4. 300 puntos se puede considerar que tiene un 40% de probabilidad de ser correcta.
  21. 21. 8. Validación manual  El último repaso se hace manualmente.  Las asociaciones con:  Más de 10.000 puntos no se revisan.  Entre 1.000 y 10.000 puntos se consideran incialmente correctas, pero se tienen que revisar manualmente para eliminar errores.  Menos de 1.000 puntos se consideran inicialmente incorrectas, aunque se revisan manualmente para salvar algunas asociaciones.  Para optimizar la revisión se ha diseñado una aplicación, que permite:  El trabajo colectivo.  La revisión en orden por puntos.  Con un solo click se puede hacer una búsqueda en Google Académico.
  22. 22. The Technological Factor 1. Journal Impact Metrics 2. Journal Contribution to Progress 3. The Citation from Patents 4. Excellence vs Cited from Patents 5. Technological Factor 6. Conclusions
  23. 23. 1. Journal Impact Metrics  Not all papers / journals have the same quality  Not all papers / journals are equally useful  Subjectivity => Citation  Different citation habits in different disciplines => normalization which can be from the cited-side or from citing-side  Not all citations are equal => weighted according to their origin, taking into account the quality of the journal and its thematic closeness. 1
  24. 24. 2. Journal Contribution to Progress  The academic utility or prestige is not always the contribution to economic progress  One way to have an idea of the latter => patents  And that we want to present a TF of publications  PATSTAT:  NPL Section  Our own process of Disambiguation 2
  25. 25. 5. Technological Factor 𝑇𝐹𝑖𝑦 = 𝐶 𝑖𝑦 𝑖 𝐶 𝑖𝑦 𝐷 𝑖𝑦 𝑖 𝐷 𝑖𝑦  TFiy: Technological Factor of the publication i in year y.  Diy: Citable papers published in the source i in year y.  Ciy: Citation towards the Diy papers published in the source i in year y from family patents of the years [y, y+3]. 5
  26. 26. 5.1 Technological Factor (Normalization)  The tendency to increase or decrease by the increase in output or coverage of the database is avoided.  If the journal is precisely at the mean, the two portions will be the same and the score will be unity.  A higher score will mean that the portion of citation is greater than that of citable documents, and vice versa. 6
  27. 27. 5.2 Technological Factor (Citation Window)  Inverse citation window.  It evaluate the technological impact of the annual production of a journal in the years following.  It will avoid indicators several years for the same production.  In 2003-2010:  93.2% of the Conferences listed in Scopus only appear in one year.  In total 34% of the sources listed in Scopus have papers only one year. 7
  28. 28. 5.3 Technological Factor (Averages) 8 0 0.5 1 1.5 2 2.5 3 2003 2004 2005 2006 2007 2008 2009 2010 2011 Immunology and Microbiology (all) Biochemistry, Genetics and Molecular Biology (all) Pharmacology, Toxicology and Pharmaceutics (all) Computer Science (all) Chemical Engineering (all) Chemistry (all) Engineering (all) Materials Science (all) Neuroscience (all) Physics and Astronomy (all) Medicine (all) Multidisciplinary Energy (all) Mathematics (all) Veterinary (all) Health Professions (all) Agricultural and Biological Sciences (all) Decision Sciences (all) Dentistry (all) Nursing (all) Environmental Science (all) Earth and Planetary Sciences (all) Business, Management and Accounting (all) Psychology (all) Social Sciences (all) Arts and Humanities (all) Economics, Econometrics and Finance (all)
  29. 29. 5.4 Technological Factor (Pearson, 2003-2006) Pearson TF SJR JIF3 JIF2 JIF4 H ICR TF 1 0.281 0.346 0.337 0.346 0.201 0.227 SJR 0.281 1 0.921 0.909 0.921 0.652 0.475 JIF3 0.346 0.921 1 0.991 0.995 0.715 0.597 JIF2 0.337 0.909 0.991 1 0.982 0.709 0.586 JIF4 0.346 0.921 0.995 0.982 1 0.715 0.596 H 0.201 0.652 0.715 0.709 0.715 1 0.648 ICR 0.227 0.475 0.597 0.586 0.596 0.648 1 9
  30. 30. 5.5 Technological Factor (Spearman, 2003-2006) Spearman TF SJR JIF3 JIF2 JIF4 H ICR TF 1 0.335 0.397 0.395 0.396 0.26 0.372 SJR 0.335 1 0.921 0.905 0.92 0.874 0.888 JIF3 0.397 0.921 1 0.989 0.995 0.872 0.953 JIF2 0.395 0.905 0.989 1 0.982 0.862 0.943 JIF4 0.396 0.92 0.995 0.982 1 0.877 0.95 H 0.26 0.874 0.872 0.862 0.877 1 0.844 ICR 0.372 0.888 0.953 0.943 0.95 0.844 1 10
  31. 31. 6. Conclusions  TF measures some kind of technological transfer  TF has something to do with citation metrics  TF has not a tendency to increase nor decrease  TF needs time to calculate  Meaning:  1 -> On the average  1.2 -> 20% more than the average  0.7 -> 30% less than the average 12
  32. 32. ¡Gracias! felix.moya@scimago.es @felixdemoya

×