1.
The
Technological
Impact Factor
FÉLIX DE MOYA ANEGÓN
SCImago Research Group

2.
El gap de la transferencia

3.
Modalidades básicas de transferencia
de conocimiento

4.
Impacto socioeconómico del conocimiento científico
Pubish or perish
Science Push
Marketpull

5.
Total
output
Excellence and leadership in one scientific domain
(country or institution)
Participated
output
Output as main
contributor
Excellence
output
Exclusive
output
Author/s only from one domain
Authors from different domains
Excellence
Output as
main
contributor
Inovative
knowledge

6.
Distributionbyfiledscompared:
TotalvsCited
CHEMISTRY
44.67
ELECTRICITY
23.55
FIXED CONSTRUCTIONS
0.68
HUMAN
NECESSITIES…
MECHANICAL
ENGINEERING…
PERFORMING
OPERATIONS
12.00
PHYSICS
35.05
TEXTILES, 0.84
Total Cited
(*) Source: Scopus; Period: 2017

7.
Total output vs output cited by patents
AREA Total Cited
Medicine 28,90 33,05
Engineering 21,70 19,91
Computer Science 12,96 12,15
Physics and Astronomy 12,16 12,32
Biochemistry, Genetics and Molecular Biology 12,02 31,62
Materials Science 10,51 15,94
Chemistry 8,76 20,22
Agricultural and Biological Sciences 8,09 6,83
Social Sciences 8,06 0,76
Mathematics 7,25 3,29
Environmental Science 5,43 3,14
Chemical Engineering 4,79 10,14
Earth and Planetary Sciences 4,61 0,91
Arts and Humanities 3,96 0,69
Energy 3,78 3,48
Pharmacology, Toxicology and Pharmaceutics 3,38 8,38
Immunology and Microbiology 2,77 7,78
Neuroscience 2,47 3,05
Business, Management and Accounting 2,39 0,20
Psychology 2,22 0,24
Economics, Econometrics and Finance 1,63 0,04
Nursing 1,58 0,61
Health Professions 1,46 0,78
Multidisciplinary 1,29 2,42
Decision Sciences 1,11 0,24
Veterinary 0,82 0,60
Dentistry 0,56 0,22
(*) Source: Scopus; Period: 2017

8.
Matching:
1. La estructura de PATSTAT
2. TLS214_NPL_PUBLN
3. Cuestiones generales del procedimiento
4. Procedimiento general de matching
5. Preproceso de los datos
6. Preselección de parejas candidatas
7. Evaluación automática de los parejas candidatas
8. Validación humana

9.
1. La estructura de
PATSTAT.
 Formada por un gran número de tablas
relacionadas con el modelo de la figura.
 La tabla TLS214_NPL_PUBLN es la que
incluye las referencias a Non Patent
Literature.
 Este Matching consiste en enlazar los
registros de esta tabla con Scopus

10.
2. TLS214_NPL_PUBLN
 Puede parecer que tiene una estructura muy rica.
 Pero, se dan unas circunstancias que dificultan el trabajo con ella:
 Sólo están completos en todos los registros los tres primeros campos:
 NPL_PUBLN_ID: Clave numérica de la tabla.
 NPL_TYPE: Tipo
 NPL_BIBLIO: Referencia completa (tal y como aparece en la patente, pero que no sigue una norma fija, ni
tampoco está completa).
 El resto de los campos (18):
 Se incorporaron en la versión de Spring 2017.
 Están rellenos en un pequeño porcentaje (~20%), y este no aumenta significativamente en la versión de Spring
2018.
 Su contenido tampoco es siempre correcto.
 Una tercera parte de los registros están repetidos, solo varía la clave.
 De una versión a otra no se conservan las claves numéricas, la única forma de relacionarlos es
mediante el total de la referencia (NPL_BIBLIO)

11.
3. Cuestiones generales del
procedimiento
 Aunque se debe aprovechar la información estructurada presente en el
20% de los registros.
 Resulta necesario utilizar también la referencia textual en sí (npl_biblio).
 En la referencia textual se pueden buscar algunos patrones para localizar
por ejemplo:
 Año.
 DOI en los pocos casos que lo tienen.

12.
4. Procedimiento general de matching
1. Preproceso de los datos:
Preparación de los datos para facilitar y agilizar los procesos posteriores.
2. Preselección de parejas candidatas:
A partir de algunas coincidencias de los elementos de las referencias, se preseleecionan parejas (npl de Patstat,
referencia de Scopus) candidatas al match.
3. Evaluación automática de los las parejas candidatas:
 Se evalúan los elementos coincidentes de cada pareja candidata.
 A cada pareja se le asigna una puntuación. De modo que para cada npl, podamos obtener una lista ordenada de
las referencias de Scopus que podrían encajar.
 La puntuación global se obtiene mediante el producto de las puntuaciones obtenidas por cada elemento de la
referencia (a modo de probabilidad).
4. Validación humana:
 Por la parte alta, a partir de una determinada puntuación, las parejas con mayor puntuación pueden resultar
validadas.
 Por la parte baja, a partir de una puntuación se puede descartar el encaje.
 Para cada Npl solamente se puede considerar encajada la referencia de Scopus con mayor puntuación. Aunque
también hay registros duplicados en Scopus.

13.
5. Preproceso de los datos (I).
1. Unificar los registros.
2. Identificar los registros evaluados en alguna fase anterior.
3. Asignar una nueva clave numérica que nos permita hacer rodajas la tabla. En
esta clave numérica los registros evaluados tienen una clave posterior (por
ejemplo superior a 30.000.000)
4. Localizar patrones correspondientes a DOIs
5. Asignar años de publicación:
1. Utilizando el campo npl_publn_date donde tenga un valor correcto.
2. Localizando los patrones 2003, 2004, …, 2018.
6. Localizar los textos entre comillas, como candidatos a ser títulos. Se
almacenan dichos textos normalizados y reducidos a la raíz.
…

14.
5. Preproceso de los datos (II).
…
7. Reducir a la raíz y normalizan los campos textuales, tanto de los npls como de la referencias de scopus.
8. Extraer la primera palabra de la referencia como candidata a ser el apellido del primer autor del paper.
Se eliminan algunas excepciones (van, der, von, etc.). También se extrae el apellido del primer autor de la
referencia Scopus. Ambos se almacenan una vez normalizados y reducidos a la raíz.
9. Se genera un índice invertido con las raíces extraidas de todas las npls, otro con las extráidas de los
títulos de revista de scopus y otra con los títulos de las referencias de Scopus.
10. Se realiza un emparejamiento entre las npls de PATSTAT y las 200.000 revistas de Scopus, basádose en el
ISSN, el título de las revistas y el título abreviado, utilizando los índices invertidos para evitar una
comparación a fuerza bruta. Para cada emparejamiento se anota:
1. Como se ha hecho el emparejamiento (si con el ISSN, con el título, con el título abreviado, reducidos a la
raíz, etc).
2. El número de caracteres de la coincidencia (no es la mismo la coincidencia de tres caracteres de un título
abreviado que cuarenta de un título sin procesar).

15.
6 Preselección de parejas candidatas (I)
 Se generan unas 3.000 millones de parejas (Npl de Patstat, referencia Scopus)
candidatas utilizando las siguientes coincidencias:
 DOI.
 Revista, volumen (npl_volume) y primera página (npl_page_first).
 Revista, volumen (npl_volume) e número (npl_issue).
 Revista y apellido del primer autor.
 Revista, volumen (incluido en npl_biblio) y primera página (incluida en npl_biblio).
 Revista, volumen (incluido en npl_biblio) y número (incluida en npl_biblio).
 Revista, volumen (incluido en npl_biblio) y apellido del primer autor.
…

16.
6 Preselección de parejas candidatas
(II)
…
 Revista, año y primera página (incluida en npl_biblio).
 Revista, año y última página (incluida en npl_biblio).
 Revista, primera página (incluida en npl_biblio) y última página (incluida en
npl_biblio).
 Primer autor y primera página (npl_page_first).
 Primer autor y última página (npl_page_last).
 Primer autor, primera página (incluida en npl_biblio) y última página (incluida
en npl_biblio).
 Revista, primera página (npl_page_first) y última página (npl_page_last).
…

17.
6 Preselección de parejas candidatas
(III)
…
 Title1 (reducido a la raíz) = al título reducido a la raíz de la referencia
Scopus.
 Primer entrecomillado (reducido a la raíz) = al título reducido a la raíz
de la referencia Scopus.
 Segundo entrecomillado (reducido a la raíz) = al título reducido a la
raíz de la referencia Scopus.
 Tercer entrecomillado (reducido a la raíz) = al título reducido a la raíz
de la referencia Scopus.
 Año y dos de las 4 raíces menos frecuentes del título de la referencia
de Scopus en común.
 Año y un término del título de la referencia de Scopus que aparezca en
menos de 1000 patentes.

18.
7. Evaluación automática de los las
parejas candidatas (I)
 Para cada pareja de candidatos se evalúa la coincidencia de cada elemento
de la referencia:
 Año
 Apellido del primer autor
 Revista
 Volumen
 Número
 Páginas.
…

19.
7. Evaluación automática de los las
parejas candidatas (II)
…
 En función de la calidad de la coincidencia y de la importancia de la
coincidencia se asigna una puntuación:
 En caso de que un elemento se considere indispensable, en caso no coincidir se
le asigna un valor menor que uno. Si no se considera indispensable se le asigna
uno (algunas npls no contienen el título o primer autor, pero están
completamente especificadas).
 La puntuación está en función del tamaño del matching, aunque se multiplica
por un factor en función de la calidad del encaje (este factor es mayor si el
encaje es sin reducción a la raíz, o en los campos de la tabla).
…

20.
7. Evaluación automática de los las
parejas candidatas (III)
 …
 La puntuación total del matching se obtiene multiplicando todas las
coincidencias. En un muestreo realizado, si la referencia de Scopus que
mayor puntuación obtiene para una Npl, obtiene más de:
1. 10.000 puntos, se puede considerar validada.
2. 1000 puntos se puede considerar que tiene un 90% de probabilidad de ser
correcta.
3. 700 puntos se puede considerar que tiene un 60% de probabilidad de ser
correcta.
4. 300 puntos se puede considerar que tiene un 40% de probabilidad de ser
correcta.

21.
8. Validación manual
 El último repaso se hace manualmente.
 Las asociaciones con:
 Más de 10.000 puntos no se revisan.
 Entre 1.000 y 10.000 puntos se consideran incialmente correctas, pero se tienen que
revisar manualmente para eliminar errores.
 Menos de 1.000 puntos se consideran inicialmente incorrectas, aunque se revisan
manualmente para salvar algunas asociaciones.
 Para optimizar la revisión se ha diseñado una aplicación, que permite:
 El trabajo colectivo.
 La revisión en orden por puntos.
 Con un solo click se puede hacer una búsqueda en Google Académico.

22.
The Technological Factor
1. Journal Impact Metrics
2. Journal Contribution to Progress
3. The Citation from Patents
4. Excellence vs Cited from Patents
5. Technological Factor
6. Conclusions

23.
1. Journal Impact Metrics
 Not all papers / journals have the same quality
 Not all papers / journals are equally useful
 Subjectivity => Citation
 Different citation habits in different disciplines => normalization which
can be from the cited-side or from citing-side
 Not all citations are equal => weighted according to their origin, taking
into account the quality of the journal and its thematic closeness.
1

24.
2. Journal Contribution to Progress
 The academic utility or prestige is not always the contribution to economic
progress
 One way to have an idea of the latter => patents
 And that we want to present a TF of publications
 PATSTAT:
 NPL Section
 Our own process of Disambiguation
2

25.
5. Technological Factor
𝑇𝐹𝑖𝑦 =
𝐶 𝑖𝑦
𝑖 𝐶 𝑖𝑦
𝐷 𝑖𝑦
𝑖 𝐷 𝑖𝑦
 TFiy: Technological Factor of the publication i in year y.
 Diy: Citable papers published in the source i in year y.
 Ciy: Citation towards the Diy papers published in the source i in
year y from family patents of the years [y, y+3].
5

26.
5.1 Technological Factor
(Normalization)
 The tendency to increase or decrease by the increase in output or
coverage of the database is avoided.
 If the journal is precisely at the mean, the two portions will be the same
and the score will be unity.
 A higher score will mean that the portion of citation is greater than that of
citable documents, and vice versa.
6

27.
5.2 Technological Factor (Citation
Window)
 Inverse citation window.
 It evaluate the technological impact of the annual production of a journal
in the years following.
 It will avoid indicators several years for the same production.
 In 2003-2010:
 93.2% of the Conferences listed in Scopus only appear in one year.
 In total 34% of the sources listed in Scopus have papers only one year.
7

28.
5.3 Technological Factor (Averages)
8
0
0.5
1
1.5
2
2.5
3
2003 2004 2005 2006 2007 2008 2009 2010 2011
Immunology and Microbiology (all)
Biochemistry, Genetics and Molecular Biology (all)
Pharmacology, Toxicology and Pharmaceutics (all)
Computer Science (all)
Chemical Engineering (all)
Chemistry (all)
Engineering (all)
Materials Science (all)
Neuroscience (all)
Physics and Astronomy (all)
Medicine (all)
Multidisciplinary
Energy (all)
Mathematics (all)
Veterinary (all)
Health Professions (all)
Agricultural and Biological Sciences (all)
Decision Sciences (all)
Dentistry (all)
Nursing (all)
Environmental Science (all)
Earth and Planetary Sciences (all)
Business, Management and Accounting (all)
Psychology (all)
Social Sciences (all)
Arts and Humanities (all)
Economics, Econometrics and Finance (all)

29.
5.4 Technological Factor (Pearson,
2003-2006)
Pearson TF SJR JIF3 JIF2 JIF4 H ICR
TF 1 0.281 0.346 0.337 0.346 0.201 0.227
SJR 0.281 1 0.921 0.909 0.921 0.652 0.475
JIF3 0.346 0.921 1 0.991 0.995 0.715 0.597
JIF2 0.337 0.909 0.991 1 0.982 0.709 0.586
JIF4 0.346 0.921 0.995 0.982 1 0.715 0.596
H 0.201 0.652 0.715 0.709 0.715 1 0.648
ICR 0.227 0.475 0.597 0.586 0.596 0.648 1
9

30.
5.5 Technological Factor (Spearman,
2003-2006)
Spearman TF SJR JIF3 JIF2 JIF4 H ICR
TF 1 0.335 0.397 0.395 0.396 0.26 0.372
SJR 0.335 1 0.921 0.905 0.92 0.874 0.888
JIF3 0.397 0.921 1 0.989 0.995 0.872 0.953
JIF2 0.395 0.905 0.989 1 0.982 0.862 0.943
JIF4 0.396 0.92 0.995 0.982 1 0.877 0.95
H 0.26 0.874 0.872 0.862 0.877 1 0.844
ICR 0.372 0.888 0.953 0.943 0.95 0.844 1
10

31.
6. Conclusions
 TF measures some kind of technological transfer
 TF has something to do with citation metrics
 TF has not a tendency to increase nor decrease
 TF needs time to calculate
 Meaning:
 1 -> On the average
 1.2 -> 20% more than the average
 0.7 -> 30% less than the average
12

32.
¡Gracias!
felix.moya@scimago.es
@felixdemoya