как подбирать рецензентов: обзор и анализ баз данных

1. Основы наукометрии и работа с индексами
цитирования (РИНЦ, WoS, Scopus) с целью
корректного отражения уровня журнала в
научных базах данных
как подбирать
рецензентов: обзор и
анализ баз данных
Москалева О.В.,
Советник директора Научной библиотеки СПбГУ
Поддержка программ развития научных журналов с целью их
вхождения в международные наукометрические базы данных

2. Типы рецензирования – peer review
Peer review – рассмотрение равными
• Двойное слепое – рецензент не знает фамилию автора, автор
не знает, кто является рецензентом
• Одностороннее слепое – автор не знает рецензента
• Открытое рецензирование – и автор, и рецензент знают, кто
они
Хороший рецензент помогает автору улучшить статью и
тем самым помогает улучшить репутацию журнала

3. Исторический пример
В 1936 году Эйнштейн отозвал статью из журнала Physical
Review, когда узнал, что статья была послана анонимному
рецензенту, обнаружившему ошибку в расчетах. Он написал
главному редактору, что не давал разрешения показывать
кому-либо статью до ее опубликования.
Однако после этого он принял во внимание замечания
рецензента, исправил ошибки и опубликовал статью в другом
журнале 
Daniel Kennefick, “Einstein versus Physical Review”,
Physics Today, 58, no.9 (2005): 43-48

4. Основные принципы подбора рецензентов
• Рецензент должен быть специалистом в той же
предметной области, в которой написана статья
• Рецензент не должен иметь с авторами
совместных публикаций или грантов
• Рецензент не должен работать в одной
организации или в одном подразделении с
авторами

5. Основные этапы подбора рецензентов
• Анализ текста статьи и определение
предметной области
• Поиск специалистов в данной области
• Анализ найденных специалистов на предмет
наличия совместных публикаций или грантов с
авторами и общего места работы

6. Что в самой статье поможет найти
рецензента?
Название статьи
Авторы
Места работы авторов
Ключевые слова
Резюме статьи
Указание на источник финансирования
исследования
Список использованной литературы
Цитируемая
статья 1
Цитируемая
статья 2
Цитируемая
статья 3
Цитируемая
статья 4
Цитируемая
статья 5
Поиск похожих
статей и анализ
состава авторов
Поиск статей,
цитирующих те же
источники, с последующим
анализом авторов, или
выбор авторов
цитируемого в качестве
потенциальных
рецензентов

7. Автор – потенциальный рецензент.
И наоборот…
ПОЛЕЗНО:
• Вести полный реестр авторов своего журнала
• Для каждого автора сохранять информацию о ключевых словах,
использованных в опубликованных или поданных статьях
• В реестре для каждого автора иметь ссылки на авторские профили:
• ResearcherID
• Scopus AuthorID
• ORCID
• Профиль в РИНЦ
• ResearchGate
• Academia.edu
• Google Scholar
• Личная страница автора, etc.

8. Автор – потенциальный рецензент.
И наоборот…
ПОЛЕЗНО ТАКЖЕ:
• Отслеживать авторов журналов-конкурентов
• Следить за участниками профильных конференций
• Все они – потенциальные рецензенты или авторы для
своего журнала

9. Как хранить и использовать эту информацию?
• В принципе, любым доступным способом, но любая, даже
маленькая (файл Excel, например), автоматизация позволить
ловить больше число потенциальных авторов и рецензентов
• При использовании «электронной редакции» (например, любой
Open Journal System), реестр авторов (а следовательно, и
потенциальных рецензентов) со всей нужной информацией
формируется автоматически
ВАЖНО! На любое обращение в редакцию должен быть ответ. Его
отсутствие чревато потерей потенциального рецензента или
автора

10. Как использовать наукометрию для поиска
потенциальных рецензентов?
• Принципы со-цитирования или библиографического сочетания:
• Если две статьи цитируют одни и те же источники, то они совпадают по
научному направлению
• Если статьи цитируются одними и теми источниками, то они близки по научному
направлению
Со-цитирование Библиографическое сочетание
А Б
БАв
г
д
е
д
г
в
е

11. Использование индексов цитирования для
поиска авторов по необходимой тематике
• Поиск публикаций по ключевым словам
статьи
• Поиск публикаций авторов, цитируемых в
статье
• Поиск публикаций, основанный на
библиографическом сочетании

12. Использование Scopus для поиска
рецензентов по ключевым словам

13. Создание исследовательской области в SciVal

14. Анализ созданной области в модуле
Overview

15. Анализ созданной области в модуле Trends

16. Поиск по ключевым словам в eLibrary

17. Анализ подборки публикаций

18. Анализ публикаций предполагаемых
рецензентов

19. Как еще можно поискать подходящих
рецензентов?
• Найти все публикации автора(ов) поданной в журнал
статьи
• Выбрать среди них похожую по тематике
• Проанализировать опубликованную статью по
цитирующим публикациям, по цитируемым
публикациям и всеми другими возможными
способами

20. Пример
В журнал по экономике подана статья автора Дятлова С.А. по теме
евразийского сотрудничества
• Ищем публикации Дятлова С.А. в указателях цитирования (например,
Scopus и РИНЦ)
• Выбираем похожую по тематике статью
• Ищем статьи, цитирующие те же источники
• Ищем близкие по тематике публикации
• Анализируем состав авторов и выбираем подходящих на роль рецензента

22. Создание подборки публикаций с
последующим анализом по авторам

26. Специализированные сервисы
Платформа-сообщество рецензентов для
научных журналов Publons
• Мотивирование рецензентов
• Инструменты для редакторов
http://www.library.spbu.ru/blog/wp-
content/uploads/2017/11/5_Publons.pdf

27. Особенности Publons
• Самостоятельная регистрация исследователей,
осуществляющих рецензирование, и учет их рецензий
для разных журналов в публичном профиле на сайте
Publons
• Возможна интеграция с издательскими системами
журналов
• Облегчение поиска рецензентов для конкретных
статей
• Академия Publons для рецензентов (бесплатный курс)

28. Что делает Publons?
• Собирает рецензии, добавленные пользователями и издателями
• Формирует профили рецензентов
• Обеспечивает сервисы для издателей и инструменты для редакторов
• Отслеживание рецензентов, их заинтересованности и удовлетворенности
• Мониторинг демографии рецензентов, топовых рецензентов и рекомендуемых
рецензентов
• Управление политиками отображения рецензий, доступом к панели мониторинга
и проверкой рецензий и редакторов
• Отслеживание публикации статей, прошедших рецензии в вашем журнале, но не
принятой к печати
• Инструменты для редакторов по поиску и взаимодействию с рецензентами

31. Вы выбрали несколько кандидатур в
рецензенты для статьи. Что дальше?
•Сравнивать и выбирать по формальным
показателям (научная степень, регалии,
наличие предыдущего опыта сотрудничества)
•Сравнивать по библиометрическим
показателям
•В идеале – сочетать оба подхода

32. «Нежурнальные» показатели
Количество научных публикаций
Количество ссылок на работы ученого
Среднее цитирование одной публикации
• Индекс Хирша и его модификации
• Различные нормализованные показатели
*Могут применяться к ЛЮБОМУ массиву статей
(автор, лаборатория, институт, страна и т.д., за
любой период времени)

33. Проблемы использования
наукометрических показателей
• Два основных недостатка, которые выделяют все
специалисты по наукометрии:
• Так как наукометрические показатели легко вычислить, то велик
риск их неадекватного использования в качестве единственного
критерия оценки многогранной научно-исследовательской
деятельности ученого.
• Использование наукометрических показателей в качестве
критериев оценки научной деятельности провоцирует ученых к
«накрутке» этих показателей различными способами

34. Среднее цитирование статьи (ESI)
0
10
20
30
40
50
60
2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011
Agricultural Sciences Biology & Biochemistry
Chemistry Clinical Medicine
Computer Science Economics & Business
Engineering Environment/Ecology
Geosciences Immunology
Materials Science Mathematics
Microbiology Molecular Biology & Genetics
Multidisciplinary Neuroscience & Behavior
Pharmacology & Toxicology Physics
Plant & Animal Science Psychiatry/Psychology
Social Sciences, general Space Science

35. Критерии наиболее цитируемых статей
(Percentiles for papers published by field, ESI 2008-2017)

36. Индекс Хирша
• Индекс Хирша (h-индекс)
ученого, опубликовавшего
N статей, равен h, если:
• h его статей получил не
менее h цитирований
• остальные (N–h) его
статей получили не
более h цитирований
*Может применяться к ЛЮБОМУ
массиву статей (автор,
лаборатория, институт, страна и
т.д., за любой период времени)

37. Индекс Хирша – зависимости
(по данным Scientific.ru)
0
5
10
15
20
25
30
35
40
0 50 100 150 200
Количество публикаций в Web of Science
0
5
10
15
20
25
30
35
40
0 1000 2000 3000 4000 5000
Количество цитирований
0
5
10
15
20
25
30
35
40
1945 1950 1955 1960 1965 1970 1975 1980 1985 1990 1995 2000 2005
Год первой публикации субъекта

38. Индекс Хирша –
зависимость от области знаний
• Индексы Хирша ряда ученых из перечня Highly cited
Researchers
• Biology & Biochemistry 114
• Computer Science – 26
• Geoscience – 56
• Mathematics – 47
• Neuroscience – 93
• Physics – 63
• Plant & Animal Science - 69

39. Модификации индекса Хирша
• Individual h-index (original) – результат деления
стандартного h-индекса на среднее число авторов в
статьях, которые входят в Хирш-ядро публикаций. Этот
показатель призван уменьшить влияние на h-индекс
числа соавторов публикаций, которое, по статистике,
существенно отличается в различных областях знаний.
• Individual h-index (PoP variation) – вычисление h-
индекса когда вместо полного числа цитирований
каждой статьи используется отношение числа
цитирований к числу авторов публикации

40. Модификации индекса Хирша
• g-Index – индекс, учитывающий статьи ученого с
наибольшим цитированием, который определяется
следующим образом: Наибольшее целое число g
публикаций, которые все вместе набрали g2 и более
цитирований.
• Исправляет недостаток индекса Хирша, который можно
сформулировать следующим образом: «если статья
попадает в число наиболее цитируемых h статей, то
цитирование этой конкретной статьи больше никак не
учитывается».

41. Модификации индекса Хирша
• a-Index – это просто среднее число ссылок на
статьи, входящие в Хирш-ядро
• m-Index – это медиана числа цитирований h статей,
входящих в Хирш-ядро публикаций автора. Является
некоторым вариантом a-индекса и попыткой учесть
распределение числа цитирований статей, входящих
в Хирш-ядро.

42. Зависимость показателей от
источников информации

43. Как сравнить по формальным
показателям качество статей?
•Проблемы – зависимость цитирования от типа
публикации, года выпуска, журнала, области
знаний и т.д.
•Возможные решения – сравнивать только
подобное или использовать показатели,
нормированные по всем возможным параметрам

44. Пример нормирования по области знаний
• Вычисляется среднее цитирование всех статей
определенного типа (article, review, etc.),
опубликованных в определенный год по конкретной
области знаний ( в мире, стране, организации)
• Цитируемость конкретной статьи того же типа, того
же года и в той же научной области делится на
среднее значение
• 1 – средний уровень (мира, страны, организации); >1 –
выше среднего уровня; <1 – ниже среднего уровня.

45. Пример нормирования на уровень журнала
• Вычисляется среднее цитирование всех статей
определенного типа (article, review, etc.),
опубликованных в определенный год в конкретном
журнале
• Цитируемость конкретной статьи того же типа, того же
года и в том же журнале делится на среднее значение
• 1 – средний уровень; >1 – выше среднего уровня; <1 –
ниже среднего уровня статей в этом журнале.

46. Обобщение данных по организации,
ученому
• Обобщаются нормированные данные по научной
области для каждой статьи ученого или организации
(например, вычисляется средний показатель)
• Обобщаются нормированные данные по журналу для
каждой статьи ученого или организации
• Проводится сравнение данных для разных организаций
или ученых

47. Трактовка данных по нормализованным
показателям цитирования
0
0,5
1
1,5
2
2,5
0 0,5 1 1,5 2 2,5
Нормированноезначениепо
областизнаний
Нормированное значение по журналу
«Плохие»
«Очень хорошие»
статьи в хороших журналах
«Хорошие» для данной
области знаний, но «плохие»
для данного журнала
статьи
«Хорошие» статьи, которые можно
было бы опубликовать
в лучших журналах
Возможно, «хорошие» статьи, но
«не в тех» журналах

48. Показатели, основанные не на
цитировании
• Альтметрика (Altmetrics) – новые методы наукометрии,
использующие сети профессионального общения и
сотрудничества ученых
• Появилась в связи с развитием интернет-технологий
• Оценивает количество упоминаний в социальных сетях,
блогах и т.д., количество скачиваний и просмотров,
сохранение в Mendeley, Zotero и т.д.
• Учитывает и классическое цитирование, сведения о
котором получаются из Google Scholar, CrossRef, PubMed
Central и Scopus

49. Подписали более чем 12000 ученых
и 851 организация
The San Francisco Declaration on Research
Assessment
Рекомендации:
• Не использовать журнальные метрики
для оценки качества отдельных статей
• Не использовать ТОЛЬКО
библиометрические показатели для
принятия любых решений
• Для оценки журналов использовать весь
спектр метрик, а не только импакт-
фактор
• Максимально учитывать различия по
областям знаний
• Цитировать первоисточники, а не
обзоры
• …….

50. Лейденский манифест для наукометрии
• Количественная оценка должна дополнять качественную, экспертную оценку
• Сопоставляйте научную деятельность с исследовательскими задачами организации,
группы или ученого
• Отстаивайте научное качество в исследованиях, важных для того или иного региона
• Сохраняйте сбор данных и аналитические процессы открытыми, прозрачными и
простыми
• Позволяйте оцениваемым исследователям проверять данные и анализ
• Дисциплины отличаются друг от друга по практике публикаций и цитирования
• Основывайте оценку отдельных исследователей на качественной оценке их резюме
• Избегайте неуместной конкретности и ложной точности
• Признавайте системное воздействие оценки и индикаторов
• Регулярно подвергайте индикаторы тщательной проверке и пересмотру

51. https://rasep.ru/sovet-po-etike/bibliometriya-vo-blago-rossijskoj-nauki

52. Выводы: что необходимо для
качественного рецензирования?
• Полагаться не только на субъективное мнение
членов редколлегии, но и на инструментальный
поиск рецензентов
• Использовать все имеющиеся возможности для
адекватного подбора рецензентов для каждой статьи
• Использовать возможности как «слепого», так и
открытого рецензирования, а также
постпубликационного рецензирования статей