Презентация представленная 09.12.2014 на экспертном семинаре "Использование наукометрических показателей при оценке результативности деятельности научных организаций" (Институт статистических исследований и экономики знаний НИУ ВШЭ)

1. Опыт оценки результативности
деятельности научных организаций
на примере институтов
биологического профиля
Егор Задереев
к.б.н., ученый секретарь ИБФ СО РАН
Институт биофизики СО РАН, 660036,
Академгородок, Красноярск, egor@ibp.ru

2. Наукометрические
показатели

3. Наукометрические
показатели
Оценка результативности ученых, научных групп и
организаций
 Динамика результативности
 Сравнение результативности
разных субъектов научной
дятельности
 Стимулирующий эффект
 Ориентиры деятельности
для лиц
принимающих
решения
для ученых

4. Наукометрические
показатели
Количество и качество публикаций
Статьи в штуках (где?)
Импакт-фактор журнала
Число цитирований статьи
Библиометрия
Производные
 индекс Хирша ученого
 совокупный импакт-фактор
публикаций
 индекс цитирования ученого
и.т.п.
?
Принятие решений в области финансирования или
оценки непосредственно научных исследований.

6. Надо знать матчасть!
МОН: Какой у
вашей организации
индекс цитирования
в Google Scholar?
Google: This service
is not appropriate to
calculate citation of
an organization.

8. Число публикаций
в топ журналах
250
200
150
100
50
0
Nature Index
Все российские организации
МГУ
ФТИ им. А.Ф.Иоффе
СПбГУ
МФТИ
Курчатник Чем замечателен Парето?
НГУ
1. Он не объясняет кто и почему.
2. Он намекает, что в хвосте все
одинаковые.
1
11
21
31
41
51
61
71
81
91
101
111
121
131
141
151
161
171
181
191
201
211
221
231
241
251
261

9. 0.01
0.1
1
10
100
1
11
21
31
41
51
61
71
81
91
101
111
121
131
141
151
161
171
181
191
201
211
221
231
241
251
261
Взвешенный подсчет
по числу соавторов
Первые шесть лидеров не
меняются
На долю первых шести
организаций (2%) приходится
30% публикационной
активности.

10. Помни не только про числитель, но и
про знаменатель
Число
публикаций
Фракция Взвешенная
фракция
Место
2 0.29 0.29 134 МГТУ МИРЭА
(4000 студентов, 200
аспирантов, ??? сотрудников)
2 0.27 0.27 136 Институт биофизики СО РАН
(150 сотрудников, 80 научных
сотрудников, 10 аспирантов)

11. Оценка организаций/групп

12. Институт биофизики СО РАН
начало 1990-ых
одно из последних мест среди
институтов биологического
профиля в СО РАН
Выжить или быть расформированным!
Publish or perish!
Наукометрические показатели в качестве инструмента
стимулирования результативности научных
подразделений и ученых
Через 10 лет
первые места в рейтинге СО РАН
среди институтов биологического
профиля.

13. Институт биофизики СО РАН
Число публикаций в Web of Science
Цель ФАНО к 2018 году
(публикаций/100 исследователей)

14. «Биологическую» премию за 2012 год получили д.б.н.
Михаил Гладышев, д.б.н. Надежда Сущик и к.б.н. Олеся
Махутова из Института биофизики СО РАН
(Красноярск).

15. Система внутреннего стимулирования и оценки
ученых и подразделений в ИБФ СО РАН
Что мы использовали в разные годы?
 Количество опубликованных статей, монографий, тезисов;
 Импакт-факторы журналов в которых публикуются статьи;
 Цитируемость статей ученых;
 Участие в конференциях;
 Объем и количество выигранных грантов;
 Патентная активность;
 Подготовка аспирантов и докторантов;
 и некоторые другие.
 Различные веса для российских и иностранных
публикаций
 Стимулирующие коэффициенты для молодых ученых

16. Показатель Отклик
«участие в
конференциях»
«приглашенные
доклады на
конференциях»
Все стали ездить на
конференции в соседний
город
У всех доклады стали
приглашенными
«руководство
аспирантами»
Стали появляться
аспиранты даже «без
представления»
Где статьи, Зин?

17. Увеличение значений
многих «показателей»
возможно без реального
увеличения научной
результативности

18. Результат
 Оценка результативности
фундаментальных исследований -
количество и качество научных
публикаций (которые можно оценить
по импакт-фактору журнала и
цитируемости статей).
 Оценка результативности
прикладных и поисковых
исследований - количество объектов
интеллектуальной собственности и
объем привлеченных средств.

19. Кадровые,
финансовые,
инфраструктурные
показатели –
потенциал
организации.
Реализация
потенциала –
статьи или
патенты/деньги.

20. Рейтинг – индивидуальный
Финансовый стимул –
индивидуальный

21.  Рейтинг подразделения = сумма рейтингов
сотрудников/количество сотрудников.
 На что влияет рейтинг подразделения –
инфраструктура, статус.
 Среднемноголетний рейтинг – информация к
размышлению для руководства

22. Рейтинг СО РАН
 Монографии/н.с.
 Статьи в отечественных журналах/н.с.
 Статьи в зарубежных журналах/н.с.
 Импакт-фактор публикаций/н.с.
 Гранты отечественные/н.с.
 Гранты зарубежные/н.с.
 Доля внешних поступлений (%)
 Организация международных симпозиумов (шт.)
 Сотрудники до 33 лет + аспиранты/н.с.
 Гос.премии и премии РАН

23. Формальные показатели:
 Стимулирование (люди, группы, коллективы)
 Мониторинг
 Информация к размышлению
Принятие решений:
Экспертные (содержательные) оценки
подразделений/организаций!

24. Референтные группы

25. Институт
Научные направления
Уникальность
Сам себе референтная группа?

26. Институт биохимии и физиологии
микроорганизмов РАН
Лаборатория
молекулярной
микробиологии
Институт экологии и
генетики микроорганизмов
УРО РАН
Лаборатория молекулярной,
экологической и прикладной
микробиологии в СПбГУ
Институт химической
биологии и
фундаментальной медицины
СО РАН

27. Институт
Лаборатория
Лаборатория
Лаборатория
Лаборатория
Лаборатория
«Nature публикует и гуманитариев» (тм)

28. Институт биофизики
СО РАН
Лидеры среднемноголетнего рейтинга
Лаборатория фотобиологии (мол.биол)
Лаборатория гидроэкологии (водная экология)
Разные или одна референтная
группа?

29. Структура и состав Президиума СО РАН
Объединенные ученые советы СО РАН
 ОУС по математике и информатике
 ОУС по физическим наукам
 ОУС по нанотехнологиям и информационным
технологиям
 ОУС по энергетике, машиностроению, механике
и процессам управления
 ОУС по химическим наукам
 ОУС по биологическим наукам
 ОУС наук о Земле
 ОУС по гуманитарным наукам
 ОУС по экономическим наукам

30. Референтные группы:
 Большие, по крупным
направлениям наук
Показатели:
 Небольшое число (не
производные, а «базовые
константы»)
 Удельные
Оценка результативности:
 В первую очередь
стимулирующий эффект, и лишь
потом дамоклов меч.
 Средняя за несколько лет