В презентации описана методика и представлены результаты ранжирования (рейтинг) магистратур ведущих вузов России (РЭШ, МГУ, НИУ ВШЭ, МГИМО, РАНХиГС и др.) по направлению "Экономика" с использованием метода DEA

1. Методика оценки качества
магистерского образования вузов
России
Российская академия народного хозяйства
и государственной службы при Президенте Российской Федерации
Земцов Степан Петрович
к.г.н., с.н.с.
лаборатории исследования корпоративных стратегий и поведения фирм
ИПЭИ РАНХиГС
Москва, 2015
VI международная конференция
«Переосмысливая студентов: идеи и новые исследовательские подходы»
РАИВО и НИУ ВШЭ

2. Мотивация
• Отсутствие рейтингов магистратур вузов России
• Выбор магистратуры абитуриентом более осознанный: часто
используется для повышения квалификации, переподготовки,
как второе высшее, для улучшения репутации
• Основной результат получения магистерского образования –
это повышение востребованности выпускника среди
работодателей
• Магистранты готовы оплачивать обучение, но стремятся
выбрать наиболее эффективную магистратуру, в частности по
соотношению стоимости обучения и прироста заработной
платы
• Программу магистратуры изначально выбирают по конкретной
специальности, поэтому необходим расчет рейтингов вузов по
отдельным направлениям подготовки
2

3. Объект исследования: магистратуры вузов
России
Предмет исследования: ранжирование
магистратур ведущих вузов России по
направлению «Экономика»
Основная цель: разработка методических
подходов к ранжированию магистратур
Объект, цель и задачи
3

4. Качество образования
Внутренние компоненты образовательной деятельности
Качество образования – комплексная характеристика
образовательной деятельности и подготовки обучающегося,
выражающая степень их соответствия ФГОС и потребностям
физического или юридического лица, в интересах которого
осуществляется образовательная деятельность
Условия
образовательной
деятельности
Образовательный
процесс
Результат
образовательной
деятельности
Потребители:
Соответствие внутренних компонентов внешним потребностям
Ректорат
Студенты и
родители
Государственные
органы
Рынок труда
4

5. Предлагаемая методика (DEA)
Оболочечный анализ, или анализ среды функционирования (англ. Data
Envelopment Analysis, DEA) – метод сравнительного анализа деятельности
сложных систем (единиц принятия решения – DMU), основанный на
представлении эффективности в виде отношения результатов (выходных
параметров) к потраченным ресурсам (входным параметрам)
Задача дробно-линейного программирования при минимизации
соотношения затрат и выпуска с ограничениями (Charnes, Cooper, 1962)


,
min
r
r








0
0
0



Xx
Yy
rr
r
где θ – скаляр, представляющий
эффективность программы r, λ – вектор
констант (n×1), xr – вектор затрат (1×k),
уr – вектор выпуска (1×m), X – матрица
затрат (k×n), Y – матрица выпуска (m×n)
5

6. Индикаторы оценки магистерского образования на
основе анализа данных по вузам и опросов экспертов
Индикаторы оценки качества магистерского образования Анализ вузов Опрос 1 Опрос 2 Среднее
Мнение работодателей о качестве выпускников 1,00 0,95 0,98
Оценка качества образования самими магистрантами 0,89 0,97 0,93
Заработная плата выпускников 0,90 0,89 0,96 0,92
Участие руководителей предприятий в процессе обучения 0,79 1,00 0,89
Соответствие специальности и читаемой дисциплины 0,86 0,83 0,84
Доля выпускников, нашедших работу после окончания вуза 0,50 0,89 1,00 0,80
Срок существования магистерской программы 0,75 0,76 0,76
Доля преподавателей, имеющих PhD 0,68 0,83 0,75
Средний балл ЕГЭ бакалавров до поступления в магистратуру 0,79 0,57 0,68
Число поисковых запросов 1,00 0,64 0,25 0,63
Доля выпускников, работающих в крупных иностранных компаниях 0,50 0,75 0,63
Средняя успеваемость магистрантов 0,79 0,44 0,62
Объем программы 0,86 0,35 0,60
Конкурс в магистратуру 0,57 0,62 0,60
Заработок преподавателя по отношению к среднему по региону 0,05 0,54 0,94 0,51
Стоимость обучения в магистратуре 0,86 0,18 0,41 0,48
Доля иностранных магистрантов (кроме стран СНГ) 0,58 0,40 0,43 0,47
Международные публикации НПР 0,66 0,57 0,18 0,47
Доля НПР с научной степенью -0,05 0,58 0,83 0,45
Доля студентов, обучавшихся за рубежом 0,58 0,55 0,20 0,44
Российские цитирования НПР 0,59 0,32 0,30 0,40
Международные цитирования НПР 0,58 0,39 0,18 0,38
Совместная программа с зарубежным вузом 0,57 0,19 0,38
Иностранные преподаватели и ученые 0,38 0,46 0,29 0,38
Преподаватели с MBA 0,54 0,20 0,37
Возраст магистрантов 0,46 0,24 0,35
Российские публикации НПР 0,18 0,50 0,30 0,33
Возраст преподавателей 0,04 0,57 0,16 0,26
Доля магистрантов, закончивших бакалавриат РАНХиГС 0,07 0,19 0,13
Доля магистрантов, обучающихся за счет средств сторонних организаций -0,15 0,50 0,00 0,12

7. Рейтинг магистратур ведущих вузов России
по направлению подготовки «Экономика»
Ректор РАНХиГС, член Правления Российского
союза ректоров, В.А. Мау в интервью ТАСС*:
«Для нового рейтинга вузов нужно лишь три –
четыре показателя»:
• качество абитуриентов (баллы ЕГЭ)
• качество студентов (+ возраст)
• качество преподавателей (?)
• доходы выпускников, или налоговые
отчисления
7
* http://tass.ru/obschestvo/2276956

8. Индикатор качества преподавателей
• i – университет
• Teach_cited – число высокоцитируемых ученых в расчете на 100 студентов
• Teach_per_stud – отношение численности НПР к численности
приведенного контингента студентов в 2012 г.
• Teach_Scopus_RINZ – индекс цитируемости НПР в 2012 г.
8
• Teach_RINZ_cited – цитируемость одного НПP по РИНЦ в 2013 г.
(максимальна в России у РЭШ – 1392,5)
• Teach_Scopus_cited – цитируемость одного НПP по Web of science/Scopus в
2013 г. (максимальна у НИЯУ МИФИ – 955,19)

9. Рейтинг магистратур вузов России по
направлению «Экономика»
9
• i– университет
• USE – cредний балл ЕГЭ по "Экономике" в 2011 г. (бюджетный прием)
• Cost – cредняя стоимость очного обучения на магистерских программах по
направлению "Экономика" в 2014/2015 г., тыс. руб. в год
• Age – cредний возраст выпускников по специальности "Экономика" в 2014 г., лет
• Teach_Rus_PhD – численность НПР с ученой степенью в расчете на 100 чел.
численности приведенного контингента студентов
• Teach_cited – численность НПР в расчете на 100 человек численности
приведенного контингента студентов, умноженное на индекс цитируемости НПР
• Salary – cредняя сумма выплат выпускникам по специальности "Экономика",
приведенная к уровню г. Москвы, в 2014 г., тыс. руб.
• Empl – доля трудоустроенных по специальности "Экономика" в 2014 г., %

10. 10
Средний
балл ЕГЭ
по
"Экономике
" в 2011 г.
(бюджетны
й прием)
Средняя
стоимость
очного
обучения на
магистерских
программах по
направлению
"Экономика" в
2014/2015 г.,
тыс. руб. в год
Средний
возраст
выпускников
по
специальности
"Экономика" в
2014 г., лет
Численность
НПР с ученой
степенью в
расчете на 100
чел.
численности
приведенного
контингента
студентов
Численность
НПР в расчете
на 100 человек
численности
приведенного
контингента
студентов,
умноженное на
индекс
цитируемости
НПР
Средняя сумма
выплат
выпускникам
по
специальности
"Экономика",
приведенная к
уровню г.
Москвы, в
2014 г., тыс.
руб.
Доля
трудоустроенных
по
специальности
"Экономика" в
2014 г., %
Число
выпускников
по
"Экономике"
в 2014 г.,
чел.
АлтГУ 84,4 70 28,0 6,4 0,4 95,8 80,0 35
ВАВТ 86,5 210 24,0 7,3 0,3 63,5 91,9 37 (УГС)
ГУУ 77,6 125 28,0 8,7 2,8 65,5 81,2 102 (УГС)
КФУ 83,9 120 24,0 6,8 1,2 75,4 90,7 109
МГИМО 91,3 275 27,0 9,5 1,1 75,0 76,8 86
МГУ 87 360 24,0 29,0 8,1 60,5 82,2 217
ВШЭ 87,3 300 25,0 9,1 0,6 80,1 88,8 331
НГУ 83,4 110 24,0 10,8 7,5 97,2 71,4 22
ПГНИУ 84,3 77 29,0 7,0 0,6 93,9 96,0 50
РАНХиГС 83,9 424 28,0 7,4 0,9 103,8 76,3 60
РЭШ 100 510 25,0 10,7 17,0 86,9 77,5 71
РУДН 80,3 99 27,0 6,7 0,8 62,3 59,2 99
РЭУ 84,4 230 27,0 2,5 0,4 87,5 82,5 104
СПбГУ 85,3 160 24,0 16,1 5,6 58,6 89,0 74
СПГЭУ 82,5 87 27,0 6,7 0,1 56,3 67,1 79
СФУ 76,2 42 28,0 6,9 0,6 50,1 100,0 10
ТГУ 78,9 74 33,0 7,8 1,9 54,7 87,5 24 (УГС)
УрФУ 85,6 60 27,0 8,2 1,3 114,0 94,1 34
Финуниверситет 86,8 266 28,0 18,5 0,6 73,1 89,4 154
ЮФУ 82,5 130 26,0 8,2 1,3 85,9 86,3 51
Максимальное
значение в России
100
(РЭШ)
510
(РЭШ)
50
(МИОО – 42)
30
(МГУ)
17
(РЭШ)
150
(МВШСЭН)
100
331
(ВШЭ)

11. 11
Ранг в
рейтинге
RAEX по
УГС 2014 г.
Ранг Вузы
Индекс по
всем
индикаторам
Индекс по 4-м
индикаторам
(ЕГЭ, стоимость,
цитируемые
ученые,
зарплата)
Ранг
Индекс среднего
значения по всем
индикаторам
Ранг
15 1 РЭШ 0,794 0,895 1 0,764 1
1 2 МГУ 0,715 0,615 2 0,693 2
6 3 Финуниверситет 0,625 0,48 7 0,59 3
5 4 РАНХиГС 0,62 0,603 3 0,589 4
3 5 СПбГУ 0,595 0,47 9 0,559 5
2 6 ВШЭ 0,589 0,505 6 0,549 6
4 7 МГИМО 0,588 0,505 5 0,541 8
9 8 НГУ 0,58 0,535 4 0,544 7
12 9 УрФУ 0,571 0,455 10 0,53 9
22 10 ПГНИУ 0,553 0,415 13 0,511 10
8 11 ВАВТ 0,544 0,43 12 0,497 13
19 12 СФУ 0,543 0,433 11 0,501 11
7 13 РЭУ 0,541 0,475 8 0,499 12
14 14 КФУ 0,529 0,413 14 0,484 15
21 15 ГУУ 0,528 0,41 16 0,491 14
17 16 АлтГУ 0,524 0,41 15 0,479 17
11 17 ТГУ 0,521 0,353 18 0,483 16
16 18 ЮФУ 0,488 0,303 20 0,449 18
10 19 СПГЭУ 0,473 0,345 19 0,421 19
13 20 РУДН 0,468 0,363 17 0,42 20
Коэффициент корреляции с рейтингом вузов
по УГС "Экономика и управление» RAEX
0,52 0,56 0,49

12. Влияние разных составляющих на полный
интегральный рейтинг
12

13. Расчет эффективности DEA
13
Выходные параметры (востребованность выпускников на рынке труда): средняя сумма выплат
выпускникам и доля трудоустроенных выпускников по направлению по "Экономика" в 2014 г.
Входные параметры (ресурсы магистратуры): все остальные индикаторы полного индекса
Описание моделей
Среднее значение
эффективности
DEA по всем
моделям
Число вузов,
которым
необходимо
ориентироваться
на данный вуз для
повышения
эффективности
Model Type CCR_I IRS_I BCC_I CCR_O IRS_O BCC_O
Model Orientation
INPUT_ORI
ENTED
INPUT_ORI
ENTED
INPUT_ORI
ENTED
OUTPUT_O
RIENTED
OUTPUT_O
RIENTED
OUTPUT_O
RIENTED
Model Efficiency Type TECH TECH TECH TECH TECH TECH
Model RTS CONSTANT
INCREASIN
G
VARIABLE CONSTANT
INCREASIN
G
VARIABLE
Значения эффективности DEA по разным моделям
КФУ 1,00 1,00 1,00 1,00 1,00 1,00 1,000 36
УрФУ 1,00 1,00 1,00 1,00 1,00 1,00 1,000 36
СФУ 1,00 1,00 1,00 1,00 1,00 1,00 1,000 34
ВАВТ 1,00 1,00 1,00 1,00 1,00 1,00 1,000 28
РЭУ 1,00 1,00 1,00 1,00 1,00 1,00 1,000 16
ПГНИУ 1,00 1,00 1,00 1,00 1,00 1,00 1,000 14
АлтГУ 1,00 1,00 1,00 1,00 1,00 1,00 1,000 10
СПГЭУ 1,00 1,00 1,00 1,00 1,00 1,00 1,000 6
РАНХиГС 0,99 1,00 1,00 0,99 1,00 1,00 0,997 8
ВШЭ 0,99 1,00 1,00 0,99 1,00 1,00 0,996 4
НГУ 0,96 1,00 1,00 0,96 1,00 1,00 0,986 12
СПбГУ 0,98 1,00 1,00 0,98 0,98 0,98 0,984 0
ЮФУ 0,93 1,00 1,00 0,93 1,00 1,00 0,977 34
ГУУ 0,86 1,00 1,00 0,86 1,00 1,00 0,955 6
МГУ 0,90 1,00 1,00 0,90 0,90 0,90 0,932 0
Финуниверситет 0,90 0,95 0,95 0,90 0,93 0,93 0,926 0
РЭШ 0,87 0,96 0,96 0,87 0,91 0,91 0,914 0
ТГУ 0,87 0,97 0,97 0,87 0,88 0,88 0,910 0
РУДН 0,66 0,99 0,99 0,66 0,88 0,88 0,843 0
МГИМО 0,78 0,92 0,92 0,78 0,80 0,80 0,833 0

14. Выводы
• Распределение вузов в специализированном рейтинге магистратур не
соответствует их распределению в общем рейтинге вузов, так как у абитуриентов
иные потребности и требования к программам магистратур
• Специализированные вузы социально-экономического профиля (РЭШ, Финансовый
университет, РАНХиГС, НИУВШЭ) занимают верхние строчки рейтинга, так как лучше
удовлетворяют потребности магистрантов-профессионалов
• Методика расчета качества преподавательского состава с помощью цитируемости
завышает значения классических вузов (МГУ, СПбГУ, НГУ), так как в естественных
науках выше цитируемость (но это не так для РЭШ)
• Приведение заработных плат выпускников региональных вузов к московскому
уровню (через соотношение средних заработных плат в регионе и Москве) приводит
к некоторому завышению результатов региональных вузов
• Стоимость обучения в магистратуре отражает ее качество лишь на высоко
конкурентных образовательных рынках Москвы, но неясна ситуация в регионах
• Вузы с максимальным рейтингом (РЭШ, МГУ, Финансовый университет) не всегда
наиболее эффективны по соотношению имеющихся ресурсов и итоговой
востребованности выпускников
• Региональные вузы более эффективны, чем московские , но неясно насколько наша
методика исказила результаты оценкой стоимости обучения и заработных плат 14

15. Приложения
15

16. 16
Ранг Вузы Сокращение
Рейтинг
экономически
х вузов RAEX
2014 г.
Общий
рейтинг вузов
RAEX 2013 г.
Отношение
численности
НПР к
численности
приведённого
контингента
студентов
Ранг
Индекс
цитируемости
вуза на
одного НПР
Ранг
Численность
НПР в
расчете на
100 чел.
контингента
студентов,
умноженное
на индекс
цитируемости
НПР
1 Российская экономическая школа РЭШ 15 0 0,15 7 0,84 1 17,04
4
Московский государственный университет им. М.В.
Ломоносова МГУ
1 1 0,42 1 0,19 5 8,12
2
Новосибирский национальный исследовательский
государственный университет НГУ
9 10 0,16 5 0,48 2 7,47
3 Санкт-Петербургский государственный университет СПбГУ 3 3 0,22 3 0,26 3 5,55
9 Государственный университет управления ГУУ 21 48 0,11 14 0,25 4 2,82
5
Томский национальный исследовательский
государственный университет ТГУ
11 15 0,10 15 0,19 6 1,93
7 Южный федеральный университет СФУ 19 21 0,13 10 0,10 8 1,29
8
Уральский федеральный университет имени первого
Президента России Б. Н. Ельцина УрФУ
12 19 0,13 9 0,10 9 1,28
6 Казанский федеральный университет КФУ 14 18 0,10 17 0,13 7 1,24
15
Московский государственный институт
международных отношений (университет) МИД
России МГИМО
4 11 0,17 4 0,06 12 1,11
13
Российская академия народного хозяйства и
государственной службы при Президенте РФ РАНХиГС
5 16 0,12 11 0,08 10 0,93
10 Российский университет дружбы народов РУДН 13 20 0,10 16 0,07 11 0,75
18 Финансовый университет при Правительстве РФ
Финуниверси
тет
6 14 0,23 2 0,03 18 0,63
11
Пермский государственный национальный
исследовательский университет ПГНИУ
22 76 0,11 13 0,05 13 0,62
16 Сибирский федеральный университет ЮФУ 16 12 0,11 12 0,05 14 0,60
17
Национальный исследовательский университет
"Высшая школа экономики" ВШЭ
2 5 0,15 8 0,04 17 0,58
14
Российский экономический университет имени Г.В.
Плеханова РЭУ
7 24 0,09 18 0,05 15 0,43
12 Алтайский государственный университет АлтГУ 17 71 0,09 20 0,05 16 0,41
19
Всероссийская академия внешней торговли
Министерства экономического развития РФ ВАВТ
8 56 0,16 6 0,02 19 0,29
20
Санкт-Петербургский государственный
экономический университет СПГЭУ
10 41 0,09 19 0,01 20 0,08
Коэффициент корреляции с рейтингом вузов RAEX по экономике
2014 г.
0,54 -0,11 0,01
Коэффициент корреляции с общим рейтингом вузов RAEX 2013 г. 0,52 0,44 0,55