Данные тезисы и презентация представляют результаты исследований в рамках магистерской диссертации на тему оценки оценке эффективности финансирования программ развития национальных исследовательских университетов. Доклад темы был выполнен на третьей Всероссийская ежегодная научно-практической конференции «Информационные бизнес системы».
Шрифт для регистрационных номерных знаков (автомобильных номеров)
Математическая модель системы оценки эффективности реализации программ развития НИУ
1. Анатолий Симкин
Магистрант 2-го года обучения:
УК ФИБС МФТИ
САУ ИУ МГТУ им. Баумана
23 апреля 2011
ОЦЕНКА ЭФФЕКТИВНОСТИ РЕАЛИЗАЦИИ
ПРОГРАММ РАЗВИТИЯ НАЦИОНАЛЬНЫХ
ИССЛЕДОВАТЕЛЬСКИХ УНИВЕРСИТЕТОВ
Третья ежегодная научно-практическая конференция
«Информационные бизнес системы»
2. Содержание
1 Область и предмет исследования
2 Текущая ситуация
3 Математическая модель
4 Анализ чувствительности
5 Результаты
2
3. Задачи исследования предметной области (1/3)
Исследование предметной области управления по показателям
в вузе посредством информационных систем
ИАС для
ВУЗ как социально-
поддержки
экономическая
принятия решений
система
и представления
отчетности
Ограничения:
1. Анализ методов Анализ применения в
Управление
мониторинга и оценки рамках процесса:
эффективности программ организационной
системой
• Реализация программы
развития НИУ
• Оценка программ вузов
3
4. Задачи исследования предметной области (2/3)
Исследование предметной области управления по показателям
в вузе посредством информационных систем
2. Анализ методов
построения структуры
показателей
ИАС для
ВУЗ как социально-
поддержки
экономическая
принятия решений
система
и представления
отчетности
Ограничения:
Анализ применения в Управление
рамках процессов: организационной
системой
• Оценка программ
• Практика образования
4
5. Задачи исследования предметной области (3/3)
Исследование предметной области управления по показателям
в вузе посредством информационных систем
ИАС для
ВУЗ как социально-
поддержки
экономическая
принятия решений
система
и представления
отчетности
Ограничения:
3.1. Сравнительный анализ
Анализ применения в Управление существующих систем
рамках процессов: мониторинга
организационной
системой (конкурентов)
• Оценка эффективности 3.2. Сравнение
программы развития НИУ технологических
• Сбор и представление характеристик
отчетности
5
6. Задачи исследования предметной области
2. Анализ методов
построения структуры
показателей
ИАС для
ВУЗ как социально-
поддержки
экономическая
принятия решений
система
и представления
отчетности
3.1. Сравнительный анализ
1. Анализ методов
Управление существующих систем
мониторинга и оценки мониторинга
эффективности программ организационной
системой (конкурентов)
3.2. Сравнение
технологических
характеристик
6
7. Области исследования
3. Мониторинг
основной
деятельности вуза
ИАС для
ВУЗ как социально-
поддержки
экономическая
принятия решений
система
и представления
отчетности
Управление
организационной
2. Организационное системой 1. Оценка
взаимодействие эффективности
в ходе сбора реализации
показателей программ
7
8. Анализ метода построения оценки эффективности
реализации программы развития НИУ
Национальный
фонд подготовки
кадров
21 Показатель
эффективности
1.1 1.2 1.3 1.4 2.1 5.1 5.2 5.3 5.4
реализации
программы развития
...
НИУ
Программа
НИУ
46 Показателей
программы реализации
НИУ
1 2 3 4 5 6 7 8 9 10
... 43 44 45 46
Высшее
учебное
заведение
BSC НИУ
Опережающие Финансовые показатели Показатели успешности образовательной
Внешнее окружение и отношение деятельности
38% с клиентами Показатели результативности научно-
Внутренние процессы инновационной деятельности
Отложенные деятельности Показатели развития кадрового потенциала
Инновации и развитие Показатели международного признания
62% Показатели финансовой устойчивости 8
9. Оценка эффективности реализации программ
Проблема оценки
эффективности
Недостатки (при оценки эффективности):
финансирования программ
1. Невозможность адекватной оценки при
самостоятельной установке плановых
показателей по программе развития
2. Методы программно-целевого планирования,
БОР не работают
Задача:
Анализ и совершенствование модели системы
оценки эффективности реализации программ
развития национальных исследовательских
университетов
Решение:
Измерение относительно друг друга
9
10. Анализ и совершенствование модели системы оценки
эффективности реализации программ развития НИУ
Задача Результат
1. Анализ данных структуры показателей 1. Анализ метода построения структуры
оценки эффективности реализации показателей оценки эффективности
программы развития НИУ реализации программы развития НИУ
2. Построение модели рейтинга НИУ как 2. Вариации модели рейтинга НИУ как
отклонение от среднего по группе отклонение от среднего по группе
3. Проведение анализа чувствительности 3. Анализ чувствительности вариантов
вариантов моделей рейтинга НИУ моделей рейтинга НИУ
4. Разработка метода экспертной оценки 4. Метод экспертной оценки
эффективности реализации программ эффективности реализации программ
развития НИУ развития НИУ
1.1. "Доля обучающихся в НИУ по ПНР НИУ в общем числе обучающихся"
Бальная оценка НИУ по достигнутым 110%
2 1
показателям ЮУРГУ
Степень выполнения плана
108%
ПГТУ
R1,2 U 1,2
,K =R1,2 U 1,2
,K +R1,2 U1,2
,K
ИрГТУ
S SP SF 106% ЛИТМО ВШЭ
СПбГГИ
ННГУ
БелГУ СГАУ
R1,2 p1,2
СГУ
1,2
U ,K =F Sp 1,2 =f
104% МИЭТ ТПУ
SP ik l ij РГМУ
МФТИ МГСУ
НГУ МГТУ
102% СПбГПУ МАИ
МордГУ ТГУ МИФИ
НОЦ КГТУ2
КГТУ1 МЭИ
R1,2 U1,2 ,K =F 1,2
ПГУ МИСиС РГУНиГ
SF Sf 1,2 =f fij 100%
ik l ср. 72% ср.1оч. 77%
4 43 % 51 % 58 % 65 % 72% 80% 87% 94% 101% 3
98%
50% 60% 70% 80% 90% 100% 110% 120% 130% 140% 150%
Отклонение плановых значений показателей от среднего значения (100%) по сети НИУ в целом
10
11. Математическая модель
0a. 29 вузов (2 группы), 21 показатель U1 = u1 m ∈ 1,14
m
2 2
U = ui , n ∈ 1,15
K = kl , l ∈ 1,21
0b. Для плана и факта показателей имеем
P1 U1 , K = p1 , i ≡ m ∈ 1,14 , j ≡ l ∈ 1,21
ij
P 2 U 2 , K = p2 , i ≡ n ∈ 1,15 , j ≡ l ∈ 1,21
ij
1. Вычисляется среднее значение по группе
𝑀
1
𝑃1𝑙
𝑘 = 𝑝1 𝑙 , 𝑀 = max 𝑚 ∈ 1,14
𝑖𝑘
𝑀
𝑖=1
𝑁
1
𝑃2𝑙
𝑘 = 𝑝2 𝑙 , 𝑁 = max 𝑛 ∈ 1,15
𝑖𝑘
𝑁
𝑖=1
11
12. Математическая модель
●
M
1
1
Pk l = p1 l , M=max m∈ 1,14
ik
M
i=1
N
1
2
Pk l = p2 l , N=max n∈ 1,15
ik
N
i=1
p1 l
ik M∙p1 l
ik
σP 1 = = M
k l 1
Pk l p1 l
i=1 ik
p2 l
ik M∙p2 l
ik
σP 2 = = M 2
i=1 pik l
1
k l Pk l
12
13. Математическая модель
●
σp 1,2
ik l
max σp 1,2 ∙5, σP 1,2 <0
k
i=m,n ik l l
SP 1,2 = Sp 1,2 = min σp 1,2
kl ik l
i=m,n ik l
- σp 1,2 ∙5, σP 1,2 ≥0
ik l k l
R1,2 U1,2 ,K =F
SP Sp 1,2 =f p1,2
ij
ik l
R1,2 U1,2 ,K =F
SF Sf 1,2 1,2
=f fij
ik l
13
14. Вариации и развитие модели оценки
эффективности
1. Бальная оценка НИУ по достигнутым 5. Бальный рейтинг (Категория "А" +
показателям Финансирование)
R1,2 U1,2 ,K =R1,2 U1,2 ,K +R1,2 U1,2 ,K
S SP SF R1,2 U1,2 ,K А ,H =R1,2 U1,2 ,K А +R1,2 U1,2 ,K А +R1,2 U1,2 ,H
S SP SF SH
2. Рейтинг финансирования по 6. Бальный весовой рейтинг (Категория
комплементарным программам "А" + Финансирование)
R1,2 U1,2 ,H =F Sh 1,2 =f h1,2 R1,2 U1,2 ,K А ,H =wS P ∙R1,2 U1,2 ,K А +wS P ∙R1,2 U1,2 ,K А +
Sw SP SF
SH ik v ij
+wS H ∙R1,2 U1,2 ,H , 0≤wi ≤1;
SH wi =1
3. Полная бальная оценка (Бальная 7. Рейтинг по показателям категории "А"
оценка + Финансирование) в целом (штрафные баллы)
R1,2 U1,2 ,K,H =R1,2 U1,2 ,K +R1,2 U1,2 ,K +R1,2 U1,2 ,H R'1,2 U1,2 ,K А =R'1,2 U1,2 ,K А +R'1,2 U1,2 ,K А
S SP SF SH S SP SF
4. Бальный рейтинг по показателям 8. Бальный рейтинг 2 (Категория "А"
категории "А" в целом штраф + Финансирование)
R1,2 U1,2 ,K А =R1,2 U1,2 ,K А +R1,2 U1,2 ,K А
S SP SF R'1,2 U1,2 ,K А ,H =R'1,2 U1,2 ,K А +R'1,2 U1,2 ,K А +R1,2 U1,2 ,H
S SP SF SH
14
15. Бальная оценка НИУ по достигнутым
показателям
1.1. "Доля обучающихся в НИУ по ПНР НИУ в общем числе обучающихся"
110%
2 1
ЮУРГУ
Степень выполнения плана
108%
ПГТУ
ИрГТУ
106% ЛИТМО ВШЭ
СПбГГИ
ННГУ
БелГУ СГАУ
СГУ
104% МИЭТ ТПУ
РГМУ
НГУ МГТУ МФТИ МГСУ
102% СПбГПУ МАИ
МордГУ ТГУ МИФИ
НОЦ КГТУ2
КГТУ1 МЭИ
ПГУ МИСиС РГУНиГ
100%
ср. 72% ср.1оч. 77%
4 43 % 51 % 58 % 65 % 72% 80% 87% 94% 101% 3
98%
50% 60% 70% 80% 90% 100% 110% 120% 130% 140% 150%
Отклонение плановых значений показателей от среднего значения (100%) по сети НИУ в целом
График функции 𝑅1,2 𝑃1,2 , 𝐹1,2 изображается на графике, где по осям
𝜎 𝑚 ,𝑛 𝑚 ,𝑛
располагаются значения:
R1,2 P1,2 ,F1,2 =f σ1,2 ,σ1,2
σ ∙100%
отклонение плановых значений от среднего значения 𝑃1,2 ;
𝑚 ,𝑛
m,n m,n Pm,n Fm,n
степень выполнения плана 𝐹1,2 .
𝑚 ,𝑛 15
16. Анализ и совершенствование модели системы оценки
эффективности реализации программ развития НИУ
Задача Результат
1. Анализ данных структуры показателей 1. Анализ метода построения структуры
оценки эффективности реализации показателей оценки эффективности
программы развития НИУ реализации программы развития НИУ
2. Построение модели рейтинга НИУ как 2. Вариации модели рейтинга НИУ как
отклонение от среднего по группе отклонение от среднего по группе
3. Проведение анализа чувствительности 3. Анализ чувствительности вариантов
вариантов моделей рейтинга НИУ моделей рейтинга НИУ
4. Разработка метода экспертной оценки 4. Метод экспертной оценки
эффективности реализации программ эффективности реализации программ
развития НИУ развития НИУ
Бальный рейтинг по Изменение Полная бальная Изменение Изменение Изменение Рейтинг по Изменение
Бальная оценка НИУ Изменение Бальный рейтинг
Требования к конечной модели:
показателям (Бальная оценка (Бальная (Категория (Полная показателям (Бальный
№ по дос тигнутым (Категория (Категория "А" +
№ оч. НИУ категории "А" в оценка - (Бальная + оценка - "А" - оценка - категории "А" в рейтинг -
(б/д) показателям "А" - Полная Финанс ирование)
целом категория Финанс ирование) Полная Бальный Бальный целом (штрафные Рейтинг "А"
оценка)
Баллы Мес то Баллы Мес то "А") Баллы Мес то оценка) Баллы Мес то рейтинг) рейтинг) Баллы Мес то (штраф))
1 14 ТПУ 22 3 14 2 1 32 3 0 -1 24 2 0 1 -4 3 -1
• Устойчивость рейтинга 1
1
1
7
12
6
МФТИ
СПбГГИ
МИФИ
-13
29
17
15
2
5 7
6
16
6
1
5
9
1
0
2
33
29
14
2
5
1
0
0
-8
-1
0
21
20
19
4
5
6
2
-4
-1
10
-3
-1
-8
-8
-7
7
8
4
-1
-7
1
• Соответствие оценки с
1 4 МГТУ -20 16 -3 14 2 0 15 1 -1 17 7 7 8 -14 19 -5
1 9 НГУ 16 6 3 8 -2 28 6 0 2 15 8 0 -2 -4 2 6
1 13 СПбГУ ИТМО 10 9 6 7 2 18 9 0 -2 14 9 -2 0 -8 9 -2
реальной ситуацией
1 10 ПГТУ 34 1 3 9 -8 39 1 0 8 8 13 -4 -12 -10 13 -4
1 5 МИСиС -7 13 -5 17 -4 4 13 0 4 6 14 3 -1 -10 12 5
1 11 СГАУ 15 7 -4 16 -9 23 7 0 9 4 15 1 -8 -10 14 2
1 2
• Учет всех внешних факторов
КГТУ-КАИ -13 14 -9 19 -5 -2 16 -2 3 2 18 1 -2 -9 10 9
1 3 МАИ -45 23 -16 23 0 -28 23 0 0 1 19 4 4 -17 22 1
1 1 ВШЭ -23 19 -23 28 -9 -7 17 2 11 -7 25 3 -8 -24 28 0
1 8 ННГУ -75 28 -19 25 3 -64 28 0 -3 -8 26 -1 2 -17 23 2
в рамках программы развития 2
2
2
19
17
27
МИЭТ
КГТУ
ТГУ
8
20
0
10
4
12
11
13
3
4
3
10
6
1
2
22
29
9
8
4
12
2
0
0
-4
-1
-2
25
22
12
1
3
10
3
0
0
7
1
2
-7
-2
-9
5
1
11
-1
2
-1
НИУ 2 21 МЭИ -29 21 1 11 10 -18 20 1 -9 12 11 0 9 -11 17 -6
2 15 БелГУ 2 11 -4 15 -4 16 11 0 4 10 12 3 -1 -12 18 -3
2 24 РГУНиГ 13 8 -1 13 -5 18 10 -2 3 4 16 -3 -6 -7 6 7
2 23 РГМУ -25 20 0 12 8 -23 21 -1 -9 2 17 -5 4 -10 15 -3
2 22 ПГУ -64 27 -6 18 9 -61 27 0 -9 -3 20 -2 7 -15 21 -3
2 20 МГСУ -20 17 -11 22 -5 -13 18 -1 4 -4 21 1 -3 -14 20 2
2 16 ИрГТУ -44 22 -20 26 -4 -28 22 0 4 -4 22 4 0 -18 24 2
2 26 СГУ -52 24 -10 20 4 -46 25 -1 -5 -4 23 -3 2 -10 16 4
2 28 СПбАУ НОЦ -21 18 -10 21 -3 -16 19 -1 2 -5 24 -3 -5 -20 27 -6
2 25 СПбГПУ -55 25 -17 24 1 -46 24 1 0 -8 27 -3 -3 -18 25 -1
2 18 МордГУ -61 26 -21 27 -1 -53 26 0 1 -13 28 -1 -2 -20 26 1
2 29 ЮУрГУ -80 29 -29 29 0 -76 29 0 0 -25 29 0 0 -28 29 0
16
23. Анализ и совершенствование модели системы оценки
эффективности реализации программ развития НИУ
Задача Результат
1. Анализ данных структуры показателей 1. Анализ метода построения структуры
оценки эффективности реализации показателей оценки эффективности
программы развития НИУ реализации программы развития НИУ
2. Построение модели рейтинга НИУ как 2. Вариации модели рейтинга НИУ как
отклонение от среднего по группе отклонение от среднего по группе
3. Проведение анализа чувствительности 3. Анализ чувствительности вариантов
вариантов моделей рейтинга НИУ моделей рейтинга НИУ
4. Разработка метода экспертной оценки 4. Метод экспертной оценки
эффективности реализации программ эффективности реализации программ
развития НИУ развития НИУ
23
24. Области исследования
3. Мониторинг
основной
деятельности вуза
ИАС для
ВУЗ как социально-
поддержки
экономическая
принятия решений
система
и представления
отчетности
Управление
организационной
2. Организационное системой 1. Оценка
взаимодействие эффективности
в ходе сбора реализации
показателей программ
24