Конференция РАИВО 2015

1. Как забивать гвозди отверткой:
Университетские рейтинги
How to hammer nails with a
screwdriver: University ratings
Александр М. Сидоркин
Институт образования НИУ ВШЭ
Alexander Sidorkin, HSE

2. Почему все ненавидят рейтинги
Ratings are easy to hate
• Не отражают качества образования –
центральной миссии университета. They do not
measure learning outcomes, the central mission.
• Работают против неанглоязычных и
неестественнонаучных вузов. They discriminate
against the non-English speakers and the fuzzies.
• Мы точно знаем, что мы лучше всех. Because
we already know we’re the best.
• Campbell’s law. Искажение процесса его
измерением.

3. Почему нельзя игнорировать
Ignore to your own peril
• Общий объем студенческих долгов в США 1.2
триллиона долларов, 37 миллионов
должников, из которых 14% задерживают
выплаты. ВВП США=17.3 триллиона. The
student loan bubble OR budget crises.
• Аккредитационные режимы в массовом ВО не
работают. Accreditation regimes fail under
massification.
• Растут непродуктивные расходы экономики
=переход высшего образования в сферу
потребления = гос. субсидия потребления.
Higher education is partially moving back in the
consumption category, which is a ad news for us.

4. В игру вступает тяжеловес
The 800-pound gorilla enters the game
A college ratings framework (US Department of Ed)
http://www.ed.gov/collegeratings:
• Access: percentage of students receiving Pell
grants. Процент студентов из бедных семей.
• Affordability: average tuition, scholarships, and
loan debt. Стоимость, скидки, размер займов.
• Outcomes: graduation and transfer rates, graduate
earnings, and advanced degrees of college
graduates. Отсев, зарплата выпускников,
процент поступивших в магистратуру и выше

5. Но проблемы остаются
Which does not address the issues
1. Прямого измерения результатов обучения
в вузе пока нет. We can’t measure learning
outcomes well.
2. Любой рейтинг будет оценивать не
университет, а контингент, с которым он
работает. Any rating will rate demographics
of student body, not the university itself.
3. Campbell’s law will corrupt any measured
practice. Научимся дурить любой рейтинг

6. Как забивать гвозди отверткой?
So how do you hammer with a
screwdriver?
1. Прямого измерения результатов обучения
в вузе пока нет. We can’t measure learning
outcomes well.
– Но то что есть (CLA, ISHEL, AHELO) можно
улучшить, удешевить, использовать. We can
improve, make cheaper what we have.
– Постепенно включить в аккредитационные
схемы. Gradually include the measures of
learning in accreditation procedures.

7. Как забивать гвозди отверткой?
So how do you hammer?
2. Любой рейтинг будет оценивать не
университет, а контингент, с которым он
работает. Any rating will rate demographics
of student body, not the university itself.
– Отбросить иллюзию единого понятия
«университет». Признать стратификацию
рынка. Разные рейтинги для разных уровней.
There are universities and universities. Admit the
different strata of universities, with different
ratings.

8. Как забивать гвозди отверткой?
So how do you hammer?
3. Campbell’s law will corrupt any measured
practice. Научимся дурить любой рейтинг.
– Иммунная система ВО. Постоянно меняющиеся
индикаторы. The immune system against gaming
behaviors, constantly adjusting indicators.
– Использование реальных больших данных,
которые трудно изменить. Например, объем
студенческих текстов, их прогресс, оценки
студентов, объем интеракций между студентами
и ППС, анализ Facebook и Twitter. Use big data
which is hard to game.