Документ предоставляет рекомендации по проведению экспертной оценки, описывая основные шаги процесса, такие как подбор экспертов, формирование команды и калибровка оценок. Также содержатся советы по работе с оптимистично настроенными экспертами и общие указания по анализу результатов оценки. В заключение упоминается необходимость перехода от оценки к планированию проекта с учетом возможных рисков и регрессии к среднему.

1. www.luxoft-training.ru
РЕКОМЕНДАЦИИ ПО
ПРОВЕДЕНИЮ
ЭКСПЕРТНОЙ ОЦЕНКИ
Алексей Корецкий

2. www.luxoft-training.ru
Рекомендуемые шаги процесса экспертной оценки
1. Подобрать экспертов для проведения оценки.
2. Выяснить ограничения проекта и процесса оценки.
3. Сформировать команду оценки.
4. Провести декомпозицию работ.
5. Откалибровать экспертов для оценки.
6. Поставить задачу непосредственно на проведение оценки.
7. Проверить и почелленджить оценку эксперта.
8. Сделать общую оценку проекта и проверить ее.
9. Перейти от оценки к планированию проекта.

3. www.luxoft-training.ru
Поиск экспертов
Условия для предварительного поиска:
Требуемые технологии;
Проектные роли (необходимо «закрыть» основные роли);
Комбинация различных знаний/навыков.
Что проверяем:
Умение оценивать (это навык отличный от умения хорошо выполнить свою работу);
Особенности оценивания (занижение/завышение)%
Возможность и мотивацию на участие в проекте (рекомендуется оценивать
людьми, которые потом будут делать проект).

4. www.luxoft-training.ru
, –Что делать если эксперт оптимист
Помогаем ему включить критическое мышление, то есть:
просим сделать пессимистическую оценку;
просим его написать допущения;
просим перечислить причины или риски из-за которых его оценка может оказаться
неверной;
задаем вопросы, просим более детально объяснить оценку одного или нескольких
пунктов (челленджим оценку);
Подключаем еще одного эксперта – реалиста или пессимиста.

5. www.luxoft-training.ru
, –Что делать если эксперт неизвестно какой
 Предполагаем, что это эксперт – оптимист.

6. www.luxoft-training.ru
Выясняем ограничения проекта и процесса оценки
 Ограничения проекта: бизнес-цели заказчика и нашей компании.
 Ограничения на оценку: сроки оценки, ограничения по ресурсам.
• Выясняем, насколько обоснованы ограничения на процесс оценки, стараемся
максимально раздвинуть рамки ограничений.
• Если не успеваем вписаться в рамки ограничений – коммуницируем и эскалируем
всем стейкхолдерам.
• Помним, что возможностей по привлечению ресурсов для оценки обычно больше,
чем думает руководитель проекта.

7. www.luxoft-training.ru
Формируем команду оценки
 Оценка проекта – тоже проект, а оценщики – это тоже команда, а не группа
людей.
 В команду ее участников превращает совместная работа над достижением
целей проекта.
 Совместная работа – совместный сбор информации, проработка рисков и
декомпозиция работ.
 Проводим стартовое совещание с постановкой задачи.
 Очень важно сформировать ответственность за оценку, мотивацию на
качественное ее выполнение.

8. www.luxoft-training.ru
Проводим декомпозицию для оценки
 Это совместная работа команды оценки.
 Должна включать в себя хотя бы 5 – 10 элементов для включения эффекта
взаимной компенсации ошибок.
 Чтобы ничего не забыть, используем:
• типовые WBS;
• WBS уже выполненных проектов;
• чек-листы.

9. www.luxoft-training.ru
Калибруем экспертов для минимаксной оценки
 Если есть исторические данные и формы оценки, заранее проводим совместное
с экспертами сравнение оценок с фактом.
 Для корректного использования формы минимаксной оценки делаем 90%-ю
калибровку эксперта, то есть:
• оцениваем уже выполненные проекты и сравниваем оценки с фактом;
• если статистики по уже выполненным проектам нет, то используем «сложные»
вопросы;
• используем доводы «за» и «против».

10. www.luxoft-training.ru
Постановка задачи непосредственно на оценку
 Ставим задачу индивидуально (то есть эксперты оценивают независимо друг от
друга, без консультаций).
 Заранее заботимся о том, что во время оценки эксперт был не загружен другими
задачами.
 Изолируем эксперта от каких-либо якорей (в том числе от информации о бизнес-
целях).
 Время на оценку должно быть необходимым и достаточным (избегаем давления
по времени оценки).
 Вообще не создаем излишнего напряжения – эмоции плохо сказываются на
работе.
 Четко договариваемся об единых единицах измерения.
 Обязательно требуем допущения по каждому элементу оценки.

11. www.luxoft-training.ru
« SMART- »Задача должна быть поставлена по у

12. www.luxoft-training.ru
Проверяем оценку эксперта
Индикаторы возможных проблем с оценкой:
Оценка сделана слишком быстро;
Отсутствуют допущения и эксперт не может/не хочет их сделать;
Объясняя оценку, ссылается на свою интуицию;
Предлагает назвать оценку, которую вы ожидаете;
Слишком узкие или широкие интервалы оценки;
Слишком мало элементов в декомпозиции;
Большой разброс (на порядки) в оценке разных элементов декомпозиции.

13. www.luxoft-training.ru
Челленжим оценку
 Просим перечислить причины или риски из-за которых его оценка может
оказаться неверной.
 Задаем вопросы, просим более детально объяснить оценку одного или
нескольких пунктов.
 Просим сделать допущения, если не сделаны.
 Потом просим сделать переоценку еще раз.

14. www.luxoft-training.ru
Делаем общую оценку
 Делаем оценку, добавляем в нее дополнительные сопутствующие трудозатраты
(например, административные затраты).
 Добавляем рисковый буфер.
 Добавляем оценку дополнительных проектных расходов – командировки,
привлечение субподрядчиков и др.

15. www.luxoft-training.ru
Проверяем общую оценку
 Используем знания по распределению затрат по процессам и типовым
активностям. Для этого потребуется:
• экспертные оценки затрат на различные процессы, например, аналитику,
разработку и тестирование;
• статистика по распределению затрат по процессам.
 Для проектов достаточно больших альтернативно используем формальный
метод оценки (например, UCP).
 Организуем внутреннее ревью опытными экспертами.
 При необходимости делаем альтернативную оценку сторонней организацией.

16. www.luxoft-training.ru
Принятие на себя обязательств
 Сравниваем оценку и бизнес-цели.
 Если оценка сильно отличается от бизнес-цели, то:
• помним, что плохой менеджер обычно «ничего не может сделать», а хороший
«ищет и предлагает варианты решения»;
• это может потребовать более глубокого понимания потребностей заказчика, его
приоритетов по реализации скоупа, варьирования скоупом;
• уменьшение оценки должно сопровождаться дополнительными допущениями.

17. www.luxoft-training.ru
Переход от оценки к планированию
 Создаем дополнительные буферы.
 Помним, что буфер – это инструмент менеджера, а не команды.
 Получаем от команды коммитмент на план, то есть команда должна увидеть план
и подтвердить, что она способна его выполнить.

18. www.luxoft-training.ru
Дополнительно
Учет регрессии к среднему значению
Предположим, что, оценивая затраты на проект, мы используем
производительность команды или отдельного сотрудника, показанную в прошлом
проекте. Из-за регрессии к среднему значению высокая производительность в
следующий раз, скорее всего, окажется ниже, а низкая наоборот увеличится. В этом
состоит опасность предсказаний на основе единичных наблюдений, в особенности,
если наблюдались очень высокие или очень низкие результаты. Ожидать, что
экстремальный результат повторится или станет еще экстремальнее – большая
ошибка. Следует ожидать обратного, и учитывать это в своих прогнозах. В
особенности это относится к производительности отдельного человека. Чем меньше
команда, тем большую роль начинает играть производительность отдельных людей,
а значит и регрессия к среднему значению.

19. www.luxoft-training.ru
Рекомендуем литература
 О минимаксной оценке и 90%-й калибровке экспертов: Дуглас Хаббард «Как
измерить все, что угодно».
 Об особенностях человеческого мышления: Даниэль Канеман «Думай
медленно… решай быстро».

20. www.luxoft-training.ru
THANK YOU!
education@luxoft.com