Оценка уровня значимости отклонений фактических значений показателей от плановых - описание различных подходов и методик

1. Оценка уровня значимости отклонений
фактических значений показателей от плановых
Куда надо целиться, чтобы остаться в строю
Андрей Покатаев
Январь 2012

2. © Андрей Покатаев
Проблема и подходы к ее решению
Проблема
Какое фактическое значение показателя мы считаем приемлемым?
Если фактическое значение больше или равно плановому – все просто. Но если показатель выполнен на 98% – считается ли столь малое
отклонение от плана значимым? А 86% от плана?
Где проходит граница отклонения от плана, значения ниже которой можно назвать неприемлемо низкими?
А если граница уже установлена – почему она установлена именно на этом уровне?
Образно говоря, нам надо решить следующую задачу: стрелки проходят квалификацию, стреляя по мишени, а мы должны сказать,
кто из них квалификацию не прошел
Далее мы попытаемся дать ответ на эти вопросы, предложив методики обоснования границы значимых отклонений фактических значений
показателей от плановых*
Можно выделить два принципиально разных подхода к решению данной проблемы
Вариант I Вариант II
Уровень значимости отклонения устанавливается после Уровень значимости отклонения устанавливается до
получения фактических значений показателей в отчетном получения фактических значений показателей (точнее – при
периоде планировании) и не меняется на протяжении всего планового
периода
Образно говоря, сначала участники соревнования стреляют по
мишени, затем мы ранжируем их результаты по убыванию и Образно говоря, мы в самом начале проводим на мишени
выбираем некий уровень, результаты ниже которого считаются границу, результаты за пределами которой считаются плохими
плохими
Этот подход кажется нам лучше, потому что он позволяет
В данном варианте удобно устанавливать уровень значимости на устанавливать правила игры заранее. Далее мы подробно
основе сравнения фактических значений одинаковых остановимся именно на этом подходе, в рамках которого можно
показателей для разных исполнителей выделить несколько различных методик определения уровня
значимости (см. Слайд 3)
* Для краткости эту границу мы будем называть «уровень значимости». Не путать с уровнем значимости в математической статистике 2

3. © Андрей Покатаев
Различные методики оценки уровня значимости отклонений
В рамках второго подхода можно предложить следующие методики:
Граница(ы) значимого
Обоснование уровня значимости Достоинства Недостатки
отклонения
Соглашение с исполнителем плана или На основе соглашения Субъективность оценки, нет точного
1 Простота, очевидность
требование субъекта планирования или требования обоснования
Не работает при значительном
Фактическое значение показателя Значение предыдущего
2 Простота повышении плана или если план ниже
предыдущего периода периода
значения в предыдущем периоде
Равномерная градация шкалы – 75% / 50% / 25% или Не учитывает исторические значения
3 Простота, очевидность
деление на 4 или 5 равных интервалов 80% / 60% / 40% / 20% показателей
Не учитывает исторические значения
4 Правило Парето 80% Простота, очевидность
показателей
Рассчитывается на Сложность расчета, зависимость от
Отклонение на 2 стандартных отклонения Статистически
5 основе значений прошлых невыполнения плана в прошлом,
от взвешенного скользящего среднего обоснованный критерий
периодов смещенность относительно плана
Рассчитывается на
Односторонний 5% критерий отклонения Статистически Сложность расчета, зависимость от
6 основе значений прошлых
от плана обоснованный критерий невыполнения плана в прошлом
периодов
Каждая из этих методик определения уровня значимости имеет свои недостатки. Чтобы их минимизировать можно одновременно
рассчитывать уровень значимости на основе нескольких методик и выбирать из результатов наиболее «строгий» или «жесткий» уровень
Далее мы отдельно остановимся на последней методике – одностороннем 5% критерии отклонения от плана
3

4. © Андрей Покатаев
Методика оценки уровня значимости отклонений
Односторонний 5% критерий отклонения от плана*
Данная методика позволяет определить уровень значимости отклонения
фактического значения показателя от целевого отдельно для каждого показателя и Предполагаемое
каждой структурной единицы до получения фактических данных в отчетном периоде распределение
Уровень значимости
фактических
значений
показателя
Суть методики
отклонения
100% выполнение плана
По каждому из подразделений на основе данных о выполнении плана (в %) за
прошлые периоды рассчитывается стандартное отклонение σ по формуле: Вероятность
нахождения здесь
фактических
значений
1 n
σ= ∑ ( xi − x ) 2 ,
составляет 5%
n − 1 i =1 Выполнение
плана
-3σ -1,645σ 0σ 1σ 2σ 3σ
где n – число прошлых периодов по которым есть данные, xi – i-ый период,
x – среднее арифметическое по всем периодам
Далее используется односторонний критерий, при котором процент выполнения плана выше уровня значимости не является значимым
отклонением. В качестве математического ожидания используется 100% выполнение плана. Уровень значимости отклонения
рассчитывается по формуле:
Уровень значимости отклонения = 100% − 1,645 * σ ,
где σ – стандартное отклонение
Коэффициент 1,645 соответствует одностороннему 5% критерию и определен исходя их предположения о нормальном распределении
фактических данных о выполнении плана. При этом вероятность того, что фактические значения показателя подразделения в плановом
периоде попадут в область значимых отклонений составляет только 5%
Если на практике рассчитывать такой уровень значимости по каждой структурной единице будет нецелесообразно, имеет смысл
рассчитывать его медианное значение для всех структурных единиц – отдельно для каждого показателя
* Методика справедлива только для ключевых показателей результативности (KRI), таких как выручка, операционный результат, чистая прибыль и т.п. Для
производственных показателей и ключевых показателей эффективности (PI и KPI), а также для неключевых показателей (NKPI) и диагностических показателей методика
должна быть скорректирована 4

5. © Андрей Покатаев
Методика ранжирования отклонений
Методика базируется на основе оценки уровня значимости отклонений
На основе предложенной методики оценки уровня значимости отклонения
Уровень значимости
фактического значения показателя от целевого можно предложить следующую
методику ранжирования отклонений фактических значений показателей от плановых
отклонения
Предполагаемое
распределение
Суть методики показателя
100% выполнение плана
если фактический процент выполнения показателя в отчетном периоде Истинное
распределение
оказывается больше либо равным плановому уровню в 100% – можно говорить о показателя
выполнении плана (зеленая зона)
если фактический процент выполнения показателя в отчетном периоде
оказывается выше уровня значимости, но ниже планового уровня в 100% – мы
говорим о не значимом отклонении от плана (желтая зона) Выполнение
плана
если фактический процент выполнения показателя в отчетном периоде -3σ -1,645σ 0σ 1σ 2σ 3σ
оказывается меньше либо равным уровню значимости, то мы говорим о
значимом отклонении от плана (красная зона)
Таким образом, мы получаем три диапазона фактического значения выполнения ключевого показателя. Причем, исходя из выбранной
методики оценки уровня значимости отклонений, данная градация будет рассчитана еще до получения фактических значений
показателей в отчетном периоде, например, еще на стадии планирования
Пример использования
На диаграмме bullet-chart в виде фона показаны три диапазона отклонения фактических значений выполнения показателя «Выручка» от
целевых. Белым цветом показано плановое выполнение показателя, черным – фактическое. Как и описано выше, данная градация будет
своей для каждого структурного подразделения и каждого показателя
Красная зона, значимое Желтая зона, не значимое Зеленая зона, план
отклонение от плана отклонение от плана выполнен
Выполнение показателя «Выручка», %
0% 20% 40% 60% 80% 100% 120% 140% 160% 180% 200%
5

6. © Андрей Покатаев
Благодарю Вас за внимание!
Если у Вас остались вопросы, буду рад
ответить на них по электронной почте:
andrey.pokataev@rambler.ru
Или при личной встрече
С наилучшими пожеланиями,
Андрей Покатаев