1. Метрика эффективности разработки
с точки зрения ценности результата
для бизнеса
Сергей Абрамов
Deputy Director Quality Control, Kaspersky Lab
Илья Кузнецов
Deputy Director Engineering, Kaspersky Lab
Юрий Семенов
Head of Outsourcing Delivery, Kaspersky Lab

2. Содержание
Какая эффективность понятна бизнесу?
Как посчитать эффективность разработки?
Как применить эти метрики?
PAGE 2 |

3. Какая эффективность
понятна бизнесу?
1 2 3

4. Интересны ли заказчику внутренние метрики
эффективности?
Максимальная
загрузка
Анализ Дизайн Разработка Тестирование
Не понятна ценность текущего результата
и сколько он стоил
Метрики не отражают эффективность производственной цепочки в целом
Метрики мотивируют на артефакты на уровне роли, а не полезный результат
PAGE 4 | 1 2 3

5. Какая эффективность важна бизнесу?
Как быстро? Какова стоимость?
“Цель бизнеса – прибыль”
Э. Голдратт (с) 1984
Достаточно найти и устранить ограничение только самого узкого звена
Скорость системы = скорости самого узкого звена
Уменьшать незавершенные работы в системе (Work-in-progress = WIP)
Лишний WIP – увеличивает кол-во устаревающего «результата» (waist ↑)
– замедляет обратную связь к требованиям (rework ↑)
– замедляет общую скорость выдачи ценности (time2market ↓)
Как это применить в Software Development???
PAGE 5 | 1 2 3

6. Эффективность в терминах, понятных бизнесу
Деление затрат
Accepted – затраты на принятый
результат
Deferred – затраты на отвергнутый
или ненужный заказчику результат
WIP – затраты, которые еще не
принесли результата
Создание ценности
1. Эффективность (КПД) – доля
полезных затрат (Accepted%) от всех
затрат по отношению к ценности
полученного результата
2. LeadTime – время получения
«фичи», «продукта» из бизнес-
требования
PAGE 6 | 1 2 3

7. Как посчитать
эффективность
разработки? 160 km/h, 5.1 L/100km
100 km/h, 18.5 L/100km
1 2 3

8. Определить ценность результата
(business value) достаточно просто!
BRS Priority Date Value
Server protection High(1) 15.08.2011 40%
3-rd party
Deferred 15.08.2011 0%
integration
Backup Medium(2) 31.12.2011 20%
Logging Minor(3) 31.12.2011 10%
User Interface High(1) 15.08.2011 30%
Grand Total 100%
План business-value
100
80
Польза (business-value) –
60
экспертная оценка ценности
40 законченного высокоуровневого
Номер итерации проекта Beta Release
20 функционала.
0
1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33
Cumulative Plan (% Accepted Value)
PAGE 8 | 1 2 3

9. Затраты WIP, Accepted и Deferred считаются по
списаниям
Списания на фичу “Backup”
180 20%
В отчете по списаниям - ссылки на 160 Фичу приняли
высокоуровневую «фичу» 140 15%
120
Получаем затраты на данный 100 Прототип не
был принят 10%
высокоуровневую «фичу» в итерации 80
60
По результатам «приемки» 40 5%
распределяем затраты в категории 20
Accepted, Deferred, WIP 0
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
0%
Iter # Functionality Work Name Effort, h Списания, ч-часы Business Value
… … … … 700
17 Server Protection Installation 87 600
17 Server Protection Uninstall 16 500
17 Server Protection Update 45 400
17 Backup Создание схемы бэкапа 33 300
17 Backup Укладка объектов в бэкап 77
200
17 Server Protection On-Demand scan 46
100
18 Server Protection On-Demand scan - cont. 126,5
0
18 Backup Local Backup 26
5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26
18 Backup Centralized Backup 24,5
18 Server Protection Action Pane - OAS, ODS, BackUp 3,5 Deferred WIP Accepted
18 3rd Party Integration Use Case 13 Test Suite 57 Те же списания, в «накопительном»
… … … …
виде
PAGE 9 | 1 2 3

10. Результативность можно визуализировать
План и факт business-value
Момент замера
100
эффективности
80
60
40
20 Beta Release
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
Cumulative Plan (% Accepted Value) Cumulative Fact (% Accepted Value)
3500
3000
Cumulative Workflow Diagram
2500
2000
1500
1000 LeadTime = 4,5 мес
500
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
Cumulative Deferred, FTE*D Cumulative Accepted, FTE*D WIP, FTE*D
PAGE 10 | 1 2 3

11. И наконец – метрики эффективности
Development Efficiency to Iter# 31
КПД –
Efficiency 79% доля полезных затрат
Business Value 88%
Average LeadTime, мес 4,50
Deferred
11%
Effort Distribution Man-Days USD, Thousands WIP
10%
Efforts in
Operational Expence 2814 703
WIP of previous period 0 0
Total 2814 703 Accepted
79%
Efforts out
Accepted 2208 552
WIP 288 72
Deferred 318 80
Total 2814 703
PAGE 11 | 1 2 3

12. Как применить эти
метрики?
1 2 3

13. Как влияют изменения на результат?
Накопительные затраты на проект
6000
5000 Вырос Deferred
Вырос Deferred
Увеличился темп
4000
Увеличился роста WIP
темп WIP, FTE
роста WIP
3000
Cumulative Accepted, FTE
Вырос2000
Deferred Cumulative Deferred, FTE
1000
Изначальный план
0 Product Manager Manager
Product
Business Value 3
1 2 4 5 6 7 8 убрал одну фичу фичу на
9 10 убрал одну
11 12
FE.005 (BV -12) и этапе
позднем
Изменение Business Value
одну добавил FE.011 -10
FE.003 (BV
100 (BV +12) FE.011 New Feature 2
FE.010 New Feature 1
Product Manager
80 FE.009 User Interface
Business Value Plan
добавил новую фичу FE.008 New Platform Support
Product раннем этапе
на 60
Manager FE.007 Notifications
FE.010 (BV +10)
отменил фичу на FE.006 Dashboard
относительно
40 FE.005 Logging
раннем этапе FE.004 BackUp
FE.00820(BV -5) FE.003 Reporting
FE.002 Content filtering
0 FE.001 Server Protection
1 2 3 4 5 6 7 8 9 10 11 12
PAGE 13 | 1 2 3

14. Влияние объема незаконченной работы на риски
проекта и мотивацию команды
Проект с приемкой в конце Проект с периодической приемкой
4000 4000
Типичный LeadTime Типичный LeadTime
3000 3000
2000 2000
1000 1000
0 0
1 2 3 4 5 6 7 8 9 10 11 12 1 2 3 4 5 6 7 8 9 10 11 12
Cumulative Deferred, FTE Cumulative Accepted, FTE WIP, FTE Cumulative Deferred, FTE Cumulative Accepted, FTE WIP, FTE
Deferred;
9%
Deferred; Accepted; WIP;
18% 18% 9%
Accepted;
82%
Что если…
• бизнес быстрее получает
WIP; • выясняется, что результат
66% хотелось немного не то?
• Меньше рисков с
• у рынка поменялись изменениями
требования?
• Меньше неполезных работ,
• часть ресурсов надо больше полезного рез-та
PAGE 14 | 1 2 3 перебросить?

15. Эффективно ли используются различные роли?
Анализ Архитектура Дизайн Разработка Тестирование
аналитики и архитекторы
Большое количество Deferred взяли на себя большинство рисков,
для всех ролей и на ранней стадии процесса отсеяли
неполезные работы
100% 100%
80% 80%
60% 60%
40% Deferred
40%
20% WIP 20%
0% Accepted 0%
PAGE 15 | 1 2 3

16. Справляются ли участники проекта с
поступающими задачами?
Количество работ WIP
Количество работ WIP Команда спокойно согласно плану
Разработчики берут работ больше,
в в единицу времени растет
единицу времени стабильно подходит к релизу
чем выдают, что снижает скорость
выдачи общего результата.
4000
3500
3000
Project Manager WIP, FTE
2500 System Analyst WIP, FTE
Designer WIP, FTE
Architect WIP, FTE
2000
Developer WIP, FTE
Doc-Loc WIP, FTE
1500 Tester WIP, FTE
Accepted Accepted, FTE
Deferred, FTE
1000
500
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33
PAGE 16 | 1 2 3

17. При высоком Deferred необходим анализ причин
WIP
43% Deferred
29%
Accepted
28%
Оправдан ли Deferred?
• product prototyping
• поздние изменения окупятся дополнительной долей рынка…
Или не оправдан
• частая смена приоритетов
• плохая коммуникация требований…
PAGE 17 | 1 2 3

18. Чем полезны предложенные метрики?
Эффективность = КПД Контроль полезности
совместной работы результата и затрат
Бизнес
Функциональные Менеджеры
подразделения проектов
Отслеживание
Улучшения влияния
деятельности, управленческих
дающие Предотвращение затрат активностей
результат критичных ролей на
неполезную деятельность
PAGE 18 | 1 2 3

19. Дискуссия
1. Видите ли вы возможности применить данный
подход?
2. Как вы измеряете эффективность?
3. ККК (Конкретная конструктивная критика)
Илья Кузнецов www.linkedin.com/in/IliaKuznetsov
Сергей Абрамов www.linkedin.com/in/SAbramov
Юрий Семёнов www.linkedin.com/pub/YSemenov
PAGE 19 | 1 2 3