Доклад Натальи Желновой рассматривает оценку эффективности работы аналитиков в IT, включая важность этой оценки, способы ее осуществления и примеры. Выделяются критерии оценки, включая технические и мягкие навыки, а также методы подходят для анализа результатов работы. В заключение подчеркивается важность четкой интерпретации результатов оценки и необходимость соблюдения гуманистических принципов при использовании метрик.

1. Оценка
эффективности
работы аналитика
Наталья Желнова
Москва
2014

2. Об авторе доклада
Наталья Желнова:
• С 1997 года занимается сбором, систематизацией и
управлением требованиями в проектах по
разработке ПО
• 6 лет участия в консалтинговых проектах
(постановка процессов разработки ПО)
• Автор нескольких курсов по управлению
требованиями, управлению проектами и
управлению рисками в проектах по разработке ПО

3. Тезисы доклада
• Общие вопросы оценки эффективности в IT: что понимать под
эффективностью?
• Зачем вообще оценивать эффективность?
• В чем смысл работы аналитика?
• Несколько плохих примеров попыток оценки эффективности аналитика.
Хоррор из жизни IT-компаний.
• Несколько хороших примеров оценки эффективности аналитика.
• Метрики, позволяющие увидеть лес за деревьями.
• Общие принципы гуманизма, или в каких целях не надо использовать
метрики.
• Заключение.

4. Оценка эффективности в IT

5. Оценка эффективности в IT
• Зачем вообще оценивать эффективность?
Повышаем рентабельность, снижаем издержки
Даем четкие ориентиры команде
Улучшаем планирование, повышаем управляемость
Избавляемся от некомпетентных сотрудников

6. Эффективность работы аналитика
• В чем смысл работы аналитика?
Выявляет заинтересованных лиц и определяет их ожидания
Выявляет, систематизирует, анализирует требования, четко
определяющие:
– project scope
– project quality
Дает команде информацию о том, что нужно сделать:
– точную
– вовремя
Участвует в управлении требованиями

7. Эффективность работы аналитика
• Как оценить работу аналитика?
Очевидные вещи:
– скорость работы (в конкретном проекте, в разных проектах)
– качество работы (в конкретном проекте, в разных проектах)
– сложность работы (в конкретном проекте, в разных проектах)
– уровень технической компетенции
Неочевидные вещи: soft skills, лидерство

8. Эффективность работы аналитика
• Кто должен оценивать работу аналитика?
Очевидные роли, участвующие в оценке:
– непосредственный руководитель (руководитель отдела, менеджер
проекта)
– проектная команда
Неочевидные роли, участвующие в оценке:
– клиенты
– коллеги, которые работали с аналитиком

9. Эффективность работы аналитика
• Как интерпретировать результаты?
Кто главнее:
– руководитель отдела или менеджер проекта?
– программист или тестировщик?
– проектная команда или клиент?
Неочевидные ответы:
– это разные категории оценок
– нужно разбивать эти оценки на группы и вводить уровни компетентности по
каждой из категорий оценок

10. Эффективность работы аналитика
• Пример: хоррор из жизни IT-компаний
Что пытались оценивать:
– скорость работы
– качество работы
Метрики:
– Скорость работы
– Точность оценок сроков выполнения задач при планировании работ
– Качество работы

11. Эффективность работы аналитика
• Пример: хоррор из жизни IT-компаний
Как оценивали:
– скорость работы: в человеко-часах на 1 задачу
– качество работы: экспертная оценка
– точность оценок сроков : соотношение запланированных и
фактических сроков
Кто оценивал:
– Непосредственные руководители

12. Эффективность работы аналитика
• Пример: хоррор из жизни IT-компаний
Что получили:
– демотивацию
– «итальянскую забастовку»
– увольнение 50% сотрудников

13. Эффективность работы аналитика
• Три уровня навыков системных аналитиков: первый,
второй, третий
Первый уровень:
• Выявление заинтересованных лиц в проекте
• Выявление высокоуровневых требований и согласование:
– Требований с собранной информацией
– Требований между собой
• Участие в проектировании системы:
– Описание поведения системы
– Выявление нефункциональных требований

14. Эффективность работы аналитика
Второй уровень:
• Управление ожиданиями заинтересованных лиц
• Определение границ системы
• Выделение подсистем и определение их границ
• Выявление низкоуровневых требований
– описания алгоритмов, структур данных
– описания компонентов ПО
– описания низкоуровневых интерфейсов
– описания механизмов управления ресурсами и др
• Применение стандартов (ГОСТ, IEEE 1990)

15. Эффективность работы аналитика
Третий уровень:
• Знание существующего IT-ландшафта и умение определять
перспективы его развития в контексте выполняемого проекта
• Участие в управлении рисками проекта
• Управление требованиями
– управление документами
– управление требованиями: участие в процессе управления полным
жизненным циклом требований и трассировки требований

16. Эффективность работы аналитика
Критерии оценки (1):
Technical skills
• Качество артефактов (всех видов)
– число ошибок
– полнота требований
– глубина и детальность проработки (в соответствии с реальными
потребностями команды)
– соответствие установленным критериям качества
• Точность планирования работ

17. Эффективность работы аналитика
Критерии оценки (2):
Soft Skills
• Активность (источник знаний для команды,
взаимодействие с каждой проектной ролью)
• Самостоятельная генерация идей
• Участие в постановке и улучшении процессов
• Самомотивация и самообучение, обучение других

18. Эффективность работы аналитика
Как оценивать:
Technical skills
• Регулярные инспекции, проверки артефактов на
соответствие установленным шаблонам (QA)
• Review артефактов и требований (коллеги, руководитель)
• Оценка вклада аналитика в проект «технарями»
Soft skills
• Оценка методом «360 градусов»

19. Эффективность работы аналитика
Какую информацию собирает аналитик:
Project scope:
• пользователи системы, их роли и число
• функции системы
• системы, с которыми предполагается
интеграция
• ограничения
• регламенты и стандарты, влияющие на
разработку
Project quality:
• требования к качеству продукта
(производительность, масштабируемость,
надежность, доступность, безопасность,
отказоустойчивость; требования к
платформе; usability, etc.)
• приоритеты требований

20. Эффективность работы аналитика
Какие артефакты создаются в процессе работы аналитика:
• профиль ЗЛ
• потребности ЗЛ
• требования (User Story, Use Case, перечень функций системы, НФТ)
• глоссарий
• концептуальная модель
• описание реализации и архитектуры (в том числе и прототип UI)
• план тестирования

21. Эффективность работы аналитика
С кем взаимодействует аналитик:
• заказчик (внешний? внутренний?)
• проектная команда
– менеджер проекта
– разработчкики
– тестировщики

22. Эффективность работы аналитика
Метрики:
Разработка
• Наличие артефактов и соблюдение сроков их разработки
• Число ошибок в требованиях / общий объем требований (в story points)
• Распределение ошибок по степени серьезности
• Число ошибок в программе, которые связаны с ошибками в требованиях
• Число изменений требований, которые потребовали переделок
• Время, потраченное на переделки, в т.ч. связанные с устранением
ошибок в требованиях

23. Эффективность работы аналитика
Метрики:
Управление требованиями
• Наличие артефактов управления требованиями
• Актуальность артефактов управления требованиями
• Время, которое требуется на актуализацию артефактов
управления требованиями

24. Спасибо
Наталья Желнова
nzhelnova@teamcit.ru
http://www.linkedin.com/in/nzhelnova