Доклад обсуждает оценку эффекта работы системных аналитиков в IT, акцентируя внимание на важных аспектах эффективности, принципах её измерения и методах оценки. Он включает примеры как корректных, так и неправильных подходов к оценке, а также описывает навыки аналитиков и критерии, используемые для оценки их работы. Заключение подчеркивает необходимость регулярного применения адаптированных метрик для объективной оценки эффективности сотрудников.

2. Об авторе доклада
:
• С 1997 года занимается сбором,
систематизацией и управлением
требованиями в проектах по разработке ПО
• 6 лет участия в консалтинговых проектах
(постановка процессов разработки ПО)
• Автор нескольких курсов по управлению
требованиями, управлению проектами и
управлению рисками в проектах по
разработке ПО

3. Тезисы доклада
• Общие вопросы оценки эффективности в IT: что понимать
под эффективностью?
• Зачем вообще оценивать эффективность?
• В чем смысл работы аналитика?
• Несколько плохих примеров попыток оценки
эффективности аналитика.
• Несколько хороших примеров оценки эффективности
аналитика.
• Общие принципы гуманизма, или в каких целях не надо
использовать метрики.
• Заключение

4. Оценка эффективности в IT
• Что понимать под эффективностью?
Эффективный – действенный, производительный, дающий
результат
Эффект – абсолютная величина, обозначающая достигаемый
результат какого-либо процесса
Экономическая эффективность =
результат деятельности
общие затраты производства
Эффективный = успешный?
Производительность = эффективность?
Эффект в команде = ∑ эффективности одиночек?

5. Оценка эффективности в IT
• Зачем вообще оценивать эффективность?
• Повышаем рентабельность, снижаем издержки
• Даем четкие ориентиры команде
• Улучшаем планирование, повышаем управляемость
• Повышаем компетенцию членов команды
• Избавляемся от некомпетентных сотрудников

6. В чем смысл работы аналитика?
• Что делает аналитик?
Выявляет заинтересованных лиц и определяет их ожидания
Выявляет, систематизирует, анализирует требования, четко
определяющие:
– project scope
– project quality
Дает команде информацию о том, что нужно сделать:
– точную
– вовремя
Участвует в управлении требованиями

7. Три уровня навыков системных
аналитиков
Первый уровень:
• Выявление заинтересованных лиц в проекте
• Выявление высокоуровневых требований и согласование:
– Требований с собранной информацией
– Требований между собой
• Участие в проектировании системы:
– Описание поведения системы
– Выявление нефункциональных требований

8. Три уровня навыков системных
аналитиков
Второй уровень:
• Управление ожиданиями заинтересованных лиц
• Определение границ системы
• Выделение подсистем и определение их границ
• Выявление низкоуровневых требований
– описания алгоритмов
– описания структур данных
– описания компонентов ПО
– описания низкоуровневых интерфейсов
– описания механизмов управления ресурсами и др
• Применение стандартов (ГОСТ, IEEE 1990)

9. Три уровня навыков системных
аналитиков
Третий уровень:
• Знание существующего IT-ландшафта и умение
определять перспективы его развития в контексте
выполняемого проекта
• Участие в управлении рисками проекта
• Управление требованиями
– управление документами
– управление требованиями: участие в процессе
управления полным жизненным циклом требований и
трассировки требований

10. Эффективность работы аналитика
• Как оценить работу аналитика?
Очевидные вещи:
– скорость работы (в конкретном проекте, в разных проектах)
– качество работы (в конкретном проекте, в разных проектах)
– сложность работы (в конкретном проекте, в разных проектах)
– уровень технической компетенции
– применение технической компетенции в разных проектах
Неочевидные вещи:
– soft skills
– лидерство

11. Эффективность работы аналитика
• Кто должен оценивать работу аналитика?
Очевидные роли, участвующие в оценке:
– непосредственный руководитель (руководитель отдела, менеджер
проекта)
– проектная команда
Неочевидные роли, участвующие в оценке:
– клиенты
– коллеги, которые работали с аналитиком

12. Эффективность работы аналитика
• Как интерпретировать результаты?
Кто главнее:
– руководитель отдела или менеджер проекта?
– программист или тестировщик?
– проектная команда или клиент?
Неочевидные ответы:
– это разные категории оценок
– нужно разбивать эти оценки на группы и вводить уровни
компетентности по каждой из категорий оценок

13. Пример: метрики, взятые «с
потолка»
Что пытались оценивать:
– качество работы
– количество работы
Метрики:
– Число грамматических ошибок на страницу текста
– Число требований, зарегистрированных в системе управления
требованиями

14. Пример: хоррор из жизни IT-
компаний
Что пытались оценивать:
– скорость работы
– качество работы
Метрики:
– Скорость работы
– Точность оценок сроков выполнения задач при планировании работ
– Качество работы

15. Пример: хоррор из жизни IT-
компаний
Как оценивали:
– скорость работы: в человеко-часах на 1 задачу
– качество работы: экспертная оценка
– точность оценок сроков : соотношение запланированных и
фактических сроков
Кто оценивал:
– Непосредственные руководители

16. Пример: хоррор из жизни IT-
компаний
Чего не делали:
– Объяснение, зачем это нужно (цели, которых мы достигаем)
– Прозрачные критерии оценок
– Разделение оценок по уровням, характеризующим степень
компетенции системного аналитика
– Улучшение навыков командной работы
– Согласование изменений с общим процессом управления
проектами
– Планирование работ по результатам полученных оценок
– Планы развития сотрудников в переходный период

17. Пример: хоррор из жизни IT-
компаний
Что получили:
– демотивацию
– «итальянскую забастовку»
– увольнение 50% сотрудников

18. Критерии оценки эффективности
работы аналитика
Technical skills
• Качество артефактов (всех видов)
– число ошибок (+ число требований/объем документа)
– полнота требований
– глубина и детальность проработки (в соответствии с реальными
потребностями команды)
– соответствие установленным критериям качества, шаблонам,
стандартам
• Знания (экспертиза) в предметной области
• Участие в работах, относящихся к разным уровням
компетенции аналитика
• Точность планирования работ

19. Критерии оценки эффективности
работы аналитика
Soft Skills
• Активность (источник знаний для команды,
взаимодействие с каждой проектной ролью)
• Самостоятельная генерация идей
• Участие в постановке и улучшении процессов
• Самомотивация и самообучение, обучение других

20. Как оценивать эффективность
работы аналитика
Technical skills
• Регулярные инспекции, проверки артефактов на
соответствие установленным шаблонам (QA)
• Review артефактов и требований (коллеги, руководитель)
• Оценка вклада аналитика в проект «технарями»
Soft skills
• Оценка методом «360 градусов»

21. Какую информацию собирает
аналитик:
Project scope:
• пользователи системы, их роли и
число
• функции системы
• системы, с которыми
предполагается интеграция
• ограничения
• регламенты и стандарты,
влияющие на разработку
Project quality:
• требования к качеству продукта
(производительность,
масштабируемость, надежность,
доступность, безопасность,
отказоустойчивость; требования к
платформе; usability, etc.)
• приоритеты требований

22. Какие артефакты создаются в
процессе работы аналитика:
• профиль ЗЛ
• потребности ЗЛ
• требования (User Stories, Use Cases, перечень функций
системы, НФТ)
• глоссарий
• концептуальная модель
• описание реализации и архитектуры (в том числе и
прототип UI)
• план тестирования

23. С кем взаимодействует аналитик
• заказчик (внешний? внутренний?)
• проектная команда
– менеджер проекта
– разработчкики
– тестировщики

24. Кто оценивает работу аналитика
• Наличие артефактов: руководитель/служба
качества
• Качество артефактов: заказчик, проектная
команда (по ролям, с учетом использования
конкретного вида артефактов)
• Глубина проработки: руководитель, проектная
команда
• Соблюдение сроков: руководитель

25. Примеры оценки

26. Примеры оценки

27. Общие принципы гуманизма
• Не используйте оценку эффективности для:
– «Наказания невиновных и награждения
непричастных»
– Увольнения неугодных сотрудников
• Используйте оценку эффективности для:
– Определения KPI
– Определения коэффициентов трудового участия
– Аттестации сотрудников
– Составления планов индивидуального развития
сотрудников

28. Заключение
• Для оценки эффективности сотрудника
используйте метрики
• Проводите оценки эффективности регулярно
• Адаптируйте метрики для учета специфики
проектов
• Адаптируйте метрики с учетом уровня ваших
сотрудников
• Применяйте метрики для того, чтобы
измерить приближение к конечной цели

29. Спасибо

30. Наталья Желнова
nzhelnova@teamcit.ru
• http://nz.moikrug.ru/
• https://www.linkedin.com/profile/view?id=46
9663
• https://www.facebook.com/nzhelnova
• http://slideshare.net/nzhelnova