Становление программы внутренних аудитов
            от требований сертификации
     до обеспечения удовлетворенности клиентов

           Елена Петрова. TEAM International
Об авторе
Елена Петрова
• Профессиональная деятельность:
TEAM International, Харьков:
 организация, внедрение процессного подхода;
 создание и поддержание Системы Управления Качеством;
 разработка и внедрение системы управления документацией;
 организация внутренних аудитов и обеспечение прохождения
   оценивания по CMMI level 3 в 2008 и в 2011 году.

• Профессиональная подготовка:
 Introduction to CMMI, CyberQ, июнь 2008
 Курс внутренних аудиторов систем управления качеством, ISO
  9001, SGS Ukraine, 2008
 Certified Quality Improvement Associate, ASQ, Dec 2010
 Построение Бизнес-процессов, апрель 2012
Содержание

• Сертификация (CMMI)
• Поиск истины
   RTFM
   Чего хотят клиенты
• 3 условия успешного и полезного аудита
• Как это организованно у нас
Мы помним как все
                 начиналось…
• Задача 1: получить CMMI уровня 3.
  o Консультант
  o QMS: процессы, метрики, аудиты.
  o Все артефакты получены, люди обучены > Успех
• Задача 2: поддержание QMS
  o Наш внутренний QMS «мешает» клиенту
  o В результате аудита ничего не меняется
  o Проблема с ресурсами
  o Аудит занимает слишком много времени


             Зачем нужен QMS и аудит
Изучаем матчасть
• Аудит
    Проверка соответствия реального процесса
     задекларированному.
    Один из методов Quality Assurance
• Процесс
    Связанная цепочка работ, приводящая к определенному
     результату.
• Quality Assurance
    Встраивание качества в процесс,
   возможность влиять на результат через
   изменения процесса
• Качество
    Удовлетворенный клиент
Удовлетворение и Аудит
• Удовлетворить клиента:
   Продуктом (результатом)
     Качество и Объем работ
   Сервисом (процессом)
      Расписание, бюджет, коммуникации
     Обязательно ли чем-то жертвовать?
• Роль аудита
   Выявление связи процесса и результата
   Выявление отклонений от плана (и соответственно, рисков
    для результата)
   Выявление возможностей оптимизации процесса:
     Лучший результат
     Меньшими ресурсами
Успешный и полезный аудит
                             Условие 1

Компетентный аудитор:
   Процессном подходе
     представитель службы обеспечения качества
        относительно процессного подхода и базовых
         требований Системы управления качеством
   Предметной области
     эксперт в предметной области
        Валидация процесса относительно целей
         проекта, оценка целесообразности тэйлоринга,
         наличие и достаточность артефактов
• Дополнительная ценность
   Обмен знаниями среди экспертов
   Выполнение требований CMMI
Успешный и полезный аудит
                      Условие 2

Результат аудита
• оправдывает потраченное на него время
     Показывает риски для достижения целей
      проекта
     Показывает возможности оптимизации
      процесса
• Предоставляется вовремя
   Инициация
   Планирование и анализ требований
   Имплементация
   Доставка (релиз)
Успешный и полезный аудит
                       Условие 3

Владелец процесса:
• Результат аудита попадает в руки Владельца
  процесса:
   перед началом фазы – тэйлоринг процесса
   В середине фазы - проверка прогресса
   В конце фазы – идентификация рисков для
    следующей фазы
• Владелец процесса применяет различные
  методы Quality Assurance:
   Аудит
   Мониторинг
   Ретроспективы и Lessons Learned
Приложение
Аудит представителем службы качества
Аудит Чеклист
                (для представителей службы качества)
•   Владелец процесса
•   Цель процесса и метрики для оценки ее состояния
•   Процесс учел потребности всех заинтересованных сторон (tailoring)
•   Условия начала и окончания процесса
•   Известно, откуда берется входная информация, какими характеристиками и
    свойствами она должны обладать
•   Есть шаг валидации входящей информации теми, кто будет ее
    использовать, есть способ работы и обнаруженными проблемами
•   Все шаги реализации процесса ведут к результату (нет шагов и рабочих
    продуктов, задача которых относительно результата процесса неясна)
•   Все шаги оптимально расположены относительно друг друга (по
    возможности, нет пересечений и простоев)
•   Требования к результатам каждого шага существуют
•   Ответственность за каждый промежуточный результат назначена
•   Есть шаг верификации результатов процесса относительно требований к ним
•   Ответственность за принятие результатов процесса назначена
•   созданы условия для сбора данных о прогрессе в достижении результата
Характеристики процесса

• Результативность (достигли результат или
  нет)
• Эффективность (за какое время достигнут
  результат)
• Продуктивность (какими ресурсами достигнут
  результат)

                                        back
Testers: Get Out of the
      Quality Assurance Business
“… individuals – programmers and testers alike –
  could certainly assure the quality of their own
  work, but testers couldn’t assure the quality of
  the work of others, and shouldn’t try.
…Quality assistance is the role of Tester
…the Quality Assurance role in the company lay in
  the management and CEO, who have authority
  to make decisions about quality…”

                                             back
Вопросы
Рекомендую
• Аудит и QA
   Аудит процессов тестирования при смене проектной
    команды (Маргарита Сафарова, SQA days, 2011, Казань)
   Аудит процесса тестирования или учимся задавать
    вопросы (Дмитрий Марков, Харьков)
   QA и тестирование. В чем разница? (Сергей
    Поволяшко, Харьков)
   Testers: Get Out of the Quality Assurance Business
• Прочее
   А ваши сотрудники продуктивные?
   Принципы из ритейла в управлении IT проектами
   Старт проекта. Цикла статей.

Становление программы внутренних аудитов: от требований сертификации до обеспечения удовлетворенности клиентов

  • 1.
    Становление программы внутреннихаудитов от требований сертификации до обеспечения удовлетворенности клиентов Елена Петрова. TEAM International
  • 2.
    Об авторе Елена Петрова •Профессиональная деятельность: TEAM International, Харьков:  организация, внедрение процессного подхода;  создание и поддержание Системы Управления Качеством;  разработка и внедрение системы управления документацией;  организация внутренних аудитов и обеспечение прохождения оценивания по CMMI level 3 в 2008 и в 2011 году. • Профессиональная подготовка:  Introduction to CMMI, CyberQ, июнь 2008  Курс внутренних аудиторов систем управления качеством, ISO 9001, SGS Ukraine, 2008  Certified Quality Improvement Associate, ASQ, Dec 2010  Построение Бизнес-процессов, апрель 2012
  • 3.
    Содержание • Сертификация (CMMI) •Поиск истины  RTFM  Чего хотят клиенты • 3 условия успешного и полезного аудита • Как это организованно у нас
  • 4.
    Мы помним каквсе начиналось… • Задача 1: получить CMMI уровня 3. o Консультант o QMS: процессы, метрики, аудиты. o Все артефакты получены, люди обучены > Успех • Задача 2: поддержание QMS o Наш внутренний QMS «мешает» клиенту o В результате аудита ничего не меняется o Проблема с ресурсами o Аудит занимает слишком много времени Зачем нужен QMS и аудит
  • 5.
    Изучаем матчасть • Аудит  Проверка соответствия реального процесса задекларированному.  Один из методов Quality Assurance • Процесс  Связанная цепочка работ, приводящая к определенному результату. • Quality Assurance  Встраивание качества в процесс, возможность влиять на результат через изменения процесса • Качество  Удовлетворенный клиент
  • 6.
    Удовлетворение и Аудит •Удовлетворить клиента:  Продуктом (результатом) Качество и Объем работ  Сервисом (процессом)  Расписание, бюджет, коммуникации Обязательно ли чем-то жертвовать? • Роль аудита  Выявление связи процесса и результата  Выявление отклонений от плана (и соответственно, рисков для результата)  Выявление возможностей оптимизации процесса: Лучший результат Меньшими ресурсами
  • 7.
    Успешный и полезныйаудит Условие 1 Компетентный аудитор:  Процессном подходе представитель службы обеспечения качества относительно процессного подхода и базовых требований Системы управления качеством  Предметной области эксперт в предметной области Валидация процесса относительно целей проекта, оценка целесообразности тэйлоринга, наличие и достаточность артефактов • Дополнительная ценность  Обмен знаниями среди экспертов  Выполнение требований CMMI
  • 8.
    Успешный и полезныйаудит Условие 2 Результат аудита • оправдывает потраченное на него время Показывает риски для достижения целей проекта Показывает возможности оптимизации процесса • Предоставляется вовремя  Инициация  Планирование и анализ требований  Имплементация  Доставка (релиз)
  • 9.
    Успешный и полезныйаудит Условие 3 Владелец процесса: • Результат аудита попадает в руки Владельца процесса:  перед началом фазы – тэйлоринг процесса  В середине фазы - проверка прогресса  В конце фазы – идентификация рисков для следующей фазы • Владелец процесса применяет различные методы Quality Assurance:  Аудит  Мониторинг  Ретроспективы и Lessons Learned
  • 10.
  • 11.
    Аудит Чеклист (для представителей службы качества) • Владелец процесса • Цель процесса и метрики для оценки ее состояния • Процесс учел потребности всех заинтересованных сторон (tailoring) • Условия начала и окончания процесса • Известно, откуда берется входная информация, какими характеристиками и свойствами она должны обладать • Есть шаг валидации входящей информации теми, кто будет ее использовать, есть способ работы и обнаруженными проблемами • Все шаги реализации процесса ведут к результату (нет шагов и рабочих продуктов, задача которых относительно результата процесса неясна) • Все шаги оптимально расположены относительно друг друга (по возможности, нет пересечений и простоев) • Требования к результатам каждого шага существуют • Ответственность за каждый промежуточный результат назначена • Есть шаг верификации результатов процесса относительно требований к ним • Ответственность за принятие результатов процесса назначена • созданы условия для сбора данных о прогрессе в достижении результата
  • 12.
    Характеристики процесса • Результативность(достигли результат или нет) • Эффективность (за какое время достигнут результат) • Продуктивность (какими ресурсами достигнут результат) back
  • 13.
    Testers: Get Outof the Quality Assurance Business “… individuals – programmers and testers alike – could certainly assure the quality of their own work, but testers couldn’t assure the quality of the work of others, and shouldn’t try. …Quality assistance is the role of Tester …the Quality Assurance role in the company lay in the management and CEO, who have authority to make decisions about quality…” back
  • 14.
  • 15.
    Рекомендую • Аудит иQA  Аудит процессов тестирования при смене проектной команды (Маргарита Сафарова, SQA days, 2011, Казань)  Аудит процесса тестирования или учимся задавать вопросы (Дмитрий Марков, Харьков)  QA и тестирование. В чем разница? (Сергей Поволяшко, Харьков)  Testers: Get Out of the Quality Assurance Business • Прочее  А ваши сотрудники продуктивные?  Принципы из ритейла в управлении IT проектами  Старт проекта. Цикла статей.

Editor's Notes

  • #5 Задача 1: получить CMMI уровня 3.Консультант QMS: процессы, метрики, аудиты.Все артефакты получены, люди обучены > УспехЗадача консультантов – обеспечить прохождение сертификации. Применение требований сертификации с пользой для бизнеса – задача менеджмента компании.Задача 2: поддержание QMSНаш внутренний QMS «мешает» клиенту: «наш клиент не заказывал ревью кода и риск менеджмент» => двойные стандарты: для «работы» и для «аудита»В результате аудита ничего не меняется: нет связки между рекомендациями аудита и пользой для проекта Проблема с ресурсами:«специальный человек», junior тестер, кто-то свободный. => не профессионалыАудит занимает слишком много времени
  • #6 Это некопи-паст теории, это наши выводы из теорииАудитПроверка соответствия реального процесса задекларированному.Один из методов Quality AssuranceПроцессСвязанная цепочка работ, приводящая к определенному результату.Quality Assurance Обеспечение качества (статья Testers: Get Out of the Quality Assurance Business:Testers = Quality assistance; Quality assurance = managers, who make decision on quality), предоставлениеусловий для качественного выполнения работыВстраивание качества в процесс, возможность влиять на результат через изменения процессаКачествоУ качества есть много определений, но с точки зрения бизнеса, с точки зрения проекта - Удовлетворенный клиентТ.о.Quality assurance – это обеспечение удовлетворенности клиента
  • #7 Цель процесса - Удовлетворить клиента, а не сделать продукт.Клиент может быть неудовлетворен:Продуктом (результатом: качество (quality) и количество (scope))Сервисом (процессом: продолжительность (time), трудозатраты (budget), коммуникации (надежность))Важность удовлетворенности процессом часто недооценивается: коммуникации (Надежность) не рассматривается как потребность клиента (цель)Для удовлетворения по времени и бюджету жертвуется качеством или количеством.Нужно ли чем-то жертвовать, если да, то насколько?Для минимизации жертв и повышения удовлетворенности клиента работает концепция Lean – убираем ненужное.Lean легла в основу Agile, но часто ошибка в том, что убирают, то, что кажется ненужным сегодня, но ведет к проблемам в долговременной перспективе (например, документация)Суть же в том, чтобы проанализировать процесс и оптимизировать его (статья «А ваши сотрудники продуктивные?»: если менеджеры не умеют пользоваться ничем, кроме электронной почты, skypeи excel- добро пожаловать в ряды бюрократов)Характеристики процесса (относительно которых проводится анализ):Результативность (достигнут ли рез-т)Эффективность (за какое количество времени достигнут рез-т)Продуктивность (количество потраченных ресурсов)На помощь приходит АУДИТ (Задача проверки соотвествия планурасширяется)
  • #8 Аудитор компетентен в:Процессном подходеПредметной областиГде же найти такого компетентного аудитора?Решение – распределение обязанностейПроверка относительно процессного подхода и базовых требований Системы управления качеством (управление документацией, выполнение инженерных практик, выполнение тэйлоринга процесса в соответствии с требованиями QMS)Выполняется представителем службы обеспечения качества.Валидация (оценка пригодности) процесса относительно целей проекта, оценка целесообразности (правильности) тэйлорингаВыполняется экспертом в предметной области Дополнительная ценностьОбмен знаниями среди экспертовОтвет на риск человекозависимости проекта/процесса Выполнение требований CMMI
  • #9 Результат аудита:Показывает риски для достижения целей проектаПоказывает возможности оптимизации процесса (improvement opportunities, позитивные риски)Характеристики процесса (относительно которых проводится анализ):Результативность (достигнут ли рез-т)Эффективность (за какое количество времени достигнут рез-т)Продуктивность (количество потраченных ресурсов)
  • #10 Результат аудита:Показывает риски для достижения целей проектаПоказывает возможности оптимизации процесса Попадает в руки Владельца процесса (который принимает решения или влияет на их принятие)Совместная работа аудитора и владельца процесса ради общей цели аудитором может быть разное лицо на разных этапах проекта владелец процесса должен быть заинтересован в аудите: непредвзятом взгляде другого – уважаемого – эксперта Методы QA:Аудит (проверка того, что процесс соблюдается)Мониторинг (проверка того, что процесс ведет к удовлетворенности клиента)Retrospectives and Lessons Learned (сравнение результатов аудита и мониторинга, анализ процесса, его изменение с целью достижения большей удовлетворенности клиента)