Quality Control и Quality
Assurance:
как измерить и улучшать?
QA Club, www.qaclub.com.ua
Сергей Поволяшко
11/11/2010
15 лет стажа в IT. Работал по нескольким IT
специальностям (разработчик, системный
администратор, тестировщик). С 2001
года управляю проектами и IT
подразделениями.
Место работы – Team ODC (TODC), LLC.
www.teaminternational.com.
• Менеджер отдела разработки, менеджер
проектов, менеджер IT инфраструктуры
• Принимал лидирующее участие во
внедрении CMMI Level 3
Провожу IT тренинги
Образование, сертификации:
• ХГТУРЭ, 1996.
• Project Management
Professional (PMP), PMI. 2007
• ITIL Foundation V3. 2009
Давайте познакомимся
Сергей Поволяшко
Тезисы
О чем мы поговорим:
В достаточно зрелых компаниях, командах есть устоявшиеся
процессы работы – методологии, сбора требований,
кодирования, тестирования, «политики партии» и т.п. Если есть
проблемы, то в основном виновником проблем является
именно процесс, а не человек. Что такое процесс? По каким
параметрам можно оценить качество процесса, и как его
улучшать? А есть ли он вообще? Железный треугольник
качественного процесса. Да, и в чем собственно разница между
тестированием (Quality Control) и Quality Assurance? И как нам
стать лучше, для себя и для заказчика? Вот об этом всем и
поговорим.
Важное дополнение – призы!
Содержание
• Что такое процесс
• Проблемный процесс (тут приз)
• Качество процесса: аспекты, железный
треугольник (тут приз), инструментарий
• Концепция улучшений (Improvements)
• Практика, улучшим проблемный
процесс
Что такое процесс
Входные артефакты
Что такое процесс
Входные артефакты
Ресурсы
Что такое процесс
Входные артефакты
Ресурсы
Действия
Что такое процесс
Входные артефакты
Ресурсы
Действия
Полезные результаты
Что такое процесс
Входные артефакты
Ресурсы
Действия
Полезные результаты
Потребители
полезных результатов
Что такое процесс
Входные артефакты
Ресурсы
Действия
Триггер
Полезные результаты
Потребители
полезных результатов
Что такое процесс
Модель ответственности RACI:
• Responsible
• Accountable
• Consulted
• Informed
Действия
Dev TL Test TL Tester Dev PM
Deploy build RA I I RI I
Assign tasks RA I I
Test AC R I
Report defects I CI RA I I
Deliver product CI CI R A
Что такое процесс
Requirements
R: Review
Architecture
A: Review
Coding
C: Review
Functional
Testing
UAT
Проблемный процесс
Requirements
R: Review
Architecture
A: Review
Coding
C: Review
Functional
Testing
UAT
Приз за неординарный ответ!
Как уменьшить количество багов?
Качество процесса
Аспекты
• Эффективность (Performance) – результаты процесса в
смысле измеримых характеристик – качество,
количество, бюджет, время
• Стабильность (Stability) – насколько процесс
предсказуем
• Соответствие (Compliance) – насколько хорошо
следуют процессу
• Способность (Capability) – способность процесса
выдать нужный, соответствующий требованиям,
результат
• Улучшения (Improvements) – что нужно сделать для
улучшения вышеуказанных характеристик, как сделать
процессы и собственно улучшения экономически
эффективными, действительно ли улучшения помогли
Качество процесса
Аспекты качества процесса
Улучшения
(Improvements)
Эффективность
(Performance)
Стабильность
(Stability)
Соответствие
(Compliance)
Способность
(Capability)
Качество процесса
Железный треугольник
условий качественного
процесса
Проект
Качественный
процесс
Процесс есть
Качество процесса
Железный треугольник
условий качественного
процесса
Проект
Качественный
процесс
Процесс есть
Люди обучены
Качество процесса
Железный треугольник
условий качественного
процесса
Проект
Качественный
процесс
Процесс есть
Люди обучены
Приз за правильный ответ!
Третья вершина?
Качество процесса
Железный треугольник
условий качественного
процесса
Проект
Качественный
процесс
Процесс есть
Люди обучены
Обеспечение
Качества - QAПриз за правильный ответ!
Третья вершина?
Качество процесса
Фокус QA – качество процессов,
посредством работы с аспектами
Фокус Тестирования (Quality Control) – ?
Качество процесса
Инструментарий. Эффективность (Performance)
Процесс:
•Действия
•Потребление ресурсов
•Трудозатраты
•# ч/ч разрботки
•# ч/ч переделок
•# ч/ч совещания
•Деньги
•Материалы
Входы:
•Артефакты
•Ресурсы
•Нормативные
положения
Выходы:
•Конечные продукты
•Количество
•# требований
•# модулей
•# тестов
•Качество
• Плотность
дефектов
•# открытых
•# закрытых
•Происхождение
•Соответствие
требованиям
Измерения
характеристик
продукта и ресурсов
Качество процесса
Инструментарий. Стабильность (Stability)
Процесс:
•Действия
•Потребление ресурсов
•Трудозатраты
•# ч/ч разрботки
•# ч/ч переделок
•# ч/ч совещания
•Деньги
•Материалы
Входы:
•Артефакты
•Ресурсы
•Нормативные
положения
Выходы:
•Конечные продукты
•Количество
•# требований
•# модулей
•# тестов
•Качество
• Плотность
дефектов
•# открытых
•# закрытых
•Происхождение
•Соответствие
требованиям
Отличия, тренды
Качество процесса
Инструментарий. Соответствие (Compliance)
Процесс:
•Действия
•Потребление ресурсов
•Трудозатраты
•# ч/ч разрботки
•# ч/ч переделок
•# ч/ч совещания
•Деньги
•Материалы
Входы:
•Артефакты
•Ресурсы
•Нормативные
положения
Выходы:
•Конечные продукты
•Количество
•# требований
•# модулей
•# тестов
•Качество
• Плотность
дефектов
•# открытых
•# закрытых
•Происхождение
•Соответствие
требованиям
Наличие артефактов,
использования ресурсов, норм,
проведения деятельности и т.п.
Качество процесса
Инструментарий. Способность (Capability)
Процесс:
•Действия
•Потребление ресурсов
•Трудозатраты
•# ч/ч разрботки
•# ч/ч переделок
•# ч/ч совещания
•Деньги
•Материалы
Входы:
•Артефакты
•Ресурсы
•Нормативные
положения
Выходы:
•Конечные продукты
•Количество
•# требований
•# модулей
•# тестов
•Качество
• Плотность
дефектов
•# открытых
•# закрытых
•Происхождение
•Соответствие
требованиям
Способность выполнить
действия, соответствие
результата ожиданиям
Качество процесса
Инструментарий. Способы, источники
информации:
• Эффективность (Performance) – Системы
планирования и учета времени, учета
дефектов
• Стабильность (Stability) – сбор, анализ
исторических данных
• Соответствие (Compliance) – чеклист
соответствия процессу
• Способность (Capability) – опросы, анализ
других аспектов
Концепция улучшений
Концепция улучшений
Входящая информация:
•Цели бизнеса, проекта
•Проблемы
•Бизнес среда, политики
Какие причины и проблемы
мы можем решить
Измерить конечное состояние
проблемы, проанализировать
данные
Оценить эффект
от принятых мер
Определить, измерить
текущее состояние проблемы
Какие проблемы и причины
мы хотим решить
Выработать корректирующие,
улучшающие меры
Настроить сбор данных. Кто,
что, как и когда?
Выполнить корректирующие,
улучшающие меры
Практика, улучшим
проблемный процесс
Практика, улучшим
проблемный процесс
Шаг 1. Входящая информация: проблема
• Не проходит, точнее даже не доходит до UAT
Практика, улучшим
проблемный процесс
Шаг 2. Какие проблемы и причины мы
хотим/можем решить
• Передача в UAT с достаточным качеством
Практика, улучшим
проблемный процесс
Шаг 3. Определить, измерить текущее состояние
проблемы (например)
• Локализация - определить Defect Origin
• Что еще?
Requirements Architecture Coding
Requirements
Architecture
Coding
Deployment
Практика, улучшим
проблемный процесс
Шаг 3. Определить, измерить текущее состояние
проблемы (например)
• Локализация - определить Defect Origin
• Масштаб бедствия - определить Defect Density (DD)
0
10
20
30
40
50
60
High Medium Low Total
Current
Defects
DD = Defects / Size Unit
Size Unit:
•Actual hours
•Story points
•LOC
•etc.
Практика, улучшим
проблемный процесс
Шаг 3. Определить, измерить текущее состояние
проблемы (например)
• Локализация - определить Defect Origin
• Масштаб бедствия - определить Defect Density
• Узнать/определить “достаточность” качества – Acceptance
criteria
0
10
20
30
40
50
60
High Low
Current
Defects
Acceptance
Criteria
Практика, улучшим
проблемный процесс
Шаг 3. Определить, измерить текущее состояние
проблемы (например)
• Локализация - определить Defect Origin
• Масштаб бедствия - определить Defect Density
• Узнать/определить “достаточность” качества – Acceptance
criteria
• Определить Соответствие (Compliance) цепочке процессов
Практика, улучшим
проблемный процесс
Шаг 3. Определить, измерить текущее состояние
проблемы (например)
• Локализация - определить Defect Origin
• Масштаб бедствия - определить Defect Density
• Узнать/определить “достаточность” качества – Acceptance
criteria
• Определить Соответствие (Compliance) цепочке процессов
• Определить Способность (Capability) – есть ли процесс вообще,
кто по нему работает
Requirem
ents
Architecture
Coding
C
:R
eview
Architecture
Coding
Практика, улучшим
проблемный процесс
Шаг 4. Выработать корректирующие,
улучшающие меры
• Определить наиболее существенные проблемы
используя Шаг №3, а также можно правило 20/80
• Определить конкретные планы действий, можно
подойти как к проекту
• Убедиться что результаты планов действий
измеримы, см. Шаг №3
• Убедиться в реалистичности этих планов (команда,
руководство, заказчик)
Практика, улучшим
проблемный процесс
Шаг 5. Настроить сбор данных. Кто, что, как и когда?
• Источники данных
Практика, улучшим
проблемный процесс
Шаг 5. Настроить сбор данных. Кто, что, как и когда?
• Источники данных
• Правила обработки, ответственности
Практика, улучшим
проблемный процесс
Шаг 5. Настроить сбор данных. Кто, что, как и когда?
• Источники данных
• Правила обработки, ответственности
• Результирующие форматы
Практика, улучшим
проблемный процесс
Шаг 6. Выполнить корректирующие,
улучшающие меры
• Ну, ... тут все просто
Практика, улучшим
проблемный процесс
Шаг 7. Измерить конечное состояние проблемы,
проанализировать данные
0
10
20
30
40
50
60
High Med Low Total
Current
Defects
After
Improvements
Acceptance
Criteria
Практика, улучшим
проблемный процесс
Шаг 8. Оценить эффект от принятых мер
0
10
20
30
40
50
60
High Med Low Total
Current
Defects
After
Improvements
Acceptance
Criteria
Практика, улучшим
проблемный процесс
Шаг 8. Оценить эффект от принятых мер
0
10
20
30
40
50
60
High Med Low Total
Current
Defects
After
Improvements
Acceptance
Criteria
И... Начать сначала
Спасибо за внимание!
Вопросы
Полезные ссылки:
• http://en.wikipedia.org/wiki/Business_process_improvement
• http://en.wikipedia.org/wiki/Quality_assurance
• www.sei.cmu.edu/cmmi/
• www.asq.org
• Measuring the software process. William A. Florac, Anita D. Carleton
• ISO 15939 Systems and software engineering -- Measurement
process
Контакт: promengine@yahoo.com
Тренинги
• Risk Management (Управление Рисками). Оказывается ими
можно управлять.
• Scheduling (Планирование, Разработка расписания работ).
Не так просто как кажется, структурируем очевидные вещи.
• Software Measurements (Измерения в разработке ПО). Как,
что и зачем измерять.
• Полет по приборам: метрики проектных команд –
управляемое движение.
Подробнее:
• О тренингах http://trn.work.ua/companies/1437
• О себе http://www.linkedin.com/in/sergiypovolyashko
• Презентации http://www.slideshare.net/sergiyp1974
Тренер XP Injection (www.xpinjection.com)

Process Quality, QA and QC. QA Club. Kharkov. Ukraine

  • 1.
    Quality Control иQuality Assurance: как измерить и улучшать? QA Club, www.qaclub.com.ua Сергей Поволяшко 11/11/2010
  • 2.
    15 лет стажав IT. Работал по нескольким IT специальностям (разработчик, системный администратор, тестировщик). С 2001 года управляю проектами и IT подразделениями. Место работы – Team ODC (TODC), LLC. www.teaminternational.com. • Менеджер отдела разработки, менеджер проектов, менеджер IT инфраструктуры • Принимал лидирующее участие во внедрении CMMI Level 3 Провожу IT тренинги Образование, сертификации: • ХГТУРЭ, 1996. • Project Management Professional (PMP), PMI. 2007 • ITIL Foundation V3. 2009 Давайте познакомимся Сергей Поволяшко
  • 3.
    Тезисы О чем мыпоговорим: В достаточно зрелых компаниях, командах есть устоявшиеся процессы работы – методологии, сбора требований, кодирования, тестирования, «политики партии» и т.п. Если есть проблемы, то в основном виновником проблем является именно процесс, а не человек. Что такое процесс? По каким параметрам можно оценить качество процесса, и как его улучшать? А есть ли он вообще? Железный треугольник качественного процесса. Да, и в чем собственно разница между тестированием (Quality Control) и Quality Assurance? И как нам стать лучше, для себя и для заказчика? Вот об этом всем и поговорим. Важное дополнение – призы!
  • 4.
    Содержание • Что такоепроцесс • Проблемный процесс (тут приз) • Качество процесса: аспекты, железный треугольник (тут приз), инструментарий • Концепция улучшений (Improvements) • Практика, улучшим проблемный процесс
  • 5.
  • 6.
    Что такое процесс Входныеартефакты Ресурсы
  • 7.
    Что такое процесс Входныеартефакты Ресурсы Действия
  • 8.
    Что такое процесс Входныеартефакты Ресурсы Действия Полезные результаты
  • 9.
    Что такое процесс Входныеартефакты Ресурсы Действия Полезные результаты Потребители полезных результатов
  • 10.
    Что такое процесс Входныеартефакты Ресурсы Действия Триггер Полезные результаты Потребители полезных результатов
  • 11.
    Что такое процесс Модельответственности RACI: • Responsible • Accountable • Consulted • Informed Действия Dev TL Test TL Tester Dev PM Deploy build RA I I RI I Assign tasks RA I I Test AC R I Report defects I CI RA I I Deliver product CI CI R A
  • 12.
    Что такое процесс Requirements R:Review Architecture A: Review Coding C: Review Functional Testing UAT
  • 13.
    Проблемный процесс Requirements R: Review Architecture A:Review Coding C: Review Functional Testing UAT Приз за неординарный ответ! Как уменьшить количество багов?
  • 14.
    Качество процесса Аспекты • Эффективность(Performance) – результаты процесса в смысле измеримых характеристик – качество, количество, бюджет, время • Стабильность (Stability) – насколько процесс предсказуем • Соответствие (Compliance) – насколько хорошо следуют процессу • Способность (Capability) – способность процесса выдать нужный, соответствующий требованиям, результат • Улучшения (Improvements) – что нужно сделать для улучшения вышеуказанных характеристик, как сделать процессы и собственно улучшения экономически эффективными, действительно ли улучшения помогли
  • 15.
    Качество процесса Аспекты качествапроцесса Улучшения (Improvements) Эффективность (Performance) Стабильность (Stability) Соответствие (Compliance) Способность (Capability)
  • 16.
    Качество процесса Железный треугольник условийкачественного процесса Проект Качественный процесс Процесс есть
  • 17.
    Качество процесса Железный треугольник условийкачественного процесса Проект Качественный процесс Процесс есть Люди обучены
  • 18.
    Качество процесса Железный треугольник условийкачественного процесса Проект Качественный процесс Процесс есть Люди обучены Приз за правильный ответ! Третья вершина?
  • 19.
    Качество процесса Железный треугольник условийкачественного процесса Проект Качественный процесс Процесс есть Люди обучены Обеспечение Качества - QAПриз за правильный ответ! Третья вершина?
  • 20.
    Качество процесса Фокус QA– качество процессов, посредством работы с аспектами Фокус Тестирования (Quality Control) – ?
  • 21.
    Качество процесса Инструментарий. Эффективность(Performance) Процесс: •Действия •Потребление ресурсов •Трудозатраты •# ч/ч разрботки •# ч/ч переделок •# ч/ч совещания •Деньги •Материалы Входы: •Артефакты •Ресурсы •Нормативные положения Выходы: •Конечные продукты •Количество •# требований •# модулей •# тестов •Качество • Плотность дефектов •# открытых •# закрытых •Происхождение •Соответствие требованиям Измерения характеристик продукта и ресурсов
  • 22.
    Качество процесса Инструментарий. Стабильность(Stability) Процесс: •Действия •Потребление ресурсов •Трудозатраты •# ч/ч разрботки •# ч/ч переделок •# ч/ч совещания •Деньги •Материалы Входы: •Артефакты •Ресурсы •Нормативные положения Выходы: •Конечные продукты •Количество •# требований •# модулей •# тестов •Качество • Плотность дефектов •# открытых •# закрытых •Происхождение •Соответствие требованиям Отличия, тренды
  • 23.
    Качество процесса Инструментарий. Соответствие(Compliance) Процесс: •Действия •Потребление ресурсов •Трудозатраты •# ч/ч разрботки •# ч/ч переделок •# ч/ч совещания •Деньги •Материалы Входы: •Артефакты •Ресурсы •Нормативные положения Выходы: •Конечные продукты •Количество •# требований •# модулей •# тестов •Качество • Плотность дефектов •# открытых •# закрытых •Происхождение •Соответствие требованиям Наличие артефактов, использования ресурсов, норм, проведения деятельности и т.п.
  • 24.
    Качество процесса Инструментарий. Способность(Capability) Процесс: •Действия •Потребление ресурсов •Трудозатраты •# ч/ч разрботки •# ч/ч переделок •# ч/ч совещания •Деньги •Материалы Входы: •Артефакты •Ресурсы •Нормативные положения Выходы: •Конечные продукты •Количество •# требований •# модулей •# тестов •Качество • Плотность дефектов •# открытых •# закрытых •Происхождение •Соответствие требованиям Способность выполнить действия, соответствие результата ожиданиям
  • 25.
    Качество процесса Инструментарий. Способы,источники информации: • Эффективность (Performance) – Системы планирования и учета времени, учета дефектов • Стабильность (Stability) – сбор, анализ исторических данных • Соответствие (Compliance) – чеклист соответствия процессу • Способность (Capability) – опросы, анализ других аспектов
  • 26.
  • 27.
    Концепция улучшений Входящая информация: •Целибизнеса, проекта •Проблемы •Бизнес среда, политики Какие причины и проблемы мы можем решить Измерить конечное состояние проблемы, проанализировать данные Оценить эффект от принятых мер Определить, измерить текущее состояние проблемы Какие проблемы и причины мы хотим решить Выработать корректирующие, улучшающие меры Настроить сбор данных. Кто, что, как и когда? Выполнить корректирующие, улучшающие меры
  • 28.
  • 29.
    Практика, улучшим проблемный процесс Шаг1. Входящая информация: проблема • Не проходит, точнее даже не доходит до UAT
  • 30.
    Практика, улучшим проблемный процесс Шаг2. Какие проблемы и причины мы хотим/можем решить • Передача в UAT с достаточным качеством
  • 31.
    Практика, улучшим проблемный процесс Шаг3. Определить, измерить текущее состояние проблемы (например) • Локализация - определить Defect Origin • Что еще? Requirements Architecture Coding Requirements Architecture Coding Deployment
  • 32.
    Практика, улучшим проблемный процесс Шаг3. Определить, измерить текущее состояние проблемы (например) • Локализация - определить Defect Origin • Масштаб бедствия - определить Defect Density (DD) 0 10 20 30 40 50 60 High Medium Low Total Current Defects DD = Defects / Size Unit Size Unit: •Actual hours •Story points •LOC •etc.
  • 33.
    Практика, улучшим проблемный процесс Шаг3. Определить, измерить текущее состояние проблемы (например) • Локализация - определить Defect Origin • Масштаб бедствия - определить Defect Density • Узнать/определить “достаточность” качества – Acceptance criteria 0 10 20 30 40 50 60 High Low Current Defects Acceptance Criteria
  • 34.
    Практика, улучшим проблемный процесс Шаг3. Определить, измерить текущее состояние проблемы (например) • Локализация - определить Defect Origin • Масштаб бедствия - определить Defect Density • Узнать/определить “достаточность” качества – Acceptance criteria • Определить Соответствие (Compliance) цепочке процессов
  • 35.
    Практика, улучшим проблемный процесс Шаг3. Определить, измерить текущее состояние проблемы (например) • Локализация - определить Defect Origin • Масштаб бедствия - определить Defect Density • Узнать/определить “достаточность” качества – Acceptance criteria • Определить Соответствие (Compliance) цепочке процессов • Определить Способность (Capability) – есть ли процесс вообще, кто по нему работает Requirem ents Architecture Coding C :R eview Architecture Coding
  • 36.
    Практика, улучшим проблемный процесс Шаг4. Выработать корректирующие, улучшающие меры • Определить наиболее существенные проблемы используя Шаг №3, а также можно правило 20/80 • Определить конкретные планы действий, можно подойти как к проекту • Убедиться что результаты планов действий измеримы, см. Шаг №3 • Убедиться в реалистичности этих планов (команда, руководство, заказчик)
  • 37.
    Практика, улучшим проблемный процесс Шаг5. Настроить сбор данных. Кто, что, как и когда? • Источники данных
  • 38.
    Практика, улучшим проблемный процесс Шаг5. Настроить сбор данных. Кто, что, как и когда? • Источники данных • Правила обработки, ответственности
  • 39.
    Практика, улучшим проблемный процесс Шаг5. Настроить сбор данных. Кто, что, как и когда? • Источники данных • Правила обработки, ответственности • Результирующие форматы
  • 40.
    Практика, улучшим проблемный процесс Шаг6. Выполнить корректирующие, улучшающие меры • Ну, ... тут все просто
  • 41.
    Практика, улучшим проблемный процесс Шаг7. Измерить конечное состояние проблемы, проанализировать данные 0 10 20 30 40 50 60 High Med Low Total Current Defects After Improvements Acceptance Criteria
  • 42.
    Практика, улучшим проблемный процесс Шаг8. Оценить эффект от принятых мер 0 10 20 30 40 50 60 High Med Low Total Current Defects After Improvements Acceptance Criteria
  • 43.
    Практика, улучшим проблемный процесс Шаг8. Оценить эффект от принятых мер 0 10 20 30 40 50 60 High Med Low Total Current Defects After Improvements Acceptance Criteria И... Начать сначала
  • 44.
    Спасибо за внимание! Вопросы Полезныессылки: • http://en.wikipedia.org/wiki/Business_process_improvement • http://en.wikipedia.org/wiki/Quality_assurance • www.sei.cmu.edu/cmmi/ • www.asq.org • Measuring the software process. William A. Florac, Anita D. Carleton • ISO 15939 Systems and software engineering -- Measurement process
  • 45.
    Контакт: promengine@yahoo.com Тренинги • RiskManagement (Управление Рисками). Оказывается ими можно управлять. • Scheduling (Планирование, Разработка расписания работ). Не так просто как кажется, структурируем очевидные вещи. • Software Measurements (Измерения в разработке ПО). Как, что и зачем измерять. • Полет по приборам: метрики проектных команд – управляемое движение. Подробнее: • О тренингах http://trn.work.ua/companies/1437 • О себе http://www.linkedin.com/in/sergiypovolyashko • Презентации http://www.slideshare.net/sergiyp1974 Тренер XP Injection (www.xpinjection.com)

Editor's Notes

  • #3 <number>