Successfully reported this slideshow.
Your SlideShare is downloading. ×

QA Fest 2019. Галина Доксвель. Ефективна оцінка якості

Ad

ГАЛИНА ДОКСВЕЛЬ
ЕПАМ Україна
ЕФЕКТИВНА ОЦІНКА ЯКОСТІ

Ad

ПРО СЕБЕ

Ad

ЗМІСТ ТА РЕЗУЛЬТАТ
ЗМІСТ
• Корисні властивості метрик
• M3.0 Scoreboard Index case study
РЕЗУЛЬТАТ
Відправна точка для поб...

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Ad

Check these out next

1 of 40 Ad
1 of 40 Ad

QA Fest 2019. Галина Доксвель. Ефективна оцінка якості

Ця доповідь про комплексну оцінку якості.
Про провідні менеджмент-практики (Evidence Based Management, Management 3.0) та їх місце в тестуванні. Про хороший тон управління процесами та ключові характеристики якісних метрик - про їх атрибути, візуалізацію і збалансованість. Також, покажу проектну Екосистему QA Метрик, яку ми розробили на основі М3.0 Scoreboard Index підходу.

Ця доповідь про комплексну оцінку якості.
Про провідні менеджмент-практики (Evidence Based Management, Management 3.0) та їх місце в тестуванні. Про хороший тон управління процесами та ключові характеристики якісних метрик - про їх атрибути, візуалізацію і збалансованість. Також, покажу проектну Екосистему QA Метрик, яку ми розробили на основі М3.0 Scoreboard Index підходу.

More Related Content

More from QAFest

QA Fest 2019. Галина Доксвель. Ефективна оцінка якості

  1. 1. ГАЛИНА ДОКСВЕЛЬ ЕПАМ Україна ЕФЕКТИВНА ОЦІНКА ЯКОСТІ
  2. 2. ПРО СЕБЕ
  3. 3. ЗМІСТ ТА РЕЗУЛЬТАТ ЗМІСТ • Корисні властивості метрик • M3.0 Scoreboard Index case study РЕЗУЛЬТАТ Відправна точка для побудови власної екосистеми метрик або впровадження нових менеджмент практик до існуючого фреймворку
  4. 4. Without measuring value, the success of any agile initiative is based on nothing more than intuition and assumption. EVIDENCE-BASED MANAGEMENT GUIDE
  5. 5. КОРИСНІ ВЛАСТИВОСТІ МЕТРИК
  6. 6. Щоб отримати відповідь треба зробити запит • PAIN POINT • МЕТА
  7. 7. Якщо є біль, значить є той, кому болить АУДИТОРІЯ
  8. 8. Щоб зібрати метрику потрібні дані GIGO
  9. 9. Щоб робити щось періодично треба робити це час від часу ПЕРІОДИЧНІСТЬ (CADENCE): • Збору • Представлення
  10. 10. Щоб кудись влучити треба цілитись ЦІЛЬОВІ ЗНАЧЕННЯ
  11. 11. Щось не може належати нікому ВЛАСНИК
  12. 12. Те, що врівноважене знаходиться в рівновазі БАЛАНС • Домени вимірювання • Зусилля/профіт
  13. 13. EVIDENCE BASED MANAGEMENT 4 Key Value Areas
  14. 14. EVIDENCE BASED MANAGEMENT
  15. 15. Складно те, що не просто КОМПЛЕКСНІСТЬ
  16. 16. КОМПЛЕКСНІСТЬ • Жодного блокеру на продакшені • Час тестування збільшився на 50% • Time-2-Market зменшився на 20% • Рівень перевідкритих дефектів зріс на 30% • Рівень відхилених дефектів зменшвся на 15% • Customer Satisfaction зменшилось на 10% • Прибуток зріс на 5%
  17. 17. Щоб метрику було видно її треба показати ВІЗУАЛІЗАЦІЯ
  18. 18. Якщо ви хочете щось сказати - скажіть КОМЕНТАРІ
  19. 19. Ви не знайдете інформацію, якщо не знаєте де вона знаходиться СХОВИЩЕ
  20. 20. Щоб метрики були задокуметовані потрібен документ КАТАЛОГ МЕТРИК
  21. 21. КАТАЛОГ МЕТРИК
  22. 22. КОРИСНІ ВЛАСТИВОСТІ • Pain point та ціль • Аудиторія • Якісні дані • Періодичність збору даних • Періодичність презентації • Власник • Збалансованість • Комплексність • Візуалізація • Цільові значення • Сховище • Коментарі • Задокументованість
  23. 23. Scoreboard index case study
  24. 24. • Жодного блокеру на продакшені • Час тестування збільшився на 50% • Time-2-Market зменшився на 20% • Рівень перевідкритих дефектів зріс на 30% • Рівень відхилених дефектів зменшвся на 15% • Customer Satisfaction зменшилось на 10% • Прибуток зріс на 5% ТО Й ЩО?
  25. 25. Scoreboard Index SI – це агрегована величина – показник, який акумулює безкінечну множину складових
  26. 26. Scoreboard Index – покрокова інструкція • Встановлення нижньої та верхньої межі допустимих значень • Визначення пріоритету кожної метрики • Нормалізація значень і приведення до єдиного тренду • Агрегація значень в один показник • Візуалізація
  27. 27. Scoreboard Index – покрокова інструкція У кожної з метрик має бути нижня і верхня межа допустимих значень
  28. 28. ОДНАКОВІ, АЛЕ РІЗНІ • Жодного блокеру на продакшені • Час тестування збільшився на 50% • Time-2-Market зменшився на 20% • Рівень перевідкритих дефектів зріс на 30% • Рівень відхилених дефектів зменшвся на 15% • Customer Satisfaction зменшилось на 10% • Прибуток зріс на 5%
  29. 29. Scoreboard Index – покрокова інструкція Пріоритизація метрик
  30. 30. ОДИНИЦІ ВИМІРВАННЯ • Жодного блокеру на продакшені • Час тестування збільшився на 50% • Time-2-Market зменшився на 20% • Рівень перевідкритих дефектів зріс на 30% • Рівень відхилених дефектів зменшвся на 15% • Customer Satisfaction зменшилось на 10% • Прибуток зріс на 5%
  31. 31. Scoreboard Index – покрокова інструкція Нормалізація даних і приведення до єдиного тренду
  32. 32. Scoreboard Index – покрокова інструкція Агрегація значень в один показник у %
  33. 33. Scoreboard Index – покрокова інструкція Масштабування і візуалізація
  34. 34. Scoreboard Index – покрокова інструкція Масштабування і візуалізація *Decreasing trend is a target Service N
  35. 35. • Одна all-inclusive величина • Допомагає побачити проблемну зону з helicopter view • Інноваційна менеджмент практика, яка знаходить своє місце в тест-менеджменті Scoreboard Index - Перемога
  36. 36. • Ручна робота • Резистентність до нових менеджмент практик в тестуванні Scoreboard Index - Труднощі
  37. 37. ВИСНОВКИ
  38. 38. МЕТРИКА ПОВИННА ПОЛЕГШУВАТИ ЧИЙСЬ БІЛЬ
  39. 39. ЗАПИТАННЯДЯКУЮ

Editor's Notes

  • Хочу дати набір практик які дозволять відчути владу – взяти оцінки під контроль
    Щоб це не лякало, не приносило якогось невдоволення чи розчарування
  • Шматок відео з Авенжерів де герой питає скільки чсу вам потрібно – а інший відповідає – весь що є і трохи більше
  • Зусилля/профіт – покладаємось на common sense
    Є рекомендація по industry standard наприклад щодо выдсотку який займають зутрічі, або по часу на рефайнменти
    Немає такої рекоемндації щодо того, кільки часу має йти на збір метрик) але думаю цілком можна орієнтуватись на попередні дві активності
  • Щоб оцінити комплексний продукт потрібен комплексний погляд – і контекст
  • Люди завжди знайдуть якийсь меседж в метриці, точно не завжди той, який ви в неї закладали
  • Магічне прибирання Марі Кондо
    Хочете щоб вашими метриками користувались – зробіть це зручним. Нехай доступ до них буде простим/легким
  • З одного боку – можн прийти до висновку що просто мати історичні дані – вже вирішує всі проблеми
    Але це не зовсім так
    Історичні дані які будуть допомогати вам з вашими прогнозами потрібно правильно використовувати
    І я хочу поділитись набором тих інструментів якими користуємось ми щоб удосконалювати нашу практику оцінювання
  • Тобто SI це як пазл кожна частинка якого окрема метрика
    Це мета-показник будь-чого, що є надто компексним, щоб бути виміряним одни виміром
  • Не забут відкоментувати про те який тренд для нас спрятливия - очікуванний
  • Не забут відкоментувати про те який тренд для нас спрятливия - очікуванний
  • немає адонів які допомагають його збирати і візуалізувати – це робота в ексель
    треба пояснити і продати підхід, навчити організацію ним користуватись
  • Памятайте про корисні властивості метрик та нарощуйте їх поступово
    Регулярно рефайніть своі метрики
    Влаштовуйте прибирання свого каталогу – рев’ю та ретроспективу - Аналізуйте чи допомагають вам ваші метрики приймати рішення – коли створюєте метрику запитуйте себе – які рішення ця метрика допоможе прийняти – або від зворотнього – коли важко або незрозуміло на що спиратись при прийнятті рішень подумайте які дані могли б вам допомогти

×