• Like
Наталья Руколь (Лаборатория Качества)
Upcoming SlideShare
Loading in...5
×

Наталья Руколь (Лаборатория Качества)

  • 253 views
Uploaded on

 

More in: Internet
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
No Downloads

Views

Total Views
253
On Slideshare
0
From Embeds
0
Number of Embeds
4

Actions

Shares
Downloads
6
Comments
0
Likes
1

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide

Transcript

  • 1. [RE:]ОРГАНИЗАЦИЯ ПРОЦЕССА ТЕСТИРОВАНИЯ Наталья Руколь Москва, 2014 ritconf.ru
  • 2. О докладчике • Тестер 10-го уровня • ТМ 9-го уровня • РМ 5-го уровня • Тренер и консультант 5-го уровня • Клёвая! http://natalyarukol.ru http://quality-lab.ru http://software-testing.ru natalya@quality-lab.ru
  • 3. О докладе • Занудный • Структуризатор • Ничего невозможного! Бонус: доп. материалы по теме!
  • 4. Организовали и забыли? • Эволюционный процесс • Итеративный процесс
  • 5. Когда надо проводить? • Новый человек на проекте • «Мы пропустили багу! А!Что делать?» • От скуки, лишнее время на проекте • Постоянно
  • 6. Кто проводит? • Тест-менеджер • РМ, технический директор • Команда • Самый инициативный
  • 7. Значит, это –ТЫ! Пришёл сюда?
  • 8. НО КАК?
  • 9. Давайте внедрим автотесты! Нужно проверять быстрее! Больше багов! Сначала расширить команду!
  • 10. НЕЛЬЗЯ ПРОСТО ВЗЯТЬ И УЛУЧШИТЬТЕСТИРОВАНИЕ
  • 11. Сначала – думать!
  • 12. АНАЛИЗ
  • 13. Анализ «Что улучшать» • По привычным решениям • Анкетирование и опросы • Сбор метрик
  • 14. Привычные решения • Давайте автоматизировать! • Давайте писать юнит-тесты! • Давайте установим TMS! • … Анализ «Что улучшать»
  • 15. Решения: сначала посчитай! • Точно нужно? • Точно выгодно? • Точно поможет? • Как потом оценим? Анализ «Что улучшать» Сэкономили Потратили 100% Возврат инвестиций
  • 16. Анкетирование и опросы
  • 17. Анкеты • Ускоряют опрос • Дают время подумать • Анонимно = больше интересного • Можно добавить оценок и посчитать • Приоритеты направлениям и проблемам0 2 4 6 Анализ анкет Dev Test PM Анализ «Что улучшать»
  • 18. Опросы • Тестирование – сервис! • Разработчики, аналитики, РМ-ы – заказчики! • Что они хотят? Анализ «Что улучшать»
  • 19. Опросы.Что важно? • Слушать! • Открытость, нет проекциям • Готовность • Конкретизация Анализ «Что улучшать»
  • 20. — Скажите, пожалуйста, куда мне отсюда идти? — А куда ты хочешь попасть? — ответил Кот. — Мне все равно… — сказала Алиса. —Тогда все равно, куда и идти, — заметил Кот. — … только бы попасть куда-нибудь, — пояснила Алиса. — Куда-нибудь ты обязательно попадешь, — сказал Кот. — Нужно только достаточно долго идти.
  • 21. Метрики • Посчитали? ОК! • Насколько мы это хотим улучшить? • На сколько мы это хотим улучшить? • На сколько мы это можем улучшить? Анализ «Что улучшать»
  • 22. Метрики.Что считать? Анализ «Что улучшать»
  • 23. Метрики.Что считать? • Количество багов на CLOK • Количество тестировщиков на разработчика • Количество тестировщиков на 1 кв. м. офиса Анализ «Что улучшать»
  • 24. Метрики. Стандарты? Тест не пройден из-за несоответствия внутренним стандартам шумоизоляции. Отправлено на доработку. Тест пройден, качество шумоизоляции соответствует стандарту ГОСТ Р 52231-2004 Анализ «Что улучшать»
  • 25. Метрики.Что нужно НАМ? • Текущие приоритеты проекта • Выявленные проблемы тестирования • Пожелания участников Анализ «Что улучшать»
  • 26. Метрики результата • Обращения пользователей • Покупки продукта • Конверсия на сайте • Hotfix’ы • Затраты техподдержки • Сроки выпуска, затраты Анализ «Что улучшать»
  • 27. Парня в горы тяни - рискни! Не бросай одного его, Пусть он в связке в одной с тобой – Там поймешь, кто такой.
  • 28. Ок, узнали! Софт – отстой! Ура, метрики собраны!
  • 29. Ок, узнали! Софт – отстой! Ура, метрики собраны! НО ПОЗДНО Поезд ушёл.
  • 30. Метрики процесса • Тестовое покрытие • Скорость тестирования • Предоставляемая информация •Отчёты •Ошибки •Статистика •И т.д. Анализ «Что улучшать»
  • 31. Тестовое покрытие • Требований • Фич • Кода • Окружений • Пользовательских сценариев Мы проверили вооот столько! Анализ «Что улучшать»
  • 32. Скорость тестирования • Одной сборки • Полного цикла (FTP) • Time to BTS •Заведение критикалов •Оценка валидности сборки • Точность планирования Анализ «Что улучшать»
  • 33. Артефакты на выходе • Ошибки •Понятность •Локализация • Тесты • Отчёты • Статистика Анализ «Что улучшать»
  • 34. ИТОГО • Пообщались • Выявили проблемы • Нашли способы померить • Можно идти отдыхать? Анализ «Что улучшать»
  • 35. Это только начало! • Фиксируем цели • На видном месте • Обсуждаем совместно ЗА РАБОТУ!
  • 36. ОК, с тестированием у нас полная … Что дальше?
  • 37. Например, • Пропуск 8% ошибок • 40% КрО после 2 недель • 3 недели FTP при 2- недельных релизах • Ошибки «непонятные», оценка 2,2
  • 38. Пропуск ошибок Что делать?
  • 39. Пропуск ошибок Анализ причин пропуска •Требования •Тесты •Не хватило времени •Человеческий фактор
  • 40. Решения под причины 42% Не хватило времени на финальное тестирование • Внедрение автоматизация • Приоритизированные приёмочные тесты 35% потому что не поняли требования • Согласование требований • Совместное обсуждение • Feature-teams 18% потому что не догадались это проверить • Согласование тестов • Обсуждение «как тестировать» • Повышение квалификации тестировщиков 5% человеческий фактор • Уволить • Наказать
  • 41. Долго тестируем Что делать?
  • 42. Долго тестируем Детализируем «долго»: • Полный цикл 3 недели • Критичные ошибки заносятся поздно • Много времени на документирование • Много избыточных тестов
  • 43. Решения под причины Полный цикл – 3 недели • Внедрение автоматизации • Расширение ресурсов • Согласование «что выкинуть» из тестов Критичные баги заводятся поздно • Новый анализ «почему?» – рекурсия • Приоритеты • Обсуждение рисков перед тестированием • Совместные демо и пре-демо Избыточность тестов • Что можем выкинуть? Анализ рисков! • Аутсорс мелочей, если выкинуть нельзя
  • 44. Непонятные ошибки Что делать? ЧО?
  • 45. Непонятные ошибки • Ввод оценок для измерений • Уточнение «чего не хватает?» • Внутреннее обучение • Регламент, шаблоны
  • 46. Строим процесс • Что не так? • Измеряем • Ставим цели • Анализируем причины • Решаем «как решать?»
  • 47. Важно при [ре]организации • Цели всем видны и понятны • У задач есть ответственные • Результаты, метрики – наглядно собираются • Промежуточные оценки и фидбеки
  • 48. ИТОГО-2: • Сделал анализ и решил, что делать? • Планы, задачи, цели – всё есть? • Промежуточные результаты достигнуты? • Всё хорошо?
  • 49. Непрерывность изменений Идеал недостижим! Это ужасно, и грустно, и никогда ничего не будет хорошо!!!
  • 50. Непрерывность изменений Идеал недостижим! Это значит, что перед нами всегда будут стоять новые, интересные, развивающие задачи!
  • 51. Вопросы? http://natalyarukol.ru/ritconf/ mailto: natalya@quality-lab.ru Skype: natalya.rukol