• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
Наталья Руколь (Лаборатория Качества)
 

Наталья Руколь (Лаборатория Качества)

on

  • 144 views

 

Statistics

Views

Total Views
144
Views on SlideShare
134
Embed Views
10

Actions

Likes
1
Downloads
3
Comments
0

1 Embed 10

http://ritconf.ru 10

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    Наталья Руколь (Лаборатория Качества) Наталья Руколь (Лаборатория Качества) Presentation Transcript

    • [RE:]ОРГАНИЗАЦИЯ ПРОЦЕССА ТЕСТИРОВАНИЯ Наталья Руколь Москва, 2014 ritconf.ru
    • О докладчике • Тестер 10-го уровня • ТМ 9-го уровня • РМ 5-го уровня • Тренер и консультант 5-го уровня • Клёвая! http://natalyarukol.ru http://quality-lab.ru http://software-testing.ru natalya@quality-lab.ru
    • О докладе • Занудный • Структуризатор • Ничего невозможного! Бонус: доп. материалы по теме!
    • Организовали и забыли? • Эволюционный процесс • Итеративный процесс
    • Когда надо проводить? • Новый человек на проекте • «Мы пропустили багу! А!Что делать?» • От скуки, лишнее время на проекте • Постоянно
    • Кто проводит? • Тест-менеджер • РМ, технический директор • Команда • Самый инициативный
    • Значит, это –ТЫ! Пришёл сюда?
    • НО КАК?
    • Давайте внедрим автотесты! Нужно проверять быстрее! Больше багов! Сначала расширить команду!
    • НЕЛЬЗЯ ПРОСТО ВЗЯТЬ И УЛУЧШИТЬТЕСТИРОВАНИЕ
    • Сначала – думать!
    • АНАЛИЗ
    • Анализ «Что улучшать» • По привычным решениям • Анкетирование и опросы • Сбор метрик
    • Привычные решения • Давайте автоматизировать! • Давайте писать юнит-тесты! • Давайте установим TMS! • … Анализ «Что улучшать»
    • Решения: сначала посчитай! • Точно нужно? • Точно выгодно? • Точно поможет? • Как потом оценим? Анализ «Что улучшать» Сэкономили Потратили 100% Возврат инвестиций
    • Анкетирование и опросы
    • Анкеты • Ускоряют опрос • Дают время подумать • Анонимно = больше интересного • Можно добавить оценок и посчитать • Приоритеты направлениям и проблемам0 2 4 6 Анализ анкет Dev Test PM Анализ «Что улучшать»
    • Опросы • Тестирование – сервис! • Разработчики, аналитики, РМ-ы – заказчики! • Что они хотят? Анализ «Что улучшать»
    • Опросы.Что важно? • Слушать! • Открытость, нет проекциям • Готовность • Конкретизация Анализ «Что улучшать»
    • — Скажите, пожалуйста, куда мне отсюда идти? — А куда ты хочешь попасть? — ответил Кот. — Мне все равно… — сказала Алиса. —Тогда все равно, куда и идти, — заметил Кот. — … только бы попасть куда-нибудь, — пояснила Алиса. — Куда-нибудь ты обязательно попадешь, — сказал Кот. — Нужно только достаточно долго идти.
    • Метрики • Посчитали? ОК! • Насколько мы это хотим улучшить? • На сколько мы это хотим улучшить? • На сколько мы это можем улучшить? Анализ «Что улучшать»
    • Метрики.Что считать? Анализ «Что улучшать»
    • Метрики.Что считать? • Количество багов на CLOK • Количество тестировщиков на разработчика • Количество тестировщиков на 1 кв. м. офиса Анализ «Что улучшать»
    • Метрики. Стандарты? Тест не пройден из-за несоответствия внутренним стандартам шумоизоляции. Отправлено на доработку. Тест пройден, качество шумоизоляции соответствует стандарту ГОСТ Р 52231-2004 Анализ «Что улучшать»
    • Метрики.Что нужно НАМ? • Текущие приоритеты проекта • Выявленные проблемы тестирования • Пожелания участников Анализ «Что улучшать»
    • Метрики результата • Обращения пользователей • Покупки продукта • Конверсия на сайте • Hotfix’ы • Затраты техподдержки • Сроки выпуска, затраты Анализ «Что улучшать»
    • Парня в горы тяни - рискни! Не бросай одного его, Пусть он в связке в одной с тобой – Там поймешь, кто такой.
    • Ок, узнали! Софт – отстой! Ура, метрики собраны!
    • Ок, узнали! Софт – отстой! Ура, метрики собраны! НО ПОЗДНО Поезд ушёл.
    • Метрики процесса • Тестовое покрытие • Скорость тестирования • Предоставляемая информация •Отчёты •Ошибки •Статистика •И т.д. Анализ «Что улучшать»
    • Тестовое покрытие • Требований • Фич • Кода • Окружений • Пользовательских сценариев Мы проверили вооот столько! Анализ «Что улучшать»
    • Скорость тестирования • Одной сборки • Полного цикла (FTP) • Time to BTS •Заведение критикалов •Оценка валидности сборки • Точность планирования Анализ «Что улучшать»
    • Артефакты на выходе • Ошибки •Понятность •Локализация • Тесты • Отчёты • Статистика Анализ «Что улучшать»
    • ИТОГО • Пообщались • Выявили проблемы • Нашли способы померить • Можно идти отдыхать? Анализ «Что улучшать»
    • Это только начало! • Фиксируем цели • На видном месте • Обсуждаем совместно ЗА РАБОТУ!
    • ОК, с тестированием у нас полная … Что дальше?
    • Например, • Пропуск 8% ошибок • 40% КрО после 2 недель • 3 недели FTP при 2- недельных релизах • Ошибки «непонятные», оценка 2,2
    • Пропуск ошибок Что делать?
    • Пропуск ошибок Анализ причин пропуска •Требования •Тесты •Не хватило времени •Человеческий фактор
    • Решения под причины 42% Не хватило времени на финальное тестирование • Внедрение автоматизация • Приоритизированные приёмочные тесты 35% потому что не поняли требования • Согласование требований • Совместное обсуждение • Feature-teams 18% потому что не догадались это проверить • Согласование тестов • Обсуждение «как тестировать» • Повышение квалификации тестировщиков 5% человеческий фактор • Уволить • Наказать
    • Долго тестируем Что делать?
    • Долго тестируем Детализируем «долго»: • Полный цикл 3 недели • Критичные ошибки заносятся поздно • Много времени на документирование • Много избыточных тестов
    • Решения под причины Полный цикл – 3 недели • Внедрение автоматизации • Расширение ресурсов • Согласование «что выкинуть» из тестов Критичные баги заводятся поздно • Новый анализ «почему?» – рекурсия • Приоритеты • Обсуждение рисков перед тестированием • Совместные демо и пре-демо Избыточность тестов • Что можем выкинуть? Анализ рисков! • Аутсорс мелочей, если выкинуть нельзя
    • Непонятные ошибки Что делать? ЧО?
    • Непонятные ошибки • Ввод оценок для измерений • Уточнение «чего не хватает?» • Внутреннее обучение • Регламент, шаблоны
    • Строим процесс • Что не так? • Измеряем • Ставим цели • Анализируем причины • Решаем «как решать?»
    • Важно при [ре]организации • Цели всем видны и понятны • У задач есть ответственные • Результаты, метрики – наглядно собираются • Промежуточные оценки и фидбеки
    • ИТОГО-2: • Сделал анализ и решил, что делать? • Планы, задачи, цели – всё есть? • Промежуточные результаты достигнуты? • Всё хорошо?
    • Непрерывность изменений Идеал недостижим! Это ужасно, и грустно, и никогда ничего не будет хорошо!!!
    • Непрерывность изменений Идеал недостижим! Это значит, что перед нами всегда будут стоять новые, интересные, развивающие задачи!
    • Вопросы? http://natalyarukol.ru/ritconf/ mailto: natalya@quality-lab.ru Skype: natalya.rukol