Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Принятие решений в тестировании на примере тестовой стратегии

4,510 views

Published on

Доклад Романа Шейко на конференции SQA Days-17,
29-30 мая 2015 г., Минск
www.sqadays.com

Published in: Education
  • Login to see the comments

Принятие решений в тестировании на примере тестовой стратегии

  1. 1. Принятие решений в тестировании на примере тестовой стратегии Шейко Роман
  2. 2. О себе • Luxoft, QA Lead • Блог: www.33testers.blogspot.ru • Weekend Testing Russia • Контакты: – E-mail: r.sheyko@gmail.com – Twitter: @RSheyko – Skype: romko.3313 2 Intro Составление тестовой стратегии SummaryПример Методы
  3. 3. Решения в тестировании 3 Intro Важность Составление тестовой стратегии SummaryПример Методы •Высокий уровень: •Какую стратегию тестирования выбрать? •Какие люди нужны в команде? Несколько раз в год •Средний уровень: •Какую технику тестирования выбрать? •Как тестировать конкретный релиз? Несколько раз в месяц •Базовый уровень: •Баг или фича? •Как локализовать баг? Каждый день
  4. 4. Сложность решений Растёт сложность продуктов: • Увеличивается количество пользователей • Растет количество платформ • Усложняются процессы разработки 4 Intro Сложность решений Сложность продуктов Составление тестовой стратегии SummaryПример Методы Пример из книги: Gerald M. Weinberg . Quality Software Management: Systems Thinking
  5. 5. Что делать? 1. Упрощать продукты 2. Работать в компаниях, где разрабатываются простые продукты 3. Нанимать больше тестировщиков 4. Развивать навыки принятия решений 5 Сообщение в блоге Алана Пейджа по теме: http://angryweasel.com/blog/will-we-survive-the-future-of-software/ Intro Составление тестовой стратегии SummaryПример Методы
  6. 6. План доклада 1. Пример 2. Методы принятия решений: – Структурированный подход – Эвристики 3. Составление тестовой стратегии 6 Intro Пример Составление тестовой стратегии SummaryМетоды
  7. 7. 7 Пример
  8. 8. 8 Intro Summary Составление тестовой стратегии МетодыПример Как достигнуть цели? ??? Цель Текущее состояние
  9. 9. 9 Intro Summary Составление тестовой стратегии МетодыПример 1 этап: изучение и анализ h1 h2 w1 w2
  10. 10. 10 Intro Summary Составление тестовой стратегии МетодыПример 2 этап: выбор альтернативы
  11. 11. 11 Методы
  12. 12. Структурированный подход (Кепнер и Трего) 12 Шаги Детали 1. Изучение ситуации Сбор информации 2. Анализ Чего мы хотим? Что нам мешает? 3. Генерация альтернатив Какие варианты решений у нас есть? 4. Выбор альтернативы Какие критерии для нас важны? 5. Оценка рисков Какие негативные последствия могут быть? 6. Презентация Как обосновать решение? Подробнее об этом подходе к принятию решений – в книге: Kepner, Tregoe. The New Rational Manager Intro Summary Составление тестовой стратегии МетодыПример
  13. 13. Эвристики • Эвристики – методы, которые помогают нам принимать решения • Характерные черты: (+) Интуитивность (+) Быстрота и легкость использования (-) Подверженность ошибкам, субъективность 13 Intro Крутая книжка: • Пойа. Как решить задачу Summary Составление тестовой стратегии МетодыПример
  14. 14. Эвристики в тестировании • Оракулы • Мнемоники: – FEW HICCUPPS – SF DIPOT – FCC CUTS VIDS • HTSM (Heuristic Test Strategy Model) 14 Intro Блоги об эвристиках: • Болтон: http://www.developsense.com/blog/category/heuristics/ • Бах: http://www.satisfice.com/blog/archives/category/heuristics Summary Составление тестовой стратегии Мой доклад об оракулах: • http://sqadays.com/talk/12389 МетодыПример
  15. 15. Сравнение методов 15 Intro Summary Составление тестовой стратегии МетодыПример Эвристики Кепнер и Трего
  16. 16. 16 Составление стратегии
  17. 17. Шаги составления тестовой стратегии 1. Изучение продукта и его окружения 2. Анализ информации 3. Формирование стратегии 17 Intro Составление тестовой стратегии SummaryПример Методы
  18. 18. 18 Стратегия составления тестовой стратегии  Intro Составление тестовой стратегии Summary 1. Изучение продукта и его окружения 2. Анализ информации 3. Формирование стратегии Пример Методы
  19. 19. 19 Соответствие HTSM и Flower HTSM Heuristic Test Strategy Model (HTSM) by James Bach Flower Heuristic Test Strategy Model (FHTSM) by me  Intro Составление тестовой стратегии SummaryПример Методы
  20. 20. Шаг 1. Изучение продукта и его окружения • Знакомство • Погружение • Исследование открытых ресурсов 20 Intro Составление тестовой стратегии Summary Полезные советы по сбору информации для стратегии: http://satisfice.com/tools/htsm.pdf Пример Методы
  21. 21. Знакомство и погружение 21 Intro Составление тестовой стратегии Summary VIDEO Ссылка на видео: https://www.youtube.com/watch?v=MXKBlG65u_Q Пример Методы
  22. 22. Исследование открытых ресурсов • Много «Sorry for the trouble» • Языки: английский, немецкий, испанский • Около 100 сотрудников • Более 70 миллионов пользователей в 180 странах • Проводились исследования эффективности Lumosity • Большие инвестиции в компанию ($30 млн) 22 Intro Составление тестовой стратегии SummaryПример Методы
  23. 23. Результаты изучения 23 • Более 70 млн юзеров в 180 странах • В команде около 100 человек • Регулярные и большие инвестиции • Много жалоб на продукт в открытых ресурсах Intro Составление тестовой стратегии SummaryПример Методы
  24. 24. Результаты изучения 24 • Локализация: 3 языка • Поддержка мобильных платформ • У каждой игры – свой движок • Технология: Ruby on Rails • Используется Continuous integration Intro Составление тестовой стратегии SummaryПример Методы
  25. 25. Принятие решений при изучении продукта и его окружения • Несколько методов-эвристик: – HTSM (Heuristic Test Strategy Model by James Bach) – Туры • Особое внимание вещам, от которых зависит объем и сложность тестирования 25 Intro Составление тестовой стратегии Summary Сообщение в блоге Ольги Киселевой по турам в тестировании: http://okiseleva.blogspot.ru/2015/01/blog-post_64.html Пример Методы
  26. 26. 26 Шаг 2. Анализ информации • Увеличение числа пользователей • Расширение контента • Поддержка новых платформ • Продвижение идеи развития мозга Составление тестовой стратегии SummaryIntro Пример Методы
  27. 27. 27 Шаг 2. Анализ информации • Огромное число платформ • Несколько локализаций • Расширение контента • Усложнение контента • Частые релизы • Поддержка 24*7 Составление тестовой стратегии SummaryIntro Пример Методы
  28. 28. 28 Составление тестовой стратегии SummaryIntro • Функциональная полнота • Харизма • Расширяемость • Нагрузоустойчивость • Быстродействие • Юзабилити • Безопасность • Supportability Шаг 2. Анализ информации Пример Методы
  29. 29. 29 • Много платформ • Несколько локализаций • Частые релизы • У каждой игры – свой движок • Как тестировать интересность игр? Составление тестовой стратегии SummaryIntro Шаг 2. Анализ информации Пример Методы
  30. 30. Принятие решений при анализе информации • Были сформулированы: – Бизнес цели – Трудности при достижении этих целей – Критерии качества – Трудности с точки зрения тестирования 30 Составление тестовой стратегии SummaryIntro Пример Методы
  31. 31. • Какие техники (виды) тестирования мы будем использовать • Другие высокоуровневые решения: – Необходимые инструменты – Стратегия автоматизации – Состав команды – И другие 31 Шаг 3. Формирование стратегии Составление тестовой стратегии SummaryIntro Пример Методы
  32. 32. Техники (виды) тестирования 32 Каждый релиз (1 приоритет): – Функциональное тестирование – Регрессионное тестирование Не каждый релиз (2 приоритет): – Локализации – Быстродействие – Нагрузочное тестирование Только для крупных релизов (3 приоритет): – Бета тестирование – Краудсорс тестирование – Адаптационное тестирование – Безопасность Составление тестовой стратегии SummaryIntro Пример Методы
  33. 33. Техники (виды) тестирования 33 Каждый релиз (1 приоритет): – Функциональное тестирование – Регрессионное тестирование Составление тестовой стратегии SummaryIntro • Частые релизы • Расширение контента • Усложнение контента • Функциональная полнота • Расширяемость Пример Методы
  34. 34. Техники (виды) тестирования 34 Не каждый релиз (2 приоритет): – Локализации – Быстродействие – Нагрузочное тестирование Составление тестовой стратегии SummaryIntro • Более 70 млн юзеров в 180 странах • 3 локализации • Увеличение числа пользователей Пример Методы
  35. 35. Техники (виды) тестирования 35 Только для крупных релизов (3 приоритет): – Бета тестирование – Краудсорс тестирование – Адаптационное тестирование – Безопасность Составление тестовой стратегии SummaryIntro • Много платформ • Много конфигураций • Как тестировать интересность игр? • Более 70 млн юзеров в 180 странах Пример Методы
  36. 36. • Цель - автоматизировать большую часть регрессии • Разделить тесты по приоритетам запуска • Технология: Selenium Другие решения: автоматизация 36 Составление тестовой стратегии SummaryIntro • Много платформ • Много конфигураций • Частые релизы • Несколько локализаций Пример Методы
  37. 37. Другие решения: необходимые скилы 37 • Тестирование веба и мобилок • Опыт тестирования игр • Скриптовые языки Составление тестовой стратегии SummaryIntro • Много платформ • Мобильные платформы • У каждой игры – свой движок • Технология: Ruby on Rails • Continuous integration • Харизма Пример Методы
  38. 38. Другие решения: состав команды 38 • 6 ручных тестировщиков • 2 тестера-автоматизатора Составление тестовой стратегии SummaryIntro • Много платформ • Несколько локализаций • У каждой игры – свой движок Каждый релиз: • Функциональное тестирование • Регрессионное тестирование • Функциональная полнота Пример Методы
  39. 39. • Внутри компании: • функциональное • регрессионное • Можно на outsource: • другие виды тестирования Другие решения 39 • Прежде всего - искать баги в продукте • Потом - quality control • Ежедневные обновления статуса тестирования на Confluence • Каждую неделю – сводный отчет по e-mail • Dashboards в JIRA Составление тестовой стратегии SummaryIntro • Bug tracker: JIRA • TCM: HP ALM • Желательно в одной локации Пример Методы
  40. 40. Критерий Важность Вар.1 Outsource Вар.2: Внутр. тестир. Вар.3: Внутр. + outsource Уровень коммуникаций 4 3 5 4 Тесная интеграция тестировщиков в Scrum команде 5 1 5 3 Стоимость тестирования 3 5 2 4 Качество тестирования 7 3 5 4 Всего: 3*4 + 1*5 + 5*3 + 3*7 = 53 86 71 40 Составление тестовой стратегии SummaryIntro Взвешивание альтернатив Пример Методы
  41. 41. Принятие решений при формировании стратегии • Эвристики • Матрица взвешивания альтернатив (Кепнер и Трего) • Опыт 41 Составление тестовой стратегии SummaryIntro Пример Методы
  42. 42. 42 Summary
  43. 43. Summary • Сложность принятия решений возрастает • Мы можем использовать: – Структурные подходы (например, Кепнер и Трего) – Эвристики • У всех методов есть плюсы и минусы • Поэтому в комбинировании этих методов – наша сила 43 Составление тестовой стратегии SummaryIntro Пример Методы
  44. 44. Следующие шаги • Уделяйте внимание своим решениям • Контролируйте использование эвристик • Попробуйте структурные методы • Потренируйтесь в презентации решений 44 Составление тестовой стратегии SummaryIntro Пример Методы
  45. 45. Материалы • См. на слайдах • По эвристикам: – Книга Пойа Д. «Как решать задачу. Пособие для учителей.» – http://www.developsense.com/blog/category/heuristics/ – http://www.satisfice.com/blog/archives/category/heuristics • По тестовой стратегии: – http://satisfice.com/tools/htsm.pdf – http://33testers.blogspot.ru/2015/02/3.html – http://www.slideshare.net/EuroSTARConference/fiona-charles-slides • По подходу Кепнера и Трего: – Книга Kepner, Tregoe «The New Rational Manager» 45 Составление тестовой стратегии SummaryIntro Пример Методы
  46. 46. Вопросы? 46 Мои контакты: E-mail: r.sheyko@gmail.com Twitter: @Rsheyko Skype: romko.3313

×