2. Тестирование
Обзорная лекция
Марина Широчкина
Руководитель группы тестирования

3. Введение
Что это такое и с чем его едят?

4. Тестирование – процесс
сравнения ожидаемых результатов
с полученными.
4

5. Тестирование – набор
инженерных практик, нацеленных
на раннее обнаружение дефектов.
5

6. Тестирование – способ
предоставления и получения
обратной связи: как
технологической, так и
продуктовой.
6

7. Пример продуктовой обратной связи
• «Здесь нельзя грабить корованы!»
(с) пользователь
7

8. Пример продуктовой обратной связи
• «Здесь нельзя грабить корованы!»
(с) пользователь
• «Оно делает не то, что надо!»
(с) менеджер
8

9. Пример продуктовой обратной связи
• «Здесь нельзя грабить корованы!»
(с) пользователь
• «Оно делает не то, что надо!»
(с) менеджер
• «Я не могу использовать разработанный
тобой API, он не возвращает все
необходимые данные.»
(с) коллега-разработчик
9

10. Пример технической обратной связи
• «Поддержка продукта при такой
архитектуре будет слишком сложна.»
(с) системный архитектор
10

11. Пример технической обратной связи
• «Поддержка продукта при такой
архитектуре будет слишком сложна.»
(с) системный архитектор
• «Ребята, оно падает каждые полчаса, я не
буду это поддерживать.»
(с) системный администратор
11

12. Пример технической обратной связи
• «Поддержка продукта при такой
архитектуре будет слишком сложна.»
(с) системный архитектор
• «Ребята, оно падает каждые полчаса, я не
буду это поддерживать.»
(с) системный администратор
• «Эта реализация не выдержит
предполагаемой нагрузки.»
(с) кто-то битый жизнью
12

13. Раннее обнаружение проблем –
залог здорового сна.
13

14. Уровни тестирования
Баг лучше поймать сразу же
после его создания.
Народная мудрость

15. Unit-тесты – тесты, проверяющие
корректность работы отдельных
модулей программы.
15

16. 16

17. 17

18. Входные (тестовые)
данные
Выходные данные
(полученный результат)
Unit – модуль/объект/функция – атомарная, независимая часть кода. Вместо
внешних вызовов должны быть использованы заглушки.
Для каждого модуля пишется нужное количество тестов, покрывающих
логику его работы.
18

19. Плюсы unit-тестов
• Можно запустить сразу после внесения
изменений в код – позволяют найти дефект
сразу после его «создания».
19

20. Плюсы unit-тестов
• Можно запустить сразу после внесения
изменений в код – позволяют найти дефект
сразу после его «создания».
• Могут служить документацией к коду.
20

21. Плюсы unit-тестов
• Можно запустить сразу после внесения
изменений в код – позволяют найти дефект
сразу после его «создания».
• Могут служить документацией к коду.
• Упрощают процесс рефакторинга.
21

22. Минусы unit-тестов
• Их надо писать.
22

23. Минусы unit-тестов
• Их надо писать.
• Их надо уметь писать.
23

24. Минусы unit-тестов
• Их надо писать.
• Их надо уметь писать.
• Их надо поддерживать.
24

25. Даже если все компоненты по
отдельности работают правильно,
то это ещё ничего не значит.
25

26. Интеграционные тесты – тесты,
проверяющие корректность
взаимодействия отдельных
модулей друг с другом.
26

27. 27

28. 28

29. 29

30. Плюсы интеграционных тестов
• Находят баги, которые не могут быть
обнаружены unit-тестами.
30

31. Плюсы интеграционных тестов
• Находят баги, которые не могут быть
обнаружены unit-тестами.
• Запускаются после сборки проекта и
позволяют быстро обнаружить проблемы
взаимодействия.
31

32. Минусы интеграционных тестов
• Их надо писать.
32

33. Минусы интеграционных тестов
• Их надо писать.
• Их надо уметь писать.
33

34. Минусы интеграционных тестов
• Их надо писать.
• Их надо уметь писать.
• Их надо поддерживать.
34

35. Даже если все компоненты по
отдельности работают правильно
и корректно взаимодействуют друг
с другом – это ещё ничего не
значит.
35

36. Приёмочные тесты – тесты,
проверяющие работоспособность
системы целиком. В реальном
окружении, с реальными данными,
на реальных сценариях.
36

37. OS
Железка
37

38. Плюсы приёмочных тестов
• Находят баги, которые не могут быть
обнаружены unit- и интеграционными
тестами
38

39. Плюсы приёмочных тестов
• Находят баги, которые не могут быть
обнаружены unit- и интеграционными
тестами
• Позволяют оценить работоспособность
продукта целиком
39

40. Плюсы приёмочных тестов
• Находят баги, которые не могут быть
обнаружены unit- и интеграционными
тестами
• Позволяют оценить работоспособность
продукта целиком
• На этом уровне с продуктом могут
ознакомиться будущие пользователи
40

41. Минусы приёмочных тестов
• Самые высокоуровневые – сложнее
локализовывать проблему
41

42. Минусы приёмочных тестов
• Самые высокоуровневые – сложнее
локализовывать проблему
• Занимают больше времени
42

43. Минусы приёмочных тестов
• Самые высокоуровневые – сложнее
локализовывать проблему
• Занимают больше времени
• Обнаруживают проблемы с некоторой
задержкой
43

44. Что же выбрать?
44

45. Виды тестирования
Каждому виду багов – свой вид
тестирования

46. «АААА! Ничего не работает»
46

47. Функциональное тестирование
– проверка работы кода/продукта
на соответствие требованиям.
Проверка логики работы.
47

48. «Не работает у части
пользователей»
48

49. Конфигурационное
тестирование на клиенте –
проверка работоспособности на
различных конфигурациях. Для
веб-сайтов – в разных браузерах.
49

50. «Мы это выкатили, и оно
перестало работать!»
50

51. Конфигурационное
тестирование сервер-сайда –
проверка работоспособности в
окружении, максимально
идентичном продакшену (железка,
OS, утилиты, библиотеки, конфиги,
версии).
51

52. «Всё сломалось, когда туда
пришли пользователи»
52

53. Нагрузочное тестирование –
проверка работоспособности под
нагрузкой (одновременная обработка
большого потока запросов).
53

54. «Работает, но страшно
тормозит»
54

55. Тестирование
производительности – проверка
скорости работы системы.
55

56. Причём:
• Необходимо измерить длительность
полного цикла «запрос-ответ». Оценить
общее время, обратить внимание на
отдельные этапы
56

57. Причём:
• Необходимо измерить длительность
полного цикла «запрос-ответ». Оценить
общее время, обратить внимание на
отдельные этапы
• То же самое – под нагрузкой
57

58. Причём:
• Необходимо измерить длительность
полного цикла «запрос-ответ». Оценить
общее время, обратить внимание на
отдельные этапы
• То же самое – под нагрузкой
• В пользовательских условиях (сетевые
условия)
58

59. «Всё было хорошо, пока не
пришли злые китайские
хакеры»
59

60. Тестирование безопасности –
об этом вам прочитают отдельную
лекцию
60

61. «А как этим пользоваться?»
61

62. купил айфон а чо с ним делать
где кнопки чтобы нажимать
и как мне позвонить сереге
а вот и он звонит и чо
62

63. Тестирование юзабилити –
тестирование удобства
использования.
Коридорный вариант доступен
всем.
63

64. «Оно работало, а потом вдруг
упало»
64

65. Тестирование стабильности –
тестирование стабильности
работы под нагрузкой, длительное
время.
65

66. Всё?
66

67. Ещё много…
• Volume тестирование
• Stress/Recovery тестирование
• Spike тестирование
• Localization тестирование
• Compatibility тестирование
И т. д. И т. п.
67

68. Какие выбрать?
68

69. Исходя из специфики
вашего проекта.
69

70. Способы тестирования
Руками или роботом?
70

71. Ручное тестирование –
выполнение тестов вручную
или с помощью скриптов.
Ручной анализ результатов.
71

72. Плюсы и минусы
Плюсы
• Более информативно – замечаются
дефекты рядом
72

73. Плюсы и минусы
Плюсы
• Более информативно – замечаются
дефекты рядом
Минусы
• Долго
73

74. Плюсы и минусы
Плюсы
• Более информативно – замечаются
дефекты рядом
Минусы
• Долго
• Дорого
74

75. Автоматическое тестирование –
выполнение с помощью скриптов
или инструментов. Оценка
результатов проводится
автоматически.
75

76. Плюсы и минусы
Плюсы
• Удобно и легко
76

77. Плюсы и минусы
Плюсы
• Удобно и неутомительно
Минусы
• Тесты нужно писать и поддерживать
77

78. Плюсы и минусы
Плюсы
• Удобно и неутомительно
Минусы
• Тесты нужно писать и поддерживать
• Тесты выполняются «в лоб»
78

79. Плюсы и минусы
Плюсы
• Удобно и неутомительно
Минусы
• Тесты нужно писать и поддерживать
• Тесты выполняются «в лоб»
• Сами тесты/скрипты/инструменты могут
содержать баги и порождать ложные
результаты
79

80. Разумная комбинация
методов – залог успеха.
80

81. Марина Широчкина
pancakyes@yandex.ru
Спасибо