Presentation from https://heisenbug-piter.ru/en/talks/2018/spb/kkw6oivsoywayacggksmk/ Once upon a time, we got a requirement to finish all testing in 2 days despite the number of tests to run. That number grew, and grew, and grew, and now there are tens of millions of them. So this is a story about building a dam against the never-ending flood which turned out to be not that scary. You are very welcome to join and see it for yourself.

1. 10 000 000 per day
1
Sergey Grinev
Azul Systems SPb
sergey@azul.com
@SergeyGrinev

2. Who am I?
2
QA

3. 3
Sergey Grinev
Azul Systems SPb
sergey@azul.com
@SergeyGrinev
Who am I?

4. Zing — JVM without Stop The World
Zulu Enterprise — OpenJDK + Azul Support
Zulu Embedded — OpenJDK for the IoT
4

5. Zulu Enterprise plan
1. download open-source
2. build binaries
3. sell support
4. Profit!
5

6. Java Compatibility Kit
•OpenJDK 6 – 95K tests
•OpenJDK 7 – 103K tests
•OpenJDK 8 – 126K tests
•OpenJDK 9 – 157K tests
•OpenJDK 10 – 160K tests
6

7. Java Compatibility Kit
7
per platform
•OpenJDK 6 – 95K tests
•OpenJDK 7 – 103K tests
•OpenJDK 8 – 126K tests
•OpenJDK 9 – 157K tests
•OpenJDK 10 – 160K tests

8. 3rd party apps certification
8

9. History

10. Tests:
500000
2014
10
Windows 2008r2
Windows 2012
Windows 2012r2
RHEL 6.4
Ubuntu 12.04
Binaries:
15
Zulu 7

11. Windows 7
Windows 8
MacOS Mavericks
RHEL 6.5
RHEL 7
SLES11.3
Ubuntu 14.04
11
Windows 2008r2
Windows 2012
Windows 2012r2
RHEL 6.4
Ubuntu 12.04
Tests:
2000000
Binaries:
48
Zulu 7
2015
Zulu 8

12. Zulu 9
12
Binaries:
110
Tests:
10 000 000
Zulu 6
Windows 2008
Windows 2012
Windows 2012r2
Windows 2016
Windows 7
Windows 8
Windows 10
MacOS Yosemite
MacOS ElCapitan
MacOS Sierra
RHEL 6
RHEL 7
Ubuntu 14.04
Ubuntu 16.04
SLES 11
SLES 12
Debian 7
Debian 8
Zulu 7
Zulu 8
2017

13. Zulu 11
13
Zulu 10
Binaries:
185
Tests:
60 000 000
Zulu 9
Zulu 6
Zulu 7
Zulu 8
fall 2018
MacOS Yosemite
MacOS ElCapitan
MacOS Sierra
MacOS HighSierra
RHEL 6
RHEL 7
Ubuntu 14.04
Ubuntu 16.04
Ubuntu 18.04
SLES 11
SLES 12
Debian 7
Debian 8
Solaris 10 x86
Solaris 11 x86
Solaris 10 Sparc
Solaris 11 Sparc
Windows 7
Windows 8
Windows 10
Windows 2008
Windows 2012
Windows 2016
Alpine Linux
Windriver Linux

14. 48 hours
Turned out that for security reasons for
some releases we need to do it in

15. Plan
1. why do we have so many tests?
2. how to run tests faster?
3. how to run tests in cloud?
4. how to run tests without losing
results?

16. Measuring is the Key
1. review a test run
2. understand what to measure
3. automate measurements
4. test run a test run
5. compare results with previous one
6. improve
7. GOTO 4
16
Workflow:

17. A simple telemetry example
17

18. A simple telemetry example
18

19. The Biggest Problem we met
19

20. Intermittent Failures or Flaky Tests
20
Problems:
requires manual review
impossible to scale
time waste
Not a product, but test or configuration issues.

21. What’s wrong with them?

22. Few examples from our suites:
OS issues
race conditions
clocks settings
ipv4 vs ipv6
inodes
different OS versions
22

23. Few examples from our suites:
UI tests
23

24. How to address intermittent failures?
write tests better ( doesn’t work for
certification suites )
fine tune systems for fragile tests
tests rerun*
24

25. PASSED PASSED PASSED
Test Rerun fallacy

26. 26
rerunning test until it pass may hide bugs
PASSED
NOT A
PASSED
PASSED
Test Rerun fallacy

27. 27
rerunning test until it pass may hide bugs
but sometimes you can’t avoid it for flacky
tests — in this case:
track what do you rerun
“soften” rerun conditions:
better machines
no concurrency
longer timeouts
PASSED
NOT A
PASSED
PASSED
Test Rerun fallacy

28. Reviewing Failures

29. Reviewing Failures: Better Logs
Good Tests produces concise and easy-to-read logs:
Failures are easy to detect
Error details are in one place
Preferrably in red (LogParser, AnsiColor jenkins plugins)
Important wall-of-texts are collapsible (Collapsing Console
Sections), e.g.:
environment logs
directory listenings
unzip content

30. Инфраструктура для воспроизведения
скачать продукт и тесты
подготовить environment
прогнать тесты
сохранить результаты
Test Execution

31. скачать продукт и тесты
подготовить environment
прогнать тесты
сохранить результаты
скачать продукт и тесты
подготовить environment
подложить результаты
ждать человека
Test Execution Failure Reproduction
Инфраструктура для воспроизведения

32. Разбор падений — что ещё?
Унификация — все сьюты выдают результаты в одном и
том же формате
Автолинковка к баг трекеру
Ссылки на необходимые артефакты

33. Простые ошибки

34. Простые ошибки
по нашей статистике причина большого процента
респинов — простые ошибки, например
собрано не то: неверное пространство или бранч
неверный брендинг, лицензия, пэкеджинг
инфраструктурная проблема

35. Smoke Tests
Smoke Tests — быстро проходят, проверяют базовые вещи
чем раньше найдена ошибка, тем дешевле её пофиксить
если smoke сьюта разрастается, то есть альтернатива
запускать её параллельно основному тестированию

36. План
1. откуда столько тестов?
2. как гонять тесты быстрее
*** вы находитесь здесь ***
3. как гонять тесты в облаке
4. как гонять тесты и не терять
результаты

37. Выход в облако

38. Выход в облако
это очень дорого

39. 100% загрузка
39
15*52=780 неделемашин

40. Загрузка здорового человека
40
149 неделемашин (aka 20%)

41. Зато облако…
легко и быстро скалируется
хорошо работает с неравномерной нагрузкой
само апгрейдится и чинится

43. AWS и Jenkins
https://wiki.jenkins-ci.org/display/JENKINS/Amazon+EC2+Plugin43
Lab AWS
repositories
EC2
Jenkins
plugin
test suites
binaries
AMI
VPN

44. AWS и Jenkins
https://wiki.jenkins-ci.org/display/JENKINS/Amazon+EC2+Plugin44
Lab AWS
repositories
EC2
Jenkins
plugin
artifacts
test suites
binaries
AMI
VMs
executing
your tests
VPN
test results

45. AWS и Jenkins
https://wiki.jenkins-ci.org/display/JENKINS/Amazon+EC2+Plugin45
Lab AWS
repositories
EC2
Jenkins
plugin
artifacts
test suites
binaries
AMI
VMs
executing
your tests
VPN
test results
Terminated
after
test run

46. Инфраструктура для воспроизведения
создать машину в AWS
скачать продукт и тесты
подготовить environment
прогнать тесты
сохранить результаты
Test Execution

47. Инфраструктура для воспроизведения
создать машину в AWS
скачать продукт и тесты
подготовить environment
прогнать тесты
сохранить результаты
создать машину в AWS
скачать продукт и тесты
подготовить environment
подложить результаты
ждать человека
Test Execution Failure Reproduction

48. Стоимость
прогонов

49. Стоимость прогонов
полезно паковать небольшие сьюты в сеты
балансировка мощностью машин
опции: Spot Instances, Locations, Scheduled Instances
контроль машинного времени

50. 50
Контроль машинного времени

51. Внимание, вопрос…
Тесты стали проходить в полтора раза дольше.
Про что мы забыли?

52. Безопасность

53. Безопасность: что под угрозой?
машинное время
бинари
приватные репозитории
ключи
копии баз данных

54. Безопасность: что делать?
security policies
VPC
тренинги

55. По дороге с облаками
винда дорогая
мака нет
( солярис есть в Oracle Cloud, but who cares )
сложности с UI тестами
ответственность растёт!

56. План
1. откуда столько тестов?
2. как гонять тесты быстрее
3. как гонять тесты в облаке
4. как гонять тесты и не терять
результаты

57. Test Count
Integrity

58. Test Count Integrity
0 упавших тестов из 0 запущенных
это 100% pass rate

59. Test Count Integrity
Проблема: у больших сьют непостоянное количество тестов:
exclude lists, know-failures lists, etc
платформенно зависимые тесты
конфигурационно зависимые тесты
плохо написанные тесты

60. Поддельные прохождения
if (isWindows()) return Status.PASSED;

61. if (isWindows()) return Status.PASSED;
GOOD:
junit: org.junit.assumeTrue( isWindows() );
jtreg: @requires (os.family == "linux")
Поддельные прохождения

62. $ cat log.txt | grep FAIL
Слишком ленивая валидация

63. $ run-my-test.sh > out.txt
$ cat out.txt | grep “PASSED”
Грязное окружение

64. Критерий Шуры Ильина:
pass-rate cюиты при отсутствии продукта

65. Test Count Integrity — что делать?
вручную вести таблицу количества тестов в сьютах тяжело:
ручная работа
ненадёжно при больших объёмах
мы написали статистическую метрику:
ищет несколько недавних аналогичных прогонов
сравнивает с текущим результатом

66. Tools

67. Tests Execution

68. Jenkins Jobs Count over 4 years
2014
2015
2016
2017
2018

69. Test Run Monitoring
Monitors Jobs Execution status
Provides Release Dashboard
Tracks durations
Tracks test count
3rd party products?
TestFlow, qTest, Zephyr, …

70. Test Run Planning — Level 1: up to 10 binaries
Jenkins dependencies are enough
build
test platform 1
smoke test
test platform 2
promote

71. Test Run Planning — Level 2: dozens of binaries
Tag Based Tool:
Major Version: zulu7, zulu8, …
Bitness: 64, 32
Platform: Linux, Windows, Mac, Solaris
form-factor: JDK, JRE, CP3, headless, …
Platform
1
Platform
2
Platform
3
Suite 1
Suite 2
Suite 3
Suite 4

72. Test Run Planning — Level 3: hundreds!
It’ve started to pretty hard to
add or remove:
platforms
test suites
binary properites
What can be done:
Rules Based Tool
Script Generation
3rd party tool?

73. Artifacts Manager
Binary List
Various Filters
Metainfo
Checksums
3rd party tools?
Archiva, Artifactory, Nexus

74. Armory
Test Planning
Test Execution
Test Monitoring
Artifacts Manager

75. Talking to customers
Test Count ≠ Product Quality
Quality of QA processes is not well-developed science
QA can’t cover everything
most important issues come from customers
asking customers “how do they use your product? “ helps
to prevent them

76. Cassandra
Story
Полезно знать, как
кастомеры пользуются
вашим продуктом

77. 77
Q&A
Sergey Grinev
Azul Systems SPb
sergey@azul.com
@SergeyGrinev