Techleads Meetup #1 "Как автотесты ускоряют релизы в OK.ru" Никита Макаров, руководитель отдела тестирования (Одноклассники) Описание: начиная с 2012 года Одноклассники прошли огромный путь в области ускорения релизов. Одним из факторов успеха была автоматизация тестирования, которую внедряли «с нуля». В своем докладе я расскажу: — о том как мы учили тестировщиков писать автотесты; — сколотили команду автоматизаторов и построили инфраструктуру автоматизации тестирования; — о наших ошибках, поражениях, полезных практиках и процессах.

1. Как автотесты ускоряют релизы в OK.ru

2. • О нас
• Про что это все
• Начало
• Хронология
• Что и как работало
План
План
2

3. • 300+ человек (150 tech),
• 10 лет на рынке,
• в топ-3 сайтов в России (ex-USSR)
• в топ-100 в мире (топ-10)
Что такое OK
Что такое OK
3

4. • Сообщения
• Видео
• Музыка
• Игры
• Фото
• Подарочки
• Live-streaming
Что такое OK
Сервисы
4

5. • 8500 серверов, 4 ДЦ + CDN
• 85 сервисов
• 6М конкурентных пользователей в пике
• Traffic ~ 1 Тбит/с
• 326М просмотров видео в сутки
Что такое OK
Под капотом
5

6. • Самая прибыльная соц.сеть рунета
• 2014 - 4 млрд. выплатили издателям
игр
• 12,4 млрд - доход Social Media за 2014
(без ВК)
• Ядро аудитории - 25-35 лет
• Max session - 41 минута на сайте
• 73М MAU
Что такое OK
Деньги
6

7. Про что это все

8. Трансформация
Трансформаци
я
8

9. Почему и зачем
Почему и зачем
9

10. • Пользовательский продукт
• Они учат тестировщиков
программировать
• Atlassian
• Quality at Speed
• Quality Assurance to Quality Assistance
Ссылки
Душеспасительное
10

11. Внимание
Внимание!
11
SUCCESS
FAILUR
EJUST
STOR
Y

12. Начало

13. Илья
апрель, 2010
год
13
Илья Широков
новый General Manager
одноклассники.ru

14. Антон
осень, 2011
год
14
Антон Федчин
новый CTO
одноклассники.ru

15. Хронология

16. • 1 релиз в неделю
• Under Construction + Downtime
• ночью, 6-8 часов, Dev+Admin+2*Test
• Результат не гарантирован
• +20 тестировщиков за 2011 год
• Никаких автотестов
2011
Жизнь в далеком 2011-
м
16

17. • обычно 2 релиза в неделю (web,бизнес-
логика)
• без Downtime, без Under Construction
• проверяются автотестами + 1
тестировщик
• только 1 релиз ночью
2016
Жизнь в 2016
17

18. • Разделили отделы
• Цель - понять можно ли вообще ?
• задача - автоматизировать Smoke-testing
2012
2012
18

19. Особенности
Окружения
19

20. • Q1 - увеличили покрытие в 5 раз
• Q2 - увеличили покрытие в 2 раза от Q1
• Утонули в поддержке автотестов
• заложили инфраструктуру на 2 года
2012
Результаты
2012
20

21. • Just keep going!!!
• Автотесты на API
• Инфраструктура
• Эксперименты с процессом
2013
2013
21

22. • Так жить нельзя!
• Обучение тестировщиков
• программированию (весна-осень)
• автоматизации тестирования (осень->)
2013
Результаты
2013
22

23. • Тестировщики начали писать автотесты
• Цель - покрыть функциональное
тестирование
• вторая группа обучается
2014
2014
23

24. • тестировщики удвоили количество
автотестов
• июль 2014 - мы можем релизить опираясь
на автотесты
• до 100 запусков тестов в день
2014
Результаты
2014
24

25. • Покрываем автотестами мобильную
версию
• Покрытие функциональными тестами
более 85% (бизнес-логика)
• Тестировщики пишут тесты на API
2015
2015
25

26. • июль 2015 - поддержка автотестов
передана тестировщикам
• большинство тестировщиков умеет
писать автотесты
• полностью перестроили инфраструктуру
автоматизации
• Full Test ~ 10 min
2015
Результаты
2015
26

27. • Автотесты на Android
• Автотесты на iOS
• Автотесты на админки
• Continuous Delivery Pipeline для ряда
проектов
2016
2016
27

28. Ингридиенты

29. 2012
Startup mode
29

30. 2012
SCRUM
30

31. 2012
No legacy
31

32. • Простой workflow задачи на
автоматизацию тестирования:
• ToDo
• In Progress
• Review
• Done
• Одноуровневое ревью
• Весь код в мастере
• Поддержка автотестов без бюрократии
KISS
Keep it simple
32

33. • Bare metal minimum:
• Java
• WebDriver
• TestNG+ReportNG
• Maven
• Selenium Grid
• Jenkins
Велосипеды
Минимум стандартных
инструментов
33

34. История
Начало (02-2012)
34
Jenkins
Se
SeSe Se

35. История
+ Revolver
35
Jenkins
Se
SeSe Se
Revolver

36. История
+Content Generators
36
Jenkins
Se
SeSe Se
Revolver
Content
Generators

37. История
+Node Utils
37
Jenkins
Se
Se+ASe+A Se+A
Revolver
Content
Generators

38. История
+Mnemonic, -Revolver (2013)
38
Jenkins
Se
Se+ASe+A Se+A
Mnemonic
Content
Generators

39. История
+StoreKeeper
39
Jenkins
Se
Se+ASe+A Se+A
Mnemonic
Content
Generators
Storekeeper

40. История
+Watson (2013)
40
Jenkins
Se
Se+ASe+A Se+A
Mnemonic
Content
Generators
StorekeeperWatson

41. История
+Registrator (2014)
41
Jenkins
Se
Se+ASe+A Se+A
Mnemonic
Content
Generators
StorekeeperWatson Registrator

42. История
+Holmes (01-2015)
42
Jenkins
Se
Se+ASe+A Se+A
Mnemonic
Content
Generators
StorekeeperWatson Registrator
Holmes

43. История
+Berrimor (05-2015)
43
Jenkins
Se
Se+ASe+A Se+A
Mnemonic
Content
Generators
StorekeeperWatson Registrator
Holmes
Berrimor

44. 2015
-Selenium Grid (09-2015)
44
Jenkins
Mnemonic
Content
Generators
StorekeeperWatson Registrator
Holmes
Berrimor
Se+ASe+ASe+A
NodeManager
Se+ASe+ASe+A
NodeManager
Se+ASe+ASe+A
NodeManager

45. Сейчас
+Coordinator, AdminUtils, Dashboard
(2016)
45
Jenkins
Mnemonic
Content
Generators
StorekeeperWatson Registrator
Holmes
Berrimor
Se+ASe+ASe+A
NodeManager
Se+ASe+ASe+A
NodeManager
Se+ASe+ASe+A
NodeManager
Coordinator
Dashboard AdminUtils

46. • Все велосипеды - от ограничений
• Миграции и редизайн неизбежны
Велосипеды
Про
велосипедостроение
46
Про наши
велосипеды

47. • Что будет если автотестов станет вдвое
больше ?
• Что будет если запусков автотестов
станет в 5 раз больше?
• Насколько стабильно по времени
работают тесты ?
Capacity
Capacity planning a.k.a.
преждевременная оптимизация
47

48. • Непосредственное участие CTO
• Четкие цели и дэдлайны
• Понимание профита
• Выделение ресурсов
Политическая воля
Воля
48

49. • Самый мощный инструмент (ever seen)
• Бесплатно, open source :)
• По окончании итерации/раз в 1-2 месяца
Ретроспективы
Ретроспектив
ы
49

50. Обучение - это ад
Обучение
50

51. • Программированию
• полгода - Java Crash Course
• Автоматизации тестирования
• 4 месяца
• 2-3 воркшопа каждый месяц
• git, selenium, code review, infra, etc.
Real life
Обучение
51

52. Геймификация
Геймификация
52
Геймификация на
Coursera

53. Планка
Поднимаем планку
53

54. • Ownership
Поддержка автотестов
Поддержка
автотестов
54
• Публичность
• Дайджесты (долгие тесты, тесты с плохой
кармой)
ASAP

55. Никита Макаров
nikita.makarov@odnoklassniki.ru