Download as PDF, PPTX
Uploaded byBadoo Development
Как автотесты ускоряют релизы в OK.ru
Документ описывает процесс внедрения автотестов в компании ok.ru, который ускорил релизы и повысил качество разработки. В начале 2010 года у компании не было автотестов, но с течением времени они увеличили покрытие тестами и обучили тестировщиков программированию. К 2016 году компания смогла достичь автоматизации тестирования и успешного внедрения постоянной доставки обновлений.
More Related Content
Similar to Как автотесты ускоряют релизы в OK.ru
![Проблемы UI автотестов [NoBugs WTF PRO уровень]](https://cdn.slidesharecdn.com/ss_thumbnails/ui-241012141301-b2028d8c-thumbnail.jpg?width=640&height=640&fit=bounds)
Как автотесты ускоряют релизы в OK.ru
- 1. Как автотесты ускоряютрелизы в OK.ru
- 2. • О нас •Про что это все • Начало • Хронология • Что и как работало План План 2
- 3. • 300+ человек(150 tech), • 10 лет на рынке, • в топ-3 сайтов в России (ex-USSR) • в топ-100 в мире (топ-10) Что такое OK Что такое OK 3
- 4. • Сообщения • Видео •Музыка • Игры • Фото • Подарочки • Live-streaming Что такое OK Сервисы 4
- 5. • 8500 серверов,4 ДЦ + CDN • 85 сервисов • 6М конкурентных пользователей в пике • Traffic ~ 1 Тбит/с • 326М просмотров видео в сутки Что такое OK Под капотом 5
- 6. • Самая прибыльнаясоц.сеть рунета • 2014 - 4 млрд. выплатили издателям игр • 12,4 млрд - доход Social Media за 2014 (без ВК) • Ядро аудитории - 25-35 лет • Max session - 41 минута на сайте • 73М MAU Что такое OK Деньги 6
- 7. Про что этовсе
- 8.
- 9. Почему и зачем Почемуи зачем 9
- 10. • Пользовательский продукт •Они учат тестировщиков программировать • Atlassian • Quality at Speed • Quality Assurance to Quality Assistance Ссылки Душеспасительное 10
- 11.
- 12.
- 13. Илья апрель, 2010 год 13 Илья Широков новыйGeneral Manager одноклассники.ru
- 14. Антон осень, 2011 год 14 Антон Федчин новыйCTO одноклассники.ru
- 15.
- 16. • 1 релизв неделю • Under Construction + Downtime • ночью, 6-8 часов, Dev+Admin+2*Test • Результат не гарантирован • +20 тестировщиков за 2011 год • Никаких автотестов 2011 Жизнь в далеком 2011- м 16
- 17. • обычно 2релиза в неделю (web,бизнес- логика) • без Downtime, без Under Construction • проверяются автотестами + 1 тестировщик • только 1 релиз ночью 2016 Жизнь в 2016 17
- 18. • Разделили отделы •Цель - понять можно ли вообще ? • задача - автоматизировать Smoke-testing 2012 2012 18
- 19.
- 20. • Q1 -увеличили покрытие в 5 раз • Q2 - увеличили покрытие в 2 раза от Q1 • Утонули в поддержке автотестов • заложили инфраструктуру на 2 года 2012 Результаты 2012 20
- 21. • Just keepgoing!!! • Автотесты на API • Инфраструктура • Эксперименты с процессом 2013 2013 21
- 22. • Так житьнельзя! • Обучение тестировщиков • программированию (весна-осень) • автоматизации тестирования (осень->) 2013 Результаты 2013 22
- 23. • Тестировщики началиписать автотесты • Цель - покрыть функциональное тестирование • вторая группа обучается 2014 2014 23
- 24. • тестировщики удвоиликоличество автотестов • июль 2014 - мы можем релизить опираясь на автотесты • до 100 запусков тестов в день 2014 Результаты 2014 24
- 25. • Покрываем автотестамимобильную версию • Покрытие функциональными тестами более 85% (бизнес-логика) • Тестировщики пишут тесты на API 2015 2015 25
- 26. • июль 2015- поддержка автотестов передана тестировщикам • большинство тестировщиков умеет писать автотесты • полностью перестроили инфраструктуру автоматизации • Full Test ~ 10 min 2015 Результаты 2015 26
- 27. • Автотесты наAndroid • Автотесты на iOS • Автотесты на админки • Continuous Delivery Pipeline для ряда проектов 2016 2016 27
- 28.
- 29.
- 30.
- 31.
- 32. • Простой workflowзадачи на автоматизацию тестирования: • ToDo • In Progress • Review • Done • Одноуровневое ревью • Весь код в мастере • Поддержка автотестов без бюрократии KISS Keep it simple 32
- 33. • Bare metalminimum: • Java • WebDriver • TestNG+ReportNG • Maven • Selenium Grid • Jenkins Велосипеды Минимум стандартных инструментов 33
- 34.
- 35.
- 36.
- 37.
- 38. История +Mnemonic, -Revolver (2013) 38 Jenkins Se Se+ASe+ASe+A Mnemonic Content Generators
- 39.
- 40.
- 41.
- 42.
- 43. История +Berrimor (05-2015) 43 Jenkins Se Se+ASe+A Se+A Mnemonic Content Generators StorekeeperWatsonRegistrator Holmes Berrimor
- 44. 2015 -Selenium Grid (09-2015) 44 Jenkins Mnemonic Content Generators StorekeeperWatsonRegistrator Holmes Berrimor Se+ASe+ASe+A NodeManager Se+ASe+ASe+A NodeManager Se+ASe+ASe+A NodeManager
- 45. Сейчас +Coordinator, AdminUtils, Dashboard (2016) 45 Jenkins Mnemonic Content Generators StorekeeperWatsonRegistrator Holmes Berrimor Se+ASe+ASe+A NodeManager Se+ASe+ASe+A NodeManager Se+ASe+ASe+A NodeManager Coordinator Dashboard AdminUtils
- 46. • Все велосипеды- от ограничений • Миграции и редизайн неизбежны Велосипеды Про велосипедостроение 46 Про наши велосипеды
- 47. • Что будетесли автотестов станет вдвое больше ? • Что будет если запусков автотестов станет в 5 раз больше? • Насколько стабильно по времени работают тесты ? Capacity Capacity planning a.k.a. преждевременная оптимизация 47
- 48. • Непосредственное участиеCTO • Четкие цели и дэдлайны • Понимание профита • Выделение ресурсов Политическая воля Воля 48
- 49. • Самый мощныйинструмент (ever seen) • Бесплатно, open source :) • По окончании итерации/раз в 1-2 месяца Ретроспективы Ретроспектив ы 49
- 50. Обучение - этоад Обучение 50
- 51. • Программированию • полгода- Java Crash Course • Автоматизации тестирования • 4 месяца • 2-3 воркшопа каждый месяц • git, selenium, code review, infra, etc. Real life Обучение 51
- 52.
- 53.
- 54. • Ownership Поддержка автотестов Поддержка автотестов 54 •Публичность • Дайджесты (долгие тесты, тесты с плохой кармой) ASAP
- 55.