AUTOMATEDTESTING 	

IN STORE PROJECT
by Alexander Hayorov 	

<i@hayorov.ru>
Shipping Better Software Faster
AGENDA
• Continuous integration инфраструктура	

• Непрерывная сборка	

• Выкладка артефактов	

• О тестировании в целом	
...
ОСНОВЫ CONTINUOUS INTEGRATION
Серверная инфраструктура и экосистема CI
Dedicated hardware server with KVM virtualization
J...
НЕПРЕРВЫВНАЯ СБОРКА
“Debug” сборка master по commit
НЕПРЕРВЫВНАЯ СБОРКА
Сборка из веток
ВЫКЛАДКА АРТЕФАКТОВ
• на testflight сервис*
* с 21 марта 2014 сервис не предоставляется для android :(
используется для уст...
ВЫКЛАДКА АРТЕФАКТОВ
• на собственное хранилище
используется в автоматизированном тестировании, также можно
использовать дл...
О ТЕСТИРОВАНИИ В ЦЕЛОМ
Непрерывное приемочное тестирование
- проверка соответвии требованиям (описанию)	

- формализация т...
АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ
Дополнительный этап - тестирование стабильности
Monkey test (aka. MarkTesting)	

!
4 эталонных ...
АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ
Обнаруживает критические ошибки в приложении
* приложение вынужденно завершилось, причина - оши...
АВТОМАТИЗАЦИЯ РЕГРЕССИИ
Сценарии тестов на основе тест кейсов ручной регрессии
Шаги составляют тест, тесты объеденены в сь...
АВТОМАТИЗАЦИЯ РЕГРЕССИИ
Тесты написаны на python
Запускаются с Jenkins для любого билда и эталонного устройства
Можно смот...
АВТОМАТИЗАЦИЯ РЕГРЕССИИ
Наглядные отчеты на AngularJS прямо в Jenkins
Демо: http://ci.myplaycity.com:8080/job/store-accept...
НЕМНОГО СТАТИСТИКИ
Автоматизировано 21 ручной тест-кейс
Покрытие кода 64%*
* по критерию покрытия вход/выход
Покрытие экра...
СПАСИБО
Upcoming SlideShare
Loading in …5
×

Mpc store testing

241 views

Published on

Published in: Travel
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
241
On SlideShare
0
From Embeds
0
Number of Embeds
4
Actions
Shares
0
Downloads
1
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Mpc store testing

  1. 1. AUTOMATEDTESTING IN STORE PROJECT by Alexander Hayorov <i@hayorov.ru> Shipping Better Software Faster
  2. 2. AGENDA • Continuous integration инфраструктура • Непрерывная сборка • Выкладка артефактов • О тестировании в целом • Тестирование стабильности • Автоматизация регрессионного тестирования • Немного статистики
  3. 3. ОСНОВЫ CONTINUOUS INTEGRATION Серверная инфраструктура и экосистема CI Dedicated hardware server with KVM virtualization Jenkins (CI) ci.myplaycity.com Builder server Deploy server Artifacts storage (builds, reports) CVS (Bitbucket)
  4. 4. НЕПРЕРВЫВНАЯ СБОРКА “Debug” сборка master по commit
  5. 5. НЕПРЕРВЫВНАЯ СБОРКА Сборка из веток
  6. 6. ВЫКЛАДКА АРТЕФАКТОВ • на testflight сервис* * с 21 марта 2014 сервис не предоставляется для android :( используется для установки на устройства при ручном тестировании
  7. 7. ВЫКЛАДКА АРТЕФАКТОВ • на собственное хранилище используется в автоматизированном тестировании, также можно использовать для ручной установки
  8. 8. О ТЕСТИРОВАНИИ В ЦЕЛОМ Непрерывное приемочное тестирование - проверка соответвии требованиям (описанию) - формализация тест-кейсов Пред-релизный цикл тестирования: - кумулятивное тестирование новых функциональностей релиза (актуализация регрессионных тестов) - короткий цикл регрессионного тестирования с высокой частотой повторения
  9. 9. АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ Дополнительный этап - тестирование стабильности Monkey test (aka. MarkTesting) ! 4 эталонных устройства ! Имя Версия OC Аналог etalon-10 2.3.3 Motorola Razr Max etalon-15 4.0.3 Samsung Galaxy S2 etalon-17 4.2.2 Google Nexus One etalon-18 4.3 Google Nexus 4 ! Демо видео http://www.youtube.com/watch?v=hvLo1_PwZjU 10 минут приложение в руках обезьяны
  10. 10. АВТОМАТИЗАЦИЯ ТЕСТИРОВАНИЯ Обнаруживает критические ошибки в приложении * приложение вынужденно завершилось, причина - ошибка при обращении к БД при условии 100% занятой карты памяти
  11. 11. АВТОМАТИЗАЦИЯ РЕГРЕССИИ Сценарии тестов на основе тест кейсов ручной регрессии Шаги составляют тест, тесты объеденены в сьюты (наборы) Проект тестов повторяет жизненный цикл продукта
  12. 12. АВТОМАТИЗАЦИЯ РЕГРЕССИИ Тесты написаны на python Запускаются с Jenkins для любого билда и эталонного устройства Можно смотреть за ходом тестирования на устройстве поVNC * пароль при подключении к экрану 1q2w3e ! Демо видео http://youtu.be/RRCRDr0oZbc
  13. 13. АВТОМАТИЗАЦИЯ РЕГРЕССИИ Наглядные отчеты на AngularJS прямо в Jenkins Демо: http://ci.myplaycity.com:8080/job/store-acceptance-tests/18/allure/?#/home/de455213- a04a-4768-916a-35d663c33650/98fe1439-79fc-4b98-9cae-92e97f6b4c9e
  14. 14. НЕМНОГО СТАТИСТИКИ Автоматизировано 21 ручной тест-кейс Покрытие кода 64%* * по критерию покрытия вход/выход Покрытие экранов 66% (46) Время прогона 14 минут
  15. 15. СПАСИБО

×