Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Мобильные приложения:
автоматизируем
автоматизацию
Алёна Пономаренко
Release Engineer в Zillion Whales
• В мобильных играх с 2011 года
• Zillion Whales, ex i-Free
• Building & shipping:
a. Взаимодействие со сторами,
соблюдени...
Особенности тестирования
мобильных приложений
• Разнообразие магазинов платформ
• Google Play,
• Amazon AppStore,
• Samsun...
Фермы мобильных устройств
• Физические устройства, не эмуляторы
• Поэтому доступны дополнительные функции
• Сотни устройст...
Залить билд, подождать и получить результаты
• Google Cloud Test Lab
• Amazon App Testing Service
• Testdroid App Crawler
Google Cloud Test Lab
• Всё ещё в бета-тесте
• Зато пока доступно бесплатно (нужен аккаунт Google Cloud)
• Запускается на ...
Выводы
• Бета!
• Пока доступен небольшой список девайсов, обещают добавить
больше
• Сохраняется только один скриншот, зато...
Amazon App Testing Service
• Бесплатен после регистрации в Amazon Developer Console
• Только Amazon-девайсы (Fire телефоны...
Как выглядит результат на хорошем приложении
• Эвенты
• Скриншоты
• Логи
• Память
• Процессор
Вывод
• Проверяет, полностью ли совместим билд с Amazon API. Если нет,
будут даны конкретные рекомендации по библиотекам и...
Testdroid App Crawler
• Бесплатно доступно небольшое количество девайсов (8 Android + 2 iOS
на данный момент)
• Минимальны...
Выводы
• Бесплатно доступно небольшое количество девайсов
• Нет скриншотов
• Зато удобный просмотр логов
• Не всегда инфор...
Итоговое сравнение и рекомендации
Google Cloud Test Lab Amazon App Testing Service Testdroid App Crawler
Цена
Девайсы
Полн...
Бонус :)
Samsung Remote Test Lab
• Бесплатно с аккаунтом Samsung Developer
• 20 кредитов каждый день, один кредит = 15 мин...
Спасибо! Вопросы?
a.po@zillionwhales.com
Helen Allien Poe
Приложения для мобильных устройств: автоматизируем автоматизацию!
Приложения для мобильных устройств: автоматизируем автоматизацию!
Приложения для мобильных устройств: автоматизируем автоматизацию!
Приложения для мобильных устройств: автоматизируем автоматизацию!
Приложения для мобильных устройств: автоматизируем автоматизацию!
Приложения для мобильных устройств: автоматизируем автоматизацию!
Приложения для мобильных устройств: автоматизируем автоматизацию!
Upcoming SlideShare
Loading in …5
×

Приложения для мобильных устройств: автоматизируем автоматизацию!

22,302 views

Published on

Доклад Алёны Пономаренко на конференции SQA Days-19, 20-21 мая 2016 г., Санкт-Петербург

Published in: Education
  • Be the first to comment

  • Be the first to like this

Приложения для мобильных устройств: автоматизируем автоматизацию!

  1. 1. Мобильные приложения: автоматизируем автоматизацию Алёна Пономаренко Release Engineer в Zillion Whales
  2. 2. • В мобильных играх с 2011 года • Zillion Whales, ex i-Free • Building & shipping: a. Взаимодействие со сторами, соблюдение гайдлайнов b. Выдача артефактов сторов c. Помощь со сборкой билдов и с тестированием d. Релизы a.po@zillionwhales.com Helen Allien Poe в соц сетях
  3. 3. Особенности тестирования мобильных приложений • Разнообразие магазинов платформ • Google Play, • Amazon AppStore, • Samsung Apps, • etc • фрагментация девайсов (даже у iOS) • нужен целый зоопарк • и много времени • автоматизация на мобильных устройствах всё ещё нетривиальна
  4. 4. Фермы мобильных устройств • Физические устройства, не эмуляторы • Поэтому доступны дополнительные функции • Сотни устройств • Варианты OS и прошивки • Новые регулярно добавляются
  5. 5. Залить билд, подождать и получить результаты • Google Cloud Test Lab • Amazon App Testing Service • Testdroid App Crawler
  6. 6. Google Cloud Test Lab • Всё ещё в бета-тесте • Зато пока доступно бесплатно (нужен аккаунт Google Cloud) • Запускается на физических девайсах • Можно подключить прямо к Android Studio • Помимо автотестов, можно писать свои тесты с помощью Espresso и Robotium
  7. 7. Выводы • Бета! • Пока доступен небольшой список девайсов, обещают добавить больше • Сохраняется только один скриншот, зато есть видеозапись всего процесса • В нашем случае приложение ближе к концу выкинуло ошибку, судя по видео, но фактически в результатах это не отразилось
  8. 8. Amazon App Testing Service • Бесплатен после регистрации в Amazon Developer Console • Только Amazon-девайсы (Fire телефоны/планшеты/TV) • Проверяет в том числе исходный код в поисках: • несовместимых библиотек • неподдерживаемых Amazon-девайсами опций • неправильного использования Amazon API • В итоге формируется отчёт, в том числе в пригодном для печати виде
  9. 9. Как выглядит результат на хорошем приложении
  10. 10. • Эвенты • Скриншоты • Логи • Память • Процессор
  11. 11. Вывод • Проверяет, полностью ли совместим билд с Amazon API. Если нет, будут даны конкретные рекомендации по библиотекам и манифесту • Если билд падает, будут доступны шаги воспроизведения, скриншоты, логи и точные характеристики девайса • На скриншотах можно увидеть проблемы UI, если просматривать вручную
  12. 12. Testdroid App Crawler • Бесплатно доступно небольшое количество девайсов (8 Android + 2 iOS на данный момент) • Минимальный план за 50 долларов в месяц даёт доступ ко всем девайсам и 5 часов их использования • Доступно тестирование вручную • Можно подключить Appium или Calabash
  13. 13. Выводы • Бесплатно доступно небольшое количество девайсов • Нет скриншотов • Зато удобный просмотр логов • Не всегда информативные сообщения об ошибках
  14. 14. Итоговое сравнение и рекомендации Google Cloud Test Lab Amazon App Testing Service Testdroid App Crawler Цена Девайсы Полнота информации об ошибках Пока (?) бесплатно Пока (?) 15 - Пропустил краш + Есть видео Бесплатно Все Amazon - Только Amazon + Указывает на несовпадение библиотек и API Есть бесплатный и платный тарифы 10 на бесплатном и больше 400 на платном - Нет скриншотов + Удобный просмотр логов
  15. 15. Бонус :) Samsung Remote Test Lab • Бесплатно с аккаунтом Samsung Developer • 20 кредитов каждый день, один кредит = 15 минут одного девайса • Даёт доступ только к Samsung устройствам • Ручное тестирование, может быть довольно медленным из-за соединения
  16. 16. Спасибо! Вопросы? a.po@zillionwhales.com Helen Allien Poe

×