Последние тренды мобильного рынка и их влияние на вашу тестовую стратегию
•Download as PPTX, PDF•
1 like•890 views
Доклад Дмитрия Костяшова, SQA Days-13, 26-27 апреля 2013, www.sqadays.com
Recommended
Recommended
More Related Content
More from SQALab
More from SQALab (20)
Последние тренды мобильного рынка и их влияние на вашу тестовую стратегию
- 1. «Последние тренды мобильного рынка и их влияние на Вашу тестовую стратегию» Докладчик: Дмитрий Костяшов www.epam-group.ru/mobile/index.htm
- 2. www.epam-group.ru/mobile/about.htm О компании Подготовка пресейлов - Оценки, КПИ, Подходы - Помощь в запуске новых проектов Команда - 100+ мобильных тестировщиков - 7+ лет опыта работы в мобильном тестировании Консалтинг - Сохранение экспертизы - Создание базы знаний Тренинги - Внутренние и внешние тренинги - Тестовая лаборатория Центр мобильной компетенции
- 3. www.epam-group.ru/mobile/ios.htm Стратегия тестирования iOS: Типы тестирования Подход Типы тестирования Ручное Авто Стандартное тестирование Функциональное Да Да Системное Да Да Регрессионное Да Да Выпуск в AppStore Да Нет Расширенное тестирование Тестирование совместимости Да Да Интерфейсное тестирование Да Нет Бизнес приложения Тестирование производительности Да Да Тестирование безопасности Да Да
- 4. www.epam-group.ru/mobile/ios1.htm Стратегия тестирования iOS: Тестирование совместимости iOS / iPhone iPhone 3GS iPhone 4 iPhone 4S iPhone 5 Новый iPhone iOS 4.x Низкий Низкий Н/Д Н/Д Н/Д iOS 5.x Низкий Низкий Низкий Н/Д Н/Д iOS 6.0.x Низкий Низкий Низкий Низкий Н/Д iOS 6.1.x Низкий Низкий Средний Высокий Н/Д Новая iOS ? ? ? ? ?
- 5. www.epam-group.ru/mobile/ios2.htm Стратегия тестирования iOS: Тестирование интерфейса iOS Human Interface Guidelines Описывает практики и подходы для создания отличного интерфейса приложения
- 6. www.epam-group.ru/mobile/ios2.htm Стратегия тестирования iOS: Выпуск в App Store Проверка приложения перед выпуском в AppStore Является важным процессом в жизненном цикле разработки
- 7. www.epam-group.ru/mobile/android.htm Стратегия тестирования Android: Типы тестирования Подход Типы тестирования Ручное Авто Стандартное тестирование Функциональное Да Да Системное Да Да Регрессионное Да Да Расширенное тестирование Тестирование совместимости Да Да Интерфейсное тестирование Да Нет Бизнес приложения Тестирование производительности Да Да Тестирование безопасности Да Да
- 8. www.epam-group.ru/mobile/android1.htm Стратегия тестирования Android: Тестирование совместимости Android / Телефон Samsung GS3 Samsung GNote2 LG Nexus HTC ONE X Samsung GS2 Android 2.3.3-2.3.7 Н/Д Н/Д Н/Д Н/Д Средний Android 4.0.3-4.0.4 Высокий Н/Д Н/Д Средний Низкий Android 4.1 Средний Средний Средний Низкий Низкий Android 4.2 Н/Д Н/Д Низкий Н/Д Н/Д Новый Android ? ? ? ? ?
- 9. www.epam-group.ru/mobile/android1.htm Стратегия тестирования Android: Тестирование интерфейса Экран / DPI LDPI (120) MDPI (160) HDPI (240) XHDPI (320) Small (2 – 3.2 inch) 240x320 480x640 Normal (2.8 – 4.7 inch) 240x400 240x432 320x480 480x800 480x854 600x1024 640x960 Large (4.3 – 7 inch) 480x800 480x854 480x800 480x854 600x1024 Xlarge (7 – 10 inch) 1280x800 1024x768 1280x768
- 10. www.epam-group.ru/mobile/summary.htm Подводим итоги Мобильный рынок развивается очень стремительно Мобильное тестирование имеет свою специфику, которая связана с развитием рынка К каждой мобильной ОС нужно применять свои подходы в тестировании Через 5 лет от текущего момента мобильный рынок может очень сильно измениться…
Editor's Notes
- Я рад приветствовать всех присутствующих на сегодняшнем мероприятии.Меня зовут Дмитрий и я рад представить вашему вниманию тему, которая будет затрагивать мобильное тестирование в условиях быстро растущего мирового рынка.Стратегия тестирования является очень важным документом, который поможет Вам построить правильные процессы тестирования на любом проекте. Каждая новая разработанная стратегия увеличивает Ваш опыт и на подсознательном уровне Вы начинаете разрабатывать успешные шаблоны стратегий.Но с каждым новым мобильным проектом, вы будете попадать в ситуацию, когда ранее разработанные шаблоны могут не работать.Так что же делать в этом случае? Вот об этом мы и поговорим сегодня!Сейчас я покажу Вам текущее положение на рынке мобильных операционных систем и продемонстрирую аналитический прогноз по росту и развитию мобильных устройств и мобильных операционных систем.Чтобы Вам было еще интереснее, я расскажу про специфику мобильного тестирования, которая поможет представить всю сложность картины.Вся представленная информация будет наложена на методику тестирования для наиболее популярных мобильных операционных систем от компании Apple и компании Google. И так, поехали…<Следующий слайд>Время: 1:30 минуты
- Традиционно, перед вами слайд, который показывает достижения нашей компании, а точнее, центра мобильной компетенции, который создан в Эпам системс.Пару слов расскажу про докладчика Я приехал к Вам из города Саратов, я работаю в филиале компании Епам. В тестировании я уже более 7 лет, а в тестировании мобильных приложений уже более 2х лет.Помимо проектной работы, так же провожу курсы мобильного тестирования для сотрудников нашей компании.Я думаю, что самое время перейти к нашей основной теме.<Следующий слайд>Время: 30 секунд
- Стратегия –это высоко-уровневый взгляд на проблему, которую предстоит решить.В нашем случае это:1.тестирование всей функциональности, которая заявлена в приложении,2. это все среды, конфигурации, языки и т.д., в которых будет функционировать приложение. Мобильное приложение, это не конь в сферическом вакууме.Поэтому тестовая стратегия должна покрывать всю функциональность вашего приложения, учитывать все компоненты мобильной экосистемы, в которой будет работать приложение.В нашей компании мы предлагаем 3 основных подхода в тестировании мобильных приложений, о каждом подходе я расскажу сейчасподробнее:Стандартное тестирование, оно включает в себя функциональное тестирование (проверка функциональности, заявленное в приложении, без него вообще нецелесообразно выводить продукт на рынок), системное тестирование (проверка взаимодействия приложения в реальном системном окружении), регрессионное тестирование (стандартно, проверка того, что исправления не привнесли новых ошибок и что исправленная функциональность работает корректно) и последнее, это выпуск в AppStore. Про данный вид тестирования я проговорю подробнее.Расширенное тестирование, оно включает в себя тестирование совместимости (тестирование на различных аппаратно-программных конфигурациях) и интерфейсное тестирование (тестирование графического интерфейса пользователя, часто сюда включают тестирование удобства, т.к. весь процесс взаимодействия проводится через экран). Вот как раз расширенное тестирование очень сильно завязывается на быстрый рост мобильного рынка, поэтому далее я подробнее расскажу о каждом виде тестирования, представленным здесь.Тестирование Бизнес приложений, сюда включается тестирование производительности и тестирование безопасности, эти виды тестирования аналогичны тестированию десктопных приложений. Немного расскажу про возможность автоматизации мобильных приложений. Как вы видите на слайде, автоматизация применима практически везде, за исключением тестирования интерфейса и выпуска в магазин продаж.Тестирование пользовательского интерфейса - задача более трудная и весьма неэффективная, так как автотесты могут проверить наличие/отсутствие элемента на экране, но отследить правильность его отрисовки и местоположения можно только при ручном тестировании.Тестирование удобства использования и вовсе возможно провести только ручным способом.В случае тестирования приложения перед выпуском в AppStore, проверка проводится исключительно вручную.И пару слов скажу про Симуляторы и Эмуляторы. Симулятор – это механизм, который позволяет запускать в вашей среде APK, или другие файлы, которые не поддерживаются вашей системой. Пример, это iOS симулятор, который входит в состав Xcode.Эмулятор – полностью эмулирует работу вашей системы, архитектуру процессора и выше, соответственно он медленнее. Пример, это Андройд эмулятор, который входит в состав Андройд СДК.Во первых, нужно четко понимать, что использование эмуляторов и симуляторов оправдано только при проведении функционального тестирования.Ограничения использования симуляторов и эмуляторов заключаются в следующем: Ограничения на жестыНе возможно использовать полноценный гироскопРазличия в OpenGL между девайсом и ПК (актуально для игр)Неограниченное количество ОЗУ (В ПК 4-8 гигабайт ОЗУ, а в мобильном девайсе 128-1024)И так, я рассказал вам про 3 подхода в тестировании, а теперь я более подробно остановлюсь на типах тестирования, которые наиболее подвержены влиянию развития рынка и которые очень важно проводить вовремя.<Следующий слайд>Время: 5 минут
- Во первых, это тестирование на совместимость.Как правильно проводить тестирование на совместимость?Нужно выбрать все поддерживаемые устройства и версии iOS вашим приложением, записать полученные результаты в виде матрицы, представленной на слайде.Из за быстрого роста мобильного рынка, компания ЭПЛ постоянно должна чем то удивлять пользователей. В связи с этим на рынке происходят постоянные обновления девайсов и версий ОС.В чем же заключается идея, почему пользователи покупают новые устройства и обновляют их?Начнем с новых устройств. Идея заключается в бизнес схеме, которую использует компания Эпл.Цена устройства остается на одном уровне, устройство становится мощнее, идет постоянное обновление железа, добавление новых аппаратных функций.Теперь пару слов скажу про обновление самой iOS.Начиная с iOS 5 версии, все обновление ПО происходит по воздуху. Сейчас каждая новая версия iOS будет гарантированно установлена пользователем.Так же нужно знать, что Эпл не поддерживает официальную процедуру даунгрейдаiOS, поэтому и приоритет будет у новой версии iOS выше, чем у старой.Все это нужно понимать для приоритезации конфигурацийв матрицесовместимости.На слайде видно, что приоритеты смещаются к последним актуальным телефонам и новым версиям iOS.А теперь перейдем к вопросам, которые стоят в матрице!C выходом новой версии iOS и появлении нового аппарата, ваши приоритеты будут меняться!!!Новый аппарат получит поддержку самой последней iOS. Приоритезация будет менять в сторону нового аппарата и новой iOS.Мы выполнили свою задачу по подготовке стратегии, которая позволит правильно протестировать приложение на совместимость.Теперь давайте рассмотрим интерфейсное тестирование<Следующий слайд>Время:
- Тестирование пользовательского интерфейсаэто важный вид тестирования в мобайле.Как минимум, Эпл накладывает строгие ограничения на UI,поэтому тестировщик должен иметь опыт в тестировании того самого пользовательского интерфейса.Почему это важно?Красивые и удобные приложения лучше продаются и пользуются последующим спросом, а конкуренция очень высокая! Плохое приложение не продать, не тот рынок.К приложению быстро привыкают и используются им постоянно!Можно формально получить реджект приложения, если сотрудник Эпл не оценит «некрасивый» дизайн . Отсюда ваши сроки поедут Как же правильно протестировать пользовательский интерфейс? Ответ: получить практический опыт. Опыт можно получить путем использования приложений, которые находятся в топе продаж, например, фейсбук. Я рекомендую так же прочитать литературу от Эпл под названием Human Interface Guideline. Этот документ в первую очередь направлен на разработчиков, в нем описаны все лучшие практики создания WOW интерфейса для приложения Так что, обязательно к прочтению, тем самым вы получите бесценный опыт в тестировании интерфейса и удобства использования. После прочтения вы будете разговаривать на одном языке с разработчиком приложений.В итоге, ваше приложение должно иметь качественный интерфейс, который позволит вам быть впереди своих конкурентов.И в заключении, я расскажу про проверку приложений перед выпуском в AppStore<Следующий слайд>Время:
- Тестирование приложений перед выпуском в аппстор, что это такое вообще и для чего его нужно проводить?В компании Эпл имеются внутренние правила, которые должно соблюдать любое приложение, которое загружается в Аппстор для продажи. В случае, если приложение будет нарушать правила, то оно будет забраковано и не пройдет в Аппстор.Тестирование приложения перед выпуском, это проверка приложения с использованием внутренних правил. Важно поставить перед собой задачу, чтобы пройти в Аппстор с первого раза.Что еще важно отметить: необходимо при подготовке стратегии зарезервировать время, которое требуется на прохождение приложения во время процесса ревью. Это может быть от нескольких дней до нескольких недель. На практике, очень много проблем с приложениями, которые используют оплату, которая идет не через внутренний механизм InnAppPurchase. И так, я показал вам подходы в тестировании, рассказал про виды тестирования, которые связаны напрямую с развитием рынка.Давайте теперь поговорим о стратегии под Андройд.<Следующий слайд>Время:
- Как вы видите на слайде, в случае с Андройдом, мы исключаем тестирование на проверку приложения перед его загрузкой в Google Play, т.к. приложения под Андройд сразу же попадают в Google Play без доскональной проверки. У Гугла имеется свой механизм борьбы с вредоносными приложениями, поэтому и стратегию дистрибьюции тут применяют совершенно другую.Подробно на этом слайде я останавливаться не буду, и предлагаю перейти к тестированию совместимости.<Следующий слайд>Время: 30 секунд
- И так, давайте более подробно рассмотрим тестирование на совместимость под Андройд.У нас получается матрица, где по вертикали откладываем версии Android и по горизонтали откладываем мобильные устройства, на подобие матрицы, которую мы рассмотрели в iOS.В связи с тем, что количество устройств под Андройд огромно, мы берем 4 популярных смартфона в мире, плюс один смартфон под Андройд 2.3.x, т.к. эта версия ОС остается достаточно популярной, хотя она уже не будет идти самым высоким приоритетом.Статистика устройств доступна в открытом доступе, но к этой статистике нужно относиться с осторожностью. Поэтому посмотрите 3-4 источника, чтобы однозначно понимать, что указанные устройства реально являются лидерами на рынке.После того, как мы указали 5 популярных устройств, мы переходим к заполнению версий Андройд.Сразу небольшая ремарка, на рассматриваемом слайде я исключил версии ниже 2.3, и полностью исключил 3х (планшетная версия).Статистика ОС доступна на сайте Developer.android.com, такой статистике можно доверятьКак все готово, мы начинаем расставлять приоритеты, каждое устройство будет терять по 1 позиции, по мере уменьшения процента распространённости на рынке версии ОС Андройд.Как вы видите, процесс приоритезации кардинально отличается от приоритезации в iOS.Кроме этого, важно понимать, что в отличии от iOS, любое устройство можно прошивать ранней прошивкой, тем самым вы без проблем можете двигаться по данной матрицеА что же делать с приоритезацией при выходе новой версии Андройд ОС?С выходом новой версии Android, обновления до устройств будут доходить со значительной задержкой, кроме LG Nexus, т.к. это устройство будет получать всегда самые последние обновления. Поэтому приоритезация не будет смещаться к новой версии Android, как это делается в iOS.Мы выполнили свою задачу по подготовке стратегии, которая позволит правильно протестировать приложение на совместимостьТеперь давайте поговорим про тестирование пользовательского интерфейса.<Следующий слайд>Время: 4 минуты
- У компании Google так же имеются лучшие практики разработки UI, которые представлены на официальном сайте разработки. Но в отличии от iOS, здесь проблема более глубокая и она больше связана с огромным разнообразием устройств, которые представлены на рынке.Как же быть в этом случае? Как нам тестировать такой огромный парк?На помощь на приходит компания Гугл со своей концепцией пользовательского интерфейса, которая определяется связкой физического размера экрана и плотности распределения пикселей на экране (DPI) {Инфа про DPI http://programador.ru/dp/}Начнем с размера экрана(screensize) — это физический размер экрана; предопределенные значения размеров, это: small, normal, large, extralarge. Их физические размеры представлены на слайде.И теперь переходим к плотности(density) – это распределение пикселей относительно физических размеров экрана. Значение плотности распределения пикселей важно, поскольку один и тот же UI элемент, выраженный в пикселях для экранов с более низкой плотностью будет казаться больше, чем для экранов с высокой. Предопределенные значения плотности, это: ldpi (low), mdpi (medium), hdpi (high), и xhdpi. Их значения представлены на слайде.И так, для того, чтобы покрыть всю разнообразность экранов и разрешений, мы готовим матрицу, которая представлена на слайде.В матрице вы видите примеры разрешений, я специально указалразрешения только для тех пересечений, которые пользуются популярностью на рынке.Самые популярные экраны на текущий момент это Normal с разрешением HDPI, они занимают 50% по статистике.Далее это 2 средних приоритета для экранов Normal с разрешением XHDPI – 25% и c разрешением MDPI – 11%Остальные экраны будут идти самым низким приоритетом, их доля менее 5% по статистике.И тут мы выполнили свою задачу по подготовке стратегии, которая позволит качественно протестировать интерфейс пользователя.<Следующий слайд>Время: 3 минуты
- Итоги по слайду.
- И так, все, что я планировал вам рассказать, я сделал. Теперь подошло время ответить на ваши вопросы и я готов это сделать в ближайшие N минутВремя: 5 минут