Доклад Юлии Горловой на SQA Days-15. 18-19 апреля, 2014, Москва. www.sqadays.com

1. Лайфхаки ручного
тестирования на
мобилках
Юля Горлова

2. Хотим выпускать продукт
высокого качества
в условиях ограниченных
человеческих и временных ресурсов

3. 2GIS Mobile это
– Карта, справочник, транспорт
– 8,5 млн. пользователей
– 4 платформы

4. 2.2 - 4.4 4.3 - 7.0 10.х Harmattan
Не просто 4 платформы

5. 2 тестировщика на проект
Только ручное тестирование
1 месяц на релиз

6. – Широкий диапазон ОС
– Мало людей
– Мало времени
– Высокие требования к качеству*
*Качественно - это когда пользователи жалуются только на то, что в 2ГИС
еще нет их города :)
Итого

7. Решения
1. Администрирование
2. Управление билдами
3. Сбалансированное тестирование
4. Бета-тестирование
5. Текущая поддержка

8. Администрирование

9. Собрался домой - покорми телефон

10. В тестировании более 30 устройств

11. Найти нужный телефон должно быть
просто

12. Как найти?
Сводная таблица по всем устройствам

13. Та самая таблица

14. Поля той самой таблицы
– Процессор
– CPU ABI
– GPS
– Память
– Экран
– Тема
– Магнитный компас
– Тачскрин
– Мультитач
– Поддержка OpenGL
– Операционная система

15. Синдром вахтера

16. Стойка
для хранения
девайсов
– Много зарядок
– Открытые полки
– Ничего лишнего

17. В качестве заставки
на экране блокировки
у iPad’ов – картинка с
типом экрана и
версией ОС
А еще так

18. Хозяйке на заметку

19. Хозяйке на заметку

20. Управление билдами

21. Для каждой платформы – своё приложение

22. Почему не
кроссплатформенное?
1. Пользователи любят нативный дизайн

23. Было Стало
Android, Symbian, WinCE Android, BlackBerry, MeeGo iOS

24. Почему не
кроссплатформенное?
1. Пользователи любят нативный дизайн
2. Приложение написано на С++,
взаимодействует с системой на уровне ядра

25. Для каждой
платформы –
свой билд-сервер

26. Устанавливаем сборку
на девайс

27. Долго
1. Зайти на билд-сервер
2. Скачать нужную сборку
3. Подключить телефон кабелем
4. Закинуть сборку в память телефона
5. Отключить телефон
6. Найти сборку в памяти
7. Запустить установку

28. QR-коды!

29. Сбалансированное
тестирование

30. Выпустить 1 фичу != протестировать 1 фичу

31. Тестируем фичу параллельно на двух
платформах

32. Android такой разный
Миллион разных
размеров экрана и
разрешений

33. Для миллионов экранов Android’a сделали
пять стандартных «тем»

34. Android такой прожорливый
Важно следить, что мы не разряжаем
пользователю телефон

35. Заранее планируем тестирование
расхода заряда батареи с упором на
новые фичи

36. Поворот экрана на iPad – это не одна галочка
в настройках

37. Для iPad’ов планируем сессии
свободного тестирования с упором
на вёрстку

38. Купил хлеба – перестала открываться
балконная дверь по вторникам

39. Предустановка на Android
Каждый релиз – это 10+ почти одинаковых
сборок для вендоров
– Huawei
– Meizu
– Highscreen
– ...
Наши вендоры

40. 10+ сборок собираются на билд-сервере
одним скриптом
Проверяем только запуск и различия

41. Сначала iOS и BlackBerry
Верификация и регресс

42. Сроки поджимают:
сначала отправляем в App Store,
потом регресс

43. Если релиз должен был быть вчера –
письмо в App Store

44. Бета-тестирование

45. Выпускаем поддержку OpenGL – девайсов
много не бывает

46. Выбрали двух этапное
бета-тестирование

47. – сборка в состоянии «альфа»
– цель: собрать основные проблемы
Внутреннее

48. – сборка в состоянии финальной готовности
– цель: собрать специфические проблемы
Внешнее

49. Как это было
2ГИС для Android:
хорошие новости

50. Как это было

51. Налаженный канал обратной связи на случай
форс-мажорных обстоятельств
Дополнительные выгоды

52. Текущая поддержка

53. 1 место в Google Play
“Путешествия”
1 место в Ovi Store
“Путеводители и карты”
2 место в App Store
“Навигация”
Топ бесплатных

54. Нужно не только быстро тестировать, но и
быстро реагировать на проблемы

55. Обратная связь бывает
быстрая и полезная

56. Что-то пошло не так – в маркетах видно
сразу
Быстрая обратная связь

60. 1% ≈ 85 тысяч
пользователей с проблемой
Потому что

61. Типичный отзыв
в маркете:
“Всё сломалось,
почините!”

62. Связь с техподдержкой через
приложение
Полезная обратная связь

63. Добавляем в тело
письма всю
отладочную
информацию

64. Лечим даже сложные
частные случаи
по фотографии!

65. Что имеем в итоге?

66. Если
1. Глубоко в ядре платформы
2. Android
3. Не только Android
4. Автоматизации не будет

67. – Сокращайте сопутствующие расходы
времени
– Аллилуйя!

68. Вопросы?
yu.gorlova@gmail.com yu_gorlova
Юля Горлова