Доклад Николай Козлов на конференции SQA Days-18, 27-28 ноября 2015 г., Москва www.sqadays.com

1. Как 3 тестировщика
играючи тестируют
приложение для 10 млн
пользователей
Nikolay Kozlov
1

2. 2

3. Немного о себе:
● в мобильном тестировании почти 5 лет
● старшийный тестировщик Android
● мобильный гик
● люблю находить очень сложные баги (а
кто не?)
● 1 форк
3

4. Немного о нас:
● социальная сеть для новых знакомств
● более 85 миллионов загрузок на Android
● 10 разработчиков
● 3 инженера по качеству
● недельные релизы
● один большой холодильник с едой
4

5. WEB vs MOBILE
• Мобайл молод и изменчив
• Практики отрабатываются
• Время ☹

6. До релиза
● ручное тестирование
● автоматизация
● “dogfooding”
● beta программа
● staged rollouts (спасибо Google)
● системы мониторинга крашей
● пьем пиво :)
6

7. 7

8. Основные инструменты
8

9. QA меню!
9

10. 10
QAAPI

11. Помощь от бэкэнда!
11

12. Как устроены бета релизы
● Google Play Beta + TestFairy
● Дополнительные эксепшены
● Бета юзеры получают печеньки!
12

13. После релиза
● шампанское!
● мониторинг крашей
● читаем ревью и смотрим рейтинги
● работа со службой поддержки
● смотрим на критичные графики
13

14. 14

15. Пропущенный БАГ на проде
15

16. Краш / ANR*
● Посмотреть на краш репорт
● Понять приоритет
● Найти способ воспроизвести
● Последний ход: расширенное
логирование + TestFairy
* на данный момент у нас 1 краш на 75000 запусков приложения
16

17. Другие баги
17
● Понять приоритет
● Посмотреть что пользователи говорят
(ревью, служба поддержки)
● Найти шаги для воспроизведения

18. Перевыкладка?
18

19. ● Обычно 2-3 часа (1 час для топ
девелоперов)
● Безболезненно (?) для пользователей
● В экстренных случаях: скрины апдейта /
апгрэйда
Перевыкладка
19

20. Контроль над
разрабатываемой фичей
Все фичи можно включить / выключить на
стороне сервера в любой момент времени:
● По странам
● По версии приложения
● % пользователей
20

21. Итоги
21
● Наши инструменты
● Что мы делаем до релиза
● Что мы делаем после релиза
и что мы пьем :)

22. TANK YOU!
lamamer
@lamamer
n.kozlov@corp.badoo.com
22