Доклад Оксаны Деменцовой на конференции SQA Days-12, 30 ноября-1 декабря, Минск

1. Тестирование IP видео на примере
библиотеки Skype
SQA days 2012
2012 © Skype Internal Data.

2. Оксана Деменцова
• Software development engineer in test, Skype division. Microsoft. Tallinn office
• Почти 5 лет в тестировании
• Все проекты связаны с видео
oksana.dementsova
2012 © Skype Internal Data. Slide 2

3. Сегодня
Видео библиотека Skype
Качество видео
Объективные оценки
Субъективные оценки
Выводы
2012 © Skype Internal Data.

4. Видео библиотека Skype
2012 © Skype Internal Data.

5. Видео – в массы!
200 млн онлайн пользователей в месяц
40 млн одновременно онлайн
Более 40% звонков – видео звонки
300 млн минут видео в день
2012 © Skype Internal Data. Slide 5

6. Видео библиотека Skype
Независимый компонент
2012 © Skype Internal Data. Slide 6

7. Обеспечения качества
Как и любой другой програмный продукт, Skype тестируется разными способами
• Unit testing, code coverage, и всякие другие инструменты
Однако, видео довольно уникальная часть
• И это то, о чем мы поговори
А начнем с одного большого вопроса…
2012 © Skype Internal Data. Slide 7

8. На сколько хорошо выглядит
наше видео?
2012 © Skype Internal Data.

9. А если детальнее…
Оно вообще
работает?
Между А со старыми
платформами версиями?
работает?
Видео и аудио
синхронны?
Предыдущие Какой компромис
версии хуже? между аудио, видео и
жизнью батареи?
2012 © Skype Internal Data. Slide 9

10. Все непросто
Измерение качества видео – сложная задача, так как включает в себя:
1. понимание того, как работает воспрятие человека (глаза + мозг)
2. преобразование этих знаний в алгоритмы и эксперименты
2012 © Skype Internal Data. Slide 10

11. Субъективное vs. объективное
Объективное: измеримые характеристики видео
Субъективное: то, что имеет значение для конечного пользователя
2012 © Skype Internal Data. Slide 11

12. Спектр метрик
Полностью Скорее Полностью
Объективные Смешанные
объективные субъективные субъективные
Мнение
Частота кадров Цвет Артефакты Четкость
пользователей
Общее
Разрешение Замирания Скрытия Гладкость
впечатление
Соотношение Синхронность
Подергивание
сторон
Задержка Мерцание
2012 © Skype Internal Data. Slide 12

13. Объективные метрики
Расрешение: 160x120, 720p, full HD…
Частота кадров: 30 fps
• Базовые метрики. Но, не дают полного
представления о качестве
Другие метрики: точность кадра, размытость,
блоковость, резкость
• Сложнее определить и измерить
2012 © Skype Internal Data. Slide 13

14. Кодек
VC-1 H264 VP6
2012 © Skype Internal Data. Slide 14

15. Цвет
2012 © Skype Internal Data. Slide 15

16. Артефакты
2012 © Skype Internal Data. Slide 16

17. Порядок кадров
2012 © Skype Internal Data. Slide 17

18. Объективное
тестирование
2012 © Skype Internal Data.

19. e2e тестирование
UI уровень тестирования видео библиотеки + интеграция
Используем Automatic Calling System для распределения тестов
ACS включает:
• Агент, который контролирует UI либо браузер
• Логирование
• Опционально: лог парсеры, отчеты
2012 © Skype Internal Data.

20. Релиз тестирование
Тысячи звонков для проверки стабильности
• Тестирование новых версий видео библиотеки
• Тестирование новых функций: кодек, ключи настройки
Информация про производительность билдов:
• Логи
• Bugsense, Watson, HockeyApp
2012 © Skype Internal Data. Slide 20

21. Карта ACS клиентов
2012 © Skype Internal Data. Slide 21

22. Local loopback тестирование
Тестовые приложения
2012 © Skype Internal Data.

23. CI система
Build
Что это значит?
• каждые 10 минут, скрипт проверяет
наличие новых коммитов. Report Deploy
• запускаются короткие тесты (в среднем
тест – 30 сек).
• отчет генерируется в базе и
отображается на веб странице
Analyze Run
Ночью запускаются длинные тесты.
2012 © Skype Internal Data. Slide 23

24. CI систама
Наглядно 
2012 © Skype Internal Data. Slide 24

25. CI длительные тесты
8ми часовой звонок!
2012 © Skype Internal Data. Slide 25

26. Ежедневное тестирование регрессии
Быстрые проверки Функционал Качество
Разрешение, частота
Видео старт/стоп HD видео
кадров
Совместимость Реакция на изменения
Расшаривание экрана
платформ качества сети
Реакция на
Переключение
Груповой звонок загруженость
устройств
процессора
2012 © Skype Internal Data. Slide 26

27. Проверим сами?
2012 © Skype Internal Data. Slide 27

28. Нефункциональные требования
Функциональные vs. Нефункциональные
видео работает = мы что-то видим
vs.
качество видео хорошее = нам нравится наш видео звонок
2012 © Skype Internal Data. Slide 28

29. NFR – Pass/Failed vs баллы
Индикатор Функциональное Нефункциональное
Pass / Fail 0% → 100%
разрешение ≠ 0x0 max = VGA
частота кадров ≠0 max = 15fps
битрейт 350kpbs ± 10%
качество кадра кадр существует PSNR илиSSIM значение
2012 © Skype Internal Data. Slide 29

30. Баллы
2012 © Skype Internal Data. Slide 30

31. Субъективное
тестирование
2012 © Skype Internal Data.

32. Эксперименты в видео лаборатории
Для разработки нового функционала
Пример: стоит ли применять скрытие ошибок?
Для настройки функций
Пример: какой компромисс между качеством видео и аудио на мобильных
устройствах?
2012 © Skype Internal Data. Slide 32

33. SAMVIQ методология
SAMVIQ (subjective assessment methodology for video quality ITU-R BT.700).
2012 © Skype Internal Data. Slide 33

34. Разделение для анализа результатов
Содержание:
• Сцены: статический бэкграунд, голова и плечи, динамичные сцены.
• Источник: веб камера в помещении, камера мобильного устройства.
Опыт испытателя:
• Не эксперт, аудио эксперт, видео эксперт, эксперт в аудио и видео
2012 © Skype Internal Data. Slide 34

35. Результаты?
2012 © Skype Internal Data. Slide 35

36. Обратная связь «реального мира»
• Mean Opinion Score (MOS):
оценка обычного пользователя
(шкала от 1 до 5)
• Статистика звонка,
тип сети, логи звонка
2012 © Skype Internal Data. Slide 36

37. Что мы с этим делаем?
Аудио – широкополосный аудио кодек SILK дает звонки длиннее и с лучшими
баллами
2012 © Skype Internal Data. Slide 37

38. Сравнение субъективных тестов
Тестирование в лаборатории Обратная связь пользователей
Контролируемая среда Неконтролируемая среда
Функции в разработке Только выпущеный клиент
Медленное развертывание новых
Быстрый оборот
конфигураций
Изолируемые функции Оценивается весь звонок
Абстрактная среда Оценка от конечного пользователя
Ограниченое количество тестов Миллионы испытателей
2012 © Skype Internal Data. Slide 38

39. Выводы
2012 © Skype Internal Data.

40. Измерение качества видео
Метрики видео програмного обеспечения сложны и разнообразны
• Баланса параметров сложно достичь
• Тестирование происходит на многих уровнях
Объктивные оценки: автоматизируем
• e2e уровень интеграции: сценарии конечного пользователя
• Низшие уровни интеграции: более абстрактны, но дешевле и изолировано от
других компонентов
2012 © Skype Internal Data. Slide 40

41. Применение качества видео
Субъективные оценки: что действительно важно для пользователей
• Лабораторные экспериметны: настройки функций, контролируемые условия
• Обратная связь: живое впечатление, масштабно
Видео тестировщик ответственен за
• внедрение, интерпретацию результатов, их обобщение с результатами других
команд
• … помощь в обеспечении качества видеозвонка завтрашнего дня
2012 © Skype Internal Data. Slide 41

42. Q&A
2012 © Skype Internal Data.