Тестирование IP видео на примеребиблиотеки SkypeSQA days 20122012 © Skype Internal Data.
Оксана Деменцова• Software development engineer in test, Skype division. Microsoft. Tallinn office• Почти 5 лет в тестиров...
СегодняВидео библиотека SkypeКачество видеоОбъективные оценкиСубъективные оценкиВыводы 2012 © Skype Internal Data.
Видео библиотека Skype2012 © Skype Internal Data.
Видео – в массы!200 млн онлайн пользователей в месяц40 млн одновременно онлайнБолее 40% звонков – видео звонки300 млн мину...
Видео библиотека SkypeНезависимый компонент 2012 © Skype Internal Data.   Slide 6
Обеспечения качестваКак и любой другой програмный продукт, Skype тестируется разными способами• Unit testing, code coverag...
На сколько хорошо выглядит             наше видео?2012 © Skype Internal Data.
А если детальнее…                                   Оно вообще                                    работает?        Между  ...
Все непростоИзмерение качества видео – сложная задача, так как включает в себя:1. понимание того, как работает воспрятие ч...
Субъективное vs. объективноеОбъективное: измеримые характеристики видеоСубъективное: то, что имеет значение для конечного ...
Спектр метрик Полностью                                                        Скорее     Полностью                       ...
Объективные метрикиРасрешение: 160x120, 720p, full HD…Частота кадров: 30 fps• Базовые метрики. Но, не дают полного  предст...
КодекVC-1                           H264   VP6 2012 © Skype Internal Data.                Slide 14
Цвет2012 © Skype Internal Data.   Slide 15
Артефакты2012 © Skype Internal Data.   Slide 16
Порядок кадров2012 © Skype Internal Data.   Slide 17
Объективное                              тестирование2012 © Skype Internal Data.
e2e тестированиеUI уровень тестирования видео библиотеки + интеграцияИспользуем Automatic Calling System для распределения...
Релиз тестированиеТысячи звонков для проверки стабильности• Тестирование новых версий видео библиотеки• Тестирование новых...
Карта ACS клиентов2012 © Skype Internal Data.   Slide 21
Local loopback тестированиеТестовые приложения 2012 © Skype Internal Data.
CI система                                                        BuildЧто это значит?• каждые 10 минут, скрипт проверяет ...
CI систама                              Наглядно 2012 © Skype Internal Data.                Slide 24
CI длительные тесты                              8ми часовой звонок!2012 © Skype Internal Data.                         Sl...
Ежедневное тестирование регрессииБыстрые проверки                Функционал              Качество                         ...
Проверим сами?2012 © Skype Internal Data.   Slide 27
Нефункциональные требования                              Функциональные vs. Нефункциональные                              ...
NFR – Pass/Failed vs баллы        Индикатор             Функциональное     Нефункциональное                               ...
Баллы2012 © Skype Internal Data.   Slide 30
Субъективное                              тестирование2012 © Skype Internal Data.
Эксперименты в видео лабораторииДля разработки нового функционала   Пример: стоит ли применять скрытие ошибок?Для настройк...
SAMVIQ методологияSAMVIQ (subjective assessment methodology for video quality ITU-R BT.700). 2012 © Skype Internal Data.  ...
Разделение для анализа результатовСодержание: • Сцены: статический бэкграунд, голова и плечи, динамичные сцены. • Источник...
Результаты?2012 © Skype Internal Data.   Slide 35
Обратная связь «реального мира»• Mean Opinion Score (MOS):   оценка обычного пользователя  (шкала от 1 до 5)• Статистика з...
Что мы с этим делаем?Аудио – широкополосный аудио кодек SILK дает звонки длиннее и с лучшимибаллами 2012 © Skype Internal ...
Сравнение субъективных тестов     Тестирование в лаборатории        Обратная связь пользователей            Контролируемая...
Выводы2012 © Skype Internal Data.
Измерение качества видеоМетрики видео програмного обеспечения сложны и разнообразны• Баланса параметров сложно достичь• Те...
Применение качества видеоСубъективные оценки: что действительно важно для пользователей• Лабораторные экспериметны: настро...
Q&A2012 © Skype Internal Data.
Upcoming SlideShare
Loading in …5
×

Тестирование IP видео на примере библиотеки Skype

1,055 views

Published on

Доклад Оксаны Деменцовой на конференции SQA Days-12, 30 ноября-1 декабря, Минск

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,055
On SlideShare
0
From Embeds
0
Number of Embeds
179
Actions
Shares
0
Downloads
20
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Some history before this.
  • Тестирование IP видео на примере библиотеки Skype

    1. 1. Тестирование IP видео на примеребиблиотеки SkypeSQA days 20122012 © Skype Internal Data.
    2. 2. Оксана Деменцова• Software development engineer in test, Skype division. Microsoft. Tallinn office• Почти 5 лет в тестировании• Все проекты связаны с видео oksana.dementsova 2012 © Skype Internal Data. Slide 2
    3. 3. СегодняВидео библиотека SkypeКачество видеоОбъективные оценкиСубъективные оценкиВыводы 2012 © Skype Internal Data.
    4. 4. Видео библиотека Skype2012 © Skype Internal Data.
    5. 5. Видео – в массы!200 млн онлайн пользователей в месяц40 млн одновременно онлайнБолее 40% звонков – видео звонки300 млн минут видео в день 2012 © Skype Internal Data. Slide 5
    6. 6. Видео библиотека SkypeНезависимый компонент 2012 © Skype Internal Data. Slide 6
    7. 7. Обеспечения качестваКак и любой другой програмный продукт, Skype тестируется разными способами• Unit testing, code coverage, и всякие другие инструментыОднако, видео довольно уникальная часть• И это то, о чем мы поговориА начнем с одного большого вопроса… 2012 © Skype Internal Data. Slide 7
    8. 8. На сколько хорошо выглядит наше видео?2012 © Skype Internal Data.
    9. 9. А если детальнее… Оно вообще работает? Между А со старыми платформами версиями? работает? Видео и аудио синхронны? Предыдущие Какой компромис версии хуже? между аудио, видео и жизнью батареи?2012 © Skype Internal Data. Slide 9
    10. 10. Все непростоИзмерение качества видео – сложная задача, так как включает в себя:1. понимание того, как работает воспрятие человека (глаза + мозг)2. преобразование этих знаний в алгоритмы и эксперименты 2012 © Skype Internal Data. Slide 10
    11. 11. Субъективное vs. объективноеОбъективное: измеримые характеристики видеоСубъективное: то, что имеет значение для конечного пользователя 2012 © Skype Internal Data. Slide 11
    12. 12. Спектр метрик Полностью Скорее Полностью Объективные Смешанныеобъективные субъективные субъективные МнениеЧастота кадров Цвет Артефакты Четкость пользователей Общее Разрешение Замирания Скрытия Гладкость впечатлениеСоотношение Синхронность Подергивание сторон Задержка Мерцание 2012 © Skype Internal Data. Slide 12
    13. 13. Объективные метрикиРасрешение: 160x120, 720p, full HD…Частота кадров: 30 fps• Базовые метрики. Но, не дают полного представления о качествеДругие метрики: точность кадра, размытость,блоковость, резкость• Сложнее определить и измерить 2012 © Skype Internal Data. Slide 13
    14. 14. КодекVC-1 H264 VP6 2012 © Skype Internal Data. Slide 14
    15. 15. Цвет2012 © Skype Internal Data. Slide 15
    16. 16. Артефакты2012 © Skype Internal Data. Slide 16
    17. 17. Порядок кадров2012 © Skype Internal Data. Slide 17
    18. 18. Объективное тестирование2012 © Skype Internal Data.
    19. 19. e2e тестированиеUI уровень тестирования видео библиотеки + интеграцияИспользуем Automatic Calling System для распределения тестовACS включает:• Агент, который контролирует UI либо браузер• Логирование• Опционально: лог парсеры, отчеты 2012 © Skype Internal Data.
    20. 20. Релиз тестированиеТысячи звонков для проверки стабильности• Тестирование новых версий видео библиотеки• Тестирование новых функций: кодек, ключи настройкиИнформация про производительность билдов:• Логи• Bugsense, Watson, HockeyApp 2012 © Skype Internal Data. Slide 20
    21. 21. Карта ACS клиентов2012 © Skype Internal Data. Slide 21
    22. 22. Local loopback тестированиеТестовые приложения 2012 © Skype Internal Data.
    23. 23. CI система BuildЧто это значит?• каждые 10 минут, скрипт проверяет наличие новых коммитов. Report Deploy• запускаются короткие тесты (в среднем тест – 30 сек).• отчет генерируется в базе и отображается на веб странице Analyze RunНочью запускаются длинные тесты. 2012 © Skype Internal Data. Slide 23
    24. 24. CI систама Наглядно 2012 © Skype Internal Data. Slide 24
    25. 25. CI длительные тесты 8ми часовой звонок!2012 © Skype Internal Data. Slide 25
    26. 26. Ежедневное тестирование регрессииБыстрые проверки Функционал Качество Разрешение, частота Видео старт/стоп HD видео кадров Совместимость Реакция на изменения Расшаривание экрана платформ качества сети Реакция на Переключение Груповой звонок загруженость устройств процессора2012 © Skype Internal Data. Slide 26
    27. 27. Проверим сами?2012 © Skype Internal Data. Slide 27
    28. 28. Нефункциональные требования Функциональные vs. Нефункциональные видео работает = мы что-то видим vs. качество видео хорошее = нам нравится наш видео звонок2012 © Skype Internal Data. Slide 28
    29. 29. NFR – Pass/Failed vs баллы Индикатор Функциональное Нефункциональное Pass / Fail 0% → 100% разрешение ≠ 0x0 max = VGA частота кадров ≠0 max = 15fps битрейт 350kpbs ± 10% качество кадра кадр существует PSNR илиSSIM значение2012 © Skype Internal Data. Slide 29
    30. 30. Баллы2012 © Skype Internal Data. Slide 30
    31. 31. Субъективное тестирование2012 © Skype Internal Data.
    32. 32. Эксперименты в видео лабораторииДля разработки нового функционала Пример: стоит ли применять скрытие ошибок?Для настройки функций Пример: какой компромисс между качеством видео и аудио на мобильныхустройствах? 2012 © Skype Internal Data. Slide 32
    33. 33. SAMVIQ методологияSAMVIQ (subjective assessment methodology for video quality ITU-R BT.700). 2012 © Skype Internal Data. Slide 33
    34. 34. Разделение для анализа результатовСодержание: • Сцены: статический бэкграунд, голова и плечи, динамичные сцены. • Источник: веб камера в помещении, камера мобильного устройства.Опыт испытателя: • Не эксперт, аудио эксперт, видео эксперт, эксперт в аудио и видео 2012 © Skype Internal Data. Slide 34
    35. 35. Результаты?2012 © Skype Internal Data. Slide 35
    36. 36. Обратная связь «реального мира»• Mean Opinion Score (MOS): оценка обычного пользователя (шкала от 1 до 5)• Статистика звонка, тип сети, логи звонка 2012 © Skype Internal Data. Slide 36
    37. 37. Что мы с этим делаем?Аудио – широкополосный аудио кодек SILK дает звонки длиннее и с лучшимибаллами 2012 © Skype Internal Data. Slide 37
    38. 38. Сравнение субъективных тестов Тестирование в лаборатории Обратная связь пользователей Контролируемая среда Неконтролируемая среда Функции в разработке Только выпущеный клиент Медленное развертывание новых Быстрый оборот конфигураций Изолируемые функции Оценивается весь звонок Абстрактная среда Оценка от конечного пользователя Ограниченое количество тестов Миллионы испытателей2012 © Skype Internal Data. Slide 38
    39. 39. Выводы2012 © Skype Internal Data.
    40. 40. Измерение качества видеоМетрики видео програмного обеспечения сложны и разнообразны• Баланса параметров сложно достичь• Тестирование происходит на многих уровняхОбъктивные оценки: автоматизируем• e2e уровень интеграции: сценарии конечного пользователя• Низшие уровни интеграции: более абстрактны, но дешевле и изолировано от других компонентов 2012 © Skype Internal Data. Slide 40
    41. 41. Применение качества видеоСубъективные оценки: что действительно важно для пользователей• Лабораторные экспериметны: настройки функций, контролируемые условия• Обратная связь: живое впечатление, масштабноВидео тестировщик ответственен за• внедрение, интерпретацию результатов, их обобщение с результатами других команд• … помощь в обеспечении качества видеозвонка завтрашнего дня 2012 © Skype Internal Data. Slide 41
    42. 42. Q&A2012 © Skype Internal Data.

    ×