Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Тестирование наукоёмких SDK

856 views

Published on

Презентация Вадима Щемелинина и Виктории Манукянц на SQA Days-16
14-15 ноября 2014, Санкт-Петербург, Россия
www.sqadays.com

Published in: Education
  • Be the first to comment

  • Be the first to like this

Тестирование наукоёмких SDK

  1. 1. Тестирование наукоёмких SDK Виктория Манукянц и Вадим Щемелинин Центр Речевых Технологий
  2. 2. www.speechpro.ru
  3. 3. Где это используется? Озвучивание книг Голосовое самообслуживание Системы шумоочистки Криминалистическая экспертиза
  4. 4. Немного о тестировании в ЦРТ
  5. 5. SDK (software development kit) — комплект средств разработки, который позволяет специалистам по программному обеспечению создавать приложения для определённого пакета программ, программного обеспечения базовых средств разработки, аппаратной платформы, компьютерной системы, игровых консолей, операционных систем и прочих платформ. Что мы тестируем?
  6. 6. Подводные камни, ● подход к тестированию; ● требования к обёртке для SDK; ● скрытый функционал и Unit Testing; ● кроссплатформенность тестов; ● поддержка тестов; ● оценка качества алгоритмов и расчёт метрик; ● устаревание тестовых выборок; ● требовательность тестов к ресурсам; ● и т.д…. или на чём можно споткнуться
  7. 7. Тестирование SDK Белый? Чёрный?
  8. 8. Юзабилити, когда интерфейса не видно 1. Интерфейсы есть всегда. 2. Интерфейсы SDK можно увидеть, написав приложение. 3. Тестировщики пишут дорогие приложения. Документация
  9. 9. Счастье — это... Новенький SDK Пример использования + xUnit +
  10. 10. Что такое тест качества? Это способ оценки надежности работы алгоритма после внесения изменений, выраженный в численном эквиваленте Оценка наукоёмких алгоритмов
  11. 11. Где их взять? Метрики оценки качества алгоритмов
  12. 12. «Простой» пример ГОСТ Р ИСО МЭК 1975-1-2007 False Alarm = Вероятность Ложного Совпадения (ВЛС) Доля сравнений самозванца со степенью схожести не ниже порога принятия решения. Miss Probability = Вероятность Ложного Несовпадения (ВЛНС) Доля сравнений пользователя со степенью схожести больше порога принятия решения. Оценка алгоритма верификации диктора Detection Error Tradeoff (DET) graph или Кривая Компромиссионного Определения ошибки (ККОО)
  13. 13. Правильный выбор метрики Клиента интересует результат, и метрика должна его отражать
  14. 14. Неавтоматизируемые метрики ГОСТ Р 50840-95 “Передача речи по трактам связи. Методы оценки качества, разборчивости и узнаваемости”
  15. 15. Ошибки в расчётах метрик Реализована разработчиком Реализована тестировщиком + Время реализации – Мы должны «верить» цифре Ошибка не останется без внимания Ошибка не повлияет на результат Мы «понимаем» цифру Время реализации + + + –
  16. 16. Тестовая выборка
  17. 17. Требования и SDK Разные заказчики — разные требования: Пользователь не сотрудничает с системой распознавания речи Пользователь сотрудничает с системой распознавания речи В результате: ● увеличение количества тестовых выборок; ● увеличение времени прохождения всех тестов; ● увеличение аппаратных ресурсов для проведения тестов.
  18. 18. К практической реализации тестирования SDK Генератор тестов
  19. 19. Распределённый запуск
  20. 20. Получившаяся система Результаты
  21. 21. ● Выбрали свой подход к тестированию SDK ○ Нашли интерфейс ○ Сформировали требования к тестам ● Разобрались в оценке качества алгоритмов ○ Рассмотрели основные “подводные камни” метрик ○ Победили увеличивающийся объём тестовых данных Подведем итоги Тестировать SDK интересно!
  22. 22. Спасибо за внимание!

×