Video Analysis Engine Built using the GPUDigitallab Kernel SDK

1. Проект
GPUDigitalLabSmart
Media
СИСТЕМА ВИДЕО ОБРАБОТКИ И ВИДЕО-АНАЛИТИКИ С ИСПОЛЬЗОВАНИЕМ
ТЕХНОЛОГИЙ MICROSOFT MEDIA FOUNDATION, MICROSOFT DIRECTCOMPUTE
И OPENCV

2. Описание проекта
 Данная система представляет собой программно-аппаратный комплекс для
проведения полного спектра работ по обработке видео и изображений
 Система позволяет вам работать, как с уже записанными видео материалами
так и с устройствами видео записи
 Система принимает на входе видео поток и возвращает либо конкретные
фактические данные в числовом или текстовом варианте, либо номер кадра где
присутствует заданный фрагмент
 Система имеет подключение к базе данных для сохранения результатов работы,
а также файловое хранилище для сохранения выходных документов.

3. Схема инфраструктурного решения

4. Архитектура программного
решение(Видео анализ)
IP1 IP2 IP3
МОДУЛЬ ВИДЕО
ЗАПИСИ
МОДУЛЬ
ВОСПРОИЗВЕДЕНИ
Я ВИДЕО
МОДУЛЬ
ДЕКОДИРОВАНИЯ
ВИДЕО
СИСТЕМА АНАЛИЗА ИЗОБРАЖЕНИЙ
GPUDIGITALLAB

5. Архитектура системы анализа
цифровых изображений
Модуль анализа
цифровых
изображений
Модуль пост-
обработки
изображений
2D Редактор 3D Редактор
Модуль Калибровки
и фильтрации
изображений
Модуль управления
DirectCompute

6. Принцип работы системы
1. Захватываем видео с группы сетевых камер подключеннных к серверу
2. Воспроизводим и проверяем качество записи
3. Выполняем декомпрессию видео используя его кодек
4. Применяем эффект Grayscale к полученному набору кадров
5. Применяем эффекты перспективной калибровки и фильтрации изображения
6. Используя заготовленные шаблоны ищем в наборе изображений нужные
фрагменты.
7. При нахождении сохраняем результат в базе знаний и готовим выходной файл.

7. Кодирование видео-проекта используя
готовые изображения и аудио файлы
 Создаем пустой проект AVI материала
 Находим необходимые наборы изображений и аудио
 С помощью модуля обработки изображений улучшаем качество кадров
 Создаем экземпляр кодировщика видео
 Создаем каналы кодировки аудио и видео
 Устанавливаем кодек указывающий расширение и тип выходного файла
 С помощью модуля кодировщика видео преобразуем установленные потоки в
видео файл заданного типа.

8. Процесс распознавания видео
материала
ВИДЕО МАТЕРИАЛ
МОДУЛЬ
ДЕКОДИРОВАНИЯ
МОДУЛЬ
ПОСТОБРАБОТКИ И
ФИЛЬТРАЦИИ
ИЗОБРАЖЕНИЙ
МОДУЛЬ АНАЛИЗА
ЦИФРОВЫХ
ИЗОБРАЖЕНИЙ
ВЫХОДНОЙ ФАЙЛ БАЗА ДАННЫХ

9. Процесс кодирования видео
Набор Аудио
Файлов
Набор Кадров
Модуль создания
видео проектов
Модуль парсинга
видео проектов
Модуль потоков
видео проекта
Модуль
управления
байтовыми
потоками
Модуль
синхронизации
видео потоков

10. Сферы применения данной технологии
 Анализ действий игроков футбольной команды во время матча, который
позволит реконструировать игру и поведения игрока
 Обнаружения брака на производственном предприятии
 Современный метод проведения диагностики и рентгена в лечебных
учреждениях.
 Удобный инструмент для 3D дизайнера или режиссера, который позволяет
заново проанализировать отснятый материал.
 На базе данной технологии можно выполнить 3D реконструкцию материала
используя систему трехмерного моделирования и базу знаний.

11. Используемые в процессе разработки
технологии
 Microsoft Windows Server 2012
 Microsoft Visual Studio 2015
 Microsoft Media Foundation
 Microsoft Direct3D11
 Microsoft DirectCompute
 OpenCV
 Microsoft SQL Server 2014
 Microsoft Direct2D

12. Используемое оборудование
 Сервер обработки данных
 Графический процессор
 Устройства видеозаписи
 Клиентские рабочие станции
 Мобильные устройства