Большое количество статистической информации о ходе спортивных игр и соревнований собирается вручную. Для автоматизации этого процесса можно использовать методы компьютерного зрения. В докладе будут рассмотрены подходы к анализу видеопотока с игры в настольньй теннис в реальном времени. Будут предложены алгоритмы, основанные на искусственных нейронных сетях и классическом компьютерном зрении для определения игровых событий, траектории мяча и фиксации результатов с судейского табло, а также представлены первые результаты.

1. Применение компьютерного зрения для
анализа спортивных соревнований
1
Руслан Байкулов @romul
Сергей Мушинский @cepera_ang
Николай Фалалеев @nikolasent
Москва
2017

2. Анализ спортивных соревнований
2

3. Анализ игры в настольный теннис
3

4. План презентации
4
• Схема системы
• Распознание судейского табло
• Сбор данных
• Аугментация тренировочного набора
изображений
• Детекция табло
• OCR счета с судейского табло
• Определение положения стола
• Детекция и отслеживание мяча
• Детекция мяча
• Предсказание траектории
• Определение игровых событий

5. Инструмены
5
Hardware:
• Intel i7 7700K
• Nvidia GTX 1080 Ti
• RAM 64 GB
Software
• OpenCV
• PyTorch
• Docker

6. Схема обработки видеопотока
6
Грубая
детекция мяча
Точная
детекция мяча
Детекция
табло
OCR табло
Определение
счета
(x,y)табло
(счет на
табло)
(счет)
Детекция
стола
Грубый фильтр
положения
~(x,y)мяч (x,y)стол
~(x,y)мяч
Точный фильтр
положения
(x,y)мяч
(x(t),y(t))мяч
Детектор
игровых событий
(счет по анализу игры)

7. Распознание счета на табло
7
Грубая
детекция мяча
Точная
детекция мяча
Детекция
табло
OCR табло
Определение
счета
(x,y)табло
(счет на
табло)
(счет)
Детекция
стола
Грубый фильтр
положения
~(x,y)мяч (x,y)стол
~(x,y)мяч
Точный фильтр
положения
(x,y)мяч
(x(t),y(t))мяч
Детектор
игровых событий
(счет по анализу игры)

8. Тренировочный набор изображений
8
Всего ~750 реальных изображений 27*27*7*7*5 = 178 605
синтетических изображений

9. Аугментации изображений
9
• Подстановка случайного фона
• Случайные геометрические
преобразования:
• Поворот
• Перспективные искажения
• Масштабирование
• Вырезание произвольного фрагмента
• Случайные преобразования цвета:
• Яркость и контраст
• Гауссов шум
• Размытие по Гауссу
• Случайный блик

10. Детекция табло
10
Каскад Хаара;
• Тренируется и работает на
CPU
• Быстрый
• Реализован в OpenCV
+ ФНЧ предсказаний между
кадрами

11. OCR счета на судейском табло
11
Conv64@3x3
Conv64@3x3
Conv128@3x3
Conv128@3x3
Conv256@3x3
Conv256@3x3
MaxPool2x2
MaxPool2x2
Dropout(p=0.25)
MaxPool2x2
MaxPool2x2
Dropout(p=0.25)
MaxPool2x2
MaxPool2x2
Dropout(p=0.25)
FC256
Dropout(p=0.25)
FC68
Conv: padding = 1, stride = 1,
ReLU
Adam
Loss: Softmax, cross entropy
Feature extractor

12. OCR счета на судейском табло
12

13. Детекция стола
13
Грубая
детекция мяча
Точная
детекция мяча
Детекция
табло
OCR табло
Определение
счета
(x,y)табло
(счет на
табло)
(счет)
Детекция
стола
Грубый фильтр
положения
~(x,y)мяч (x,y)стол
~(x,y)мяч
Точный фильтр
положения
(x,y)мяч
(x(t),y(t))мяч
Детектор
игровых событий
(счет по анализу игры)

14. Детекция стола
14
Детекция ограничивающего
прямоугольника
Семантическая сегментация
Поиск четырехугольников

15. Детекция стола
15
Feature extractor
FC 256
Dropout (p=0.25)
FC 4
Детекция ограничивающих
прямоугольников стола
Семантическая сегментация
Постобработка:
• Выделение контуров больше пороговой
площади
• Поиск четырехугольников среди
контуров
1500 изображений
Аугментации: поворот, отражение, шум,
перспективные искажения, сдвиг цветов

16. Детекция и отслеживание мяча
16
Грубая
детекция мяча
Точная
детекция мяча
Детекция
табло
OCR табло
Определение
счета
(x,y)табло
(счет на
табло)
(счет)
Детекция
стола
Грубый фильтр
положения
~(x,y)мяч (x,y)стол
~(x,y)мяч
Точный фильтр
положения
(x,y)мяч
(x(t),y(t))мяч
Детектор
игровых событий
(счет по анализу игры)

17. Положение мяча
17
Разность между кадрами (от 1 до 3)
Область уточняющего детектора

18. Положение мяча
18
Feature extractor
FC 4*(X+Y)
Dropout (p=0.25)
FC 2*X
Dropout (p=0.25)
FC X
sigmoid
FC 2*Y
Dropout (p=0.25)
FC Y
sigmoid
Behnke, S., Sheh, R., Sariel, S., Lee, D.D. Ball Localization for Robocup Soccer using
Convolutional Neural Networks, RoboCup’2016

19. Положение мяча
19

20. 20
Точность: грубый детектор: 18 px, точный 2 px

21. Игровые события
21
Грубая
детекция мяча
Точная
детекция мяча
Детекция
табло
OCR табло
Определение
счета
(x,y)табло
(счет на
табло)
(счет)
Детекция
стола
Грубый фильтр
положения
~(x,y)мяч (x,y)стол
~(x,y)мяч
Точный фильтр
положения
(x,y)мяч
(x(t),y(t))мяч
Детектор
игровых событий
(счет по анализу игры)

22. Пороговый фильтр по изменению направления и величины вектора скорости
0,33x
22

23. 23

24. Спасибо за внимание!
24