Разработка адаптированной к российским условиям и относительно недорогой технологии распознавания дорожных знаков (TSR), применяемой в российских автомобилях и в автомобилях российской сборки

1. ТЕХНОЛОГИЯ РАСПОЗНАВАНИЯТЕХНОЛОГИЯ РАСПОЗНАВАНИЯ
ДОРОЖНЫХ ЗНАКОВДОРОЖНЫХ ЗНАКОВ
В РЕАЛЬНЫХ УСЛОВИЯХ.В РЕАЛЬНЫХ УСЛОВИЯХ.
TSRTSR--СИСТЕМА "СИСТЕМА "ПОПУПОПУТТЧИКЧИК".".
Рыбинская государственная авиационная технологическая
академия имени П.А. Соловьева,
кафедра математического и программного обеспечения
электронных вычислительных средств,
студенческое конструкторское бюро «Информационные
технологии»
Автор проекта: Хитьков Всеволод
Руководитель: Шаров В.Г.

2. Вождение – это стрессВождение – это стресс

3. Существующие реализации:Существующие реализации:
1. Opel VDO
Камера системы сканирует
дорогу впереди автомобиля и
может распознавать знаки
ограничения скорости на
дороге. В случае превышения
скорости водитель получает
соответствующее
предупреждение при помощи
микродисплея. Siemens
выпустила эту систему в 2008
году.

4. Существующие реализации:Существующие реализации:
2. Opel Eye
Система умеет распознавать
знаки ограничения
скорости, запрещения
обгона и другие, а также
следит за расположением
автомобиля в своей полосе.
Информация о наиболее
важных ограничениях
выводится на дисплей.

5. Существующие реализации:Существующие реализации:
3. BWM 7-Series
В автомобиле установлены
системы регистрации
дорожных знаков TSR и
разметки LDW, а также
множество других
инноваций, таких как
инфракрасная камера для
предупреждения о людях на
дороге, новейшие системы
навигации и т.п.

6. Разрабатываемая система:Разрабатываемая система:
Цель: «разгрузить» водителя и повысить
безопасность дорожного движения
Функциональность:
1.Распознавание дорожных знаков и разметки.
2.Возможность настройки, выбора знаков, на
которые следует отдельно (особо) обращать
внимание водителя.
3.Два режима работы – информационный и
предупреждающий.
4.Интеграция с ГЛОНАС/GPS.

7. Разрабатываемая система:Разрабатываемая система:
Может условно выглядеть так:

8. Разрабатываемая система:Разрабатываемая система:
…или так:

9. Особенности технологииОсобенности технологии
1. Определение реального расстояния до
объектов
2. Частичное совмещение локализации и
распознавания
3. Выделение наиболее характерных элементов
знаков
4. Анализ наибольшего количества признаков с
установкой низкого «проходного» порога
Основные принципы, разрабатываемые
в системе:

10. Особенности технологииОсобенности технологии
Общий принцип работы:
Получение очередного кадра и предварительная обработка
3D-восстановление плоскости дорожного полотна и
сопоставление с данными ГЛОНАС/GPS
Определение разметки и поиск знаков с учетом карты
глубин, данных предыдущих кадров, принадлежности
проезжей части и данных из памяти
Принятие решения о действии (уведомлении водителя,
снижения скорости)
Действие

11. Особенности технологииОсобенности технологии
Общий алгоритм поиска распознавания
знаков:
• Выделение контуров (тон, цвет) и предварительная обработка
• Поиск выдающихся частей, общих для групп знаков, при помощи
специальных масок, определение «масштаба» найденных элементов
• Определение области анализа согласно найденным элементам.
• Получение координат рассматриваемого объекта, трекинг, принятие
решения о дальнейшем анализе области.
• Анализ областей, поиск в областях отдельных элементов пиктограмм
специальными масками, распознавание знака согласно найденным
элементам и данным из предыдущих кадров (или ожидание более
удачных кадров).

12. Особенности технологии
Структурная схема:
ПЛИС
ARM-
Контроллер
Камера(ы)
Панель
управления
Дисплей
Звуковая или
вибро-
сигнализация
ГЛОНАС
Приборы
Управление
(Круиз-
контроль)
Память

13. Особенности технологии
Как это выглядит сейчас:

14. Особенности технологииОсобенности технологии
Реализованные алгоритмы:
1. Выделение контуров – нейросетевой детектор контуров
(тон, цвет) и направления градиента яркости по контуру

15. Особенности технологииОсобенности технологии
Реализованные алгоритмы:
2. 3D-восстановление

16. Коммерческое применениеКоммерческое применение