SlideShare a Scribd company logo
1 of 12
Download to read offline
Обзор существующих
систем поддержки водителей
(Driver Assistance System)
с применением экспертных систем
оценки физиологических показателей
Кирюхин Антон
аспирант каф. БМПЭ РГРТУ
www.physiolab.ru
Научно-исследовательская группа
Jennifer A. Healey and Rosalind W. Picard. Detecting stress during real-world driving tasks using
physiological sensors, IEEE Transactions on Intelligent Transportation Systems. 2005
Контролируемые параметры: ЭКГ, ЭМГ, КГР, дыхательная активность.
Сценарий измерений: режим реального вождения
Экспериментальная база: 24 испытуемых по 50 мин. вождения каждый
Классификация: 22 признака, уровень стресса
Экспертная система: линейный дискриминантный анализ (линейный дискриминант Фишера)
Характеристики: точность 97%
Massachusetts Institute of Technology (MIT), Cambridge
Идея на заметку: при определении стресса у водителя можно включать фары
с изменением яркости для оповещения встречного транспорта
1
Massachusetts Institute of Technology (MIT), Cambridge
Результаты работы: распознавание 3-х уровней стресса: высокого, среднего, низкого с
97% точностью. Наибольшая корреляция с кривой стресса замечена у сигналов ритма
сердца и кожной проводимости
Id(n) - последовательность баллов за
вождение(метрика событий)
H – окно Хеннинга (100 сек.)
n – время в сек.
Vd(n) - сигнал стресс-эффекта
Kvp – ковариация Vd(n) с каждым биосигналом
σvv – стандартное отклонение Vd(n)
σpp – стандартное отклонение биосигналов
2
- стресс-эффект
- коэффициент корреляции
Rajiv Ranjan Singha, Sailesh Conjetia, Rahul Banerjeeb. (India)
A comparative evaluation of neural network classifiers for stress level analysis of automotive drivers using
physiological signals, Biomedical Signal Processing and Control, 2013
Birla Institute of Technology and Science, India
Контролируемые параметры: ФПГ(фотоплетизмография), КГР.
Сценарий измерений: режим реального вождения
Экспериментальная база: 24 испытуемых по 50 мин. вождения каждый
Классификация: 39 признаков, общий уровень стресса (стрессовый, умеренный, расслабленный)
Экспертная система: Нейросеть обратного распространение погрешности им рекуррентная
нейросеть
Характеристики: Предсказательная способность (точность): 89.23%,
чувствительность: 88.83%, избирательность: 94.92%
ПО: Biotrace+
3
Birla Institute of Technology and Science, India
Подготовка:
Инструктаж, предупреждение о резких движениях(артефакты) и
скоростных ограничениях, информационное согласие
5 сценариев вождения:
1.Предвождение – 10 мин. до начала езды. Нормализация и калибровка.
2.Спокойный стиль вождения – 8-10 мин. на территории университета
3.Занятое вождение – оживленные перекрестки, загрязненные участки стройки и проселочные дороги.
Вызов повышенного стресса – 7-9 мин.
1.Возвращение. Обратный путь в университет по другому маршруту. Сценарий низкого уровня стресса.
2.Поствождение – 5-6 мин.
Самоопрос по каждому сценарию: уровень стресса от 0 до 6.
Обработка сигналов:
Нормализация (по 30-60 с. «Предвождения»)
Медианный фильтр
Пик-детектор
1-я производная:
2-я производная:
Адаптивный порог:
Удаление тренда из ФПГ
4
Выделяемые признаки:
1. Статистические – характеризуют стохастическую природу физиологических сигналов
2. Синтаксические – выделяются с помощью геометрических преобразований и дают
контекстную структурную информацию
 время нарастания пика
 амплитуда пика
 энергия пика
 среднее от 1-й производной (average rise rate)
 процент выборок в окне с 1-й производной  0 (percent decay)
3. Преобразования – выделяются с помощью методов преобразования сигнала
 ВСР – спектральный анализ (анализ спектра по Ломбу)
Birla Institute of Technology and Science, India
5
Генеральная
совокупность
Birla Institute of Technology and Science, India
6
Чувствительность – вероятность дать
правильный ответ на пример основного
класса
Избирательность – вероятность дать
правильный ответ на пример вторичного
класса
F-мера - гармоническое среднее
между точностью и полнотой
Кривая ошибок или ROC-кривая (Receiver Operator
Characteristic curve) –зависимость доли верных
положительных классификаций от доли ложных
положительных классификаций при варьировании порога
решающего правила.
Пример
Допустим, у вас есть тестовая выборка в которой 10
сообщений, из них 4 – спам. Обработав все сообщения
классификатор пометил 2 сообщения как спам, причем
одно действительно является спамом, а второе было
помечено в тестовой выборке как нормальное. Мы имеем
одно истино-положительное решение, три ложно-
отрицательных и одно ложно-положительное. Тогда для
класса “спам” точность классификатора составляет ½
(50% положительных решений правильные), а полнота ¼
(классификатор нашел 25% всех спам-сообщений)1
Обучающая выборка
Контрольная выборка
1 Оценка классификатора (точность, полнота, F-мера)
http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html
2 Как заставить работать бинарный классификатор чуточку лучше
http://habrahabr.ru/post/228963/
Точность
Полнота
C.D. Katsis , Y. Goletsis, G. Rigas, D.I. Fotiadis (Greece)
A wearable system for the affective monitoring of car racing drivers during simulated
conditions. Transportation Research Part С. 2011
University of Ioannina, Greece
Контролируемые параметры: ЭКГ, ЭМГ, КГР, дыхательная активность.
Сценарий измерений: симуляция вождения (лабораторный тест)
Классификация: эмоциональные состояния
Экспертная система: дерево принятия решений, наивный байесовский классификатор
Оценка: точность 80,9%
ЭМГ- датчики закрепляются на лице,
дыхательные с помощью пояса на груди,
ЭКГ- на груди, КГР – на руке
На базовой станции распознаются
эмоциональные состояния и строится
3D-модель мимики лица
7
University of Ioannina, Greece
Дерево решений распознает низкое и высокое
напряжение и валентность
Наивный байесовский классификатор далее
разделяет валентность на дисфорию и эйфорию
- Ранее применяемые методы: машина опорных
векторов (SVM), адаптивная нейро-нечеткая
система (ANFIS).Общая оценка – 79.3 % (SVM),
76.7 %(ANFIS). Показали более низкую точность.
Эйфория - положительно окрашенный аффект или
эмоция. Ощущается как внезапное, всезаполняющее
чувство счастья, восторга.
Дисфория — форма болезненно-пониженного настроения,
характеризующаяся мрачной раздражительностью,
чувством неприязни к окружающим.
8
Перекрестная проверка (cross-validation)1
1 Кросс-валидация (cross-validation) http://www.long-short.ru/post/kross-validatsiya-cross-validation-304
-Проверка независимого набора данных
-Недостаточность исходных данных
-Неравномерное представление классов
-Результаты усредняются
M. Patel, S.K. Lal, D. Kavanagh, P. Rossiter, Applying neural network analysis on heart rate
variability data to assess driver fatigue, Expert Systems with Applications, 2011
University of Technology Sydney, Australia
Контролируемые параметры: ЭКГ, ВСР
Сценарий измерений: симуляция вождения (лабораторный тест)
Экспериментальная база: 12 участников
Классификация: 1 признак, состояние тревоги и усталости
Экспертная система: Нейронная сеть прямого распространения,
с обратной связью
Характеристики: точность - 90 %
Т-критерий Вилкоксона —
непараметрический статистический
тест (критерий), используемый для
проверки различий между двумя
выборками парных измерений1
91 Критерий Вилкоксона http://matstats.ru/vil.html
1 Byeon, M. et al. (2006). A study of HRV analysis to detect drowsiness states of derivers.
International association of science and technology for development.
2 Sato, N. et al. (1998). Power spectral analysis of heart rate variability in tye A females
during a psychomotor task. Journal of Psychosom Research
University of Technology Sydney, Australia
Индекс вагосимпатического
взаимодействия для 12 участников
СПМ в состоянии усталостиСПМ в состоянии тревоги
LF/HF уменьшается с увеличением усталости.
Уменьшение LF/HF свидетельствует о
наступлении сонного состояния1, в то время
как его увеличение показывает повышенную
умственную нагрузку и состояние
тревожности2.
10
Виды классификаторов и основные выводы
11
1. Дискриминантный анализ
– Линейный дискриминант Фишера
– Линейный дискриминантный анализ (ЛДА)
– Кластерный анализ
– Логистическая регрессия
– Дерево принятия решений
2. Нейронная сеть:
– персептрон;
– многослойный персептрон;
– гибридная сеть встречного распространения;
3. Байесовский классификатор:
– наивный байесовский классификатор;
4. Машина опорных векторов
 Большинство существующих систем поддержки водителей (DAS) используют несколько
физиологических сигналов.
 К наиболее используемым относятся ЭКГ, ФПГ, производная из них ВСР, ЭМГ, ЭДА,
дыхательная активность.
 Редким является использование совместного анализа биосигналов и параметров
движения транспортного средства (видеозапись дороги, скорость).
 К классифицируемым терминам относятся: уровень стресса, эмоционального
состояния, тревоги, усталости.
 Для работы классификатора необходимо обучение системы на тестовых выборках и
количественные параметры оценки для сравнения с другими классификаторами

More Related Content

Similar to Review of Driver Assistance System

Системные технологии
Системные технологииСистемные технологии
Системные технологии
dmitmix
 
SS101: Module 3 Russian Translation
SS101: Module 3 Russian TranslationSS101: Module 3 Russian Translation
SS101: Module 3 Russian Translation
isds_syndromic
 
2008 3 проблемы современной лабораторной медицины IIl
2008 3 проблемы современной лабораторной медицины IIl2008 3 проблемы современной лабораторной медицины IIl
2008 3 проблемы современной лабораторной медицины IIl
ACCLMU
 
SS101: Module 2 Russian Translation
SS101: Module 2 Russian TranslationSS101: Module 2 Russian Translation
SS101: Module 2 Russian Translation
isds_syndromic
 
SS101: Module 2 Russian Translation
SS101: Module 2 Russian TranslationSS101: Module 2 Russian Translation
SS101: Module 2 Russian Translation
isds_syndromic
 
Relsib
RelsibRelsib
Relsib
relsib
 
Relsib video 2
Relsib video 2Relsib video 2
Relsib video 2
relsib
 
2 когнитивные функции после некардиохирургических вмешательств
2 когнитивные функции после некардиохирургических вмешательств2 когнитивные функции после некардиохирургических вмешательств
2 когнитивные функции после некардиохирургических вмешательств
taras strypko
 

Similar to Review of Driver Assistance System (20)

Доклад на съезде Фармакологов
Доклад на съезде ФармакологовДоклад на съезде Фармакологов
Доклад на съезде Фармакологов
 
Системные технологии
Системные технологииСистемные технологии
Системные технологии
 
Распознавание лиц с помощью экстремального обучения нейронов
Распознавание лиц с помощьюэкстремального обучения нейроновРаспознавание лиц с помощьюэкстремального обучения нейронов
Распознавание лиц с помощью экстремального обучения нейронов
 
Practical Usage of Big Data and IoMT in Critical Care Medicine
Practical Usage of Big Data and IoMT in Critical Care MedicinePractical Usage of Big Data and IoMT in Critical Care Medicine
Practical Usage of Big Data and IoMT in Critical Care Medicine
 
Практика машинного обучения: вопросы и проблемы при работе над ML-проектом
Практика машинного обучения: вопросы и проблемы при работе над ML-проектомПрактика машинного обучения: вопросы и проблемы при работе над ML-проектом
Практика машинного обучения: вопросы и проблемы при работе над ML-проектом
 
Нанотоксикология – новое направление для исследований
Нанотоксикология – новое направление для исследованийНанотоксикология – новое направление для исследований
Нанотоксикология – новое направление для исследований
 
аик прогнозир.- 03.06.2013 - тпп рф
аик   прогнозир.- 03.06.2013 - тпп рфаик   прогнозир.- 03.06.2013 - тпп рф
аик прогнозир.- 03.06.2013 - тпп рф
 
SS101: Module 3 Russian Translation
SS101: Module 3 Russian TranslationSS101: Module 3 Russian Translation
SS101: Module 3 Russian Translation
 
Новые разработки QIAGEN для молекулярно-генетических исследований в онкологии...
Новые разработки QIAGEN для молекулярно-генетических исследований в онкологии...Новые разработки QIAGEN для молекулярно-генетических исследований в онкологии...
Новые разработки QIAGEN для молекулярно-генетических исследований в онкологии...
 
2008 3 проблемы современной лабораторной медицины IIl
2008 3 проблемы современной лабораторной медицины IIl2008 3 проблемы современной лабораторной медицины IIl
2008 3 проблемы современной лабораторной медицины IIl
 
SS101: Module 2 Russian Translation
SS101: Module 2 Russian TranslationSS101: Module 2 Russian Translation
SS101: Module 2 Russian Translation
 
SS101: Module 2 Russian Translation
SS101: Module 2 Russian TranslationSS101: Module 2 Russian Translation
SS101: Module 2 Russian Translation
 
Семантическая обработка медицинских данных в задачах диагностики и управления...
Семантическая обработка медицинских данных в задачах диагностики и управления...Семантическая обработка медицинских данных в задачах диагностики и управления...
Семантическая обработка медицинских данных в задачах диагностики и управления...
 
жунусов е.т. шкала 1 часть
жунусов е.т.  шкала 1 частьжунусов е.т.  шкала 1 часть
жунусов е.т. шкала 1 часть
 
диагностика ишемических атак
диагностика ишемических атакдиагностика ишемических атак
диагностика ишемических атак
 
RST2014_Volgograd_CombinedThermometry
RST2014_Volgograd_CombinedThermometryRST2014_Volgograd_CombinedThermometry
RST2014_Volgograd_CombinedThermometry
 
Relsib
RelsibRelsib
Relsib
 
Relsib video 2
Relsib video 2Relsib video 2
Relsib video 2
 
2 когнитивные функции после некардиохирургических вмешательств
2 когнитивные функции после некардиохирургических вмешательств2 когнитивные функции после некардиохирургических вмешательств
2 когнитивные функции после некардиохирургических вмешательств
 
Системный подход в здравоохранении
Системный подход в здравоохраненииСистемный подход в здравоохранении
Системный подход в здравоохранении
 

Review of Driver Assistance System

  • 1. Обзор существующих систем поддержки водителей (Driver Assistance System) с применением экспертных систем оценки физиологических показателей Кирюхин Антон аспирант каф. БМПЭ РГРТУ www.physiolab.ru Научно-исследовательская группа
  • 2. Jennifer A. Healey and Rosalind W. Picard. Detecting stress during real-world driving tasks using physiological sensors, IEEE Transactions on Intelligent Transportation Systems. 2005 Контролируемые параметры: ЭКГ, ЭМГ, КГР, дыхательная активность. Сценарий измерений: режим реального вождения Экспериментальная база: 24 испытуемых по 50 мин. вождения каждый Классификация: 22 признака, уровень стресса Экспертная система: линейный дискриминантный анализ (линейный дискриминант Фишера) Характеристики: точность 97% Massachusetts Institute of Technology (MIT), Cambridge Идея на заметку: при определении стресса у водителя можно включать фары с изменением яркости для оповещения встречного транспорта 1
  • 3. Massachusetts Institute of Technology (MIT), Cambridge Результаты работы: распознавание 3-х уровней стресса: высокого, среднего, низкого с 97% точностью. Наибольшая корреляция с кривой стресса замечена у сигналов ритма сердца и кожной проводимости Id(n) - последовательность баллов за вождение(метрика событий) H – окно Хеннинга (100 сек.) n – время в сек. Vd(n) - сигнал стресс-эффекта Kvp – ковариация Vd(n) с каждым биосигналом σvv – стандартное отклонение Vd(n) σpp – стандартное отклонение биосигналов 2 - стресс-эффект - коэффициент корреляции
  • 4. Rajiv Ranjan Singha, Sailesh Conjetia, Rahul Banerjeeb. (India) A comparative evaluation of neural network classifiers for stress level analysis of automotive drivers using physiological signals, Biomedical Signal Processing and Control, 2013 Birla Institute of Technology and Science, India Контролируемые параметры: ФПГ(фотоплетизмография), КГР. Сценарий измерений: режим реального вождения Экспериментальная база: 24 испытуемых по 50 мин. вождения каждый Классификация: 39 признаков, общий уровень стресса (стрессовый, умеренный, расслабленный) Экспертная система: Нейросеть обратного распространение погрешности им рекуррентная нейросеть Характеристики: Предсказательная способность (точность): 89.23%, чувствительность: 88.83%, избирательность: 94.92% ПО: Biotrace+ 3
  • 5. Birla Institute of Technology and Science, India Подготовка: Инструктаж, предупреждение о резких движениях(артефакты) и скоростных ограничениях, информационное согласие 5 сценариев вождения: 1.Предвождение – 10 мин. до начала езды. Нормализация и калибровка. 2.Спокойный стиль вождения – 8-10 мин. на территории университета 3.Занятое вождение – оживленные перекрестки, загрязненные участки стройки и проселочные дороги. Вызов повышенного стресса – 7-9 мин. 1.Возвращение. Обратный путь в университет по другому маршруту. Сценарий низкого уровня стресса. 2.Поствождение – 5-6 мин. Самоопрос по каждому сценарию: уровень стресса от 0 до 6. Обработка сигналов: Нормализация (по 30-60 с. «Предвождения») Медианный фильтр Пик-детектор 1-я производная: 2-я производная: Адаптивный порог: Удаление тренда из ФПГ 4
  • 6. Выделяемые признаки: 1. Статистические – характеризуют стохастическую природу физиологических сигналов 2. Синтаксические – выделяются с помощью геометрических преобразований и дают контекстную структурную информацию  время нарастания пика  амплитуда пика  энергия пика  среднее от 1-й производной (average rise rate)  процент выборок в окне с 1-й производной  0 (percent decay) 3. Преобразования – выделяются с помощью методов преобразования сигнала  ВСР – спектральный анализ (анализ спектра по Ломбу) Birla Institute of Technology and Science, India 5
  • 7. Генеральная совокупность Birla Institute of Technology and Science, India 6 Чувствительность – вероятность дать правильный ответ на пример основного класса Избирательность – вероятность дать правильный ответ на пример вторичного класса F-мера - гармоническое среднее между точностью и полнотой Кривая ошибок или ROC-кривая (Receiver Operator Characteristic curve) –зависимость доли верных положительных классификаций от доли ложных положительных классификаций при варьировании порога решающего правила. Пример Допустим, у вас есть тестовая выборка в которой 10 сообщений, из них 4 – спам. Обработав все сообщения классификатор пометил 2 сообщения как спам, причем одно действительно является спамом, а второе было помечено в тестовой выборке как нормальное. Мы имеем одно истино-положительное решение, три ложно- отрицательных и одно ложно-положительное. Тогда для класса “спам” точность классификатора составляет ½ (50% положительных решений правильные), а полнота ¼ (классификатор нашел 25% всех спам-сообщений)1 Обучающая выборка Контрольная выборка 1 Оценка классификатора (точность, полнота, F-мера) http://bazhenov.me/blog/2012/07/21/classification-performance-evaluation.html 2 Как заставить работать бинарный классификатор чуточку лучше http://habrahabr.ru/post/228963/ Точность Полнота
  • 8. C.D. Katsis , Y. Goletsis, G. Rigas, D.I. Fotiadis (Greece) A wearable system for the affective monitoring of car racing drivers during simulated conditions. Transportation Research Part С. 2011 University of Ioannina, Greece Контролируемые параметры: ЭКГ, ЭМГ, КГР, дыхательная активность. Сценарий измерений: симуляция вождения (лабораторный тест) Классификация: эмоциональные состояния Экспертная система: дерево принятия решений, наивный байесовский классификатор Оценка: точность 80,9% ЭМГ- датчики закрепляются на лице, дыхательные с помощью пояса на груди, ЭКГ- на груди, КГР – на руке На базовой станции распознаются эмоциональные состояния и строится 3D-модель мимики лица 7
  • 9. University of Ioannina, Greece Дерево решений распознает низкое и высокое напряжение и валентность Наивный байесовский классификатор далее разделяет валентность на дисфорию и эйфорию - Ранее применяемые методы: машина опорных векторов (SVM), адаптивная нейро-нечеткая система (ANFIS).Общая оценка – 79.3 % (SVM), 76.7 %(ANFIS). Показали более низкую точность. Эйфория - положительно окрашенный аффект или эмоция. Ощущается как внезапное, всезаполняющее чувство счастья, восторга. Дисфория — форма болезненно-пониженного настроения, характеризующаяся мрачной раздражительностью, чувством неприязни к окружающим. 8 Перекрестная проверка (cross-validation)1 1 Кросс-валидация (cross-validation) http://www.long-short.ru/post/kross-validatsiya-cross-validation-304 -Проверка независимого набора данных -Недостаточность исходных данных -Неравномерное представление классов -Результаты усредняются
  • 10. M. Patel, S.K. Lal, D. Kavanagh, P. Rossiter, Applying neural network analysis on heart rate variability data to assess driver fatigue, Expert Systems with Applications, 2011 University of Technology Sydney, Australia Контролируемые параметры: ЭКГ, ВСР Сценарий измерений: симуляция вождения (лабораторный тест) Экспериментальная база: 12 участников Классификация: 1 признак, состояние тревоги и усталости Экспертная система: Нейронная сеть прямого распространения, с обратной связью Характеристики: точность - 90 % Т-критерий Вилкоксона — непараметрический статистический тест (критерий), используемый для проверки различий между двумя выборками парных измерений1 91 Критерий Вилкоксона http://matstats.ru/vil.html
  • 11. 1 Byeon, M. et al. (2006). A study of HRV analysis to detect drowsiness states of derivers. International association of science and technology for development. 2 Sato, N. et al. (1998). Power spectral analysis of heart rate variability in tye A females during a psychomotor task. Journal of Psychosom Research University of Technology Sydney, Australia Индекс вагосимпатического взаимодействия для 12 участников СПМ в состоянии усталостиСПМ в состоянии тревоги LF/HF уменьшается с увеличением усталости. Уменьшение LF/HF свидетельствует о наступлении сонного состояния1, в то время как его увеличение показывает повышенную умственную нагрузку и состояние тревожности2. 10
  • 12. Виды классификаторов и основные выводы 11 1. Дискриминантный анализ – Линейный дискриминант Фишера – Линейный дискриминантный анализ (ЛДА) – Кластерный анализ – Логистическая регрессия – Дерево принятия решений 2. Нейронная сеть: – персептрон; – многослойный персептрон; – гибридная сеть встречного распространения; 3. Байесовский классификатор: – наивный байесовский классификатор; 4. Машина опорных векторов  Большинство существующих систем поддержки водителей (DAS) используют несколько физиологических сигналов.  К наиболее используемым относятся ЭКГ, ФПГ, производная из них ВСР, ЭМГ, ЭДА, дыхательная активность.  Редким является использование совместного анализа биосигналов и параметров движения транспортного средства (видеозапись дороги, скорость).  К классифицируемым терминам относятся: уровень стресса, эмоционального состояния, тревоги, усталости.  Для работы классификатора необходимо обучение системы на тестовых выборках и количественные параметры оценки для сравнения с другими классификаторами