Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
基于视频的疲劳驾驶检测系统
杜若飞
Ruofei Du
Center for Brain-like Computing and Machine Intelligence
ACM Class, Department of Computer Sci...
Page 3, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
报告提纲
壹:课题研究的目的与意义
贰:疲劳驾驶检测系统概述
叁:基于计算机视觉的预处...
Page 4, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
课题研究背景与动机
• 2011年: 全球 41万 人死于交通事故,718万 人受伤。...
Page 5, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
课题研究背景与动机
• 对于疲劳驾驶,目前 尚无可靠的检测手段 和 定量的评价体系!
...
Page 6, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
课题研究内容与综述
视频 眼电 脑电 握力
接触性 无接触 眼电帽 脑电帽 方向盘
准...
Page 7, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
课题主要研究内容和创新点
• 第一个设计并完成了综合几何特征与纹理特征(PERCLOS...
Page 8, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
报告提纲
壹:课题研究的目的与意义
贰:疲劳驾驶检测系统概述
叁:基于计算机视觉的预处...
Page 9, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于真实轿车与虚拟现实技术的
模拟驾驶系统
Page 10, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于真实轿车与虚拟现实技术的
模拟驾驶系统
Page 11, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于真实轿车与虚拟现实技术的
模拟驾驶系统
Page 12, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于NeuroScan与红外摄像的
疲劳驾驶训练系统
Page 13, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
闪现的交通标志图
Black screen 5~7s
stimulus
500ms
...
Page 14, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
报告提纲
壹:课题研究的目的与意义
贰:疲劳驾驶检测系统概述
叁:基于计算机视觉的预...
Page 15, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
人脸检测算法
• 采用Viola 2004年提出的基于Haar 特征和cascade...
Page 16, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
主动外观模型
• Active Shape Model: 采用参数化的采样形状来构成...
Page 17, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
CK+数据库表情分类实验
Page 18, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
眼电与握力信号预处理
Page 19, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
报告提纲
壹:课题研究的目的与意义
贰:疲劳驾驶检测系统概述
叁:基于计算机视觉的预...
Page 20, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
特征提取与分析
Page 21, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
特征提取与分析
• 使用 PaintSelection 实时图像分割算法做器官分割。...
Page 22, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
特征提取与分析
• PERCLOS (percentage of closure):...
Page 23, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
线性动力系统
𝑃 𝑥 𝑡 𝑧𝑡 = 𝑁 𝑥 𝑡 𝑧𝑡 + 𝑤, 𝑄
𝑃 𝑧𝑡 𝑧𝑡−...
Page 24, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
报告提纲
壹:课题研究的目的与意义
贰:疲劳驾驶检测系统概述
叁:基于计算机视觉的预...
Page 25, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于视频的疲劳驾驶模拟系统
实际运行图
Page 26, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于握力的疲劳驾驶模拟实验
数据分析
Page 27, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于视频的疲劳驾驶模拟实验
数据分析
Page 28, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
视频、握力二者结合的
疲劳驾驶模拟实验数据分析
Page 29, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
SVM回归的相关系数和均方误差
Page 30, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
报告提纲
壹:课题研究的目的与意义
贰:疲劳驾驶检测系统概述
叁:基于计算机视觉的预...
Page 31, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
系统流程图
Page 32, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
数据采集示意图
Page 33, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于视频与眼电信号的实验数据分析
Shanghai Jiao Tong Univer...
Page 34, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
基于视频与眼电信号的实验数据分析
Page 35, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
报告提纲
壹:课题研究的目的与意义
贰:疲劳驾驶检测系统概述
叁:基于计算机视觉的预...
Page 36, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
主要结论
• 基于眼电与视频的疲劳驾驶训练实验
• 眼电信号具有表征准确的特性。
•...
Page 37, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
附录A 开发大事记
• 2011 年7 月1 日我加入智能计算与智能系统微软-教育部...
Page 38, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
参考文献
1. May, J., Baldwin, C.: Driver fatig...
Page 39, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
攻读学位期间发表的学术论文目录
[1] Ruofei Du, Renjie Liu,...
Page 40, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
攻读学位期间参与的项目
[1] 973 项目“2009CB320901”
[2] 自...
Page 41, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
Demo展示
http://bcmi.sjtu.edu.cn/fatigue.vis...
Page 42, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
致谢
吕宝粮教授;图像组李冰、吴天翔、刘
人杰、申姗椿以及BCMI的师兄师姐!
Zh...
谢谢大家!
杜若飞
Ruofei Du
Center for Brain-like Computing and Machine Intelligence
ACM Class, Department of Computer Science and...
Page 44, Research on Fatigue Driving Detection System Based on Video, Ruofei Du
前景展望
• 深度学习一定程度上更容易学习到生理上疲劳驾驶的本质特
征,可能会取得更...
Design of Algorithms
疲劳驾驶检测算法设计
• 基于智能移动设备的技术路线
• 减少计算量,采用主要特征
Design of Algorithms
疲劳驾驶检测算法设计
• PERCLOS(Percentage of Eyelid Closure Over the Pupil Time)是指固
定时间范围内,眼睛闭合时间占特定时间的百分比。在具体试...
• 眨眼频率EBF(Eye Blink Frequency)是反映人体疲劳程度的重要生理
特征之一。当驾驶员开始由清醒进入疲劳状态时,眼睛基于保护作
用,会不由自主加快眨眼速度,以保证正常的视觉。如果进入更深一
层的疲劳状态时,则会直接延长眼睛...
• 眨眼持续时间BDT(Blink Duration Time)是指眼睛从睁开到闭合再
到睁开这一过程所用的时间。人在有明显疲劳症状时眨眼持续时间会
有明显提高,因此眨眼持续时间是一个有效地判定疲劳的指标。但是
由于异常现象的存在不能够在检测到...
基于视频的疲劳驾驶检测系统
Upcoming SlideShare
Loading in …5
×

基于视频的疲劳驾驶检测系统

1,457 views

Published on

第一个设计并完成了综合几何特征与纹理特征(PERCLOS、SEM、Gabor)的基于视频的在线疲劳驾驶检测系统,并开发了首例智能手机端的原型系统。
第一个设计并完成了综合眼电与视频信号进行疲劳驾驶检测的实验,证明了眼电信号的可靠性与视频信息的丰富性,第一个提出综合二者特征可显著提高疲劳驾驶检测准确率的实验结论。
参与并完成综合几何特征与纹理特征的表情识别实验,并通过模糊积分算法极大提高了预测准确率。
参与并完成首例综合握力与视频信号进行疲劳驾驶检测的实验。

  • Be the first to comment

基于视频的疲劳驾驶检测系统

  1. 1. 基于视频的疲劳驾驶检测系统 杜若飞 Ruofei Du Center for Brain-like Computing and Machine Intelligence ACM Class, Department of Computer Science and Engineering Shanghai Jiao Tong University Email: me@duruofei.com Website: www.duruofei.com
  2. 2. Page 3, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 报告提纲 壹:课题研究的目的与意义 贰:疲劳驾驶检测系统概述 叁:基于计算机视觉的预处理算法 肆:疲劳驾驶检测系统中的特征提取算法 伍:基于视频与握力信号的疲劳驾驶模拟实验 陆:基于视频与眼电信号的疲劳驾驶模拟实验 柒:总结与展望
  3. 3. Page 4, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 课题研究背景与动机 • 2011年: 全球 41万 人死于交通事故,718万 人受伤。 • 2010年: 约 1/3 的全美高速公路交通事故因疲劳驾驶导致。 • 调查中,超过 60% 的司机承认自己在驾驶中有过 疲劳甚至瞌睡 的现象。 • 2003年:我国因疲劳驾驶造成7767起车祸,死亡2231人,经济损失1.1亿人民币。 • 交通事故统计年报:45.7% 的高速公路重大事故由疲劳驾驶导致。 机动车 3% 交通事故 16%
  4. 4. Page 5, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 课题研究背景与动机 • 对于疲劳驾驶,目前 尚无可靠的检测手段 和 定量的评价体系! • 目前仅靠连续驾驶 4小时 作为疲劳判据,预防疲劳驾驶 刻不容缓! • 致力于开发基于 视频 、眼电、握力等信号的 多传感器 疲劳驾驶检测系统
  5. 5. Page 6, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 课题研究内容与综述 视频 眼电 脑电 握力 接触性 无接触 眼电帽 脑电帽 方向盘 准确性 适中 最准确 较低 最准确 干扰 因子 光照、肤色 较少 情感噪声 不同人握力 习惯不同 特征 PERCLOS、 快/慢眼动、 哈欠频率、 头部朝向。 眨眼、 快速眼动、 慢速眼动、 能量。 Δ波和θ波 统计特征、 时序特征、 频率特征。
  6. 6. Page 7, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 课题主要研究内容和创新点 • 第一个设计并完成了综合几何特征与纹理特征(PERCLOS、 SEM、Gabor)的基于视频的在线疲劳驾驶检测系统,并开发 了首例智能手机端的原型系统。 • 第一个设计并完成了综合眼电与视频信号进行疲劳驾驶检测的 实验,证明了眼电信号的可靠性与视频信息的丰富性,第一个 提出综合二者特征可显著提高疲劳驾驶检测准确率的实验结 论。 • 参与并完成综合几何特征与纹理特征的表情识别实验,并通过 模糊积分算法极大提高了预测准确率。 • 参与并完成首例综合握力与视频信号进行疲劳驾驶检测的实 验。
  7. 7. Page 8, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 报告提纲 壹:课题研究的目的与意义 贰:疲劳驾驶检测系统概述 叁:基于计算机视觉的预处理算法 肆:疲劳驾驶检测系统中的特征提取算法 伍:基于视频与握力信号的疲劳驾驶模拟实验 陆:基于视频与眼电信号的疲劳驾驶模拟实验 柒:总结与展望
  8. 8. Page 9, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于真实轿车与虚拟现实技术的 模拟驾驶系统
  9. 9. Page 10, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于真实轿车与虚拟现实技术的 模拟驾驶系统
  10. 10. Page 11, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于真实轿车与虚拟现实技术的 模拟驾驶系统
  11. 11. Page 12, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于NeuroScan与红外摄像的 疲劳驾驶训练系统
  12. 12. Page 13, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 闪现的交通标志图 Black screen 5~7s stimulus 500ms One trial
  13. 13. Page 14, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 报告提纲 壹:课题研究的目的与意义 贰:疲劳驾驶检测系统概述 叁:基于计算机视觉的预处理算法 肆:疲劳驾驶检测系统中的特征提取算法 伍:基于视频与握力信号的疲劳驾驶模拟实验 陆:基于视频与眼电信号的疲劳驾驶模拟实验 柒:总结与展望
  14. 14. Page 15, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 人脸检测算法 • 采用Viola 2004年提出的基于Haar 特征和cascade 的Adaboost分类器 融合的人脸检测算法,对640*480的视频进行实时检测,每秒30帧。
  15. 15. Page 16, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 主动外观模型 • Active Shape Model: 采用参数化的采样形状来构成对象形状模型, 并利用主成分分析(PCA)算法对形状控制点的概率分布进行分析, 最后建立描述形状的控制点的运动模型。
  16. 16. Page 17, Research on Fatigue Driving Detection System Based on Video, Ruofei Du CK+数据库表情分类实验
  17. 17. Page 18, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 眼电与握力信号预处理
  18. 18. Page 19, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 报告提纲 壹:课题研究的目的与意义 贰:疲劳驾驶检测系统概述 叁:基于计算机视觉的预处理算法 肆:疲劳驾驶检测系统中的特征提取算法 伍:基于视频与握力信号的疲劳驾驶模拟实验 陆:基于视频与眼电信号的疲劳驾驶模拟实验 柒:总结与展望
  19. 19. Page 20, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 特征提取与分析
  20. 20. Page 21, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 特征提取与分析 • 使用 PaintSelection 实时图像分割算法做器官分割。 • 使用主动外观模型做人脸对齐。 • 使用回归模型和主动外观模型结合计算头部三轴转向。
  21. 21. Page 22, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 特征提取与分析 • PERCLOS (percentage of closure): • 眨眼时间、闭眼时间、 眨眼速率、闭眼速率、 眨眼能量: • 哈欠频率: • 头部朝向:
  22. 22. Page 23, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 线性动力系统 𝑃 𝑥 𝑡 𝑧𝑡 = 𝑁 𝑥 𝑡 𝑧𝑡 + 𝑤, 𝑄 𝑃 𝑧𝑡 𝑧𝑡−1 = 𝑁 𝑧𝑡 𝐴𝑧 𝑡−1 + 𝑣, 𝑅
  23. 23. Page 24, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 报告提纲 壹:课题研究的目的与意义 贰:疲劳驾驶检测系统概述 叁:基于计算机视觉的预处理算法 肆:疲劳驾驶检测系统中的特征提取算法 伍:基于视频与握力信号的疲劳驾驶模拟实验 陆:基于视频与眼电信号的疲劳驾驶模拟实验 柒:总结与展望
  24. 24. Page 25, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于视频的疲劳驾驶模拟系统 实际运行图
  25. 25. Page 26, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于握力的疲劳驾驶模拟实验 数据分析
  26. 26. Page 27, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于视频的疲劳驾驶模拟实验 数据分析
  27. 27. Page 28, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 视频、握力二者结合的 疲劳驾驶模拟实验数据分析
  28. 28. Page 29, Research on Fatigue Driving Detection System Based on Video, Ruofei Du SVM回归的相关系数和均方误差
  29. 29. Page 30, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 报告提纲 壹:课题研究的目的与意义 贰:疲劳驾驶检测系统概述 叁:基于计算机视觉的预处理算法 肆:疲劳驾驶检测系统中的特征提取算法 伍:基于视频与握力信号的疲劳驾驶模拟实验 陆:基于视频与眼电信号的疲劳驾驶模拟实验 柒:总结与展望
  30. 30. Page 31, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 系统流程图
  31. 31. Page 32, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 数据采集示意图
  32. 32. Page 33, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于视频与眼电信号的实验数据分析 Shanghai Jiao Tong University 通过融合视频特征与眼电特征,验证了眼电的准确性 与视频的丰富性,进一步提升了检测算法的准确率
  33. 33. Page 34, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 基于视频与眼电信号的实验数据分析
  34. 34. Page 35, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 报告提纲 壹:课题研究的目的与意义 贰:疲劳驾驶检测系统概述 叁:基于计算机视觉的预处理算法 肆:疲劳驾驶检测系统中的特征提取算法 伍:基于视频与握力信号的疲劳驾驶模拟实验 陆:基于视频与眼电信号的疲劳驾驶模拟实验 柒:总结与展望
  35. 35. Page 36, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 主要结论 • 基于眼电与视频的疲劳驾驶训练实验 • 眼电信号具有表征准确的特性。 • 视频信号具有表义丰富的特性。 • 通过二者结合,可以大幅提升疲劳驾驶检测系统的准确率。 • 基于握力与视频的疲劳驾驶检测系统 • 视频信号由于信息丰富,可靠性优于握力信号。 • 将握力信号考虑进疲劳驾驶检测,可以一定程度上提升疲劳 驾驶检测系统的鲁棒性和准确性。
  36. 36. Page 37, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 附录A 开发大事记 • 2011 年7 月1 日我加入智能计算与智能系统微软-教育部重点实验室(仿脑计算与人工智能中心),师从吕宝粮 教授,着手学习计算机视觉与机器学习相关算法。 • 2011 年10 月23 日我使用ASM 与SVM 算法,为第14 届中国国际工业博览会完成第一个版本的基于视频的疲劳驾 驶检测系统演示程序。 • 2011 年11 月6 日参与整合基于视频、眼电、脑电的综合疲劳驾驶检测系统,参展第14 届中国国际工业博览会获 得二等奖。 • 2012 年3 月15 日参与基于视频的情绪分类实验,合作发表论文”Facial Expression Recognition by Combining Texture and Geometrical Features, Service Science and Engineering”。 • 2012 年4 月1 日着手与眼电组合作,设计并开展基于NeroScan 系统的综合眼电和视频的疲劳驾驶模拟实验,着 手撰写论文。 • 2012 年7 月1 日完成实验分析,以第一作者身份于ICONIP 2012 上发表论文”Online Vigilance Analysis Combining Video and Electrooculography Features”。 • 2012 年7 月15 日加入微软亚洲研究院,师从高级研究员李志伟,学习图像分割与三维重建相关算法,研发基于 移动设备的三维重建与增强现实系统,投稿CVPR 2013 与CHI 2013 未果,转投ICCV 2013。 • 2013 年3 月1 日着手与握力组与眼电组合租,开展基于真实轿车与虚拟现实技术的疲劳驾驶模拟实验。 • 2013 年4 月15 日完成基于智能设备的疲劳驾驶检测系统雏形,开展基于深度学习的人脸识别实验。 • 2013 年6 月17 日完成基于真实轿车与虚拟现实技术的疲劳驾驶模拟实验分析,参与毕业论文答辩。
  37. 37. Page 38, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 参考文献 1. May, J., Baldwin, C.: Driver fatigue: The importance of identifying causal factors of fatigue when considering detection and countermeasure technologies. Transportation Research Part F: Traffic Psychology and Behaviour 12(3) (November 2009) 218–224 2. Stutts, J., Wilkins, J., Vaughn, B.: Why do people have drowsy driving crashes. A Foundation for Traffic Safety (202/638) 3. Wang, Q., Yang, J., Ren, M., Zheng, Y.: Driver fatigue detection: a survey. Intelligent Control and Automation, 2006. WCICA 2006. The Sixth World Congress on 2 (2006) 8587–8591 4. Ji, Q., Yang, X.: Real-time eye, gaze, and face pose tracking for monitoring driver vigilance. Real-Time Imaging 8(5) (2002) 357–377 5. Dinges, D., Mallis, M., Maislin, G., Powell, I., et al.: Final report: Evaluation of techniques for ocular measurement as an index of fatigue and as the basis for alertness management. National Highway Traffic Safety Administration (HS 808762) (1998) 6. Fletcher LApostoloffnPeterson L, e.a.: Vision in and out of vehicles. IEEE Trans on Intelligent Transportation Systems 18(3) 7. Ma, J., Shi, L., Lu, B.: Vigilance estimation by using electrooculographic features. Proceedings of 32nd International Conference of the IEEE Engineering in Medicine and Biology Society (2010) 6591–6594 8. Wei, Z., Lu, B.: Online vigilance anaysis based on electrooculography. International Joint Conference on Neural Networks (2012) 9. Cootes, T., Taylor, C., Cooper, D., Graham, J., et al.: Active shape models - their training and application. Computer Vision and Image Understanding 61(1) (1995) 38–59 10. Viola, P., Jones, M.: Rapid object detection using a boosted cascade of simple features. Proceedings of Computer Vision and Pattern Recognition 1 (2001) I–511 – I–51810 Ruo-Fei Du, Ren-Jie Liu, Tian-Xiang Wu, Bao-Liang Lu 11. Delorme, A., Makeig, S.: Eeglab: an open source toolbox for analysis of single-trial eeg dynamics including independent component analysis. Journal of neuroscience methods 134(1) (2004) 9–21 12. Dinges, D., Grace, R.: Perclos: A valid psychophysiological measure of alertness as assessed by psychomotor vigilance. Federal Highway Administration. Office of motor carriers, Tech. Rep. MCRT-98-006 (1998) 13. A. Bulling, J. Ward, H.G., Troster, G.: Eye movement analysis for activity recognition using electrooculography. Pattern Analysis and Machine Intelligence, IEEE Transactions (99) (2011) 1–1 14. Shi, L., Lu, B.: Off-line and on-line vigilance estimation based on linear dynamical system and manifold learning. Engineering in Medicine and Biology Society (EMBC), 2010 Annual International Conference of the IEEE (September 2010) 6587–6590 15. Chang, C., Lin, C.: Libsvm: a library for support vector machines. ACM Transactions on Intelligent Systems and Technology (TIST) 2(3) (2011) 27
  38. 38. Page 39, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 攻读学位期间发表的学术论文目录 [1] Ruofei Du, Renjie Liu, Tianxiang Wu, Bao-Liang Lu. Online Vigilance Analysis Combining Video and Electrooculography Features[C]. Neural Information Processing, 2012, 447:454. [2] Renjie Liu, Ruofei Du, Bao-Liang Lu. Facial Expression Recognition by Combining Texture and Geometrical Features[C]. Service Science and Engineering, 2012.
  39. 39. Page 40, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 攻读学位期间参与的项目 [1] 973 项目“2009CB320901” [2] 自然基金项目“61272248” [3] 第五期国家级大学生创新实践项目 [4] 第20期PRP [5] 第18期PRP
  40. 40. Page 41, Research on Fatigue Driving Detection System Based on Video, Ruofei Du Demo展示 http://bcmi.sjtu.edu.cn/fatigue.vision.html
  41. 41. Page 42, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 致谢 吕宝粮教授;图像组李冰、吴天翔、刘 人杰、申姗椿以及BCMI的师兄师姐! Zhiwei Li, Richard Cai, Lei Zhang Xiang Cao, Koji Yatani, Jiawei Gu 俞勇教授、ACM班的兄弟姐妹们! We are Family!
  42. 42. 谢谢大家! 杜若飞 Ruofei Du Center for Brain-like Computing and Machine Intelligence ACM Class, Department of Computer Science and Engineering Shanghai Jiao Tong University Email: me@duruofei.com Website: www.duruofei.com
  43. 43. Page 44, Research on Fatigue Driving Detection System Based on Video, Ruofei Du 前景展望 • 深度学习一定程度上更容易学习到生理上疲劳驾驶的本质特 征,可能会取得更好的实验效果。 • 普通与红外视频技术仍旧有一定局限性。在真实驾车环境中, 佩戴墨镜、强光照射、隧道驾驶等可能会对系统造成或多或少 的影响,在光照不足的环境中,手机摄像头很难捕捉到面部细 节清晰的画面,容易导致系统的误判。Kinect深度数据是一个 好的着眼点。 • 从社会效益和经济效益来看,考虑到智能手机的高普及率以及 疲劳驾驶现象的广泛性,未来基于智能手机的疲劳驾驶检测系 统应该是一个非常有前景的市场。
  44. 44. Design of Algorithms 疲劳驾驶检测算法设计 • 基于智能移动设备的技术路线 • 减少计算量,采用主要特征
  45. 45. Design of Algorithms 疲劳驾驶检测算法设计 • PERCLOS(Percentage of Eyelid Closure Over the Pupil Time)是指固 定时间范围内,眼睛闭合时间占特定时间的百分比。在具体试验中有 P70(眼睛闭合面积70%以上的时间百分比),P80(眼睛闭合面积 80%以上的时间百分比),EM(眼睛闭合速度百分比的均方值)三种 测量方式,其中P80被认为最能反映人的疲劳程度。 𝑡 𝑐: 眼睛闭合时间; 𝑇: 时间窗口的总时间             %70,0 %70,50 %80,100 T t T t T t T t T t PERCLOS c cc cc           
  46. 46. • 眨眼频率EBF(Eye Blink Frequency)是反映人体疲劳程度的重要生理 特征之一。当驾驶员开始由清醒进入疲劳状态时,眼睛基于保护作 用,会不由自主加快眨眼速度,以保证正常的视觉。如果进入更深一 层的疲劳状态时,则会直接延长眼睛的闭合时间以及一次眨眼所需时 间。统计驾驶员在驾驶时一定时间内眨眼的次数,如果眨眼频率大于 一定的阈值或小于一定的阈值,则表示驾驶员疲劳。 • 眼科专家提示,正常并经过充分休息的眼睛眨眼频率约为 0.15~0.5Hz,每次眨眼时间为0.25s ~ 0.3s,若小于该值则说明人眨 眼频率变慢,可能出现睁眼睡觉的情况,此时疲劳检测系统都会给出 疲劳警告;若大于该频率,则有可能是疲劳导致眨眼频率变快,或者 是驾驶员有眨眼习惯。              2,}50100 2 2 ,100max{ 62,0 6,}50100 6 6 ,100max{ f f f f f EBF                  
  47. 47. • 眨眼持续时间BDT(Blink Duration Time)是指眼睛从睁开到闭合再 到睁开这一过程所用的时间。人在有明显疲劳症状时眨眼持续时间会 有明显提高,因此眨眼持续时间是一个有效地判定疲劳的指标。但是 由于异常现象的存在不能够在检测到眨眼持续2s以上就判定司机疲劳 了,而应该连续几次得到眨眼持续时间过长才能判定疲劳的发生。                31,} 50 )2(,50max{ 1,0 3,} 100 )2(,100max{ 1 1 f f t f f f t BDT f i i f i i                   

×