先進駕駛輔助系統的多樣性視覺偵測與辨識技術_中央大學 曾定章教授

1. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 1
先進駕駛輔助系統的
多樣性視覺偵測與辨識技術
Versatile visual detection and
recognition techniques for ADAS
曾定章
中央大學資訊工程系 教授
tsengdc@ip.csie.ncu.edu.tw
2014 / 10 / 15

2. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 2
內容
1. 先進駕駛輔助系統 (ADAS)
2. ADAS 的視覺偵測與辨識技術
3. 系統整合與未來發展

3. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 3
1. 先進駕駛輔助系統
 先進駕駛輔助系統
Advanced Driver Assistance Systems
(ADAS)
 先進駕駛輔助系統
= 先進安全車輛
Advanced Safety Vehicle (ASV)
 智慧車輛
Intelligent vehicles (IV)

4. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 4
1.1. 研究動機與目標
 90 % 以上的交通事故是人為因素；其中
駕駛分心是最主要的原因。1992 年
Mercedes Benz 研究指出，只要多出 0.5 秒
的警示時間，就能避免 60 % 的追撞事故；
若警示時間提早了 1.5 秒，則可避免 90 %
的追撞事故。

5. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 5
 因此若能有一些協助駕駛人偵測道路狀況、
行車狀況、及駕駛狀況等機制；在危險發生
前及時提醒駕駛人，對駕駛人勢必多了一層
安全保障。
 本研究的目的即是結合電腦視覺、影像處理
、及圖形識別等軟體技術，與嵌入式系統、
系統晶片、及平行處理器等硬體技術，發展
車輛相關的安全偵測與辨識技術，提醒駕駛
人，提昇行車安全。

6. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 6
1.2. 影響駕駛安全的因素
 影響駕駛安全的因素
駕駛人分心 (driver distraction)
駕駛行為 (driver behaviors)
駕駛人的精神及生理狀態 (driver conditions)
環境因素 (environment factors)
突發事件 (sudden events)
機件故障 (part faults)
:

7. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 7
1.3. 偵測設備
 安全偵測的設備
i. 雷達 (Radar)
a. 77 GHz 毫米波雷達 (millimeter wave)
b. 24 GHz 微波雷達 (microwave radar)
c. 900 nm 紅外線雷射雷達 (Lidar)
d. 40 KHz 超音波雷達 (ultrasonic radar)
ii. 視覺設備 (vision detector)
a. 單眼電腦視覺 (monocular vision)
b. 動態視覺 (motion vision)
c. 立體視覺 (stereo vision)
d. 熱感偵測 (thermal infrared detection)

8. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 8
 以視覺為基礎 (vision-based) 的設備就像人的
眼睛一樣，電腦視覺最具多樣性：
多樣性的技術：電腦視覺、影像處理、
圖形識別
多樣性的資訊：靜態、動態、立體等影像資訊
多樣性的應用：偵測、監視、辨識
 視覺與雷達的互補性
距離 不良天候 解析度 價格 多樣性
視覺 X X O O O
雷達 O O X X X

9. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 9
1.4. 安全防護機制
 就交通事故的比例分析
美國運輸部 (DOT) 指出 2012 年的美國交通
事故分佈為
Collision with motor vehicles (68.0 %)
Collision with fixed objects (15.4 %)
Collision with non-fixed objects (14.1 %)
上述碰撞事故占了美國整年 5,615,000 起
機動車輛 (motor vehicle) 事故的 97.5 %。

10. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 10
 即時安全防護機制
前車碰撞警示、自動煞車、
偏離車道警示、
側後方警示系統 (變換車道警示)、
障礙物碰撞警示、
行人碰撞警示、夜間行人偵測、
路面狀況警示、
駕駛人昏睡警示、
彎道減速警示、交叉路口提醒、
後端追撞監視警示、
路口碰撞預防警示、
…

11. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 11
 即時舒適與方便輔助機制
全周俯瞰監視系統、
停車輔助、
倒車導引輔助、
主動跟車偵測、
自動跟隨巡航、
…

12. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 12
2. ADAS 的視覺偵測與辨識技術
 12 項輔助駕駛的視覺偵測與辨識技術
1.車道偏離警示 LDW (lane departure warning)
2.前車碰撞警示 FCW (forward collision warning)
3.盲點偵測 BSD (blind spot detection)
= 變換車道輔助 LCA (lane change assist)
4.行人碰撞警示 PCW (pedestrian collision warning)
5.交通標誌/號誌偵測與辨識 TSSR
(traffic sign/signal recognition)

13. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 13
6. 全周俯瞰監視系統 STM
(surrounding top-view monitoring)
7. 廣域全周俯瞰監視與偵測 WSTD
(wide-scoped surrounding top-view detection)
8. 影像式停車導引 IPG (image-based parking guiding)
9. 慢速倒車碰撞警示 RCW (rear collision warning)
10.影像式主動跟車偵測 ISG (image-based Stop-&-Go)
11.自動跟隨巡航 AFN (automatic following navigation)
12.昏睡偵測 DD (drowsiness detection)
=駕駛注意力監視 AM (attention monitoring)

14. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 14
2.1. 車道偏離警示 (LDW)
 目的：避免分心或昏睡偏出車道外與其他
車道上的車輛或路旁障礙物碰撞。
 需求：隨時監視本車在車道內的左右位置，
在駕駛人非特意變換車道時發出警示
r
l

15. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 15
 車道偏離警示範例 (Demonstration)
共展示八段情境 (共 2分29秒)

16. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 16
2.2. 前車碰撞警示 (FCW,
Forward Collision Warning)
目的：避免分心或昏睡沒注意到前方而與
前方車輛或障礙物碰撞。
 需求：隨時監視本車與前車或障礙物 的相對
速度與距離，在不安全的情況下發出
聲光警示。
Distance
speed

17. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 17
 前車碰撞警示範例 (Demonstration)
共展示八段情境 (1分26秒)

18. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 18
2.3. 盲點偵測 (BSD or LCA)
 目的：在變換車道 (lane change) 時協助偵測
左右車道上的來車，避免碰撞。
盲點區域

19. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 19
 盲點偵測範例 (Demonstration)
共展示八段情境 (1分38秒)

20. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 20
2.4. 行人碰撞警示 (PCW)
 目的：即時偵測路上及路旁行人；避免撞擊
行人。

21. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 21
 行人碰撞警示範例 (Demonstration)
三色區塊標示不同距離
一段影片 (55秒)

22. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 22
2.5. 交通標誌/號誌偵測與辨識 (TSSR
Traffic Sign/Signal Recognition)
 目的：標誌偵測協助駕駛，避免忽略重要交通
標誌；
號誌偵測協助駕駛，避免疏忽 號誌誤
闖紅燈，並可協助車隊管理。

23. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 23
 交通標誌/號誌偵測與辨識範例 (Demo.)
共展示標誌偵測與辨識 22秒
號誌偵測與辨識 1分21秒
標誌偵測與辨識 (2011) 號誌偵測與辨識

24. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 24
2.6. 全周俯瞰監視 (STM,
Surrounding Top-view Monitoring)
 目的：停車、倒車輔助、與狹隘空間行車監視

25. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 25

26. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 26
2.7. 廣域全周俯瞰監視與偵測 (WSTD)
 在停車、小路會車、行人機車擁擠路段、或高
速行駛的情境下，若能全方位的監視己車與周
遭車輛或行人的相對位置、移動方向、及移動
速度，即可避免大多數的碰撞。
停車 小路會車 擁擠路段 高速行車

27. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 27
 廣域全周俯瞰監視

28. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 28
 全周俯瞰偵測 (STD)
配合全周俯瞰監視系統，增加偵測功能，提
供主動安全警示
使用美國三洋電機 (Sanyo) 俯瞰監視系統 (2010 年)

29. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 29
2.8. 影像式停車導引 (IPG,
Image-based Parking Guiding)
 目的：配合停車輔助系統，以既有的後視影像
提供導引軌跡輔助倒車停車。

30. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 30
 影像式停車導引範例 (Demonstration)
可選擇顯示扭曲校正後的畫面或
再經俯瞰轉換後的畫面
(影片長度各別 1分 56 秒)
扭曲校正 俯瞰轉換

31. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 31
2.9. 慢速倒車碰撞警示 (RCW,
Rear Collision Warning)
 目的：提供車輛倒車時的後方監視功能，
避免物件碰撞；並可估計物件距離。
 目標：準確、穩定。
d d’
Host vehicle real obstacle

32. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 32
 慢速倒車碰撞警示範例 (Demonstration)
示意情境範例 (14秒)
立面物 (障礙物) 平面物

33. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 33
2.10. 影像式主動跟車偵測 (ISG,
Image-based Stop-&-Go)
 目的：在路口或壅擠路段的慢速行車，隨時
偵測前車的走走停停狀態；以提醒駕
駛人停止或啟動。
 需求：若配合自動油門及煞車控制，可提供
自動停走跟車的功能。

34. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 34
 影像式主動跟車偵測展示 (Demonstration)
共展示八段情境 (2分23秒)

35. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 35
2.11. 自動跟隨巡航 (AFN,
automatic following navigation)
 目的：以多相機視覺 (multiple camera) 系統
發展可跟隨前導者的電動慢速小車
(e.g., 電動輪椅、電動搬運車)。
 目標：可完全重現前導者的軌跡，並可偵測
障礙物。

36. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 36
 自動跟隨巡航展示 (Demonstration)
尚未完成的一段情境 (12秒)

37. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 37
2.12. 昏睡偵測 (Drowsiness Detection)
 目的：以短紅外線相機拍攝駕駛人臉部，
分析駕駛人注意力。在駕駛人有疲勞、
昏睡的情形下，以聽覺及觸覺信號警示
駕駛人。
 目標：過暗、不均勻照度、及戴眼鏡都可偵測

38. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 38
 昏睡偵測與疲勞分析 (drowsiness detection
and fatigue analysis) 的方法很多。
1994年 Nissan Vehicle Research Lab. 及
1998 年 US Federal Highway Administration
(FHWA) National Highway Traffic Safety
Administration (NHTSA) 確認了駕駛人警覺性
(alertness level) 與眨眼的關係。
 本研究以電腦視覺技術，偵測駕駛人的眼睛
閉合時間之百分比 (PERCLOS)，以評估其精
神狀態。

39. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 39
2008
 昏睡偵測展示 (Demonstration)

40. 多樣性視覺偵測與辨識技術 中央大學 影像處理暨虛擬實境實驗室 40
3. 系統整合與未來發展
3.1. 為什麼要發展這麼多獨立系統
3.2. 安全偵測資訊融合
3.3. 先進駕駛輔助與自動車的關係
3.4. 先進駕駛輔助與物聯網的關係