1. 1
視訊中基於眉毛之眼睛追蹤
與閉眼偵測
國立臺灣科技大學 電子工程系 杜兆乘
報告者 : 鐘文章

2. 大綱
2
 摘要
 相關技術
 人臉偵測
 人眼追蹤
 人臉偵測
 眼睛定位與追蹤
 實驗結果
 結論

3. 摘要
3
 主要的目的是追蹤凝視者之雙眼位置且加以判
對眼睛的狀態是否睜開或閉上
 採用追蹤眉毛的方式，因為眉毛的位置比眼睛
更為固定
 使用粒子濾波器追蹤兩眉毛的中心，在使用左
右眉毛樣板比對出眉毛的精確位置，在對眼睛
睜眼閉眼作狀態評估，最後使用眼睛樣板找出
眼睛虹膜位置

4. 相關技術
4
 人臉偵測
 人眼追蹤

5. 相關技術 - 人臉偵測
5
 人臉偵測為眼睛偵測的前哨站，透過精準的人
臉偵測，可以有效提高眼睛偵測的精準度
 其中人臉追蹤有幾個困難點 :
 光線對影像的干擾
 頭部的轉動
 頭部的裝飾
 膚色背景
 多人時的偵測

6. 相關技術 - 人臉偵測
6
 目前也有許多學者提出許多偵測的方法 :
 橢圓比對法 :
 優點 : 簡單快速
 缺點 : 當頭有轉動、旋轉以及背景複雜的環境下，誤差較大
 類神經網路法
 優點 : 不管人在鏡頭前的姿勢如何，都可偵測
 缺點 : 參數、層數多，偵測數度慢
 立體視覺法
 優點 : 可排除複雜背景及多個人頭問題
 缺點 : 硬體經費高，處理數度也並非快速
 特徵判斷法
 優點 : 簡單，符合大多數人
 缺點 : 當臉部特徵不明顯時，較難作判斷

7. 相關技術 - 眼睛追蹤
7
 現代的學者對於眼睛追蹤研究上，不單純只是
在醫學上的應用，而是希望能變成人機介面上
的工具，因此眼睛追蹤在睜眼和碧眼的偵測上
變得很重要。
 想要偵測眼睛狀態前先要偵測到眼睛位置，而
目前也有許多不同偵測與辨識的方法。

8. 相關技術 - 眼睛追蹤
8
 以下為幾個常見的眼睛追蹤方法 :
 角膜反射法
 區塊匹配法 (block matching)
 頭戴式追蹤器
 磁線圈法
 電眼法

9. 人臉偵測
9

10. 人臉偵測
10

11. 人臉偵測
11
 膚色偵測
 利用 RGB 轉換 YCbCr ，取出東方人的膚色範圍

12. 人臉偵測
12
 去除膚色雜訊
 由膚色辨識後的影像為二值化的影像，針對此影像
作膨脹侵蝕處理

13. 人臉偵測
13
 人臉區塊萃取
 做完膚色辨別及去雜訊後，所得到的二值化區塊中
存有人臉部分，並取出最大區塊當作人臉區域

14. 人臉偵測
14
 邊緣偵測
 邊緣偵測對影像辨識來說是一個重要的工具，而轉
換的方法需要用到快速傅立葉轉換 (FFT)

15. 人臉偵測
15
 人臉邊緣比對
 由於大部分的人頭外輪廓都接近直立橢圓的形狀，
所以使用橢圓形遮罩，在膚色背景中可較準確地找
出人臉

16. 人臉偵測
16
 臉部分析
 利用人臉遮罩找到人臉位置後，再依據人類『三庭
五眼』的理論，分析人臉五官的大概位置

17. 眼睛定位與追蹤
17

18. 眼睛定位與追蹤
18
 對比度分析
 原理是將兩邊角膜比較白的部分減去虹膜上較黑的
部分，如此可以得到較高的分數，最後再取分數較
高之 70% 的位置當評估點

19. 眼睛定位與追蹤
19
 可變形樣板
 可變形樣板為一種可以自行調整比對的技巧，它可
以有彈性的伸縮一些幾何外形的比對，為了增加眼
睛追蹤之功用，判斷眼睛所注視的方向也是重要的
，以下將應用可變形樣板來辨識虹膜與眼瞼中央位
置。

20. 眼睛定位與追蹤
20
 可變形樣板 - 定位虹膜位置
 眼睛樣板可以用兩條拋物線代表眼眶和一個圓盤代
表眼珠，並使用四個能量函數，分別是虹膜內的暗
度能量 Ev 、虹膜的邊緣能量 Ece 、上眼瞼的邊緣
能量 Eupe 、下眼瞼的邊緣能量 Elpe ，四個能量可
組成一個總能量 ET=Ev+Ece+Eupe+Elpe

21. 眼睛定位與追蹤
21
 可變形樣板 - 定位虹膜位置
 眼睛樣板可以用兩條拋物線代表眼眶和一個圓盤代
表眼珠，並使用四個能量函數，分別是虹膜內的暗
度能量 Ev 、虹膜的邊緣能量 Ece 、上眼瞼的邊緣
能量 Eupe 、下眼瞼的邊緣能量 Elpe ，四個能量可
組成一個總能量 ET=Ev+Ece+Eupe+Elpe

22. 眼睛定位與追蹤
22
 可變形樣板 - 定位眼瞼位置
 眼瞼樣板可以用兩個半橢圓形拋物線代表上下眼眶
，這邊一樣使用四個能量函數，分別是眼眶的飽和
度能量 Es 、內眼瞼角長度能量 Ecor 、上眼瞼的邊
緣能量 Eupe 、下眼瞼的邊緣能量 Elpe ，這四種能
量可組成一個總能量 ET=Es+Ecor+Eupe+Elpe

23. 眼睛定位與追蹤
23
 眉毛遮罩之粹取
 藉由眼睛定位知道眼睛的位置，但當眼睛閉合時，
通常與我們的眉毛相似，導致系統容易判對錯誤，
因此為解決此問題，並不刻意在眼睛追蹤上做改良
，而是針對眉毛來做追蹤

24. 眼睛定位與追蹤
24
 粒子濾波器之應用
 最追蹤系統中，使用粒子濾波器來做最小誤差位置
的評估，一開始設計系統狀態為目前眉心的位置
(Xt,Yt) 、前一個眉心位置 (Xt-1,Yt-1)

25. 眼睛定位與追蹤
25
 粒子濾波器之應用 - 預測
 為了考慮頭部移動速度與移動方向，將過去眉心位
置減去目前眉心位置得到移動速度與移動方向，加
上目前眉心位置得到預測的位置

26. 眼睛定位與追蹤
26
 粒子濾波器之應用 - 觀測
 由目前位置預測到下一個可能的位置，現在要將這
些可能的位置利用觀測找出機率，首先取出粒子散
步的位置，再利用三種眉毛遮罩做比對，利用
SAD(Sum of Absolute Difference) 方法，是將候選
區域影像與眉毛遮罩進行相減後在加總的動作

27. 眼睛定位與追蹤
27
 眉毛樣板之比對
 由粒子追蹤器與眉毛遮罩的配合，可以得到眉心位
置與兩眉方位，但因眉毛遮罩位置太固定，且每個
人的眉毛形狀不一樣在與遮罩做比對並不準確，因
此將眉毛樣板化

28. 眼睛定位與追蹤
28
 閉眼偵測
 在追蹤到眉毛正確位置後，透過兩眉與兩眼之間的
幾何位置間接知道眼睛的位置，就可對眼睛狀態進
行判斷，利用強度與飽和度的差異進行判斷

29. 實驗結果
29
 系統
 Windows XP
 CPU 2.00GHz
 RAM 512MG
 C++ Builder 6.0
 Matlab 7.0
 Logitech 240*320
 偵測速度
 人臉辨識
 背景簡單 0.5 秒
 背景複雜 1 秒左右
 眼睛偵測與追蹤
 皆可在 0.2 秒內

30. 實驗結果
30
 人臉辨識結果

31. 實驗結果
31
 眼睛定位與眉毛樣板擷取結果

32. 實驗結果
32
 眼睛追蹤之結果

33. 結論
33
 雖然此研究已能有效地追蹤到眼睛位置，但在
有些情況仍然會有偵測錯誤的發生，例如
 眉毛追蹤這方面，假如使用者頭髮過長蓋到眉毛，
則會引響到追蹤效果
 而戴眼鏡的情形下，在追蹤上也會受到干擾的情況
發生

34. 34
THANKS FOR YOUR
LISTENING

35. 角膜反射法
35
 利用裝有紅外線設備的鏡頭，將紅外線打入瞳
孔，裡用人眼對紅外線反射的差異，來對眼睛
作追蹤。
 優點 : 追蹤位置準確，較不受頭部裝飾引響
 缺點 : 收備昂貴，且眼睛長期受紅外線照射對眼睛
會有傷害

36. 區塊匹配法 (block matching)
36
 此方法在追蹤過程常被拿來利用，其應用是將
人臉區域擷取出來，進行放大、縮小、旋轉等
等，在與下一格的臉部後選區作相減，取其差
異最小的候選區域，只要能追蹤到人臉方位，
眼睛位置自然就可追蹤到。
 優點 : 不怕光線影響、追蹤失敗機率低
 缺點 : 只能以正臉面對鏡頭

37. 頭戴式追蹤器
37
 利用一個眼罩類之硬體戴在頭上，此硬體上配
有顯示器與攝影機，藉由眼睛看著顯示器與攝
影機拍攝的互動性，再利用影像處理找出瞳孔
計算出眼睛移動的軌跡。
 優點 : 偵測錯誤低，頭的移動不會影響追蹤
 缺點 : 須一直戴著裝置，眼鏡也必須下脫下

38. 磁線圈法
38
 使用者使用一個裝有圓形線圈的隱形眼鏡，再
利用交流磁場通過隱形眼鏡線圈來產生感應電
動勢，當眼球的轉動帶動感應線圈的移動，利
用電動勢之變化紀錄分析眼球移動。
 優點 : 偵測速度極快
 缺點 : 使用者會感到不舒服，最多忍受 20 分鐘

39. 電眼法
39
 使用電極片貼在眼睛上下左右四周的皮膚上，
當眼球有所移動時，則眼睛周圍的肌肉也會有
所變動，透過電極片去感應這些變化，判斷眼
球的移動。
 優點 : 價格低
 缺點 : 容易判斷錯誤