仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現

逢甲大學
自動控制工程學系碩士班
碩士論文
仿生視覺目標動態追蹤與3D人臉即時
辨認系統之設計與實現
Design and Implementation of the Bionic-Vision
Target Dynamic-Tracking and Real-Time 3D
Facial-Recognition System
指導教授：黃榮興
研究生：陳玨龍
中華民國一百零一年六月

仿生視覺目標動態追蹤與3D 人臉即時辨認系統之設計與實現
誌謝
在這兩年的時光中，有歡樂也有苦悶。與同間實驗室的學長、學姊、同學、
學弟一起聊天、談笑是歡樂的。當電腦當機、程式出現Bug、進度不夠等等令人
惱怒的事情發生在明明已經沒有多餘時間的狀況下，那是痛苦、搥心胸的。雖然
研究的過程中有許多的挫折，但也讓我學到了許多。
在學業上，感謝自控系的每一位老師，感謝每一位老師於課堂上的惇惇教誨，
而最要感謝的是指導老師黃榮興教授，多謝老師在這兩年間教授了許多在研究上
的經驗與建議，而在日常生活、人際關係等等上也給了許多的見解。同時，也要
感謝口試委員林君明老師與陳孝武老師在百忙之中能來針對此論文提供意見與
見解，使學生能夠對於研究的道路上了解自己的不足，並且以老師為榜樣精進自
己的能力與觀念。以上各位老師對於學生的幫助在此真的很難以三言兩語表達感
謝之情。真的非常的感謝這些老師，謝謝。
除了老師們的教導，還有實驗室裡的學長、學姊、學弟與同學們。在我迷惘
的時候，提供了不少意見。雖然研究所的研究室聽起來非常的嚴肅與拘謹，但與
你們在一起的時候毫無拘束，不管是課業上還是日常的聊天，讓我在這兩年的求
學過程中充滿了歡樂笑聲。而在研究中，除了自己的研究之外，也因你們的分享
讓我獲得了許多我不懂但重要的事情。謝謝你們無私的分享與陪伴，在這裡獻上
i
逢甲大學 e-Theses & Dissertations( 100 學年度)
我的十二分的感謝，謝謝。
最後我要感謝我最親愛的家人：爸爸、媽媽與姊姊，謝謝你們讓我在研究所
的兩年能夠無後顧之憂的完成學業，不只在學業上，在生活起居上也不斷的督促
我，讓我不會為了課業或是雜事的繁忙而忽視了自己的身體健康。而每當回到老
家時，也都能好好的休息讓我暫時的忘了惱人的事物。這大學四年與研究所兩年
的時光中真的辛苦你們了，在這裡我將這份論文獻給你們，謝謝你們的支持，謝
謝。

摘要
由於社會治安的日漸低下，使得在公共場所甚至於家庭的安全管制逐漸的被
重視，另一方面，電子產品的普及與性能的提升，利用個人電腦架構出一套複雜
的監控系統得以實現。因此本論文提出一套四軸雙CCD(Charge Coupled Device)
或CMOS(Complementary metal-oxide-semiconductor)之目標追蹤與3D 人臉即時
ii
辨認系統。
此系統利用仿生人類視覺系統，並採用動態目標追蹤達到入侵物的偵測與追
蹤。另一方面，利用前述所提到的動態目標追蹤，解決在影像中人臉五官辨識與
身分辨識之困難性。在目標追蹤的問題中，分為四種場合：靜對靜、動對靜、靜
對動與動對動。而在本論文中，我們針對靜對動（系統為靜、入侵物為動）來進
行研究。經過目標追蹤後，我們可知道入侵物於影像中之位置，之後便可針對其
範圍進行人臉五官辨認與身分辨識。人臉五官辨認主要以五官之幾何關係進行辨
認，並將其特徵點與預先建立好之身分資料庫進行比對。另一方面，我們會將身
分資料庫先進行分類，已達到身分辨識效能的優化。
關鍵字：仿生視覺、動態追蹤、人臉辨認、資料分類

Abstract
Due to the social security is rotting gradually, the security control of public
places and home is enhanced seriously. On the other hand, electronic product is
popularized and its performance is promoted, let a set of complex monitoring and control
system can be achieved and constructed by using personal computer. Therefore, the
purpose of this paper is to accomplish a four-axis dual-CCD (Charge Coupled Device) or
CMOS (Complementary metal-oxide-semiconductor) target tracking and real-time 3D
iii
facial recognition system.
This system uses bionic visual system and adopts dynamic target tracking method
to detect and track the intrusive object. On the other hand, we use the above mentioned
dynamic target tracking method to solve the difficulty of facial recognition and
identification. For the target tracking problem, it is divided into four cases: static to static,
dynamic to static, static to dynamic and dynamic to dynamic. For this paper, we focus on
the situation which is static to dynamic (system is static, intrusion is dynamic) to discuss.
After the target is tracked, we know that where the intrusive object is on the image, and
then we can recognize the face and identity for the area of this intrusion. The recognition
uses the geometric relationship of facial features to identify, and then, take the facial
features and pre-build database to compare. The pre-build database is classified before we
recognize the face and identity on the image. This step can speed up the image processing
in this system.
Keywords: bionic vision, dynamic tracking, facial recognition, data classification

目錄
誌謝 ...................................................................................................................... i
摘要 ..................................................................................................................... ii
Abstract ................................................................................................................... iii
目錄 .................................................................................................................... iv
圖目錄 ................................................................................................................... vii
表目錄 .................................................................................................................... xi
仿生視覺目標動態追蹤與3D人臉即時辨認系統符號說明................................. xiii
第一章序論 ............................................................................................................. 1
1.1 研究背景與動機 ....................................................................................... 1
1.2 研究目的.................................................................................................... 2
1.3 國內外相關研究 ....................................................................................... 3
1.3.1 人臉五官辨識相關研究 ....................................................................... 3
1.3.2 動態追蹤相關研究 ............................................................................... 5
第二章系統架構 ..................................................................................................... 6
2.1 系統架構.................................................................................................... 6
2.1.1. 硬體架構................................................................................................ 7
2.1.2. SSC-32 伺服控制器 ........................................................................... 11
iv

2.2 追蹤與辨認系統之架構 ......................................................................... 15
第三章理論探討 ................................................................................................... 17
3.1 RC伺服馬達 ........................................................................................... 17
3.2 動態追蹤.................................................................................................. 19
3.2.1 馬爾可夫隨機場 ................................................................................. 20
3.2.2 背景建構.............................................................................................. 22
3.2.3 光流法.................................................................................................. 24
3.2.4 模板比對.............................................................................................. 27
3.2.5 追蹤方法之探討 ................................................................................. 30
3.3 人臉與身分辨識 ..................................................................................... 33
3.3.1 人臉辨識.............................................................................................. 33
3.3.2 建立三維人臉模型 ............................................................................. 35
3.3.3 人臉身分辨識 ..................................................................................... 38
3.4 TCP/IP 區網連線 ................................................................................... 42
第四章實驗結果 ................................................................................................... 45
4.1. 介面設計.................................................................................................. 45
4.2. 實驗結果.................................................................................................. 50
4.2.1. TCP/IP區網連線 ............................................................................... 50
4.2.2. 仿生平台之模板追蹤 ......................................................................... 52
4.2.3. 雙攝影機仿生平台與目標追蹤之關係 ............................................. 57
4.2.4. 雙攝影機移動物體之追蹤 ................................................................. 60
4.2.5. 人臉五官辨識 ..................................................................................... 63
4.2.6. 三維人臉模型之建立 ......................................................................... 67
v

4.2.7. 身份辨識.............................................................................................. 68
第五章結論與未來展望 ....................................................................................... 71
5.1 結論.......................................................................................................... 71
5.1.1. 人臉辨識.............................................................................................. 71
5.1.2. 移動物之追蹤 ..................................................................................... 72
5.1.3. 仿生平台之追蹤 ................................................................................. 73
5.2 未來展望.................................................................................................. 74
參考文獻 ................................................................................................................... 75
vi

圖目錄
圖2.1 系統架構圖 ......................................................................................................... 6
圖2.2 立體攝影機之幾何關係圖............................................................................... 7
圖2.3 立體攝影機之架構圖 ....................................................................................... 7
圖2.4 硬體關係圖 ......................................................................................................... 8
圖2.5 四軸雙攝影機伺服平台(正面) ....................................................................... 9
圖2.6 四軸雙攝影機伺服平台(背面) ....................................................................... 9
圖2.7 四軸雙攝影機伺服平台實體圖(正面) ....................................................... 10
圖2.8 四軸雙攝影機伺服平台實體圖(背面) ....................................................... 10
圖2.9 SSC-32 Layout 圖 .......................................................................................... 11
圖2.10 SSC-32接腳設定圖 ....................................................................................... 13
圖2.11 SSC-32與藍芽無線模組接線圖 ................................................................. 14
圖2.12 追蹤與辨認系統之架構圖............................................................................ 16
圖3.1 伺服馬達構造圖 ............................................................................................. 17
圖3.2 伺服馬達控制方塊圖 .................................................................................... 18
vii

圖3.3 伺服馬達輸入接頭 ......................................................................................... 18
圖3.4 伺服馬達輸入與輸出關係圖[19] ............................................................... 18
圖3.5 MRF處理像素關係圖 ................................................................................... 20
圖3.6 MRF流程圖[14] ............................................................................................ 21
圖3.7 背景建構流程圖 ............................................................................................. 22
圖3.8 2 ´ 2 ´ 2立方體關係圖 ................................................................................... 26
圖3.9 模板比對之概念圖 ......................................................................................... 27
圖3.10 光流法應用於同步四軸伺服機構追蹤之流程圖 .................................... 30
圖3.11 修改後之光流檢測法之流程 ....................................................................... 31
圖3.12 膚色檢測與模板比對之流程圖 ................................................................... 32
圖3.13 人臉五官辨識流程圖 .................................................................................... 34
圖3.14 人臉五官幾何關係圖 .................................................................................... 34
圖3.15 Candide-3基礎人臉模型 ............................................................................ 35
圖3.16 三維人臉重建流程 ......................................................................................... 35
圖3.17 Obj檔內容範例 .............................................................................................. 36
viii

圖3.18 模糊集合示意圖 ............................................................................................. 38
圖3.19 TCP/IP 與OSI(Open System Interconnection)關係圖 .................... 42
圖4.1 伺服端介面 ...................................................................................................... 46
圖4.2 客戶端介面 ...................................................................................................... 46
圖4.3 模板比對介面 ................................................................................................. 47
圖4.4 Fuzzy介面 ...................................................................................................... 48
圖4.5 伺服馬達控制介面 ......................................................................................... 49
圖4.6 輸入欲比對之模板 ......................................................................................... 52
圖4.7 模板比對之相對結果 .................................................................................... 52
圖4.8 模板比對之結果 ............................................................................................. 53
圖4.9 仿生平台之追蹤場景設定............................................................................ 57
圖4.10 仿生平台之追蹤場景模擬圖 ....................................................................... 57
圖4.11 相距150cm 之PWM Width 關係圖 ....................................................... 58
ix

圖4.15 模板比對之初始狀況 .................................................................................... 60
圖4.16 目標物由右至左移動 .................................................................................... 61
圖4.17 目標物由左至右移動 .................................................................................... 61
圖4.18 目標物往右移動後復位 ................................................................................ 62
圖4.19 人臉材質影像 ................................................................................................. 67
圖4.20 五官辨識結果 ................................................................................................. 67
圖4.21 三維人臉模型之建立 .................................................................................... 67
圖4.22 模糊空間之隨機分佈 .................................................................................... 69
圖4.23 模糊與直接搜尋時間比較圖-1 ................................................................... 70
圖4.24 模糊與直接搜尋時間比較圖-2 ................................................................... 70
x

表目錄
表1.1 兩架構之比較表 ................................................................................................ 2
表2.1 SSC-32元件功能表 ....................................................................................... 12
表3.1 Condide-3特徵點設定表 ............................................................................ 37
表3.2 各類隸屬函數-1[27] ..................................................................................... 39
表3.3 各類隸屬函數-2[27] ..................................................................................... 40
表3.4 臉型規則表 ...................................................................................................... 41
表3.5 眼型規則表 ...................................................................................................... 41
表3.6 嘴型規則表 ...................................................................................................... 41
表3.6 特殊用途之位址 ............................................................................................. 43
表4.1 影像壓縮傳輸流量表 .................................................................................... 51
表4.2 模板比對時間序列表-1 (sec) ..................................................................... 54
表4.3 模板比對時間序列表-2 (sec) ..................................................................... 55
表4.4 模板比對時間序列表-3 (sec) ..................................................................... 56
表4.5 目標與平台之PWM Width關係 ............................................................... 58
xi

表4.6 人臉與五官判別之結果 ................................................................................ 63
表4.7 人臉與五官判別之結果數據 ....................................................................... 64
表4.8 模糊分類之結果(臉型) ................................................................................. 65
表4.9 模糊分類之結果(眼型) ................................................................................. 65
表4.10 模糊分類之結果(嘴型) ................................................................................. 66
表4.11 隨機資料之格式 ............................................................................................. 68
表4.12 隨機資料之特徵限制範圍............................................................................ 69
表5.1 人臉五官幾何關係 ......................................................................................... 71
xii

仿生視覺目標動態追蹤與3D人臉即時辨認系統符號說明
xiii
馬爾可夫隨機場：
: t
: t-1 t
: t-1 t
: t
: t-1
: t+1
:
:
I
t
O
t
L
t
b
s
b
p
b
f
m
q
時間之影像資料
時間與影像相減結果
時間與影像相減後之標記值
時間之模型參數
模型參數
二質化閥值

xiv
背景建構：
I x
max
B x
B min
x
D x
I x
B max
x
B min
x
D x
I x
( ) :
( ) :
( ) :
( ) :
( ) :
( ) :
( ) :
( ) :
( ) :
s
s
r
rs
rs
r
g
輸入影像中之像素值
輸入影像序列中之像素最大值
輸入影像序列中之像素最小值
輸入影像序列中之全像素最大值
輸入影像序列中之紅色像素值
輸入影像序列中之紅色像素最大值
輸入影像序列中之紅色像素最小值
輸入影像序列中之全紅色像素最大值
輸入影像序列中之
max
B x
min
B x
D x
I x
B max
x
B min
x
D x
( ) :
( ) :
( ) :
( ) :
( ) :
( ) :
( ) :
gs
gs
g
b
bs
bs
b
綠色像素值
輸入影像序列中之綠色像素最大值
輸入影像序列中之綠色像素最小值
輸入影像序列中之全綠色像素最大值
輸入影像序列中之藍色像素值
輸入影像序列中之藍色像素最大值
輸入影像序列中之藍色像素最小值
輸入影像序列中之全藍色像素最大值

xv
光流法：
( , , ) :
( , , ) :
空間中某一點的亮度值
平面中某一點的亮度值
軸的微小偏移
軸的微小偏移
時間的微小偏移
對的偏微分
對的偏微分
:
: y
:
:
:
:
D
D
D
x
y
t
E x y z
E x y t
x x
y
t
E E x
E E y
E E t
對的偏微分
模板比對：
I ( x , y
)
:
T ( x , y
)
:
w
h
( )
( )
( )
( )
:
:
, : (x,y) Squared difference
, : (x,y) Normalized squared difference
, : (x,y) Cross correlation
, : (x,y) Normalized cross
S x y
NS x y
C x y
NC x y
輸入影像中之像素值
輸入之模版像素值
模版的寬度
模版的高度
位置之合適度
位置之合適度
位置之合適度
位置之
( )
( )
correlation
, : (x,y) Correlation coefficient
, : (x,y) Normalized correlation coefficient
R x y
NR x y
合適度
位置之合適度
位置之合適度

第一章序論
1
1.1 研究背景與動機
近年來科技一直的在進步，人民的生活水準也漸漸的提高，電子產品帶來的
便利是無庸置疑的。但另一方面，它所衍生的資訊安全問題一直的困擾著我們。
個人資料的外洩、帳號的竊取等等都常常發生在我們生活周遭。如何有效的阻止
這一類電子犯罪的發生，正是我們所需克服的課題。另一方面，在美國911 事件
發生後，反恐變成為各個國家所重視的議題。恐怖份子很有可能在國際交通設施
中進行恐怖行動，所以要如何在人潮擁擠的情況下將其辨認並加以追蹤便是我們
所注重的課題。
傳統的鎖匙到現在的電子鎖都有被破解的疑慮，而且帶著鑰匙或是電子IC
卡本身就是一種風險。那是否能使用每個人都是獨一無二的這個特點來打造一副
特別的鎖匙？生物辨識(Biometric Recognition)就是可實現這個目標的方法。一般
而言除了指紋辨識與虹膜辨識之外最為一般人常用的為人臉辨識。人臉為最顯著
的人類特徵，利用此特徵便可直觀的辨認出此人之身分。
本論文以人臉辨識為基礎核心，搭配仿生視覺與動態追蹤來作為目標追蹤與
身分辨識之手段。本研究之主要方向為如何在四軸雙攝影機監控系統之下能夠即
時的判別入侵物體的位置，並實現即時辨識五官與身分。另一方面，為強化身分
辨識的即時性，我們加入資料庫之分類。

2
1.2 研究目的
本研究為即時的目標追蹤與人臉五官身分辨識，因此研究目的分為下列三
點：
1. 以雙攝影機之架構進行即時人臉之辨識與追蹤並提供往後追蹤、定位與
追瞄系統之需求。
2. 運用仿生視覺平台進行特定物體之即時辨識與追蹤。
3. 建立低成本之追蹤系統架構。
雙攝影機與單攝影機架構之優缺點比較如下表所示：
表1.1 兩架構之比較表
雙攝影機單攝影機
架
性構
能
空間中定位性能 ○ ╳
辨識準確度 ○ △
辨識複雜影像 ○ △
追蹤之穩定性 ○ △
架構簡便性 △ ○
適用範圍 ○ △
○：可
△：尚可
╳：否
首先，我們利用雙攝影機之架構搭配動態追蹤判別影像中入侵物體之位置，
並於影像中入侵物體之範圍進行人臉五官辨識判別其特徵是否為人臉五官特徵。
經過人臉五官辨識後，將人臉特徵點擷取出來，並與預先建立之身分資料庫加以
比對。最後並依照其比對結果加以追蹤。

3
1.3 國內外相關研究
1.3.1人臉五官辨識相關研究
人臉五官辨識是一個複雜的課題，其牽扯到的層面有許多種，例如：
1. 攝影設備之調校與性能
2. 攝影區域之採光或燈光設備的位置、強弱與色溫之設定
3. 人臉特徵之獨特性
4. 穿戴於人臉上之裝飾品
由於上述之情況都會影響判別之結果，所以為了增加其判斷之準確性，有許多的
判別方法被提出來。以下為目前已知的人臉辨識相關研究：
[1] 1999 年：Moritz Störring、Hans J. Andersen 與 Erik Granum 等人對不同人種
於R-G 平面上統計出相關數據，並且探討在不同光源下的影響。
[2] 2000 年：Maricor Soriano、Birgitta Martinkauppi、Sami Huovinen 與 Mika
Laaksonen 等人使用R-G 平面之膚色統計圖形建立其膚色於R-G 平面上之
範圍限制，使用其限制判斷便可提取出影像中之膚色像素。
[3] 2000 年：El-Khamy、Abdel-Alim 與Saii 等人利用擷取統計特徵於類神經網
路之人臉辨識系統上。而在2001 年他們加入膚色紋理參數以加強其效能。
[4] 2003 年：Y-QiongXu、Bi-Cheng Li 與Bo Wang 等人利用類神經網路與隱性
馬爾可夫模型於人臉偵測上。
[5] 2003 年：Rik Fransens、Jan De Prins 與Luc Van Gool 等人利用基於SVM
（Support Vector Machine）之非參數判別分析（Nonparametric Discriminant
Analysis）應用於人臉偵測上。
[6] 2006 年：張元翔與林榮城等人利用膚色擷取，並搭配人臉五官之幾何關係
擷取出人臉五官之範圍與位置。經由影像處理，此辨識系統可偵測角度不同
之人臉位置與其五官特徵點之相關位置。

[7] 2007 年：Jie Yan 利用整體SVM 回歸於人臉辨識系統上。
[8] 2008 年：國立中央大學資訊工程研究所范國清與李亭緯等人利用AAM
（Active Appearance Model）、PCA（Principal Component Analysis）與SVM
4
於人臉辨識系統中。
[9] 2008 年：蔡吉勝與黃胤人等人利用雙膚色檢測加強人臉辨識之效能。
[10] 2010 年：逢甲大學自動控制工程學系黃榮興與吳曜廷等人，利用人臉五官
之幾何關係，搭配模板比對，找出五官之位置，並加以分析其相對應之命格。

5
1.3.2動態追蹤相關研究
動態追蹤方面，在影像處理中是很重要的一環。最簡單的動態追蹤為影像相
減法。此方法試利用在連續且背景固定的影像中物體移動的差異來判別影像中變
化的程度。此方法雖然簡單，但是並不適用於許多場合之中。以下為動態追蹤之
相關研究：
[11] 1995 年：Jae-Woong Yi、Tae Seok Yang 與Jun-Ho Oh 等人利用卡爾曼濾波器
（Kalman filter）對立體影像中移動物體的深度與3D 運動進行估測。
[12] 1998 年：Jaemin Kim 與John W. Woods 等人利用3-D 卡爾曼濾波器（3-D
Kalman filter）於影像運動估測。
[13] 2002 年：Michael E. Farmer、Rein-Lien Hsu 與Anil K. Jain 等人利用交互式
多模型卡爾曼濾波器（interacting multiple model Kalman filter）進行高速人
體運動的強健追蹤。
[14] 1999 年：Christophe Dumontier、Franck Luthon 與Jean-Pierre Charras 等人實
現了即時馬爾可夫隨機場影像動態偵測之硬體與軟體設計。
[15] 2000 年：Ismail Haritaoglu、David Harwood 與Larry S. Davis 等人在即時視
訊監視系統上採用學習背景模型的機制達到影像中人體的辨識與追蹤。
[16] 2003 年：私立逢甲大學資訊工程學系何信瑩與王少強等人以TLBS
（Threshold Leaning Background Subtraction）為基礎並加以改良。為了背景
建構之穩定性，而採用MHI（Motion History Image）之概念，提出MHM
（Motion History Mask）。

仿生視覺目標動態追蹤與3D
2.1 系統架構
人臉即時辨認系統之設計與實現
此研究採用Lynxmotion
器。此伺服馬達控制器可
與PC 端以RS-232 或是藍芽無線模組連接
PC 端可經由以上連線傳送
第二章系統架構
之SSC-32 Servo Controller [17]作為伺服馬達之控制
SSC-32 之所需規格指令至控制器中。經
轉換其指令再傳送伺服馬達所需之
馬達控制之需求。
控制器判斷與
PWM（Pulse Width Modulation
在本研究中PC 端分為客戶端與伺服端
伺服端為人臉五官、身分辨識
，另一方面
Modulation）訊號，達到
與動態追蹤。SSC-32 伺服控制器為接收
制訊號加以轉換成伺服馬達所需之
臉即時辨認系統之設計與實現
。客戶端為擷取影像與傳送影像
PC 端之控
PWM 訊號。仿生視覺目標動態追蹤與
如下圖所示。
圖2.1 系統架構圖
6
逢甲大學 e-Theses & Dissertations( 100
，而
3D 人
學年度)

7
2.1.1. 硬體架構
在[18]中，不考慮困難的攝影機校準而採用RSD(relative stereo disparities)與
已知高度的參考物體來實現類人類視覺感測系統。使用此方法量測高度可達一個
Pixel 五倍的精準度，而x 方向的量測可以達到1.5 倍的精準度。其一般立體攝影
機設定圖與架構圖如下所示：
圖2.2 立體攝影機之幾何關係圖
圖2.3 立體攝影機之架構圖

本論文之硬體架構為
四軸伺服平台。兩顆伺服馬達分別控制兩顆
右旋轉、一顆控制兩顆攝影機
強此系統之偵測範圍。其
攝影機之左
之俯仰角、最後一顆控制整體之左右旋轉角
硬體關係圖與概念圖如下：
圖2.4 硬體關係圖
8
，以加
學年度)

圖2.5
圖2.6
四軸雙攝影機伺服平台(正面)
四軸雙攝影機伺服平台(背面)
9
學年度)

圖2.7
圖2.8
四軸雙攝影機伺服平台實體圖(正面)
四軸雙攝影機伺服平台實體圖(背面)
10
學年度)

11
2.1.2. SSC-32 伺服控制器
SSC-32 Servo Controller 為Lynxmotion 公司之產品，此控制器之特點如下：
多軸控制、高定位精度、極高解析度、個別伺服馬達微調與控制、馬達組控制、
可支持數位或類比之輸入與支持藍芽無線控制。SSC-32 Servo Controller 對PWM
訊號之解析度可達1us，此程度之解析度可實現極為平滑之伺服馬達控制。另一
方面，此可對指令做出即時的速度控制、馬達轉動之定時控制等。此控制器較為
特殊的功能為“Group Move”，此功能可讓任何伺服馬達組合同時的作動與同
時的停止。利用此功能可完成困難的運動模式。
另一方面可利用查詢指令做SSC-32 與PC 端之雙向溝通。其Layout 圖與其
元件功能表如下所示：
圖2.9 SSC-32 Layout 圖

表2.1 SSC-32 元件功能表
1 LDO (Low Dropout Regulator) 低壓降穩壓器
12
2 提供電源於CH16 至CH31
3 電源來源選擇接腳
4 邏輯電路電壓接腳，可使用9VDC 做為輸入電壓，供給IC 與任何接
至主板的5VDC 電壓需求之電路，有效範圍為6VDC 至9VDC。
5 電源來源選擇接腳
6 提供電源於CH0 至CH15
7 伺服馬達接腳輸出
8 ATMEGA 168-20PU
9 baud rate 選擇接腳，支援2400、9600、38.4k 與115.2k
10 可支持數位輸入與類比輸入
11 系統狀態燈
12 RS232-DB9 傳輸接頭
13 EEPROM（Electrically-Erasable Programmable Read-Only Memory）
電子抹除式可複寫唯讀記憶體
14 TTL serial port 或DB9 serial port 選擇接腳

SSC-32 Servo Controller 上有許多接腳可供使用者設定。如電源供應方式、
傳輸速度設定、伺服馬達連接與Bot Board 之TTL Serial 通訊連接等等。其接腳
13
連接設定如下圖所示：
圖2.10 SSC-32 接腳設定圖

SSC-32 控制卡可支援單向的TTL 序列通訊。若想經由無線裝置控制，可採
用藍芽無線模組。 PC 端可經由Bluetooth USB Dongle 找到BlueSMIRF 並在PC
端中產生虛擬的PORT，之後便可使用此PORT 傳輸控制卡之指令加以控制伺服
14
馬達。接線圖如下所示。
圖2.11 SSC-32 與藍芽無線模組接線圖

15
2.2 追蹤與辨認系統之架構
本研究之追蹤系統其架構圖如下。由各伺服馬達之姿態決定了兩顆攝影機所
擷取的影像區域，影像經由有線傳輸介面或是無線傳輸模組傳送至PC 端。PC
端經由影像動態偵測、人臉五官判別與身分辨識後，開始進行追蹤任務。由追蹤
物體在影像中的位置，進行空間中位置計算並轉換成伺服馬達所需之角度指令。
伺服馬達指令由PC 端經RS-232 介面或藍芽(Blue Tooth)介面傳送至SSC-32
Servo Controller，此控制卡再將PWM 訊號傳送至相對應的伺服馬達以進行角度
控制，達到追蹤之目的，如圖2.12 所示。
在本研究中，PC 端主要處理以下三項程序：影像前處理、人臉身分辨識與
影像之動態追蹤。詳細的影像處理程序於往後章節會加以說明。
1. 影像前處理：
一般而言，影像由攝影機拍攝後，輸出訊號為類比訊號。若電腦端需要
此影像資訊時，必須藉由影像擷取卡加以擷取。擷取至電腦端之影像，會由
於攝影機之狀況需以影像前處理加以修正，其狀況如：鏡頭、焦距、類型與
製程上，會造成影像中雜訊的產生；攝影機硬體上光源自動平衡是造成影像
擷取快慢原因之一；拍攝環境主要為影像拍攝時所產生色偏的原因之一。
2. 人臉身分辨識：
PC 端經由影像處理判別影像範圍內是否為人臉影像，並將影像中之人
臉特徵擷取出來，與預先建立好之資料庫比對，找出此人之身分。
3. 影像之動態追蹤：
當影像傳送至PC 端後並經過影像前處理與人臉辨識後，利用找尋出來
的人臉影像位置作為回授訊號，控制四軸伺服平台進行人臉追蹤。

圖
2.12 追蹤與辨認系統之架構圖
16
學年度)

第三章理論探討
17
3.1 RC伺服馬達
RC 伺服馬達一般意指Radio Control 伺服馬達。此種馬達一般應用於無線電
遙控模型上。由於遙控模型在轉向時，需要定扭力的維持在某一角度上，而直流
馬達無法提供此需求，所以進而有所謂的RC 伺服馬達的出現。RC 伺服馬達利
用減速機構，加強其扭力、採用電位計與控制電路達到位置控制。
在結構上，一般伺服馬達內部包含了一個小型直流馬達；一組變速齒輪組；
一個回饋可調電位計與一塊控制電路板。如下圖所示。
圖3.1 伺服馬達構造圖
(a)伺服馬達上視圖；(b)伺服馬達側視圖；(c)伺服馬達下視圖

伺服馬達控制為一個典型閉迴路系統
圖3.2 伺服馬達控制方塊圖
馬達驅動減速齒輪組
，其輸出端帶動線性比例電位計做為位置檢測
計將旋轉角度轉換成一比例電壓回授
號比較，產生修正脈衝，
，此電位
並驅動伺服馬達正向或反向轉動。若比例電壓與控制訊
號相等，則修正脈衝為零
標準伺服馬達輸入端為
分別代表控制訊號、電源與接地
控制伺服馬達轉動，
訊號。此訊號周期為20ms
，如下圖所示。
給控制電路，控制電路再將其與輸入控制訊
之間。其輸入訊號與伺服馬達輸出轉角關係圖如下
圖3.4
）訊號做為控制
0.5ms~2.5ms
18
。
3pin 輸入，其顏色一般分為白、紅與黑色三種
。伺服馬達3pin 接頭如下圖所示。
圖3.3 伺服馬達輸入接頭
需輸入PWM（Pulse Width Modulation）
20ms，一般若無特別規定，PWM 寬度通常在
。
伺服馬達輸入與輸出關係圖[19]
，其
學年度)

19
3.2 動態追蹤
在本研究中所闡述之動態追蹤是指影像中即時的找尋移動中或是與目標特
徵相近之物體，並且標記與鎖定。在機器人自動控制中，障礙物搜索、迴避或是
抓取等課題在感測器上的使用是非常重要的。
一般在此領域上常用之感測器有：紅外線感測器、雷射測距儀、超音波、雷
達、熱成像儀與攝影機等等。上述之各類型感測器都有其優缺點。例如：雷射測
距儀雖然準確，但是成本昂貴；超音波可搜索範圍可大可小，但其能量傳遞容易
因介質而衰減；攝影機雖然常見並取得容易，但在拍攝之影像中容易產生遮蔽之
問題等等。在此，本研究採用最常看到的感測器，也就是使用攝影機作為動態追
蹤之手段。
在影像處理中要達到動態追蹤之方法有很多種，而每一種演算法適合的情況
與場所也不盡相同。以下提出四種常見之動態追蹤演算法作為研究之對象：
馬爾可夫隨機場(Markov Random Field)
背景建構
光流法(Optical Flow)
模板比對

3.2.1馬爾可夫隨機場
馬爾可夫隨機場[20]
可視為具有馬爾可夫性質之隨機場。馬爾可夫性質之概
念為：當給定當前狀況與訊息的情況之下
去的狀態對於預測未來是無關
隨機變數所組成的。
於一般影像處理中時
，只有當前的狀態會用來預測未來
，過
的。而隨機場之概念為：由樣本空間取樣所構成的
，假設影像中的深度只有1，也就是只有黑色和白色
影像的大小為N ´N，則此影像可能的型式就有
則會有
2 2N 種可能。若64 64
2642 =1.0443888814131525066917527107166e+123
´的影像，
2 1233，這是一個天文數字
但這只表示了64´64這麼小的影像
。為了簡化此問題，可應用馬爾可夫隨機場
、
，
之
概念：給定我們感興趣的像素以外的資料與只給定感興趣像素鄰居的資料所做出
的條件機率是一樣的。
果一樣的答案。
便可大量的減少其計算量，而得到與計算整張影像的結
，要判斷像素S 是否為移動物體之像素是根據相
在馬爾可夫隨機場演算法中
鄰像素狀態來決定的。除了目前時間
與t+1 之相對的像素。如
t 相鄰的像素外，此演算法還考慮了時間
20
逢甲大學 e-Theses Dissertations( 100
下圖所示。
圖3.5 MRF 處理像素關係圖
t-1
學年度)

馬爾可夫隨機場於影像中移動物體之偵測演算法流程
將t 1 I - 與t I 相減並取絕對值之結果與將其進行二值化之
作輸入。當時間等於t 時，
其結果一併記錄於暫存器中以供下一步之運算
減並取其絕對值與二值化
將t I 與t 1 I + 相
。其結果會與前步驟之結果進行最小能量法之計算
而得到馬爾可夫隨機場之結果
，進
。最後將其結果記錄於暫存器中，供下一次運算之
所需。整體馬爾可夫隨機場之演算流程
需以三張連續影像當
。時間等於t +1時，
如下圖所示：
圖3.6 MRF 流程圖[14]
21
學年度)

3.2.2背景建構
在許多攝影場合中，
像中之背景也幾乎不變，
攝影機之角度、位置與焦距等狀況是不變的
，所以在影
除非長時間的拍攝所造成的天色改變或是拍攝地點天氣
的轉變等等。所以在此情況下
，便可假設已具有無入侵物之背景影像
進入背景影像時，所攝得的影像與背景影像相減
圍。
。當入侵物
，得出的影像差變為入侵物之範
一般影像中雜訊會因硬體或是軟體的因素而產生
系統之架構中有所闡述，
而軟體上的因素為影像的壓縮會使影像產生失真現象
背景建構技術[15][16]其主要的概念為
：學習在一定時間內影像雜訊的變動率
並且以此數據將移動物體與背景做分離
。
，
。其演算法流程為：當輸入影像開始進入
。若時間序列為0 時，
演算法時，便會開始依照擷取時間依序編號
。硬體之因素於追蹤與辨識
當作背景基底。而後，若輸入影像之時間序列在學習時間中
供之後動態追蹤使用。經過了
便會將其影像
學習時間後，輸入影像便會與背景基底與相關參數
進行辨識。其流程圖如下圖所示
，便會計算相關參數
22
：
圖3.7 背景建構流程圖
學年度)

在[15]背景建構方法中需計算Bsmax (x)、Bsmin (x)與D(x)，分別為某一像素I (x)
在影像間隔之間的最大值、最小值與最大差異值。由於本研究需以彩色形式判斷
入侵物體，所以將max ( ) s B x 、min ( ) s B x 與D(x)分解成max ( ) rs B x 、min ( ) rs B x 、( ) r D x 、
max ( ) gs B x 、min ( ) gs B x 、( ) g D x 、max ( ) bs B x 、min ( ) bs B x 與( ) b D x 。在時間T 內計算於I (x)以
上六個參數，之後並進行入侵物體之判斷。判斷式如下式所示：
- -
- -
- -
( ) ( ) ( ) ( )
I x B D x I x B D x
r rs r r rs r
( ) ( ) ( ) ( )
I x B D x or I x B D x
g gs g g gs g
I x B D x I x B D x
23
逢甲大學 e-Theses Dissertations( 100 學年度)
max min
max min
max min
( ) ( ) ( ) ( )
b bs b b bs b
(3.1)

+ + = (3.4)
24
3.2.3光流法
在連續影像中，我們可以將其看成每一秒有n 幀圖片快速的變換，而每一幀
影像互相都有關連性。以下兩者皆為紀錄其影像內變化趨勢。
1. 影像流(Image flow)：在連續且背景固定的影像中，假若有物體經過，便
可以利用此物體投影在影像上的二維速度來表示三維空間中相對應投影
點的速度。
2. 光流(Optical flow)[21]：在連續影像中，影像強度(亮暗程度)的變化。
在連續影像中，會產生影像流為零，但光流不一定為零的情況，反之影像流
不為零而光流為零的情況。
我們可以假設某一點在三維空間中移動。當時間間隔很小時，此點投影到影
像中的影像強度(image intensity)不變，數學表示式如下：
E(x, y, t) = E(x + Dx, y + Dy, t + Dt) (3.2)
對上式之右項以泰勒級數對(x, y, t)展開，並且忽略高次項，其結果如下式所
示：
= + D + D + D
( , , ) ( , , )
E x y t E x x y y t t
0
0
⇒ E D x + E D y + E D t
=
x y t
D x ⇒ E + D y
E + E
=
x y t
D D
t t
(3.3)
x E 、y E 與t E 分別為E 對x 、y 與t 的偏微分。當取樣時間很小時可改寫成
下式：
dx dy
0 x y t
E E E
dt dt
令
dx
u
= 、
dt
dy
v
= 可得到下式：
dt
0 x y t E u + E v + E = (3.5)

要解上式方程式還需其他之限制，在[22]中採用兩種平滑限制條件：
ΣE x y t ×u + E x y t ×v + E x y t  (3.10)
25
1. 光流速度梯度大小的最小化：
2 2 u u
x y
 ¶   ¶    +    ¶   ¶ 
(3.6)
2 2 v v
x y
 ¶   ¶    +    ¶   ¶ 
(3.7)
2. 利用光流中x 與y 元素之拉普拉斯平方和（The squares of the Laplacians of x-and
y-components）來測量光流場的平滑性。如下式所示：
Ñ = ¶ + ¶
2 2
2
u u
¶ ¶
2 2
u
x y
(3.8)
Ñ = ¶ + ¶
2 2
2
v v
¶ ¶
2 2
v
x y
(3.9)
為了加速系統運算速度，在此採用[21]中最小平方解。計算感興趣之區域
(ROI Region of Interest)內像素亮度守恒方程式總和。如下式所示：
2
( , , ) ( , , ) ( , , ) x i i y i i t i i
i
可利用下式計算出：
MTMV = MTb (3.11)
u
V
 
=   v


(3.12)
E E
E E
 
x 1 y
1
 
=  x 2 y
2
  ⋮ ⋮

 
 xn yn

M
E E
(3.13)
 
1
 
= -  2
  
E
E
t
t
⋮
 
 
tn
b
E
(3.14)

其中xn E 、yn E 與tn E 分別為第n 個區域內，E 對x、y 與t 的偏微分，其解為：
» +
E E E E E
+ + + +
x i j k i j k i j k i j k
+ +
- - }
+ + + + + + + +
» +
E E E E E
+ + + +
y i j k i j k i j k i j k
+ +
- - }
+ + + + + + + +
» +
E E E E E
+ + + +
t i j k i j k i j k i j k
+ +
- - }
+ + + + + + + +
26
T 1 T u
  -
=   =  
 
V M M M b
v
(3.15)
對於x E 、t E 與t E 在[22]中，以一個2 ´ 2 ´ 2之立方體介紹其近似公式，如下
圖所示：
圖3.8 2 ´ 2 ´ 2立方體關係圖
其近似公式如下式所示：
1
{ - -
4
, 1, , , 1, 1, 1, ,
E E E E
, 1, 1 , , 1 1, 1, 1 1, , 1
i j k i j k i j k i j k
(3.16)
1
{ - -
4
1, , , , 1, 1, , 1,
E E E E
1, , 1 , , 1 1, 1, 1 , 1, 1
(3.17)
1
{ - -
4
, , 1 , , 1, , 1 1, ,
E E E E
, 1, 1 , 1, 1, 1, 1 1, 1,
(3.18)

3.2.4模板比對
在追蹤特定目標物時
，若已經有目標物之樣本時，在影像處理中
此樣本進行模板比對。也就是利用模
最相近的區域。此概念如下圖所示
本實驗中，採用OpenCV
，便可根據
板在輸入影像中水平、垂直的移動
對之演算法分別為：Squared difference
correlation、Normalized cross correlation
correlation coefficient。這六種判斷法則如下所示
，去找尋
、Cross
Normalized
27
：
圖3.9 模板比對之概念圖
進行模板比對。在此函式庫中，提供了六種模
、Normalized squared difference
、Correlation coefficient 與
：
板比
學年度)

Squared difference：
( ) ( ) ( )
1 1 2
- -
h w
= ΣΣ - + +  (3.19)
, ', ' ', '
S x y T x y I x x y y
1 1 2
 T x ', y ' - I x + x ', y + y
'

= ΣΣ + + (3.21)
', ' ', '
T x y I x x y y
28
= =
' 0 ' 0
y x
Normalized squared difference：
( )
( ) ( )
( ) ( )
' 0 ' 0
1 1 2 1 1 2
' 0 ' 0 ' 0 ' 0
,
', ' ', '
h w
y x
h w h w
y x y x
NS x y
T x y I x x y y
- -
= =
- - - -
= = = =
=
+ +
ΣΣ
ΣΣ ΣΣ
(3.20)
Cross correlation：
h - 1 w
-
1
C ( x , y ) T ( x ', y ' ) I ( x x ', y y
'
) = =
' 0 ' 0
y x
Normalized cross correlation：
( )
- -
1 1
( ) ( )
( ) ( )
= =
' 0 ' 0
1 1 2 1 1 2
- - - -
' 0 ' 0 ' 0 ' 0
,
', ' ', '
h w
y x
h w h w
y x y x
NC x y
T x y I x x y y
= = = =
+ +
=
+ +
ΣΣ
ΣΣ ΣΣ
(3.22)
Correlation coefficient：
- -
1 1
( ', '
) ' 0 ' 0
h w
ΣΣ
= y = x
=
T x y
T
´
h w
(3.23)
Tɶ (x ', y ') = T (x ', y ') -T
(3.24)
( )
1 1
( ', '
) ' 0 ' 0
,
h w
y x
I x x y y
I x y
h w
- -
= =
+ +
=
´
ΣΣ
(3.25)
Iɶ (x + x ', y + y ') = I (x + x ', x + y ') - I (x, y)
(3.26)
- -
( ) h 1 w
1
, = ΣΣ ɶ ( ', ' ) ɶ ( + ', +
'
) R x y T x y I x x y y
= =
' 0 ' 0
y x
(3.27)

ɶ ɶ
', ' ', '
T x y I x x y y
29
Normalized correlation coefficient：
( )
- -
1 1
( ) ( )
( ) ( )
= =
' 0 ' 0
1 1 2 1 1 2
- - - -
' 0 ' 0 ' 0 ' 0
,
', ' ', '
h w
y x
h w h w
y x y x
NR x y
T x y I x x y y
= = = =
+ +
=
+ +
ΣΣ
ΣΣ ΣΣ
ɶ ɶ
(3.28)
在上述式中，I (x, y)為影像中座標(x, y)的像素值；T (x, y)為模板影像中座
標(x, y)的像素值；w 與h 分別為模板影像的寬與高；T為模板之平均像素值；I
為輸入影像之目前比對範圍平均像素值。應用上述之判別法之時機並不一定，需
視追蹤環境與目標物來選定較合適之判斷法。

3.2.5追蹤方法之探討
經四種動態影像追蹤之演算法於四軸仿生視覺平台之測試
馬爾可夫、背景建構與光流法較不適用於四軸仿生視覺平台
因在於經動態追蹤後轉動平台
。於演算法實現上
即時同步的追蹤
，使各攝影機與目標物正交。在這過程中
之背景已大幅改變。此現象於上述之演算法中容易造成判斷的錯誤
控制伺服機構。以光流法
意圖：
。原
，影像中
，進而無法穩
為例，以下為光流法應用於同步四軸伺服機構追蹤之示
圖3.10 光流法應用於同步四軸伺服機構追蹤之流程圖
30
，
學年度)

由上圖可知，在時間
追蹤動作。但在時間t+1
t 時，光流法已偵測到入侵物，並且控制伺服平台進行
時，t+1 與t 的影像因伺服平台的轉動，
的改變。此時，光流法便將無法辨識正確之入侵物
而造成大幅度
，而導致伺服平台的失控
。當時間t 時
以下提出，以等待穩定時間改善影像錯亂之問題
流檢測法，並控制伺服平台轉動
，依舊進行光
。時間t+1 時，等待伺服平台之穩定
時，由於時間t 與t+2 背景影像變動太大
刻之輸入影像。時間t+3
。時間t+2
，並等待下一
時，便可重新進行光流檢測法，並控制伺服平台
上述之問題可藉由等待伺服平台穩定後
所需之時間就大大的拉長
圖
，所以不進行光流檢測法
。雖然
，在重新進行目標物之檢測與追蹤
，且無法平滑的控制伺服機構。
3.11 修改後之光流檢測法之流程
31
。
，但其
學年度)

基於上述之原由，本研究之仿生視覺即時目標追蹤
手段。而在目標模板之取樣上
背景建構需背景學習之時間
作為實現之
，可採用背景建構或是膚色檢測搭配人臉辨識
，較不能即時的進行模板之取樣。所以
採用膚色檢測搭配人臉辨識當作進行
流程圖：
圖3.12
採用模板比對
。但
，本研究最後
人臉入侵檢測之演算法。以下為此演算法之
膚色檢測與模板比對之流程圖
32
學年度)

33
3.3 人臉與身分辨識
3.3.1人臉辨識
人臉辨識之判別方法如下：
1. 機器學習
a 支持向量機
b 類神經網路
2. 幾何判斷
3. 模板與特徵擬合
本研究採用幾何判斷來判別人臉五官位置與特徵點標定。當影像經由視訊頭
擷取至電腦中，先經過影像前處理，之後將膚色區域提取，最後再進行五官辨識。
處理過程如下列所示：
1. 影像前處理
a、低通濾波
2. 膚色區域提取
a 膚色提取
b 抑制雜訊
3. 五官辨識
a 五官區塊提取
b 五官範圍修正

人臉五官辨識流程圖如下圖所示
圖3.13 人臉五官辨識流程圖
為了能夠判別五官的組合
，我們將人臉範圍切割成上下兩部份
之膚色內的非膚色部分區塊全數標記
：
，上下兩部分
，並且記錄每個區塊互相連接線之中點
此便可判別此區塊組合是否為五官區塊
。其關係如下圖所示。
圖3.14 人臉五官幾何關係圖
34
。藉
學年度)

3.3.2建立三維人臉模型
人臉影像擷取後，經影像處理可獲得相關特徵點
係，便可將基礎人臉模型擬合至特徵點上
。利用特徵點之空間幾何關
，得到測試者的人臉模型
中，要以有限之點、線與面達到一定的真實性是一大考驗
candide-3[23]模型做為基礎人模
。在人臉模型
，我們使用了
。此模型是使用MPEG-4 之標準進行改良
MPEG-4 為一套用於音訊與視訊之壓縮標準
電工委員會(IEC)之動態影像專家組
型如下圖所示。
圖
(Moving Picture Experts Group)
3.15 Candide-3 基礎人臉模型
人臉3D 模型建立之方法有許多種
Scanline 三維重建與三維建模
。
(ISO)與國際
所制定。其模
光三維重建、
軟體等等。在此研究中，我們採用預先建立之人臉
網格模型。為求其模型之真實性
。此標準由國際標準化
。例如：三維雷射掃描、X
，將模型之五官擬合至經過影像處理後之人臉五
官特徵，並將擷取之人臉影像貼覆至模型之上
。此方法之優點在於加快人臉重建
之速度，並且能以最少之面數重現人臉之特徵
。在此
。其重建之流程如下圖所示
圖3.16 三維人臉重建流程
35
。
學年度)

一般建立三維模型需在三維空間中建立點群
模型能夠呈現在視窗之中
，使得
。所以，我們需將模型之點、線與面之資料匯入程式之
中，以便程式繪圖之需要。
例如：Autodesk 3ds max
三維模型檔案根據三維模型製作軟體會有不同的
sk 檔案格式為max 檔、maya 檔案格式為mb
為廣泛使用的是obj 檔案格式
有點、面與貼圖座標之資訊
介面之中，並彩現出來。
其中，v 代表點座標
合。
、互相連結並且建立平面
格式。
檔。一般最
。檔案可由文本開啟，其資料內容依照模型之需求
。藉由這些資訊，便可將其代表之模型匯入至
Obj 之檔案內容如下圖所示。
圖3.17 Obj 檔內容範例
、vt 代表貼圖座標，此座標對應至點座標
OpenGL
、f 代表面組
36
，
學年度)

此模型之網格節點皆為臉部的定義參數。其參數定義如下表所示。
表3.1 Condide-3 特徵點設定表
FDP No. 參數名稱頂點數目
1 Head Height 16
2 Eyebrows Vertical Position 8
3 Eyes Vertical Position 36
4 Eyes Width 20
5 Eyes Height 24
6 Eye Separation Distance 36
7 Cheeks Z 2
8 Nose Z-Extension 6
9 Nose Vertical Position 17
10 Nose Pointing up 3
11 Mouth Vertical Position 21
12 Mouth Width 14
13 Eyes Vertical Difference 36
14 Chin Width 2
37

3.3.3人臉身分辨識
在本研究中，加速資料庫之速度為其重點之一
了模糊分類之概念，利用
。為達到此目的
，本研究採用
六組模糊集合分別為臉形比例、臉形橢圓誤差
度、眼睛寬度、嘴巴長度與嘴巴寬度作為人臉五官判別
與分類之依據
在模糊理論中，模糊隸屬函數可以描述一個概念的特性
在溫度0∘至27∘之間舒適的隸屬程度
，例如圖
、眼睛長
範圍在0 與1 之間，在此區間中
程度上的不同，隸屬函數便是描寫隸屬程度在溫度範圍間的一種函數
屬函數有很多種，例如：
Γ 歸屬函數、S 歸屬函數、Π1 歸屬函數、
Ʌ 歸屬函數、Π2 歸屬函數
函數圖型與函式如表3.3
、A1 歸屬函數、A2 歸屬函數與單點歸屬
所示。本實驗採用Ʌ 歸屬函數。
在分類的法則中，將上述六組模糊集合以
組合以成為模糊規則(Fuzzy Rule)
為：臉型比例與臉形橢圓
誤差、眼睛長度與眼睛寬度、嘴巴長度與嘴巴寬度
人臉五官辨識後，將獲得的特徵
輸入至模糊規則庫中加以分類。分類出的類型
為三種分別為臉型、眼型與嘴型
3.4、3.5 與3.6 所示。
5 種不同程度分割並以兩組的方式
並形成三組模糊空間(Fuzzy Space)
，而此三種類型各分成三種特徵。
圖3.18 模糊集合示意圖
38
學年度)
。
3.18 所示：
，存在著
。常用的隸
L 歸屬函數、
函數。各歸屬
Space)，其分組方式
。當
分
詳細設定如表

表3.2 各類隸屬函數-1[27]
g a b g g
39
種
類
函式圖型
Γ
[0,1]
0,
( ; , ) ,
1,
U
u
u u
u
u
a
a b a a b
b a
b
®

  - £ £ G = 
- 

S
[ ]
2
2
0,1
0,
2 ,
( ; , , )
1 2 ,
1,
U
u
u
u
S u
u
u
u
a
a a b
g a
a b g
g b g
g a
g
®

  -     £   -  = 
  -   -   £ -   

Π1
[ ]
1
0,1
( ; , , ),
( ; , , )
1 ( ; , , ),
U
S u u
u
S u u
a b g
g a b g g
®
 - £
Õ =   - -
L
[0,1]
1,
( ; , ) ,
0,
U
u
u
L u u
u
a
a b a a b
b a
b
®

  - =  £ £
- 

Ʌ
[0,1]
0,
,
( ; , , )
,
1,
U
u
u
u
u
u
u
u
a
a a b
b a
a b g
b b g
g b
g
®

 - £ £
 -
L = 
 - £ £  -



表3.3 各類隸屬函數-2[27]
40
種
類
函式圖型
Π2
[ ]
2
0,1
0,
,
( ; , , , ) 1,
,
0,
U
u
u
u
u u
u
u
u
a
a a b
b a
a b g d b g
g g d
d g
d
®

 - £
- 
Õ = £ £ 
-  £
- 

A1
[ ]
2
1
0,1
®
( ; , )
- u - m
  
 
U
A u m s e s
=
A2
[ 0,1
]
1
( ; , )
2 2
1 ( )
U
A u m
u m
g
g
®
=
+ -
單
點
 =
=
1, when *
m m
u u ( )
0, A
else

表3.4 臉型規則表
41
Ratio↓
Error→
小較小中較大大
小長形長形長形長形長形
較小長形長形長形長形方形
中長形圓形圓形方形方形
較大圓形圓形圓形方形方形
大圓形圓形方形方形方形
表3.5 眼型規則表
Height↓
Width→
小小小小小小
較小小小普通小小
中普通普通普通普通普通
較大大大普通大大
大大大普通大大
表3.6 嘴型規則表
Height↓
Width→
小小小小小小
較小小小普通小小
中普通普通普通普通普通
較大大大普通大大
大大大普通大大

3.4 TCP/IP 區網連線
TCP/IP 為一系列網際網路基礎的網路協定
輸控制協定(Transmission Control Protocol)
，其包含了兩種協定
，一種為傳
與網際網路協定(Internet Protocol)
TCP/IP 通訊協定之原始定義中架構於硬體之上有四個分層
通訊協定中，將其分為五個階層
。分別為應用層、傳輸層、網路層
與實體層。其模型間之關係圖如下
圖3.19 TCP/IP
1. TCP：
，在新一
板的TCP/IP
、資料鏈結層
為基於位元組流的傳輸層的一種連接導向並且可靠的通訊協定
的建立中，TCP 採用三路握手
握手建立連線有以下三
a 客戶端通過向伺服器端發送一個
b 伺服端接收到此封包時
給客戶端。
c 最後客戶端再發送一個
的狀態。
TCP 在網際網路協定族中
關係圖如上圖所示。
。在通路
。以三路
封包。
／acknowledge)
42
。
與OSI(Open System Interconnection)關係圖
(Three-Way Handshake)過程建立連線
個步驟：
SYN(synchronize／start)
，回送SYN ACK(synchronize／
。
ACK 封包完成握手程序，並進入連線建立
(Internet protocol suite)是在網路層與應用層之間其
學年度)

43
2. IP：
IP 是在TCP/IP 協定中網路層的主要協議，其定義了定指方法與資料的
封裝結構，第一個架構主要板本為IPv4(Internet Protocol version 4)。此板本
是網際網路協議開發過程中第四個修訂板本。IPv4 使用32bit(4 個位元組)
當作位址的辨別，在232 的位址中，有預留一些位址使用在特殊用途之上，
如專用網路與多點傳輸(multicast)位址。隨著網路逐漸的發達與普及，IPv4
的IP 位址逐漸的不敷使用，在未來中會採取IPv6 作為應對措施。一些特殊
用途之IP 位址如下表所示：
表3.6 特殊用途之位址
CIDR 地址塊描述 CIDR 地址塊描述
0.0.0.0/8 本網路 192.168.0.0/16 專用網路
10.0.0.0/8 專用網路 198.18.0.0/15 網路基準測試
127.0.0.0/8 環回 198.51.100.0/24 TEST-NET-2，
文檔和示例
169.254.0.0/16 鏈路本地 203.0.113.0/24 TEST-NET-3，
文檔和示例
172.16.0.0/12 專用網路 224.0.0.0/4 多播
（之前的D 類網路）
192.0.0.0/24 保留（IANA） 240.0.0.0/4 保留
（之前的E 類網路）
192.0.2.0/24 TEST-NET-1，
文檔和示例
255.255.255.255 廣播
192.88.99.0/24 6to4 中繼

資料在網際網路中傳送時，會被封裝成封包。在IP 協議提供了不可靠
的傳輸機制，它並不能保證資料能夠準確的傳輸，可能發生的錯誤有以下四
44
點：
a 資料損毀
b 遺失封包
c 資料重複
d 封包傳遞亂序
在Internet Protocol Suite 中，TCP 層是位在IP 層之上。其運作原理為應
用層將所要傳送之資料傳至TCP 層，TCP 層將其資料加以分割成封包，並
將其封包交給IP 層，利用IP 層透過網路將封包傳送至接收端之TCP 層。
以達到可靠之傳送流程。

4.1.介面設計
第四章實驗結果
本研究採用Borland C++ Builder 6
1. 伺服端
2. 客戶端
撰寫人機介面。其分為兩大部分
伺服端包含了一切本研究中所提到的演算法
、身分搜尋、伺服馬達控制等等…。
場、背景建構法、人臉五官辨識
本介面可接收由客戶端輸入的雙
，例如：光流法、
攝影機影像，並且同時顯示在輸入視訊之顯示區
塊上；介面上方之人臉辨識步驟流程為人臉辨識演算法之分解步驟
辨識之觀察；OpenGL 顯示視窗為顯示
數據組中之功能鈕，進行
3D 人臉模型之視窗，可利用影像處理之
3D 人臉擬合之程序；影像處理結果顯示之視窗為顯示
經過動態追蹤與人臉辨識等影像處理後之結果圖
為顯示影像處理過程中所擷取之數據
另一方面，伺服馬達之控制
：介面右下角之影像處理數據組
資料，可藉此觀察影像處理中過程的變化
鈕與一些關鍵功能鈕設計於此。
45
學年度)
：
馬爾可夫隨機
在顯示部分，
，可進行人臉
。

客戶端只包含了由雙
圖4.1 伺服端介面
攝影機輸入之影像顯示、TCP/IP功能組與功能指令組
TCP/IP 功能組可輸入伺服端之
IP 位址進行連線並調整影像品質等級
組為控制伺服端所執行之功能指令
識、三維人臉擬合等等主要功能
。功能指令
，其指令可控制伺服端進行人臉識別
。其介面如下圖所示：
圖4.2 客戶端介面
、身分辨
46
。
學年度)

，採用OpenCV 之模板比對。在模板比對之介面中
在仿生視覺平台追蹤上
除可依照人臉辨識之結果建立人臉模
追蹤。於此介面中，可選擇使用
Pelco-D 之封包格式。在
板外，可自訂欲追蹤之模板，
，
進行目標物之
SSC-32 Servo Controller 之封包格式或是標準
模板比對參數中，可選擇OpenCV 中模板
比對方式：SQDIFF、SQDIFF_NORMED
比對所提供之
、CCORR、CCORR_NORMED
CCOEFF_NORMED。另一方面此介面還可調整
服馬達步階之PWM 寬度與各伺服馬達
介面圖型：
、CCOEFF、
目標追蹤之中心點判定閥值
中立點微調參數等等。以下為模
圖4.3 模板比對介面
板比對之
47
、伺
學年度)

在伺服端中Fuzzy 身分辨識視窗中分為
數表、Fuzzy 歸屬程度數據圖等等
開啟預建立之Fuzzy 資料庫
…。在本介面中，可利用Fuzzy
、輸出參
功能組建立或
，在此可建立或開啟資料庫後資料會顯示於輸出參數
表；輸入參數表為人臉特徵之輸入介面
歸屬程度數據圖為測試者數據與
表觀察測試者之歸屬程度
Fuzzy 功能組、輸入參數表
，一般由伺服端主程式自動輸入
Fuzzy 資料庫比對後之歸屬程度圖
；Fuzzy
，可利用此圖
48
。
圖4.4 Fuzzy 介面
學年度)

在本研究中，伺服機構是由動態人臉身分追蹤所控制
，可使用PlayStation2 之搖桿搭配
控制介面獨立控制。在伺服馬達控制中
接設備轉接至PC 端中，
USB 轉
利用類比搖桿訊號，達到平滑控制伺服馬達之需求
圖為伺服馬達控制介面。
基本功能組提供COM port
的選擇並且開啟port 做為輸出前處理
收數據組為顯示傳送與接收之數據
，可分別顯示二進制、十進制與
式；本介面提供兩種伺服馬達控制方式
之拉桿控制馬達位置與偏量
。下
；傳輸、接
ASCII 之格
，一種為拉桿式控制，利用馬達選擇組旁
，另一種為搖桿控制模式；馬達選擇組可選擇目前所
需控制之馬達ID，並利用右邊之拉桿控制
態之資訊，可顯示之資訊為左右類比之
，但也可經由伺服馬達
；搖桿資訊顯示組為顯示搖桿目前狀
X 與Y 軸之位置、左右類比之按鈕與搖
桿上任一按鈕之狀態；馬達位至與馬達偏移顯示組為顯示目前馬達位置與偏移之
設定，此顯示組只顯示ID0
至ID4 與ID16 至ID20 之馬達數據。
圖4.5 伺服馬達控制介面
49
學年度)

50
4.2.實驗結果
4.2.1. TCP/IP 區網連線
TCP/IP 區網連線測試平台是採用兩台桌上型電腦當作連線平台，其中利用
學術網路作為其連線橋樑，建立此平台之連線。此測試主要目的在於不同影像壓
縮比例下所需之上傳速度，以貼近一般使用狀況下可選擇的影像壓縮比例參數。
由於一般網路使用上，上傳速率小於下在速率，所以在此不考慮下載之流量。本
實驗之上傳流量速度監測採用NetLimiter3 進行監測。

表4.1 影像壓縮傳輸流量表
% 壓縮前後之影像流量
51
10%
≒75kb/s
30%
≒100kb/s
50%
≒125kb/s
70%
≒175kb/s
90%
≒690kb/s
由上列五張不同壓縮比例之輸入、輸出及上傳監控圖顯示出影像在壓縮比例
50%以上時，其失真程度用肉眼已難以辨認。而上傳流量在壓縮比例70%以下可
保持在175kb 左右。

52
4.2.2. 仿生平台之模板追蹤
模板比對：
本研究中採用OpenCV 之模板比對函式，在模板比對之定義中欲比對之模板
與輸入影像需為單通道之影像，其格式可為8 位元無號整數或32 位元浮點數之
影像。以下為8 位元、影像大小為95´137與96´137之比對模板：
圖4.6 輸入欲比對之模板
(A)：右攝影機之模板 (B)：左攝影機之模板
在模板比對中，若輸入影像大小為320´240，欲比對之模板影像大小為
TImage_W×TImage_H ，則比對之相對結果影像大小為：
(320 -TImage_W )´(240 -TImage_H ) (4.1)
因此若採用上述之模板大小，則辨識結果之影像大小分別為225´103與
224´103於OpenCV中，若採用Squared difference與Normalized squared difference
則目標於相對結果影像中為黑點。若採用其他比對法，則目標於相對結果影像中
為亮點。如圖4.7 所示。
圖4.7 模板比對之相對結果
(A)：右攝影機之模板比對相對結果 (B)：左攝影機之模板比對相對結果

以下為模版比對之結果與模板辨識之120 筆執行時間序列。於模板比對時間
序列表中，第2 組、第31 組與第32 組時間相較於其他序列時間顯得較長的許多。
此現象可能由於測試用平台上之防毒軟體或是常駐軟體引發不可預期之程式延
遲。但由模板比對時間序列表可知：一般穩定地同時進行左右攝影機之模板比對
53
所需時間約在0.037 秒上下。
圖4.8 模板比對之結果
(A)：右攝影機之模板比對結果 (B)：左攝影機之模板比對結果

表4.2 模板比對時間序列表-1 (sec)
54
Format
Serial
8bit
Format
Serial
8bit
1 0.0417612417 21 0.0336507748
2 0.1291418956 22 0.0334751813
3 0.0353658664 23 0.0336200547
4 0.0332618857 24 0.0388637736
5 0.0345591136 25 0.0345905319
6 0.0336570585 26 0.0336102801
7 0.0344837096 27 0.0379767295
8 0.0340909805 28 0.0339188779
9 0.0340819041 29 0.0395165767
10 0.0375654985 30 0.0351183598
11 0.0367007963 31 0.1416938668
12 0.0362518633 32 0.1385495903
13 0.0363510056 33 0.0343660654
14 0.0334479520 34 0.0364934353
15 0.0339359834 35 0.0322100699
16 0.0358434250 36 0.0361345682
17 0.0347793910 37 0.0331491288
18 0.0336937132 38 0.0346338194
19 0.0372310678 39 0.0325399624
20 0.0348987806 40 0.0358189885

55
Format
Serial
8bit
Format
Serial
8bit
41 0.0340846968 61 0.0326537665
42 0.0363112090 62 0.0342777450
43 0.0360490405 63 0.0338319538
44 0.0363101617 64 0.0364504969
45 0.0316976021 65 0.0358231776
46 0.0335676908 66 0.0354915397
47 0.0319883962 67 0.0335355743
48 0.0330025100 68 0.0333819736
49 0.0331149178 69 0.0342958978
50 0.0373937450 70 0.0335582653
51 0.0361666847 71 0.0360273968
52 0.0361981030 72 0.0363991803
53 0.0370010159 73 0.0364093040
54 0.0359488510 74 0.0363262200
55 0.0371535693 75 0.0329585243
56 0.0366229486 76 0.0360406623
57 0.0424849105 77 0.0368865135
58 0.0330321828 78 0.0362857253
59 0.0334259592 79 0.0359146399
60 0.0394279072 80 0.0361171136

56
Format
Serial
8bit
Format
Serial
8bit
81 0.0326733157 101 0.0342728577
82 0.0335792108 102 0.0350785633
83 0.0374303997 103 0.0326391046
84 0.0321601497 104 0.0348303585
85 0.0333240242 105 0.0358350468
86 0.0324418674 106 0.0355718310
87 0.0369029209 107 0.0321451387
88 0.0359411709 108 0.0345245534
89 0.0320871894 109 0.0356158167
90 0.0340714313 110 0.0343322034
91 0.0333009841 111 0.0323755398
92 0.0351246435 112 0.0317991880
93 0.0322840775 113 0.0338033282
94 0.0340815550 114 0.0321877280
95 0.0354220703 115 0.0336273856
96 0.0368139023 116 0.0324970240
97 0.0341723191 117 0.0335104396
98 0.0353606300 118 0.0323699543
99 0.0351375599 119 0.0358915998
100 0.0379613694 120 0.0362832816
The average time of template-matching: 0.0370483284 (sec)

4.2.3. 雙攝影機仿生平台與目標追蹤之
關係
為了解雙攝影機仿生視覺平台於物體追蹤上之物體與平台之間幾何關係
實驗採用如下圖所示之場景進行平台之伺服馬達與物體之間關係之量測
圖
圖
4.9 仿生平台之追蹤場景設定
4.10 仿生平台之追蹤場景模擬圖
。
57
，本
學年度)

在此實驗流程中，目標物體與仿生平台距離150cm、200cm、250cm與300cm；
物體於此四種距離等級下進行左右偏移10cm、20cm、30cm、40cm 與50cm 之
兩伺服馬達PWM 寬度量測。以下為本實驗之數據圖表：
表4.5 目標與平台之PWM Width 關係
58
Distance
Scale
150cm(L) 150cm(R) 200cm(L) 200cm(R) 250cm() 250cm(R) 300cm(L) 300cm(R)
50(cm)
1702 1611 1682 1610 1650 1586
40(cm) 1708 1613 1656 1582 1651 1580 1630 1558
30(cm) 1663 1567 1637 1552 1621 1542 1606 1533
20(cm) 1624 1525 1610 1523 1594 1520 1582 1513
10(cm) 1600 1498 1583 1496 1567 1494 1559 1500
0(cm) 1550 1452 1550 1452 1550 1452 1550 1452
-10(cm) 1510 1410 1518 1436 1523 1447 1520 1454
-20(cm) 1472 1371 1496 1405 1505 1429 1505 1432
-30(cm) 1439 1334 1461 1374 1481 1404 1493 1423
-40(cm) 1402 1305 1436 1345 1452 1376 1474 1401
-50(cm)
1394 1309 1428 1349 1452 1383
圖4.11 相距150cm 之PWM Width 關係圖
1800
1700
1600
1500
1400
1300
1200
50 40 30 20 10 0 -10 -20 -30 -40 -50
PWM Width(us)
Scale(cm)
150L
150R

59
1800
1700
1600
1500
1400
1300
1200
50 40 30 20 10 0 -10 -20 -30 -40 -50
PWM Width(us)
Scale(cm)
200L
200R
1800
1700
1600
1500
1400
1300
1200
50 40 30 20 10 0 -10 -20 -30 -40 -50
PWM Width(us)
Scale(cm)
250L
250R
1800
1700
1600
1500
1400
1300
1200
50 40 30 20 10 0 -10 -20 -30 -40 -50
PWM Width(us)
Scale(cm)
300L
300R

60
4.2.4. 雙攝影機移動物體之追蹤
本研究中之雙攝影機移動物體追蹤之目標物採用無線遙控車，利用遙控車來
模擬移動物體之移動模式。在以下實驗中，目標物一開始並不在兩攝影機之正中
央。當追蹤開始時，攝影機上之伺服馬達會開始依模板比對之結果轉動攝影機，
使攝影機之正中央對準目標物。當目標物移動時，伺服馬達會一直帶動攝影機追
蹤目標。使其系統成為一具回授特性之系統。以下為模板比對之初始狀況與追蹤
之PWM 寬度結果：
圖4.15 模板比對之初始狀況

圖4.16 目標物由右至左移動
圖4.17 目標物由左至右移動
61
1800
1700
1600
1500
1400
1300
1200
1100
1
21
41
61
81
101
121
141
161
181
201
221
241
261
281
301
321
341
361
381
401
421
441
461
481
501
PWM Width(us)
Control Serial
Left
Right
Tilt
1800
1700
1600
1500
1400
1300
1200
1100
1
21
41
61
81
101
121
141
161
181
201
221
241
261
281
301
321
341
361
381
401
421
441
461
481
501
PWM Width(us)
Control Serial
Left
Right
Tilt

圖4.18 目標物往右移動後復位
62
1800
1700
1600
1500
1400
1300
1200
1100
1
21
41
61
81
101
121
141
161
181
201
221
241
261
281
301
321
341
361
381
401
421
441
461
481
501
PWM Width(us)
Control Serial
Left
Right
Tilt

63
4.2.5. 人臉五官辨識
本實驗採用單攝影機於同一時間中進行人臉拍攝與人臉五官判別，判別結果
直接顯示於監視畫面上，相關人臉五官數據也一併傳輸至模糊分類介面中進行分
類與判別。在模糊分類結果數據中，較大的值代表越符合相對應之類型。以下為
人臉判別之結果、數據與模糊分類之結果：
表4.6 人臉與五官判別之結果
序列輸入影像非膚色之辨識辨識結果
1
2
3
4
5

64
6
7
8
表4.7 人臉與五官判別之結果數據
序列人臉比例橢圓誤差眼寬比例眼高比例嘴寬比例嘴高比例
1 0.711 16 0.203 0.063 0.390 0.108
2 0.735 14 0.099 0.043 0.349 0.085
3 0.680 16 0.168 0.056 0.404 0.131
4 0.793 14 0.094 0.037 0.375 0.116
5 0.807 15 0.212 0.057 0.315 0.096
6 0.782 12 0.125 0.041 0.337 0.188
7 0.756 11 0.099 0.036 0.313 0.087
8 0.592 13 0.137 0.039 0.358 0.101

表4.8 模糊分類之結果(臉型)
序列長形臉圓形臉方形臉
1 0.638 0.006 0.000
2 0.605 0.005 0.000
3 0.772 0.001 0.000
4 0.320 0.010 0.000
5 0.236 0.017 0.000
6 0.418 0.000 0.000
7 0.532 0.010 0.000
8 0.947 0.001 0.000
表4.9 模糊分類之結果(眼型)
序列小普通大
1 0.000 0.346 0.213
2 0.309 0.041 0.000
3 0.030 0.452 0.000
4 0.000 0.184 0.000
5 0.000 0.693 0.135
6 0.119 0.107 0.000
7 0.000 0.247 0.000
8 0.008 0.225 0.000
65

表4.10 模糊分類之結果(嘴型)
序列小普通大
1 0.000 0.747 0.000
2 0.000 0.482 0.000
3 0.000 0.693 0.000
4 0.000 0.528 0.000
5 0.258 0.186 0.000
6 0.002 0.212 0.000
7 0.197 0.249 0.000
8 0.008 0.414 0.000
66

67
4.2.6. 三維人臉模型之建立
本實驗利用Candide-3 基礎人臉模型與人臉辨識之結果所得到的五官位置、
大小與比例進行擬合，並以輸入之影像當作模型材質將其貼覆至模型上達到人臉
模型之建立。以下為人臉材質影像、五官辨識與3D 模型建立之結果：
圖4.19 人臉材質影像
圖4.20 五官辨識結果
圖4.21 三維人臉模型之建立

68
4.2.7. 身份辨識
於本研究之身分辨識中，採用模糊分類技術將人臉特徵資料加以分類，提升
搜尋速度。為重現大量資料的搜尋情況，本實驗使用隨機產生之資料，並在其中
加入待搜尋之特定身份人臉資料加以測試。人臉特徵資料分為13 組不同性質之
數據，以下為隨機產生資料之格式、限制、模糊空間之分佈與模糊跟直接之搜尋
時間比較：
表4.11 隨機資料之格式
編號內容
1 五官特徵之基本資料
2 每一組特徵之臉型分類數據
3 每一組特徵之臉型分類類別
4 每一組特徵之三臉型分類之各合適程度
5 整體資料中，臉部比例與誤差之最大與最小值
6 每一組特徵之眼型分類類別
7 每一組特徵之眼型分類數據
8 每一組特徵之三眼型分類之各適合程度
9 整體資料中，眼部寬與高比例之最大與最小值
10 每一組特徵之嘴型分類類別
11 每一組特徵之嘴型分類數據
12 每一組特徵之三嘴型分類之各適合程度
13 整體資料中，嘴部寬與高比例之最大最小值

表4.12 隨機資料之特徵限制範圍
特徵 Min Max
人臉長寬比例 0.50 1.2
人臉之橢圓誤差 -25 50
人眼寬度 0.08 0.22
人眼高度 0.025 0.08
嘴巴寬度 0.20 0.48
嘴巴高度 0.04 0.2
圖4.22 模糊空間之隨機分佈
69
1600
1400
1200
1000
800
600
400
200
0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25
數量
分組編號
25
50
75
100
200
300
400
500
600
700
800
900
1000
2000
3000
4000
5000
6000

若待測數據落在模糊子空間之邊緣空間中
圖4.23 模糊與直接搜尋時間比較圖-1
若待測數據落在非邊緣之模糊子空間中
圖4.24 模糊與直接搜尋時間比較圖-2
70
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
時間(Sec)
比對數量
直接搜尋法
模糊搜尋法
0.1
0.09
0.08
0.07
0.06
0.05
0.04
0.03
0.02
0.01
0
時間(Sec)
比對數量
直接搜尋法
模糊搜尋法

第五章結論與未來展望
71
5.1 結論
5.1.1. 人臉辨識
利用人臉的對稱與幾何關係，並利用膚色檢測可在待測影像中找到人臉位置。
經由實驗結果顯示：當環境採光或是攝影機內部設定穩定時，只要正面人臉進入
待測影像中時，便可順利的將其擷取出來，並且標記相關之五官位置。利用此法
追蹤人臉，較一般演算法簡單並容易實現。並且相較於自我學習之演算法，此法
並不需要自我學習的時間，可進行即時的反應與追蹤。以下為人臉五官的幾何關
係表：
表5.1 人臉五官幾何關係
1 眉毛組合之連線中點位於人臉上半部分之最上方。
2 眼睛組合之連線中點位於人臉上半部分之最下方。
3 嘴巴組合之連線中點位於人臉下半部分之最上方。
4 眉毛與眼睛組合之兩區塊的中心點必然靠近臉形之垂直中分線。
5 眉毛與眼睛組合之兩區塊面積需相近。
6 眉毛與眼睛組合之兩區塊之間距離在人臉寬度的範圍內。
7 眉毛與眼睛組合之兩區塊之夾角也會小於一定的角度。
8 嘴巴區塊之中心點區靠近人臉垂直中分線。

72
5.1.2. 移動物之追蹤
在本實驗中，探討四種追蹤演算法，分別為：馬可爾夫隨機場、背景建構、
光流法與模板比對。於移動物體之追蹤實驗結果指出，若在攝影機靜止的情況下，
四種演算法都可針對影像中之移動物體進行即時的追蹤。但應用於本研究中之視
覺仿生平台上，前三種演算法就較不合適單獨使用，除非在這些演算法之外增加
額外的偵測判定以加強當背景移動或是追蹤物停止的情況下判別的強健性。
相對於前三種演算法，模板比對較適合用於移動影像中追蹤特定物體。在實
驗結果中，當比對模板確定後，便可直接對於輸入影像進行模板的比對動作。其
比對速度相對於影像的幀數(Frame Rate)高出許多。本研究採用OpenCV 中之模
板比對演算法，在輸入影像解析度為320X240 的情況下，可達到100 frame/s 的
比對速度。在OpenCV 中，提供了六種模板比對之演算法，可根據待追蹤之輸入
影像的情況，改變其演算法，達到較佳的比對效果。
在比對的結果中，雖說是採用模板比對的方式進行特定目標物的追蹤。但經
過實驗測試後發現：當待追蹤之目標物與模板有些微的角度差，還是能夠進行比
對，並得到正確的追蹤結果。但如果待追蹤之目標物大小與模板有所差距，或是
角度差太大，很容易造成判斷錯誤。因此先利用膚色檢測，找尋擬似人臉的位置，
並進行人臉辨識，當確定此區塊為人臉時，便利用模板比對的方式進行即時的追
蹤，在追蹤的過程中，也即時的更新比對之模板，達到較佳的追蹤效果。

73
5.1.3. 仿生平台之追蹤
利用四軸仿生平台進行目標物的追蹤來模擬人類視覺。利用此概念，可補強
以往單攝影機追蹤所無法偵測到物體的缺點。在某些追蹤目標被遮蔽的情況下，
單攝影機追蹤之架構可能無法辨別並追蹤此目標。但在雙攝影機追蹤之架構下，
其中一組攝影機，便可能辨識並追蹤此目標物。而在目標不被遮蔽的情況下，可
經由同時的辨識下，達到減少誤差的效果。一般單攝影機之架構並不能達到此效
果。
於實驗結果可看出本研究之仿生視覺平台可進行平穩辨識與追蹤之功能。另
一方面，本研究之雙攝影機仿生平台與目標追蹤之關係實驗中，可看出仿生平台
於追蹤目標物時，伺服馬達之PWM 寬度與目標物之位置為線性關係。可藉由此
線性關係估測目標物於空間中之位置，可應用於許多之追瞄系統之中。

74
5.2 未來展望
人臉辨識中最重要的便是其演算法的強健性，要如何在複雜的影像中，如：
機場的人群中、大型活動場所或街頭等等去進行人臉辨識，並且有一定的準確率。
而在仿生視覺平台上，其反應時間與運轉速度也是此計畫上重要的一環。因此我
們未來希望能夠針對以下幾點繼續鑽研與探討：
1. 是否能使用不同或是混合其他演算法進行人臉辨識以達到更佳的辨識率與
準確率？
2. 減少移動物追蹤與人臉辨識給整體系統的負擔，以加強整體系統運作上之流
暢性與速率。利用此優勢強化即時追蹤與辨識的效果。
3. 建立真實人臉特徵之資料庫，以模擬真實社會之需求。
4. 由於目前此仿生視覺平台並未搭載自動變焦系統，當自動變焦系統應用於此
平台上後，是否有更好到執行效果？
5. 化簡仿生視覺平台，使其微小化，在未來中能夠於人形機器人上搭載。

參考文獻
[1] Moritz Störring, Hans J. Andersen, Erik Granum, “Skin color detection under
changing lighting condition”, Proceedings of the seventh symposium on
intelligent robotics systems, pp.187-195, 1999.
[2] Maricor Soriano, Brigitta Martinkauppi, Sami Huovinen, Mika Laaksonen,
“Using the skin locus to cope with changing illumination conditions in
color-based face tracking”, Proceedings of IEEE nordic signal processing
75
symposium, pp.383-386, 2000.
[3] El-Khamy, Abdel-Alim, Saii, “Neural network face recognition using statistical
feature extraction”, Seventeenth national radio science conference,
pp.C31/1-C31/8, 2000.
[4] Y-QiongXu, Bi-Cheng Li, Bo Wang, “Face detection and recognition using
neural network and hidden Markov models”, IEEE Int. Conf. Neural networks
signal processing, Vol.1, pp.228-231, 2003.
[5] Rik Fransens, Jan De Prins, Luc Van Gool, “SVM-based nonparametric
discriminant analysis, an application to face detection”, Proceedings ninth IEEE
international conference on computer vision, pp.13-16, 2003.
[6] 林榮城，自動化人臉偵測與特徵擷取系統，中原大學資訊工程學系碩士論文，
2006。
[7] Jie Yan, “Ensemble SVM regression based multi-view face detection system”,
Machine learning for signal processing XVII, pp.163-169, 2007.
[8] 李亭緯，利用人臉五官為特徵之人臉辨識，國立中央大學資訊工程研究所碩
士論文，2008。
[9] 蔡吉勝、黃胤人，“2008 人臉偵測系統之研究”，彰雲嘉大學校院聯盟學術
研討會論文集，234 頁～240 頁，2008。

[10] 吳曜廷，應用模糊分類技術於人臉辨識與命格分析，逢甲大學自動控制工程
76
學系碩士論文，2010。
[11] Jae-Woong Yi, Tae Seok Yang, Jun-Ho Oh, “Estimation of depth and 3D motion
parameters of moving objects with multiple stereo images by using Kalman
filter”, Proceedings of IEEE IECON 21st international conference, Vol.2,
pp.1225-1230, 1995.
[12] Jaemin Kim, John W. Woods. “3-D Kalman filter for image motion estimation”,
IEEE transactions on image processing, Vol.7, No.1, pp.42-52, 1998.
[13] Michael E. Farmer, Rein-Lien Hsu, Anil K. Jain, “Interacting multiple model
(IMM) Kalman filters for robust high speed human motion tracking”,
Proceedings of 16th international conference on pattern recognition, Vol.2,
pp.20-23, 2022.
[14] Christophe Dumontier, Franck Luthon, Jean-Pierre Charras, “Real-time DSP
implementation for MRF-based video motion detection”, IEEE transactions on
image processing, Vol.8, No.10, pp.1341-1347, 1999.
[15] Ismail Haritaoglu, David Harwood, Larry S. Davis, “W4:Real-time surveillance
of people and their activities”, IEEE transactions on pattern analysis and
machine intelligence, Vol.22, pp.809-830, 2000.
[16] 何信瑩，營區安全管理暨智慧型監控系統之整合，逢甲大學資訊工程學系碩
士論文，2003。
[17] SSC-32 Servo Controller:
http://www.lynxmotion.com/p-395-ssc-32-servo-controller.aspx
[18] Jang Kyu Kim, Min Cheol Lee, Cheol Ki Ahn, Chi Yen Kim, “Acquisition of
3-D information using stereo vision system by relative stereo disparity with
subpixel resolution”, 2001 IEEE international symposium on industrial
electronics proceedings, Vol.3, pp.1671-1676, 2001.

仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現

仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (17)

Similar to 仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現

Similar to 仿生視覺目標動態追蹤與3D人臉即時辨認系統之設計與實現 (20)

More from 又瑋賴

More from 又瑋賴 (13)