SlideShare a Scribd company logo
Computer Engineering and Applications计算机工程与应用2015,51(3)
1 引言
增强现实(Augmented Reality,AR)是通过电脑技
术将虚拟的物体实时地叠加到真实的场景之中的一种
技术。增强现实具有三大特点:虚实结合、实时交互和
三维注册[1]
,其中三维注册是增强现实的核心技术,已成
为当今研究的热点之一。当前三维注册技术一般可以
分为:基于特殊标识的注册和基于自然特征的注册[2]
。
由于基于特殊标识的注册方法依赖人为标识,使用起来
颇为不便,从而限制了其在现实中的应用范围[3]
。近年
来,随着计算机图形学和计算机视觉技术的发展,基于
标识平面的自然特征注册方法已可以满足大部分应用
需求,它利用场景中的物体作为标识平面,因而不受场
合的限制,已成为增强现实发展的趋势。
目前,大多数基于自然特征的注册方法都是基于特
征点的跟踪与匹配策略,其中特征点的提取与匹配需要
大量的运算时间,这样就会对系统三维注册的速度与精
度造成一定的影响,甚至造成注册错误。
SURF[4]
特征匹配算法是目前比较流行的特征匹配
算法之一,与较成熟的 SIFT[5]
算法相比,其在保持 SIFT
仿射、尺度不变性等优点的同时,提取与匹配速度得到
了较大提高[6]
。光流法是通过跟踪特征点坐标的方式来
对移动区域进行跟踪,运算简单快速,但持续的跟踪会
积累一定的误差,跟踪时间过长可能会造成跟踪失败[7]
。
针对以上分析,本文提出一种基于 SURF 与光流法
相结合的局部跟踪注册方法,采用光流法对移动对象
(标识平面)进行跟踪,以减小特征点提取与匹配的区
域,使用更新光流策略解决光流长时间跟踪容易失败的
问题;利用 SURF 算法对移动对象区域进行特征点的提
基于 SURF 与光流法的增强现实跟踪注册
张志禹,刘耀阳
ZHANG Zhiyu, LIU Yaoyang
西安理工大学 自动化与信息工程学院,西安 710048
Faculty of Automation and Information Engineering, Xi’an University of Technology, Xi’an 710048, China
ZHANG Zhiyu, LIU Yaoyang. Tracking and AR registration based on SURF and optical flow method. Computer
Engineering and Applications, 2015, 51(3):166-170.
Abstract:A tracking and registration method based on SURF and optical flow in the AR is proposed. The moving object
region is tracked by the optical flow method. This paper extracts and matches the features of the region with SURF because
the algorithm maintains advantages of affine invariance, scale invariance and fast computing speed. The final registration
matrix is calculated using the homographies between adjacent frames. This method reduces the computational time deeply
while the accuracy of the registration unchanges. Convinced by experimental results, this approach can work at almost real
time and achieves accurate registration, and can keep a good robustness in some environment changes.
Key words:region-based tracking; Speeded Up Robust Features(SURF)feature extraction; optical flow method; homog-
raphy; 3D-registration
摘 要:提出一种基于 SURF 与光流法相结合的增强现实局部跟踪注册方法。采用光流法对移动对象区域进行跟
踪,利用 SURF 算法仿射、尺度不变性及运算速度快的优点对该区域进行特征提取与匹配,利用相邻帧之间特征点的
匹配关系求得三维注册矩阵,在保持注册精确性的同时降低了系统运算时间。实验结果表明该方法达到了实时跟
踪与准确注册的效果,并且在环境变化时保持了较好的鲁棒性。
关键词:局部跟踪;加速稳健特征(SURF)特征提取;光流法;单应性矩阵;三维注册
文献标志码:A 中图分类号:TP391 doi:10.3778/j.issn.1002-8331.1303-0339
作者简介:张志禹(1966—),男,博士,教授,研究领域为数字信号处理、小波变换;刘耀阳(1987—),男,硕士研究生,研究领域为
增强现实、嵌入式系统。E-mail:liuyaoyang815@126.com
收稿日期:2013-03-22 修回日期:2013-05-07 文章编号:1002-8331(2015)03-0166-05
CNKI网络优先出版:2013-06-18,http://www.cnki.net/kcms/detail/11.2127.TP.20130618.1601.013.html
166
2015,51(3)
取与匹配,得到相邻帧之间的单应性关系,进而求出三
维注册矩阵并完成注册。
为快速匹配及跟踪移动对象,首先对输入的视频图
像进行色彩转换,按照公式(1)[8]
转换为灰度图,以降低
计算维度,增加运算效率。
I = 0.299 ´ R + 0.587 ´ G + 0.114 ´ B (1)
2 SURF 特征提取
SURF 特征提取的主要步骤包括:(1)特征点提取,
首先建立积分图像,然后利用盒子滤波器进行图像滤
波,利用 Hessian 矩阵确定候选点,然后进行非极大值抑
制,得到极大值点;(2)特征点描述,在特征点各子区域
上计算 Haar小波响应,并记录其中 4种以生成 4×4×4=64
维特征描述符[9]
。
2.1 特征点提取
(1)建立积分图像
建立积分图像的目的在于可以利用查表(look-up
table)的方式快速计算图像中任意矩形区域的像素值总
和,以便在进行滤波运算时,当处理的区域面积很大时,
可以降低运算量和处理时间,其计算方法如公式(2)。
IΣ(xy)= åi = 0
i  x
åj = 0
j  y
I(xy) (2)
(2)建立图像的尺度空间
SURF 尺度空间是在 SIFT 建立金字塔尺度空间的
概念基础上建立的,以固定原始图像大小,改变 Hessian
检测算子的滤波器大小来实现尺度空间的效果。采用
三个倍频,且每个倍频内有四个不同尺度的 Hessian 检
测算子。如图 1 所示,图中(a)为 SIFT 尺度空间建立时,
滤波器大小不变改变原图尺寸,(b)为 SURF 尺度空间
建立时原图尺寸不变但改变滤波器大小。
(3)海森矩阵(Hessian)特征检测
假设函数 f (xy) ,海森矩阵 H 是由函数 f 的偏导
数组成,如公式(3)所示,在不同的尺度空间下所求的海
森矩阵如公式(4),其中 Gyy(xyδ) 为高斯核函数对 y
的二次偏微分,其余类推。
H( f (xy)) =
é
ë
ê
ê
ê
êê
ê
ù
û
ú
ú
ú
úú
ú
¶2
f
¶x2
¶2
f
¶x¶y
¶2
f
¶x¶y
¶2
f
¶y2
(3)
H(xyδ) =
æ
è
çç
ö
ø
÷÷
Gxx(xyδ)´ I(xy) Gxy(xyδ)´ I(xy)
Gxy(xyδ)´I(xy) Gyy(xyδ)´I(xy)
(4)
为了图像与高斯二阶差分运算,将离散信号用滤波
器加以简化,将其运算算子取近似值,对于在不同尺度
空间的海森矩阵如公式(5),其中 0.9 为一常数,主要为
补偿取近似值后的误差,最后对每一尺度每个像素进行
运算,当 Happrox > 1 时则判定该点为兴趣点。
det(Happrox) = Dxx Dyy -(0.9 ´ Dxy)2
(5)
(4)特征点定位
兴趣点确定后,接下来就以这些兴趣点搜索确定特
征点,以图 2 为例,若尺度空间中存在一个 X 点为周围
26 个点中的最大值(上一层 9 个邻近点、同一层 8 个邻近
点与下一层 9 个邻近点),则该点即判定为特征点。
2.2 特征点描述
(1)计算特征点方向
为保持旋转不变性,首先以特征点为圆心取半径大
小为 6δ(δ为特征点所在尺度值)的圆形区域,对 δ 每个
点计算一阶 Haar 小波响应(Haar 小波边长为 4δ),并进
行高斯加权,其一阶导数可表示运算区域与其方向的梯
度。再以圆心角(60°)扇形窗口绕着特征点扫描,并根
据每个扫描角度,统计扇形窗口内的一阶导数值(dx 与
dy)的矢量和,以扇形区域内最大值的扫描角度作为其
特征的主要方向。如图 3 所示,斑点部分为 Haar 小波响
应值(dx 与 dy),灰色扇形为扫描窗口,箭头长度为经过
矢量和后的大小,箭头方向则表示为特征点方向。
(2)基于 Haar小波响应的描述符
特征点描述的建立是以特征点为中心建立一个边
长为 20δ大小的正方形区域,并在区域内以 5δ为边长大
小划分子区域。在各个子区域中,计算以边长为 2δ大小
的一阶 Haar 小波响应(dx 与 dy),以最左上角第一个像
Scale
Scale
(a)SIFT 建立尺度空间图 (b)SURF 建立尺度空间图
图 1 SIFT 与 SURF 金字塔尺度空间建立示意图
Scale
图 2 极值搜索示意图
dx
dy
图 3 主方向示意图
O
张志禹,刘耀阳:基于 SURF 与光流法的增强现实跟踪注册 167
Computer Engineering and Applications计算机工程与应用2015,51(3)
素点起,每隔 δ 像素的距离进行一次运算,因此每个 Haar
小波在每个子区域内共计算 25 次,如图 4 所示。
每个子区域分别计算出 Σdx、Σdy、Σ|dx| 与 Σ|dy| 四
个矢量,这 16 个子区域的特征矢量便可以形成一个描
述该特征点的 4 ´ 4 ´ 4 = 64 维度的特征描述子。
3 移动对象跟踪与特征匹配
3.1 移动对象跟踪
在特征匹配时,若对匹配图像全局提取特征点再与
目标图像特征点一一匹配,运算时间相对较长,进而会
影响注册的实时性。若缩小图像大小,匹配时间可相应
缩短,但这样所获得特征点会变少,不利于后续跟踪匹
配。由于光流法对小幅度的移动有很好的跟踪效果,故
结合光流法(本文采用金字塔 L-K光流法)来跟踪移动对
象区域,这样既可以缩短匹配时间,又不会减少匹配点。
而对于较大幅度的移动,采用扩充边界的方法来更
新跟踪区域。其计算方法如图 5 所示,取上一帧对象上
特征点中 X 与 Y 坐标最大值及最小值,二点可绘出一个
矩形框,此矩形区域即为新的跟踪区域。其中(a)为上
一帧:虚框内为跟踪区域,虚框内四边形为移动对象的
轮廓,(b)为当前帧:仅在该区域检测特征点。
3.2 特征点匹配
对当前帧的跟踪区域进行 SURF 特征点检测,首先
要保证该区域有足够数量的高质量特征点[10]
,对于高质
量特征点的判断是:
hi > H (6)
式中 hi 是由 SURF 特征提取得到的 Hessian 值,阈值 H
的合理值一般为 1 000。特征点选取之后,便可以与上
一帧的特征点进行匹配,特征匹配采用文献[4]的方法
来完成。由于对象移动或噪声等因素的存在[11]
,误匹配
点难以避免,采用 RANSAC 算法[12]
去除匹配错误的特
征点。
3.3 基于单应性的三维注册矩阵计算
对位于世界坐标系的一点 Q =(XYZ1)T
与其在
成像平面上的投影 q =(xy1)T
之间的关系可表示为公
式(7)。
q = λKMQ = λK
æ
è
ç
ö
ø
÷
R1 R2 R3 T
0 0 0 1
Q (7)
其中 M 为待求的三维注册矩阵,λ 是比例因子,K 是
摄像机的内参矩阵(本系统通过摄像机定标来获取),
(R1R2R3) 和 T 分别是三维注册矩阵 M 的 3个旋转分量
和一个平移分量[13]
。在对象坐标系下时,ZW = 0,公式(7)
可转化为:
é
ë
ê
ê
ù
û
ú
ú
x
y
1
= λK
æ
è
ç
ö
ø
÷
R1 R2 R3 T
0 0 0 1
é
ë
ê
ê
êê
ù
û
ú
ú
úú
X
Y
0
1
=
λK æ
è
ç
ö
ø
÷
R1 R2 T
0 0 1
é
ë
ê
ê
ù
û
ú
ú
X
Y
1
= HW
é
ë
ê
ê
ù
û
ú
ú
X
Y
1
(8)
公式(8)中矩阵 HW 为对象与二维图像之间的单应
性矩阵。在已知比例因子 λ、单应性矩阵 HW 和摄像机
内参矩阵 K 的情况下,设 HW 的列向量分别为 H1、H2、
H3 ,可以求得:
R1 = 1
λ
K-1
H1
K-1
H1
(9)
R2 = 1
λ
K-1
H2
K-1
H2
(10)
T = 1
λ
K-1
H3
K-1
H3
(11)
再根据正交性,可以求得 R3 = R2 ´ R1 ,进而完成三
维注册。
定义 H
j
i 为第 j 帧图像与第 j - 1 帧图像间的单应
性矩阵,则:
(xjyj1)T
= H
j
i (xj - 1yj - 11)T
(12)
由此可得第 j 帧图像与初始帧图像间的单应性矩阵:
H
j
i H
j - 1
i H 2
i H1
i (13)
利用公式(8)进而可求得第 j 帧图像与目标对象间
的单应性矩阵:
H
j
w = H
j
i H
j - 1
i H 2
i H1
i H 0
w (14)
式中 H 0
w 代表标识平面与初始帧图像间的初始单应性
矩阵,由公式(14)可知,若获取了 H 0
w 和 H
j
i ,便可以求
得 H
j
w ,以下介绍获取 H 0
w 和 H
j
i 的过程。
在初始帧情况下,定义对象坐标系 z = 0 ,并把 (xy)
的位置归一化在以平面标识中心为坐标原点的坐标系
Σdx
Σdy
Σ|dx|
Σ|dy|
dydx
图 4 特征点描述示意图
(a)上一帧搜索图 (b)当前帧搜索图
图 5 搜索区示意图
168
2015,51(3)
中,从而可知对象上的特征点的三维坐标,通过 SURF
特征匹配便可以求得初始帧单应性矩阵 H 0
w 。利用相
邻两帧图像间已匹配的四对非共线特征点[14]
和奇异值
分解法[15]
便可求得 H
j
i 。
3.4 更新光流跟踪
由于光流跟踪过程中,可能出现因对象移动过快、
相机抖动或对象移出场景区等情况而导致光流跟踪错
误,进而可能导致后续的特征匹配出现误差。针对这些
情况,给出相应的处理策略如图 6 所示。其中的 count
是一个标志变量,代表这些情况发生的次数,其初始值
设为 0,如果 count 的值大于 16(根据实验测试而得),便
将其复位。
4 实验结果与分析
4.1 系统运行结果
图 7 和图 8 分别为本文方法与 SIFT 跟踪注册方法
的实验运行结果。从(a)到(d)图像帧数逐渐增加,(a)、
(b)分别为对象正面和旋转 180°后的注册结果,(c)为在
一定幅度视角变化情况下的注册结果,(d)为系统在对
象部分遮挡的情况下完成的注册结果。
对比图 7 与图 8 的(a)~(d)可以看出,本文方法与
SIFT 跟踪注册方法,在一定幅度视角变化与标识部分
遮挡的情况下都可以完成注册。但 SIFT 跟踪注册方法
随着图像帧数的增加出现了较大的注册误差;而本文方
法由于结合了更新光流法,注册的累积误差较小,随着
图像帧数的增加保持了较高的注册精度。
4.2 运算时间对比与分析
对同一段视频分别采用 SURF 全局跟踪注册方法、
SIFT 局部跟踪注册方法与本文 SURF 局部跟踪注册方
法进行基于特征点的跟踪注册,并对跟踪注册耗时进行
对比分析。视频采用事先录制的视频,对象采用 4.1 节
实验中所使用的对象,测试平台为个人 PC(2.67 Hz),视
频大小为 640×480,对象的移动采用一般移动速度,并
做缩放、平移与旋转。每隔 50 帧图像进行一次平均计
算,测试时间对比结果如表 1 所示。从表中可以看出,
本文方法在系统处于稳定状态时,注册平均耗时维持在
0.125 s 左右,较 SURF 全局跟踪注册方法运算时间缩短
了约 1/2,较 SIFT 局部跟踪注册方法运算时间缩短了近
3/4,因此更适合应用在实时增强现实系统中。
经过对实验结果的对比和分析,本文方法可以实时
地对图像进行跟踪与注册,同时较好地解决了注册误差
累积的问题。
5 结束语
提出了一种准确、快速的增强现实跟踪注册方法,
该方法采用 SURF 与光流法相结合的跟踪注册策略,利
count>16
光流跟踪为空
平均光流位
移>20 像素
失去
超过 30%的光流
跟踪点
清除光流跟踪
初始化新的光流跟踪
Count=0
Count++
否
否
否
是
是
是
是
Count=0
否
图 6 光流跟踪更新策略
(a)正面注册 (b)旋转 180°注册
(c)一定视角注册 (d)部分遮挡时注册
图 7 本文方法运行结果
(a)正面注册 (b)旋转 180°注册
(c)一定视角注册 (d)部分遮挡时注册
图 8 SIFT 跟踪注册方法运行结果
图像帧数
50
100
150
200
250
300
350
400
450
跟踪注册平均耗时/s
SURF 全局
0.280 2
0.278 1
0.265 6
0.249 8
0.246 2
0.243 2
0.240 6
0.236 8
0.241 3
SIFT 局部
0.520 3
0.497 4
0.492 9
0.487 2
0.481 6
0.480 2
0.475 0
0.478 3
0.479 4
本文方法
0.146 2
0.145 1
0.137 8
0.135 3
0.132 1
0.129 7
0.125 3
0.122 7
0.125 1
表 1 运算时间对比
张志禹,刘耀阳:基于 SURF 与光流法的增强现实跟踪注册 169
Computer Engineering and Applications计算机工程与应用2015,51(3)
用更新光流法跟踪移动对象区域,保证了跟踪的稳定性
与精确性,采用 SURF 特征提取与匹配算法在对旋转、
尺度缩放、亮度、视角及仿射等保持不变性的同时,确保
了运算速度,最后采用基于单应性的注册矩阵的计算,
较好地保证了注册的准确性。实验结果表明,本文方法
较好地满足了基于自然特征跟踪注册方法对实时性和
精确度的要求。
参考文献:
[1] Azuma R T.A survey of augmented reality[J].Presence Tele-
operators and Virtual Environments,1997,6(4):355-385.
[2] 李扬,孙超,张明敏,等.跟踪与匹配并行的增强现实注册
方法[J].中国图象图形学报,2011,16(4):680-685.
[3] 饶玲珊,林寅,杨旭波,等.增强现实游戏的场景重建和运动
物体跟踪技术[J].计算机工程与应用,2012,48(9):198-200.
[4] Bay H,Tuytelasrs T,Van Gool L.Speeded-Up Robust
Features(SURF)[J].Computer Vision and Image Under-
standing,2008,110(3):3463-3489.
[5] Lowe D G.Distinctive image features from scale-invariant
keypoints[J].International Journal of Computer Vision,
2004,60(2):91-110.
[6] Luo Juan,Gwun O.A comparison of SIFT,PCA-SIFT and
SURF[J].International Journal of Image Processing(IJIP),
2009,3(4).
[7] 吕旸,王涌天,陈靖,等.基于 SIFT+KLT 混合特征的增强现
实跟踪定位[C]//2009 中国计算机大会论文集,天津,2009.
[8] Gonzalez C,Woods E.Digital image processing[M].[S.l.]:
Pearson Education,Inc,2008.
[9] 沈克,彭太乐.基于 SURF 的增强现实标识物跟踪注册[J].
计算机工程,2010,36(13):254-259.
[10] 周见光,石刚,马小虎.增强现实系统中的虚拟交互方法[J].
计算机工程,2012,38(1):251-255.
[11] 赵新灿,张燕.基于图形处理器的增强现实自然特征注
册算法[J].南京理工大学学报:自然科学版,2011,35(4):
448-452.
[12] Fischler M A,Bolles R C.Random sample consesus:a
paradigm for model fitting with applications image anal-
ysis and automated cartography[J].Communications of
the ACM,1981,24(6):381-395.
[13] Zhang Guofeng,Qin Xueyin,Dong Zilong.Camera tracking
based on structure and motion recovery for augmented
video[J].Chinese Journal of Computer,2006,29(12):
2104-2111.
[14] 管涛,李利军,段利亚,等.基于标识与平面间单应性矩阵
的虚实注册方法[J].华中科技大学学报:自然科学版,2006,
34(10):55-57.
[15] Emanuele T,Alessandro V.Introductory techniques for
3D computer vision[M].Englewood Cliffs:Prentice Hall,
1998.
(上接 165 页)
[6] Yuan T C,Wen H C.A fast and low-cost fractional motion
estimation for H.264/AVC HD1080p coding[C]//Proceed-
ings of IEEE International Symposium on Circuits and
System.Los Alamitos:IEEE Computer Society Press,2010:
144-147.
[7] 赖晓玲,桑红石,郑兆青,等.H.264 分像素插值滤波方法及
其 VLSI实现[J].微电子学与计算机,2007,24(7):187-189.
[8] Tung C C,Yu W H,Liang G C.Fully utilized and reus-
able architecture for fractional motion estimation of H.264/
AVC[C]//Proceedings of IEEE International Conference on
Acoustics.Los Alamitos:IEEE Computer Society Press,
2004:9-12.
[9] Cheng L W,Chao Y K,Youn L L.A high performance
three-engine architecture for H.264/AVC fractional motion
estimation[J].IEEE Transactions on Very Large Scale Inte-
gration Systems,2010,18(4):662-666.
[10] Han C Y,Lin T C I,Chien F.Hardware-efficient com-
puting architecture for motion compensation interpolation
in H.264 video coding[C]//Proceedings of IEEE Inter-
national Symposium on Circuits and System.Los Alamitos:
IEEE Computer Society Press,2005:2136-2139.
[11] Ndili O,Ogunfunmi T.Efficient sub-pixel interpolation and
low power VLSI architecture for fractional motion esti-
mation in H.264/AVC[C]//Proceedings of the 4th IEEE
International Conference on Signal Processing and Com-
munication Systems.Los Alamitos:IEEE Computer Society
Press,2010:1-10.
[12] 陈希,卢结成,徐雷.低 I/O 带宽高性能运动估计 VLSI 结
构的设计[J].计算机工程与应用,2009,45(29):75-77.
[13] 钟麟.视频图像压缩质量检测方法[J].计算机与网络,2006
(8):46-47.
[14] Joint Video Team.Reference software JM16.1[EB/OL].
(2009-11-12)[2010-01-20].http://iphome.hhi.de/suehring/
tml/download/old_jm/jm16.1.zip.
[15] 陈光化,翟海华,石旭利,等.H.264 编码器中 1/4 像素精度
插值算法的VLSI实现[J].微电子学与计算机,2008,25(2):
176-179.
170
西安理工大學學生論文抄襲台灣國防大學碩士論文 
 
此篇論文大量抄襲台灣國防大學碩士論文 
论文:增强现实中的虚实注册方法研究(此篇为抄袭文) 
学生:刘耀阳 
学号:1008100528 
指导教授:张志禹 
連結:http://max.book118.com/html/2015/0811/23079615.shtm 
連結:http://113.31.19.19:8084/articles/article_detail.aspx?id=BS02382893 
連結:
http://xueshu.baidu.com/s?wd=paperuri%3A%28952dabc9d7dc3b21301564773d80
623b%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2
F%2Fwww.doc88.com%2Fp‐0387212549327.html&ie=utf‐8&sc_us=13422509879331
760628 
基于 SURF 与光流法的增强现实跟踪注册(此篇为抄袭文) 
连结:http://cea.ceaj.org/CN/abstract/abstract32864.shtml 
 
論文:運用擴增實境技術建立數位學習環境(此篇為原文) 
網站:臺灣博碩士論文 099CCIT0394007‐001.pdf 
連結:http://ndltd.ncl.edu.tw/cgi‐bin/gs32/gsweb.cgi/login?o=dnclcdr&s=id=%22099CCIT0394007%22.&searchmode=basic 
網站:SlideShare(前三章)       
連結:http://www.slideshare.net/tehuan/ss‐9619575 
 
論文:無標記擴增實境實驗平台建置與追蹤技術驗證(此篇為原文) 
網站:臺灣博碩士論文 099CCIT0394011‐001.pdf     
連結:http://ndltd.ncl.edu.tw/cgi‐bin/gs32/gsweb.cgi/login?o=dnclcdr&s=id=%22099CCIT0394011%22.&searchmode=basic 
網站:SlideShare(前三章)       
連結:
http://www.slideshare.net/tehuan/markerless‐augmented‐reality‐platform‐design‐and‐verification‐of
‐tracking‐technologies 
 
百度云盘:http://pan.baidu.com/s/1bo4Mlmn 
360 云盘:https://yunpan.cn/OcBLTDY6iq5PxT  (提取码:4279) 
MEGA 云盘:https://mega.nz/#F!FAxy0ZYQ!mqYECwc36Ur0QNS71r8CMA 
SlideShare:http://www.slideshare.net/Liu_Yaoyang/ 
BOX 云盘:https://app.box.com/s/wpijy68wc8ara0t4erlpbnwdkgqz6nb7 
 

More Related Content

Featured

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
Marius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
Expeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
Pixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
ThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
marketingartwork
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 

Featured (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

基于Surf与光流法的增强现实跟踪注册

  • 1. Computer Engineering and Applications计算机工程与应用2015,51(3) 1 引言 增强现实(Augmented Reality,AR)是通过电脑技 术将虚拟的物体实时地叠加到真实的场景之中的一种 技术。增强现实具有三大特点:虚实结合、实时交互和 三维注册[1] ,其中三维注册是增强现实的核心技术,已成 为当今研究的热点之一。当前三维注册技术一般可以 分为:基于特殊标识的注册和基于自然特征的注册[2] 。 由于基于特殊标识的注册方法依赖人为标识,使用起来 颇为不便,从而限制了其在现实中的应用范围[3] 。近年 来,随着计算机图形学和计算机视觉技术的发展,基于 标识平面的自然特征注册方法已可以满足大部分应用 需求,它利用场景中的物体作为标识平面,因而不受场 合的限制,已成为增强现实发展的趋势。 目前,大多数基于自然特征的注册方法都是基于特 征点的跟踪与匹配策略,其中特征点的提取与匹配需要 大量的运算时间,这样就会对系统三维注册的速度与精 度造成一定的影响,甚至造成注册错误。 SURF[4] 特征匹配算法是目前比较流行的特征匹配 算法之一,与较成熟的 SIFT[5] 算法相比,其在保持 SIFT 仿射、尺度不变性等优点的同时,提取与匹配速度得到 了较大提高[6] 。光流法是通过跟踪特征点坐标的方式来 对移动区域进行跟踪,运算简单快速,但持续的跟踪会 积累一定的误差,跟踪时间过长可能会造成跟踪失败[7] 。 针对以上分析,本文提出一种基于 SURF 与光流法 相结合的局部跟踪注册方法,采用光流法对移动对象 (标识平面)进行跟踪,以减小特征点提取与匹配的区 域,使用更新光流策略解决光流长时间跟踪容易失败的 问题;利用 SURF 算法对移动对象区域进行特征点的提 基于 SURF 与光流法的增强现实跟踪注册 张志禹,刘耀阳 ZHANG Zhiyu, LIU Yaoyang 西安理工大学 自动化与信息工程学院,西安 710048 Faculty of Automation and Information Engineering, Xi’an University of Technology, Xi’an 710048, China ZHANG Zhiyu, LIU Yaoyang. Tracking and AR registration based on SURF and optical flow method. Computer Engineering and Applications, 2015, 51(3):166-170. Abstract:A tracking and registration method based on SURF and optical flow in the AR is proposed. The moving object region is tracked by the optical flow method. This paper extracts and matches the features of the region with SURF because the algorithm maintains advantages of affine invariance, scale invariance and fast computing speed. The final registration matrix is calculated using the homographies between adjacent frames. This method reduces the computational time deeply while the accuracy of the registration unchanges. Convinced by experimental results, this approach can work at almost real time and achieves accurate registration, and can keep a good robustness in some environment changes. Key words:region-based tracking; Speeded Up Robust Features(SURF)feature extraction; optical flow method; homog- raphy; 3D-registration 摘 要:提出一种基于 SURF 与光流法相结合的增强现实局部跟踪注册方法。采用光流法对移动对象区域进行跟 踪,利用 SURF 算法仿射、尺度不变性及运算速度快的优点对该区域进行特征提取与匹配,利用相邻帧之间特征点的 匹配关系求得三维注册矩阵,在保持注册精确性的同时降低了系统运算时间。实验结果表明该方法达到了实时跟 踪与准确注册的效果,并且在环境变化时保持了较好的鲁棒性。 关键词:局部跟踪;加速稳健特征(SURF)特征提取;光流法;单应性矩阵;三维注册 文献标志码:A 中图分类号:TP391 doi:10.3778/j.issn.1002-8331.1303-0339 作者简介:张志禹(1966—),男,博士,教授,研究领域为数字信号处理、小波变换;刘耀阳(1987—),男,硕士研究生,研究领域为 增强现实、嵌入式系统。E-mail:liuyaoyang815@126.com 收稿日期:2013-03-22 修回日期:2013-05-07 文章编号:1002-8331(2015)03-0166-05 CNKI网络优先出版:2013-06-18,http://www.cnki.net/kcms/detail/11.2127.TP.20130618.1601.013.html 166
  • 2. 2015,51(3) 取与匹配,得到相邻帧之间的单应性关系,进而求出三 维注册矩阵并完成注册。 为快速匹配及跟踪移动对象,首先对输入的视频图 像进行色彩转换,按照公式(1)[8] 转换为灰度图,以降低 计算维度,增加运算效率。 I = 0.299 ´ R + 0.587 ´ G + 0.114 ´ B (1) 2 SURF 特征提取 SURF 特征提取的主要步骤包括:(1)特征点提取, 首先建立积分图像,然后利用盒子滤波器进行图像滤 波,利用 Hessian 矩阵确定候选点,然后进行非极大值抑 制,得到极大值点;(2)特征点描述,在特征点各子区域 上计算 Haar小波响应,并记录其中 4种以生成 4×4×4=64 维特征描述符[9] 。 2.1 特征点提取 (1)建立积分图像 建立积分图像的目的在于可以利用查表(look-up table)的方式快速计算图像中任意矩形区域的像素值总 和,以便在进行滤波运算时,当处理的区域面积很大时, 可以降低运算量和处理时间,其计算方法如公式(2)。 IΣ(xy)= åi = 0 i  x åj = 0 j  y I(xy) (2) (2)建立图像的尺度空间 SURF 尺度空间是在 SIFT 建立金字塔尺度空间的 概念基础上建立的,以固定原始图像大小,改变 Hessian 检测算子的滤波器大小来实现尺度空间的效果。采用 三个倍频,且每个倍频内有四个不同尺度的 Hessian 检 测算子。如图 1 所示,图中(a)为 SIFT 尺度空间建立时, 滤波器大小不变改变原图尺寸,(b)为 SURF 尺度空间 建立时原图尺寸不变但改变滤波器大小。 (3)海森矩阵(Hessian)特征检测 假设函数 f (xy) ,海森矩阵 H 是由函数 f 的偏导 数组成,如公式(3)所示,在不同的尺度空间下所求的海 森矩阵如公式(4),其中 Gyy(xyδ) 为高斯核函数对 y 的二次偏微分,其余类推。 H( f (xy)) = é ë ê ê ê êê ê ù û ú ú ú úú ú ¶2 f ¶x2 ¶2 f ¶x¶y ¶2 f ¶x¶y ¶2 f ¶y2 (3) H(xyδ) = æ è çç ö ø ÷÷ Gxx(xyδ)´ I(xy) Gxy(xyδ)´ I(xy) Gxy(xyδ)´I(xy) Gyy(xyδ)´I(xy) (4) 为了图像与高斯二阶差分运算,将离散信号用滤波 器加以简化,将其运算算子取近似值,对于在不同尺度 空间的海森矩阵如公式(5),其中 0.9 为一常数,主要为 补偿取近似值后的误差,最后对每一尺度每个像素进行 运算,当 Happrox > 1 时则判定该点为兴趣点。 det(Happrox) = Dxx Dyy -(0.9 ´ Dxy)2 (5) (4)特征点定位 兴趣点确定后,接下来就以这些兴趣点搜索确定特 征点,以图 2 为例,若尺度空间中存在一个 X 点为周围 26 个点中的最大值(上一层 9 个邻近点、同一层 8 个邻近 点与下一层 9 个邻近点),则该点即判定为特征点。 2.2 特征点描述 (1)计算特征点方向 为保持旋转不变性,首先以特征点为圆心取半径大 小为 6δ(δ为特征点所在尺度值)的圆形区域,对 δ 每个 点计算一阶 Haar 小波响应(Haar 小波边长为 4δ),并进 行高斯加权,其一阶导数可表示运算区域与其方向的梯 度。再以圆心角(60°)扇形窗口绕着特征点扫描,并根 据每个扫描角度,统计扇形窗口内的一阶导数值(dx 与 dy)的矢量和,以扇形区域内最大值的扫描角度作为其 特征的主要方向。如图 3 所示,斑点部分为 Haar 小波响 应值(dx 与 dy),灰色扇形为扫描窗口,箭头长度为经过 矢量和后的大小,箭头方向则表示为特征点方向。 (2)基于 Haar小波响应的描述符 特征点描述的建立是以特征点为中心建立一个边 长为 20δ大小的正方形区域,并在区域内以 5δ为边长大 小划分子区域。在各个子区域中,计算以边长为 2δ大小 的一阶 Haar 小波响应(dx 与 dy),以最左上角第一个像 Scale Scale (a)SIFT 建立尺度空间图 (b)SURF 建立尺度空间图 图 1 SIFT 与 SURF 金字塔尺度空间建立示意图 Scale 图 2 极值搜索示意图 dx dy 图 3 主方向示意图 O 张志禹,刘耀阳:基于 SURF 与光流法的增强现实跟踪注册 167
  • 3. Computer Engineering and Applications计算机工程与应用2015,51(3) 素点起,每隔 δ 像素的距离进行一次运算,因此每个 Haar 小波在每个子区域内共计算 25 次,如图 4 所示。 每个子区域分别计算出 Σdx、Σdy、Σ|dx| 与 Σ|dy| 四 个矢量,这 16 个子区域的特征矢量便可以形成一个描 述该特征点的 4 ´ 4 ´ 4 = 64 维度的特征描述子。 3 移动对象跟踪与特征匹配 3.1 移动对象跟踪 在特征匹配时,若对匹配图像全局提取特征点再与 目标图像特征点一一匹配,运算时间相对较长,进而会 影响注册的实时性。若缩小图像大小,匹配时间可相应 缩短,但这样所获得特征点会变少,不利于后续跟踪匹 配。由于光流法对小幅度的移动有很好的跟踪效果,故 结合光流法(本文采用金字塔 L-K光流法)来跟踪移动对 象区域,这样既可以缩短匹配时间,又不会减少匹配点。 而对于较大幅度的移动,采用扩充边界的方法来更 新跟踪区域。其计算方法如图 5 所示,取上一帧对象上 特征点中 X 与 Y 坐标最大值及最小值,二点可绘出一个 矩形框,此矩形区域即为新的跟踪区域。其中(a)为上 一帧:虚框内为跟踪区域,虚框内四边形为移动对象的 轮廓,(b)为当前帧:仅在该区域检测特征点。 3.2 特征点匹配 对当前帧的跟踪区域进行 SURF 特征点检测,首先 要保证该区域有足够数量的高质量特征点[10] ,对于高质 量特征点的判断是: hi > H (6) 式中 hi 是由 SURF 特征提取得到的 Hessian 值,阈值 H 的合理值一般为 1 000。特征点选取之后,便可以与上 一帧的特征点进行匹配,特征匹配采用文献[4]的方法 来完成。由于对象移动或噪声等因素的存在[11] ,误匹配 点难以避免,采用 RANSAC 算法[12] 去除匹配错误的特 征点。 3.3 基于单应性的三维注册矩阵计算 对位于世界坐标系的一点 Q =(XYZ1)T 与其在 成像平面上的投影 q =(xy1)T 之间的关系可表示为公 式(7)。 q = λKMQ = λK æ è ç ö ø ÷ R1 R2 R3 T 0 0 0 1 Q (7) 其中 M 为待求的三维注册矩阵,λ 是比例因子,K 是 摄像机的内参矩阵(本系统通过摄像机定标来获取), (R1R2R3) 和 T 分别是三维注册矩阵 M 的 3个旋转分量 和一个平移分量[13] 。在对象坐标系下时,ZW = 0,公式(7) 可转化为: é ë ê ê ù û ú ú x y 1 = λK æ è ç ö ø ÷ R1 R2 R3 T 0 0 0 1 é ë ê ê êê ù û ú ú úú X Y 0 1 = λK æ è ç ö ø ÷ R1 R2 T 0 0 1 é ë ê ê ù û ú ú X Y 1 = HW é ë ê ê ù û ú ú X Y 1 (8) 公式(8)中矩阵 HW 为对象与二维图像之间的单应 性矩阵。在已知比例因子 λ、单应性矩阵 HW 和摄像机 内参矩阵 K 的情况下,设 HW 的列向量分别为 H1、H2、 H3 ,可以求得: R1 = 1 λ K-1 H1 K-1 H1 (9) R2 = 1 λ K-1 H2 K-1 H2 (10) T = 1 λ K-1 H3 K-1 H3 (11) 再根据正交性,可以求得 R3 = R2 ´ R1 ,进而完成三 维注册。 定义 H j i 为第 j 帧图像与第 j - 1 帧图像间的单应 性矩阵,则: (xjyj1)T = H j i (xj - 1yj - 11)T (12) 由此可得第 j 帧图像与初始帧图像间的单应性矩阵: H j i H j - 1 i H 2 i H1 i (13) 利用公式(8)进而可求得第 j 帧图像与目标对象间 的单应性矩阵: H j w = H j i H j - 1 i H 2 i H1 i H 0 w (14) 式中 H 0 w 代表标识平面与初始帧图像间的初始单应性 矩阵,由公式(14)可知,若获取了 H 0 w 和 H j i ,便可以求 得 H j w ,以下介绍获取 H 0 w 和 H j i 的过程。 在初始帧情况下,定义对象坐标系 z = 0 ,并把 (xy) 的位置归一化在以平面标识中心为坐标原点的坐标系 Σdx Σdy Σ|dx| Σ|dy| dydx 图 4 特征点描述示意图 (a)上一帧搜索图 (b)当前帧搜索图 图 5 搜索区示意图 168
  • 4. 2015,51(3) 中,从而可知对象上的特征点的三维坐标,通过 SURF 特征匹配便可以求得初始帧单应性矩阵 H 0 w 。利用相 邻两帧图像间已匹配的四对非共线特征点[14] 和奇异值 分解法[15] 便可求得 H j i 。 3.4 更新光流跟踪 由于光流跟踪过程中,可能出现因对象移动过快、 相机抖动或对象移出场景区等情况而导致光流跟踪错 误,进而可能导致后续的特征匹配出现误差。针对这些 情况,给出相应的处理策略如图 6 所示。其中的 count 是一个标志变量,代表这些情况发生的次数,其初始值 设为 0,如果 count 的值大于 16(根据实验测试而得),便 将其复位。 4 实验结果与分析 4.1 系统运行结果 图 7 和图 8 分别为本文方法与 SIFT 跟踪注册方法 的实验运行结果。从(a)到(d)图像帧数逐渐增加,(a)、 (b)分别为对象正面和旋转 180°后的注册结果,(c)为在 一定幅度视角变化情况下的注册结果,(d)为系统在对 象部分遮挡的情况下完成的注册结果。 对比图 7 与图 8 的(a)~(d)可以看出,本文方法与 SIFT 跟踪注册方法,在一定幅度视角变化与标识部分 遮挡的情况下都可以完成注册。但 SIFT 跟踪注册方法 随着图像帧数的增加出现了较大的注册误差;而本文方 法由于结合了更新光流法,注册的累积误差较小,随着 图像帧数的增加保持了较高的注册精度。 4.2 运算时间对比与分析 对同一段视频分别采用 SURF 全局跟踪注册方法、 SIFT 局部跟踪注册方法与本文 SURF 局部跟踪注册方 法进行基于特征点的跟踪注册,并对跟踪注册耗时进行 对比分析。视频采用事先录制的视频,对象采用 4.1 节 实验中所使用的对象,测试平台为个人 PC(2.67 Hz),视 频大小为 640×480,对象的移动采用一般移动速度,并 做缩放、平移与旋转。每隔 50 帧图像进行一次平均计 算,测试时间对比结果如表 1 所示。从表中可以看出, 本文方法在系统处于稳定状态时,注册平均耗时维持在 0.125 s 左右,较 SURF 全局跟踪注册方法运算时间缩短 了约 1/2,较 SIFT 局部跟踪注册方法运算时间缩短了近 3/4,因此更适合应用在实时增强现实系统中。 经过对实验结果的对比和分析,本文方法可以实时 地对图像进行跟踪与注册,同时较好地解决了注册误差 累积的问题。 5 结束语 提出了一种准确、快速的增强现实跟踪注册方法, 该方法采用 SURF 与光流法相结合的跟踪注册策略,利 count>16 光流跟踪为空 平均光流位 移>20 像素 失去 超过 30%的光流 跟踪点 清除光流跟踪 初始化新的光流跟踪 Count=0 Count++ 否 否 否 是 是 是 是 Count=0 否 图 6 光流跟踪更新策略 (a)正面注册 (b)旋转 180°注册 (c)一定视角注册 (d)部分遮挡时注册 图 7 本文方法运行结果 (a)正面注册 (b)旋转 180°注册 (c)一定视角注册 (d)部分遮挡时注册 图 8 SIFT 跟踪注册方法运行结果 图像帧数 50 100 150 200 250 300 350 400 450 跟踪注册平均耗时/s SURF 全局 0.280 2 0.278 1 0.265 6 0.249 8 0.246 2 0.243 2 0.240 6 0.236 8 0.241 3 SIFT 局部 0.520 3 0.497 4 0.492 9 0.487 2 0.481 6 0.480 2 0.475 0 0.478 3 0.479 4 本文方法 0.146 2 0.145 1 0.137 8 0.135 3 0.132 1 0.129 7 0.125 3 0.122 7 0.125 1 表 1 运算时间对比 张志禹,刘耀阳:基于 SURF 与光流法的增强现实跟踪注册 169
  • 5. Computer Engineering and Applications计算机工程与应用2015,51(3) 用更新光流法跟踪移动对象区域,保证了跟踪的稳定性 与精确性,采用 SURF 特征提取与匹配算法在对旋转、 尺度缩放、亮度、视角及仿射等保持不变性的同时,确保 了运算速度,最后采用基于单应性的注册矩阵的计算, 较好地保证了注册的准确性。实验结果表明,本文方法 较好地满足了基于自然特征跟踪注册方法对实时性和 精确度的要求。 参考文献: [1] Azuma R T.A survey of augmented reality[J].Presence Tele- operators and Virtual Environments,1997,6(4):355-385. [2] 李扬,孙超,张明敏,等.跟踪与匹配并行的增强现实注册 方法[J].中国图象图形学报,2011,16(4):680-685. [3] 饶玲珊,林寅,杨旭波,等.增强现实游戏的场景重建和运动 物体跟踪技术[J].计算机工程与应用,2012,48(9):198-200. [4] Bay H,Tuytelasrs T,Van Gool L.Speeded-Up Robust Features(SURF)[J].Computer Vision and Image Under- standing,2008,110(3):3463-3489. [5] Lowe D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision, 2004,60(2):91-110. [6] Luo Juan,Gwun O.A comparison of SIFT,PCA-SIFT and SURF[J].International Journal of Image Processing(IJIP), 2009,3(4). [7] 吕旸,王涌天,陈靖,等.基于 SIFT+KLT 混合特征的增强现 实跟踪定位[C]//2009 中国计算机大会论文集,天津,2009. [8] Gonzalez C,Woods E.Digital image processing[M].[S.l.]: Pearson Education,Inc,2008. [9] 沈克,彭太乐.基于 SURF 的增强现实标识物跟踪注册[J]. 计算机工程,2010,36(13):254-259. [10] 周见光,石刚,马小虎.增强现实系统中的虚拟交互方法[J]. 计算机工程,2012,38(1):251-255. [11] 赵新灿,张燕.基于图形处理器的增强现实自然特征注 册算法[J].南京理工大学学报:自然科学版,2011,35(4): 448-452. [12] Fischler M A,Bolles R C.Random sample consesus:a paradigm for model fitting with applications image anal- ysis and automated cartography[J].Communications of the ACM,1981,24(6):381-395. [13] Zhang Guofeng,Qin Xueyin,Dong Zilong.Camera tracking based on structure and motion recovery for augmented video[J].Chinese Journal of Computer,2006,29(12): 2104-2111. [14] 管涛,李利军,段利亚,等.基于标识与平面间单应性矩阵 的虚实注册方法[J].华中科技大学学报:自然科学版,2006, 34(10):55-57. [15] Emanuele T,Alessandro V.Introductory techniques for 3D computer vision[M].Englewood Cliffs:Prentice Hall, 1998. (上接 165 页) [6] Yuan T C,Wen H C.A fast and low-cost fractional motion estimation for H.264/AVC HD1080p coding[C]//Proceed- ings of IEEE International Symposium on Circuits and System.Los Alamitos:IEEE Computer Society Press,2010: 144-147. [7] 赖晓玲,桑红石,郑兆青,等.H.264 分像素插值滤波方法及 其 VLSI实现[J].微电子学与计算机,2007,24(7):187-189. [8] Tung C C,Yu W H,Liang G C.Fully utilized and reus- able architecture for fractional motion estimation of H.264/ AVC[C]//Proceedings of IEEE International Conference on Acoustics.Los Alamitos:IEEE Computer Society Press, 2004:9-12. [9] Cheng L W,Chao Y K,Youn L L.A high performance three-engine architecture for H.264/AVC fractional motion estimation[J].IEEE Transactions on Very Large Scale Inte- gration Systems,2010,18(4):662-666. [10] Han C Y,Lin T C I,Chien F.Hardware-efficient com- puting architecture for motion compensation interpolation in H.264 video coding[C]//Proceedings of IEEE Inter- national Symposium on Circuits and System.Los Alamitos: IEEE Computer Society Press,2005:2136-2139. [11] Ndili O,Ogunfunmi T.Efficient sub-pixel interpolation and low power VLSI architecture for fractional motion esti- mation in H.264/AVC[C]//Proceedings of the 4th IEEE International Conference on Signal Processing and Com- munication Systems.Los Alamitos:IEEE Computer Society Press,2010:1-10. [12] 陈希,卢结成,徐雷.低 I/O 带宽高性能运动估计 VLSI 结 构的设计[J].计算机工程与应用,2009,45(29):75-77. [13] 钟麟.视频图像压缩质量检测方法[J].计算机与网络,2006 (8):46-47. [14] Joint Video Team.Reference software JM16.1[EB/OL]. (2009-11-12)[2010-01-20].http://iphome.hhi.de/suehring/ tml/download/old_jm/jm16.1.zip. [15] 陈光化,翟海华,石旭利,等.H.264 编码器中 1/4 像素精度 插值算法的VLSI实现[J].微电子学与计算机,2008,25(2): 176-179. 170
  • 6. 西安理工大學學生論文抄襲台灣國防大學碩士論文    此篇論文大量抄襲台灣國防大學碩士論文  论文:增强现实中的虚实注册方法研究(此篇为抄袭文)  学生:刘耀阳  学号:1008100528  指导教授:张志禹  連結:http://max.book118.com/html/2015/0811/23079615.shtm  連結:http://113.31.19.19:8084/articles/article_detail.aspx?id=BS02382893  連結: http://xueshu.baidu.com/s?wd=paperuri%3A%28952dabc9d7dc3b21301564773d80 623b%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2 F%2Fwww.doc88.com%2Fp‐0387212549327.html&ie=utf‐8&sc_us=13422509879331 760628  基于 SURF 与光流法的增强现实跟踪注册(此篇为抄袭文)  连结:http://cea.ceaj.org/CN/abstract/abstract32864.shtml    論文:運用擴增實境技術建立數位學習環境(此篇為原文)  網站:臺灣博碩士論文 099CCIT0394007‐001.pdf  連結:http://ndltd.ncl.edu.tw/cgi‐bin/gs32/gsweb.cgi/login?o=dnclcdr&s=id=%22099CCIT0394007%22.&searchmode=basic  網站:SlideShare(前三章)        連結:http://www.slideshare.net/tehuan/ss‐9619575    論文:無標記擴增實境實驗平台建置與追蹤技術驗證(此篇為原文)  網站:臺灣博碩士論文 099CCIT0394011‐001.pdf      連結:http://ndltd.ncl.edu.tw/cgi‐bin/gs32/gsweb.cgi/login?o=dnclcdr&s=id=%22099CCIT0394011%22.&searchmode=basic  網站:SlideShare(前三章)        連結: http://www.slideshare.net/tehuan/markerless‐augmented‐reality‐platform‐design‐and‐verification‐of ‐tracking‐technologies    百度云盘:http://pan.baidu.com/s/1bo4Mlmn  360 云盘:https://yunpan.cn/OcBLTDY6iq5PxT  (提取码:4279)  MEGA 云盘:https://mega.nz/#F!FAxy0ZYQ!mqYECwc36Ur0QNS71r8CMA  SlideShare:http://www.slideshare.net/Liu_Yaoyang/  BOX 云盘:https://app.box.com/s/wpijy68wc8ara0t4erlpbnwdkgqz6nb7