1000 1832(2007)03-0032-05

373 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
373
On SlideShare
0
From Embeds
0
Number of Embeds
8
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

1000 1832(2007)03-0032-05

  1. 1. 第 39 卷第 3 期 东 北 师 大 学 报 ( 自 然 科 学 版 ) Vol .39 No . 32007 年 9 月 Journal of Northeast Normal University (Natural Science Edition) September 2007[文章编号]1000-1832(2007)03-0032-05 两种基于标识的增强现实注册方法的比较 王维廉1 ,王北星2 ,黄 岚3 (1 .上海大学计算机工程与科学学院 ,上海 200072 ; 2. 长春税务学院经济信息管理系 ,吉林 长春 130117 ; 3. 吉林大学计算机科学与技术学院 ,吉林 长春 130012) [摘 要] 介绍了两种基于标识的增强现实开发包 ARToolKit 和 ARTag .从标识 定位错误 发 生率、标识混淆错误发生率和系统运行速度等方 面 ,通过试 验对 两个系 统的 表现 进行了 比较 , 并从算法和原理上阐述了表现差异的原因 ,给出了试验结果 .对基于标识的增强现实系统应用 进行了展望 . [关键词] 增强现实 ;模式识别 ;三维注册 ;标识 [中图分类号] TP 391 .41 [学科代码 ] 520·60 [文献标识码 ] A0 引言 1 增强现实三 维注册的原 理和标识物 的 识别 增强现实技术可以让真实世界与虚拟世界产生互动 ,其 理念 在于 :用虚 拟世 界增 强真实 世界 . 1.1 三维注册技术通过增强现实 技术 ,由计 算机 生成 的 虚拟 场景 或 三维注册的目的是得到真实世界和摄像机之物体可以叠加 在由 摄 像机 拍摄 的真 实世 界 中 .增 间的位置关系 .摄像 机和 真实 世界 分 别产 生两 个强现实技术已 经被 人 们广 泛应 用于 很多 领 域 ,特 坐标系 ,两个坐标系的转换关系由转换矩阵描述 .别是各类演示平台 ,随着会展、培训等行业的迅速 增强现实系统的三维注册问题可以归结为真实世发展 ,增强现实 技术 的应 用价 值已 经 越来 越得 到 界坐标系与摄像机坐标系之间的三维变换矩阵求 [1 - 2]人们广泛的认可 . 解. 在增强现实技术中 ,三维注册技术 ,即如何得 下面我们建 立 一个 模型 来实 现上 述 变换 ,如到准确的虚拟 物体 与 现实 世界 的坐 标关 系 ,成 为 图 1 , x ,y ,z]表示真实 空间坐标 系 (世界 空间 坐 [了研究的热点 .当前 流行 的基 于计 算 机视 觉的 三 标系 ) ,这是整 个增 强 现实 系统 中的 最基 础、 重 最维注册方法主 要有 两 种 :基于 标识 的 三维 注册 和 要的坐标系 ; η, ]表示虚拟空 间坐标 系 , 坐 [ξ, ζ 此基于自然特征 的三 维 注册 .基 于标 识 的三 维注 册 标系用来 对所添加 的虚拟空 间进行几 何描述 ;系统 ,将特殊标识添加进背景环境 ,利用计算机视 [ x ′,z ] 标 识摄像 机空 间坐标 系 ,它是 以摄 像 ′,y ′觉方法识别 ,并找到标识与摄像机的位置关系 ,从 头镜头中心 点 为 坐 标 原 点 的 一 个 三 维 空 间 坐 标而准确地进行三维定位 .相比之下 ,基于标识的三 系 , 像头 的 光轴 作为 Z 轴 ,镜头 所对 的方 向 是 摄 ′维注册具有算法简单 ,速度快 ,对环境条件和硬件 Z 轴正 方向 ,按右 手法 则确 定 Y 轴 ; u ,v]表 示 ′ ′ [条件要求都比 较低 的 特点 ,比 较适 合 相对 固定 的 成像平面坐标系 ,就是摄像头 CCD 在成像平面 上 [3]演示平台应用 . 的二维坐标系 .其原点就是 摄像头坐标系中 的 Z′ [收稿 日期 ] 2006-12-26 [基金 项目 ] 上 海 市 科 委 重 大 攻 关项 目( 0 25 1 15 008) . [作者 简介 ] 王 维 廉 (1982— ) ,男 ,硕 士 研 究 生 ;王 北 星 (1961— ) ,女 ,硕 士 ,教授 ,主 要 从 事 管 理 信 息 系 统 开 发 ;黄 岚 (1974— ) ,女 , 博 士 ,副 教 授 ,主 要 从事 智 能 算 法 及 其 应 用 研 究 .
  2. 2. 第3期 王维廉 , :两种基于标识的增强现实注册方法的比较 等 33轴和成像平面 的 交点 ,而 U ,V 轴和 摄 像头 坐 标 本相同 ,可总结为 以下 几点 :(1) 提 取 四边 形作 为系的 X ′ ′,Y 轴平行 ,正方向也一致 . 候选匹配区域 ; 将每一候选区与模板中的相应 (2) 知识 进 行 匹配 ,如 产 生匹 配 ,则 系 统认 定 找 到 标 识; (3)计算该 区域 变 形 ,得到 摄像 机 相对 已知 标 识的位置和姿态 ,最终得到变换矩阵 ,实现虚实注 册(如图 2 所示 ) .本 文将 就此 过程 中 系统 的不 同 处理方式和表现进行分析和比较 . 图1 真实世界和虚拟世界 坐标系转换图1.2 标识物的识别 在很多增强 现 实系 统中 ,三 维 注册 采用 识 别 图2 增强现实系统运行流程图“自然特征 的 方式 进 行 ,该方 法不 对 真实 环境 进 ” 至于一套标 识 系统 的标 准 ,我 们可 以主 要 从行任何处理 ,通过识别环境中的特征区域 ,找到虚 以下几个方面来 权 衡 :(1) 标识 定位 错 误发 生率 ,拟物体与真实环境之间的关系 . 例如 :上海大学实 即系统将非标 识的 背 景物 体当 做可 识标 识 ,把 虚现的 户 外基 于 自然 特 征点 的 增强 现 实注 册 方 拟物体贴到了本不该出现的地方 ,或存在标识时 , [4]法 .但很多情况下 ,场景 内材 质、 征点 所能 提 特 系统却未加以识 别 ,没 有对 背景 进行 增 强 ;(2) 标供的信息不足 以将 标 定区 域提 取出 来 .这 种情 况 识混淆错误发 生率 ,标识 混淆 错误 即 系统 将某 一下,往往采用人工标记 .这类标记在占用很少屏幕 个标识认成另外 一 种标 识 ,产生 错 误的 贴图 ;(3)象素点的情况 下 ,能 够大 大提 高计 算 机视 觉识 别 系统运行速度 ,本文 考虑 系统 从识 别 标识 到将 虚的可靠性和处理速度 .目前 ,基于标识的三维注册 拟物体添加再到视频所需时间 . Kato .技术 ,已经被广泛运用 于各 种场合 ,例如 : H 2.1 标识定位错误发生率等人制作的魔杯系统[ 5 ] , Daniel Wagner 制 作的 汉 [6] 在特 征 区 域 提 取 过 程 中 ,ARToolkit ,ARTag字教学软件 . 都使用方形边界进行区域标识 . 基于标识的三维注册技术目前正在不断完善 ARToolkit 首 先 将 图 像 进 行 灰 度 二 值 化 处中 ,加 拿 大 国 家 研 究 院 的 Mark Fiala 开 发 的 理,之后设定一固定阈值分割图像 ,在得出的黑白ARTag 和日本 广 岛 城市 大 学 和 美 国华 盛 顿 大 学 图像中搜索连通域轮廓 .联合 开 发 的 ARToolkit ( 之 后 推 出 了 ARToolkit ARTag 和 ARToolkit 一样 ,首 先 将图 像二 值Plus) 是目前 广 泛应 用 于基 于 标 识 的三 维 注 册 技 化 ,并 从中 提 取 四 边 形 ,与 之 不 同 的是 之 后 的 部术中的两个重 要的 二 次开 发包 .被 国 内外 学者 广 分 . ARToolkit 采用的识别 联通域 不同 , 与 ARTag泛应用 于 各 种 场 合 ,例 如 :Mark Fiala(ARTag 的 [8] 采用基于边界 的算 法 . 该方 法首 先 提取 目标 图发明人)利用 ARTag 制作的可自动校正的投影 设 [7] 像中的所有直 线段 ,并提 取出 那些 可 以组 成四 边备 ,华 中 科 技 大 学 的 任 波 设 计 的 基 于 AR-ToolKit 的样板房展示系统 . [3] 形的线段 ,作为备选目标区域的轮廓( 如图 3) . 本文分别采 用 此二 开发 包进 行试 验 ,就 这 两个开发包在不 同光 照 环境、 同外 界 环境 中的 表 不现进行比较 ,并 从算 法上 分析 二者 显 现出 不同 表现的原因 .2 比较 ARTag 与 ARToolkit 图3 基于边界的轮廓提取算法示意图 ARTag 与 ARToolkit 系 统 三 维 注 册 步 骤 基
  3. 3. 34 东 北 师 大 学 报 (自 然 科 学 版) 第 39 卷 比较两系统的特征区域提取过程 ,我们发现 , 特征区 域 .ARTag 因 为采 用 基于 边 界的 算 法 ,即ARToolkit 系统因为 采 用连 通域 提取 算法 ,因此 , 使黑框的象素 不完 整 ,一 样可 以识 别 出部 分受 干系统在标识外框不完整的情况下(例如 ,正方形黑 扰的标识(见图 4— 6) .框的一条边被遮住一部分) ,系统将无法成功提取 此外 , ARToolkit 系统在该步骤中需要程序 图4 部分受干扰的 ARTag 标识 图5 一个角被遮盖的 ARTag 标识 图6 内容区域受到干扰的 ARTag 标识 图7 准确识别出所有标识员自己设定阈值 ,在不同环境光之下 ,为取得最佳 相对较暗的区域没有识别出来(如图 8) .表现 ,阈值的设定 不惟 一 ( 比如 强光 之下 ,灰度 阈值应设得更低 ;弱光条件下 ,灰度阈值相应提高) . ARToolkit 系 统 在 环 境 光 改 变 的 情 况 下 适因此 ,应能力不强 .有用户自行设计程序 ,通过计算环境光强弱 ,自动变化该阈值 ,但如果发生环境光照不统一 (同一帧图像 中明 暗 不一 致) 时 ,该方 法同 样无能为 力 .ARTag 不 同 ,因 为采 取 的 是基 于 边 界的区域提取办法 , ARTag 系统 对环 境光照 的要 求小了 很 多 .我 们 使 用 ARToolKit 和 ARTag 开 发包,采用相同的标识模板 ,分别编写了两个增强现实演示系统 , 摄像 头 捕捉 视 频 ,并 用 LED 手 电 用 图8 识别出来两个亮光区域的标识筒对模 板 中部 进 行光 增 强 .结 果 发 现 ,用 ARTag系统编写 的 程序 准 确识 别 了 所有 标 识 (如 图 7) ; 2.2 标识混淆错误发生率而采用 ARToolkit 的 系 统 只识 别 出 了 亮 光部 分 , 在识别标识 ,并与模板库进行匹配的过程中 ,
  4. 4. 第3期 王维廉 , :两种基于标识的增强现实注册方法的比较 等 35ARToolkit 和 ARTag 系统 的 做法 ,都 是 将识 别 出 ARTag 采 取图 像 编 码 技 术 生 成 标 识 , 另外 ,的特征区域中的标识图像经过二值化处理与模板 系统自带 2002 个标识的标识模板库 ,在处理增强库中的已存知识进行匹配 . 现实应用时使 用模 板 库中 的多 个模 板 ,对 系统 处 此间 ,如何避免标识混淆错误发生 ,是该步骤 理模板识别的时 间影 响 很小 .所 以 ,对 ARTag 系的关键任务 .分析该项指标 ,我们考虑标识混淆错 统处理速度影响最大的因素是当前可见的标识数误发生的原因 .在标识设计合理的情况下 ,该错误 目,可见标 识越多 ,系统处理时间越 长 . ARToolkit之所以会发生 ,很大 程度 上源 于系 统 自身 对标 识 系统 ,由程序员自定义模板 ,将系统模板和标识关的编码、 解码 .每个标识都有一串惟一的二进制数 联起来 ,所以 ,对 ARToolkit 系统处理速度影 响最代表 ,称之为标识 ID 号 ,当系 统在 识 别某 一标 识 大的因素 ,是当 前可 见的 标识 数目 和 系统 模板 库时,如该二进制 ID 中 的几 位发 生识 别错 误 ,就 有 的大小 ,可 见标识 数目 越多 ,系 统模板 库越 大 ,处可能发生标识间的混淆错误 . 理时间越长 . 由此 , ARToolkit 和 ARTag 都 采 用扩 大标 识 我们 在 CPU 为 奔 腾 IV 2 .66GHz ,显 卡 为模板库中各标识模板 ID 之间 的海 明 距离 来规 避 Geforce 2 GTS 32M 显 存 ,内 存 512MB DDR 的标识 混 淆 错误 .海 明 距离 ,即 两 个 长度 相 同 的 码 PC 平 台 上 ,采 用 相 同 规 格 的 模 板 试 验 .当 AR-字,其相对应的位可能不同 ,彼此不同位的个数称 ToolKit 模板 库大 小为 9 个模 板时 ,ARToolkit 和海明 距 离 ( 例 如 ,10100 和 11001 的 海 明 距 离 为 ARTag 系统运行速度大致 相同 .模 板库内 标识 数3) . ARToolkit 运行 速度 略快 ,模板 库内 标 小于 9 时 , 但 ARTag 与 ARToolkit 两 者 之 间 的 编 码 方 识数大于 9 时 ,ARTag 运 行 速度 优 势明 显 .见 图式不同 ,造成了 两者 间不 同的 平均 海 明距 离及 标 9.识混淆错误发 生率 .ARTag 和 ARToolkit 都 采 用三十六位二进制数确定 惟一标 识 , ARTag 的头 十位和 ARToolkit 的头 九位 都是标 识的 ID 号 . AR-Toolkit 将 该 ID 号 重 复 四 次 后 与 一 固 定 数(011011011100001001101001110000100111) 进行异或 操作 .而 ARTag 采用 了十位 ID 号与 错误 校验码(CRC 校验) 结合的方式加 大各 标识 ID 号 间海明 距 离 .我 们 知 道 ,异 或 操 作 并 不增 大 海 明 距离 , ARTag 的编码方式从增加海明距离的角 度 而 图9 两系统处理时间的比较讲对 ARToolkit 做出 了 改进 ,所 以 理应 获 得 更 低的标识混淆错误发生率 .2.3 系统运行速度 3 总结 多数增 强 现 实 系 统 比 较 关 注 系 统 的 运 行 速度 , 行速 度越快 ,处理时 间越 接近同 步 ,增强 现 运 本文结合试 验 ,对 比了 当今 最 为成 功和 应 用实系统给用户带来的浸入感便越强 . 广泛的基于标识的增强现实开源二次开发包 AR- 增强现实系统的运行速度主要由标识识别过 Toolkit 和 ARTag ,从多个方面论述了二者的优 缺程影响 . ARToolKit 和 ARTag 都选 择了使 用黑 色 ARTag 在 标 识 定位 错 误 发 点和原 因 .总 体 而 言 ,边框 (ARTag 也 有 白色 边 框 的 标识 ) 来 将 标 识 提 生率和表示混 淆发 生 率方 面表 现良 好 ,在 不同 光取出来 ,从 而加 大了区 域提 取过 程的速 度 .但是 , 照环境和有 干扰 噪 声的 情况 下 ARTag 有更 好 的因为两种系统 采用 的 区域 提取 算法 不同 ,各自 的 健壮性 . 采用 不 同 的 模 板匹 配 方 式 , 因 ARToolkit运行速 度 也 出 现 了 不 同 .ARToolkit 采 取 了 计 算 和 ARTag 在运行 速度 上表 现 各异 ,ARToolkit 较二值图像联通 域的 方 法提 取四 边形 区域 ,则系 统 适合模板规模小的应用 , ARTag 在模板规模 比 而需遍历图像中 所有 象 素一 次 ,再根 据 设定 的阈 值 较 大 的 应 用 中 处 理 速 度 更 快 .ARToolkit 和提取四边形 ;而 ARTag 采 用基 于 边界 的 算法 ,在 ARTag 已经广泛地应用于 各类 多媒 体展示 系统 ,提取四边形时 ,需要多次对比各个边界的顶点 ,即 增强现实系统开发将越来越高效 ,越来越普及 .ARTag 需要多次遍历图像中的象素点 .
  5. 5. 36 东 北 师 大 学 报 (自 然 科 学 版) 第 39 卷 [参 考 文 献] [1] AZUMA RONALD T . survey of augmented reality[J] . A Teleoperators and Virtual Environments ,1997 ,6(4) :355 - 385 . [2] 等 Gabor 小波 和 变 形 模 板 的 目 标 跟 踪方 法[ J] .东 北 师 大 学 报 :自然 科 学 版 ,20 0 6 , 8 (3 ) : - 12 . 孙红 光 ,顾 海 军 ,潘 毓 学 , . 3 8 [3] 任波 . 于 ARToolKit 的 增强 现 实 系 统 开 发 与 应 用[ J] .计 算 机 系 统 应 用 , 0 06 ,1( 1 ) :81 - 8 4 . 基 2 [4] 陈金 波 ,吴 家 麒 ,袁 政 鹏 . 种基 于 自 然 特 征 点 的 增 强 现实 注 册 方 法 [J] .上 海 大学 学 报 ,2 0 05 ,11 ( 06 ) : 4 - 578 . 一 57 [5] KATO H . MagicCup : tangible interface for virtual objects manipulation in table-top augmented reality[J] . a Augmented Reality Toolk- it Workshop ,2003 , : - 76 . 7 75 [6] WAGNER D , BARAKONYI I . Augmented reality kanji learning mixed and augmented reality[ J] .The Second IEEE and ACM Inter- national Symposium ,2003 , - 10 :335 - 336 . 7 [7] FIALA M .Automatic projector calibration using self-identifying patterns [ J] .Computer Vision and Pattern Recognition ,2005 (3) : 113 - 113 . [8] FIALA M .ARTag , fiducial marker system using digital techniques[ J] . a Computer Vision and Pattern Recognition ,2005(2) :590 - 596 . The comparison betwe two pattern-based en augmented reality registration methods 1 2 3 WANG Wei-lian , WANG Bei-xing , HUANG Lan (1 . School of Computer Engineering and Science , Shanghai University , Shanghai 20007 2 , China ; Department of Economic Information Management , 2. Changchun Taxation College , Changchun 130117 , China ; College of Computer Science and Technology ,Jilin University , 3. Changchun 130012 , China)Abstract : This paper introduced two pattern-based augmented reality developing packages :ARToolkit andARTag .Comparing the two packages in terms of false negative rate ,inter-marker confusion rates and pro-cessing speed ,the author also gave out the reasons from the views of algorithms and principles .Examplesand future prospect are given .Keywords :augmented reality ; pattern pecognition ; D registration ; 3- fiducial ( 责任编辑 :陶 理)

×