关于若干数据库前沿技术的理解 03 级（ 1 ）班 王晓霞 4012029

提纲 当前数据库研究的重点 三个重要的数据库研究问题 对等计算环境下的数据管理 流数据管理和挖掘 XML 数据管理和 Web 服务

当前数据库研究的重点

三个重要的数据库研究问题

对等计算环境下的数据管理

流数据管理和挖掘

XML 数据管理和 Web 服务

当前数据库研究的重点 静止的查询和变化的数据 连续查询（ continuous query ） 流数据管理和挖掘 受限制的节点处理能力和不受限制的系统动态性 传感器网络上的查询处理、传感器网络数据分析 对等计算环境下的数据管理 数据模式的复杂化和元数据管理的标准化 XML 数据管理和交换 Web 服务

静止的查询和变化的数据

连续查询（ continuous query ）

流数据管理和挖掘

受限制的节点处理能力和不受限制的系统动态性

传感器网络上的查询处理、传感器网络数据分析

对等计算环境下的数据管理

数据模式的复杂化和元数据管理的标准化

XML 数据管理和交换

Web 服务

提纲 当前数据库研究的重点 三个重要的数据库研究问题 对等计算环境下的数据管理 流数据管理和挖掘 XML 数据管理和 Web 服务

当前数据库研究的重点

三个重要的数据库研究问题

对等计算环境下的数据管理

流数据管理和挖掘

XML 数据管理和 Web 服务

P2P 数据管理 – 应用背景 从简单的文件共享向复杂的查询处理功能变化 信息检索： pSearch, PlanetP, PeerIS 数据库查询： PIER, PIAZZA, PeerDB, Hyperion, … 连续查询： PeerCQ, Buddy-CQ, Aurora*/Medusa 从消息传递向内容路由变化 基于 XML 的内容路由 应用场景： 金融、科学计算和数据管理、医疗、… 其它松散耦合的虚拟组织 一些紧耦合，但在地理上分布的数据管理任务

从简单的文件共享向复杂的查询处理功能变化

信息检索： pSearch, PlanetP, PeerIS

数据库查询： PIER, PIAZZA, PeerDB, Hyperion, …

连续查询： PeerCQ, Buddy-CQ, Aurora*/Medusa

从消息传递向内容路由变化

基于 XML 的内容路由

应用场景：

金融、科学计算和数据管理、医疗、…

其它松散耦合的虚拟组织

一些紧耦合，但在地理上分布的数据管理任务

P2P 数据管理 – 主要技术（ 1 ） 从数据访问和索引角度看 散列  分布式散列表（ Distributed Hash Table, DHT ） Chord, CAN, Pastry, Tapestry, Viceroy, … DHT 上的区域查询（ range query ） 基于 LSH 和 Chord 的技术、基于 CAN 的区域查询缓存、… DHT 上的关系运算算子的实现 PIER （ Berkeley ）实现了四种不同的连接算法 树型索引  P-tree 可以被用来进行区域查询

从数据访问和索引角度看

散列  分布式散列表（ Distributed Hash Table, DHT ）

Chord, CAN, Pastry, Tapestry, Viceroy, …

DHT 上的区域查询（ range query ）

基于 LSH 和 Chord 的技术、基于 CAN 的区域查询缓存、…

DHT 上的关系运算算子的实现

PIER （ Berkeley ）实现了四种不同的连接算法

树型索引  P-tree

可以被用来进行区域查询

P2P 数据管理 – 主要技术（ 2 ） 从数据库模式集成和查询语义看 基于视图的数据集成 PIAZZA ：模式映射、查询改写和优化 P2P 数据库查询的语义 局部关系模型（ LRM ） 映射表的逻辑语义和实现（ Hyperion ） 加宽可达快照（ dilated-reachable snapshot ）语义（ PIER ）

从数据库模式集成和查询语义看

基于视图的数据集成

PIAZZA ：模式映射、查询改写和优化

P2P 数据库查询的语义

局部关系模型（ LRM ）

映射表的逻辑语义和实现（ Hyperion ）

加宽可达快照（ dilated-reachable snapshot ）语义（ PIER ）

P2P 数据管理 – 主要技术（ 3 ） 从元数据管理看 基于标准协议的方式（ PIER ） 多索引 / 目录服务器方式 全自治的方式（ PeerDB, PIAZZA ） 从分布式数据库和分布式查询处理角度看 查询传递（ query shipping ）、代码传递（ code shipping ）和代理传递（ agent shipping ）（ PeerDB ） 基于 DHT 的查询处理（ PIER, PeerCQ ） 突变查询处理（ mutant query processing ）

从元数据管理看

基于标准协议的方式（ PIER ）

多索引 / 目录服务器方式

全自治的方式（ PeerDB, PIAZZA ）

从分布式数据库和分布式查询处理角度看

查询传递（ query shipping ）、代码传递（ code shipping ）和代理传递（ agent shipping ）（ PeerDB ）

基于 DHT 的查询处理（ PIER, PeerCQ ）

突变查询处理（ mutant query processing ）

提纲 当前数据库研究的重点 三个重要的数据库研究问题 对等计算环境下的数据管理 流数据管理和挖掘 XML 数据管理和 Web 服务

当前数据库研究的重点

三个重要的数据库研究问题

对等计算环境下的数据管理

流数据管理和挖掘

XML 数据管理和 Web 服务

流数据管理和挖掘 – 应用背景 （相对）静态的查询、动态的数据 挑战 和数据量呈线性的时间复杂度 固定大小的内存 单遍扫描数据集 在任意时刻输出是准确、可靠的 模型在任意时间都可以输出 应用场景： 网络监控和交通工程 电信记录管理和分析 商业交易管理和分析 金融信息监控 制造业和供应链工程和工业过程控制 传感器信息监控 Web 日志分析 海量数据处理

（相对）静态的查询、动态的数据

挑战

和数据量呈线性的时间复杂度

固定大小的内存

单遍扫描数据集

在任意时刻输出是准确、可靠的

模型在任意时间都可以输出

应用场景：

网络监控和交通工程

电信记录管理和分析

商业交易管理和分析

金融信息监控

制造业和供应链工程和工业过程控制

传感器信息监控

Web 日志分析

海量数据处理

流数据管理和挖掘 – 研究角度 理论分析 一般采用随机算法（ randomized algorithms ），研究重点是算法的界 联机算法设计 重点是算法在实际数据集上的效率 模型的变化 滑动窗口模型 挖掘模型的变化 研究的重点是及时的模型改变

理论分析

一般采用随机算法（ randomized algorithms ），研究重点是算法的界

联机算法设计

重点是算法在实际数据集上的效率

模型的变化

滑动窗口模型

挖掘模型的变化

研究的重点是及时的模型改变

流数据管理和挖掘 – 主要技术（ 1 ） 连续查询处理 系统设计和开发 TriggerMan OpenCQ (Georgia Tech.) Niagara-CQ (Wisconsin Madison) CACQ Aurora (MIT/Brown/Brandies) AdaptiveCQ TelegraphCQ (U.C. Berkeley) STREAM (Stanford User/Application Register Query Stream Query Processor Results Scratch Space (Memory and/or Disk) Data Stream Management System (DSMS)

连续查询处理

系统设计和开发

TriggerMan

OpenCQ (Georgia Tech.)

Niagara-CQ (Wisconsin Madison)

CACQ

Aurora (MIT/Brown/Brandies)

AdaptiveCQ

TelegraphCQ (U.C. Berkeley)

STREAM (Stanford

流数据管理和挖掘 – 主要技术（ 2 ） 连续查询算子的实现 各种流水线联接算法的实现 基本数据结构的研究 Sketch 方法（基于散列的技术） 指数直方图（ exponential histogram, EH ）方法 抽样方法 频繁项 / 频繁项集挖掘 Sticky sampling/lossy counting 带删除的频繁项集挖掘 Counting Bloom filter 方法 考虑 false positive 的方法

连续查询算子的实现

各种流水线联接算法的实现

基本数据结构的研究

Sketch 方法（基于散列的技术）

指数直方图（ exponential histogram, EH ）方法

抽样方法

频繁项 / 频繁项集挖掘

Sticky sampling/lossy counting

带删除的频繁项集挖掘

Counting Bloom filter 方法

考虑 false positive 的方法

流数据管理和挖掘 – 主要技术（ 3 ） 流数据聚类 增量式的传统聚类算法 基于 K-means 的方法（ Fayyad et al./Guha et al. ） 考虑聚类变化的方法：金字塔技术（ Han et al. ） 流数据分类 传统的增量式的决策树分类 Heoffding tree 和基于它的 VFDT （ Gibbons et al. ） 可调整的 VFDT ： CVFDT （ Gibbons et al. ） 使用整合技术（ emsemble ）的技术（ Han et al. ）

流数据聚类

增量式的传统聚类算法

基于 K-means 的方法（ Fayyad et al./Guha et al. ）

考虑聚类变化的方法：金字塔技术（ Han et al. ）

流数据分类

传统的增量式的决策树分类

Heoffding tree 和基于它的 VFDT （ Gibbons et al. ）

可调整的 VFDT ： CVFDT （ Gibbons et al. ）

使用整合技术（ emsemble ）的技术（ Han et al. ）

流数据管理和挖掘 – 主要技术（ 4 ） 其它相关技术 时序（ time series ）分析 时序模式（ sequential pattern ）挖掘 时序预测 最近邻查询（ Muthukrishnan et al. ） 变化（ change ）分析（ Gehrke et al. ） 跳变（ burst ）分析（ Shasha et al., Kleinberg ） 相关性分析（ Shasha et al. ）

其它相关技术

时序（ time series ）分析

时序模式（ sequential pattern ）挖掘

时序预测

最近邻查询（ Muthukrishnan et al. ）

变化（ change ）分析（ Gehrke et al. ）

跳变（ burst ）分析（ Shasha et al., Kleinberg ）

相关性分析（ Shasha et al. ）

提纲 当前数据库研究的重点 三个重要的数据库研究问题 对等计算环境下的数据管理 流数据管理和挖掘 XML 数据管理和 Web 服务

当前数据库研究的重点

三个重要的数据库研究问题

对等计算环境下的数据管理

流数据管理和挖掘

XML 数据管理和 Web 服务

XML 数据管理和 Web 服务 – 应用背景 Web 服务本身是一类非常重要的应用 XML 还在如下领域中有着重要的应用 数据表示和数据交换 元数据管理 XML 内容路由

Web 服务本身是一类非常重要的应用

XML 还在如下领域中有着重要的应用

数据表示和数据交换

元数据管理

XML 内容路由

XML 数据管理和 Web 服务 – 主要技术 XML 数据管理 XML 数据存储 XML 数据索引 XML 数据变换 XML 数据压缩 XML 数据更新 XML 流数据处理 XML 数据的模式和查询的语义 Web 服务 Web 服务架构的设计 分布式的、 P2P 的 UDDI 目录设计 分布式的和 P2P 的服务使用 Web 服务和对等计算技术、网格技术的结合

XML 数据管理

XML 数据存储

XML 数据索引

XML 数据变换

XML 数据压缩

XML 数据更新

XML 流数据处理

XML 数据的模式和查询的语义

Web 服务

Web 服务架构的设计

分布式的、 P2P 的 UDDI 目录设计

分布式的和 P2P 的服务使用

Web 服务和对等计算技术、网格技术的结合

提纲 当前数据库研究的重点 三个重要的数据库研究问题：它们的结合 对等计算环境下的数据管理 流数据管理和挖掘 XML 数据管理和 Web 服务

当前数据库研究的重点

三个重要的数据库研究问题：它们的结合

对等计算环境下的数据管理

流数据管理和挖掘

XML 数据管理和 Web 服务

当 流数据 碰到 对等计算 （ 1 ） 传感器网络 挑战 通讯能力和能源限制 计算能力的限制 海量（多）数据流 动态的传感器和网络环境 当前的 将来的 (MEMS) Mote (Berkeley) Cricket (MIT) SmartLocus (HP-Labs) Mantis (UC Boulder ) Smart Dust (Berkeley)

传感器网络

挑战

通讯能力和能源限制

计算能力的限制

海量（多）数据流

动态的传感器和网络环境

当 流数据 碰到 对等计算 （ 2 ） 传感器网络（续） 相关的研究项目 TinyOS/TinyDB: U.C. Berkeley Cougar: Cornell Quasar: UCI LECS: UCLA 相关技术 即兴（ ad hoc ）网络和无线网络中的数据路由 动力相关（ power-awareness ）的计算和优化 网络中的查询处理技术 聚集（ aggregation ）操作 查询语言设计 查询优化

传感器网络（续）

相关的研究项目

TinyOS/TinyDB: U.C. Berkeley

Cougar: Cornell

Quasar: UCI

LECS: UCLA

相关技术

即兴（ ad hoc ）网络和无线网络中的数据路由

动力相关（ power-awareness ）的计算和优化

网络中的查询处理技术

聚集（ aggregation ）操作

查询语言设计

查询优化

当 流数据 碰到 对等计算 （ 3 ） 内容路由 节点：根路由器（ root router ）、客户机（ client ）、路由器（ router ） 数据： XML 包  XML 流 主要技术 基于网孔（ mesh ）的重叠网络（ overlay network ）构造 XML 包的视图选择（ U. Washington ） XML 数据过滤

内容路由

节点：根路由器（ root router ）、客户机（ client ）、路由器（ router ）

数据： XML 包  XML 流

主要技术

基于网孔（ mesh ）的重叠网络（ overlay network ）构造

XML 包的视图选择（ U. Washington ）

XML 数据过滤

当 XML 遇到 流数据 XML 内容路由 XML 数据过滤 基于自动机的方法 XFilter, YFilter, … 基于索引的方法 基于 Bloom filter 的方法 XML 包的视图选择 脱机（ offline ）视图选择 联机（ online ）视图选择（ open problem ）

XML 内容路由

XML 数据过滤

基于自动机的方法

XFilter, YFilter, …

基于索引的方法

基于 Bloom filter 的方法

XML 包的视图选择

脱机（ offline ）视图选择

联机（ online ）视图选择（ open problem ）

参考网站 http://www.ccf-dbs.org.cn/upload/syhy http:// engine.cqvip.com /content/ http:// www.napster.com http://www.106.ibm.com/developerworks/library/ws-coor/

http://www.ccf-dbs.org.cn/upload/syhy

http:// engine.cqvip.com /content/

http:// www.napster.com

http://www.106.ibm.com/developerworks/library/ws-coor/