[发明专利]一种基于缓存机制的实时数据索引快速动态更新方法

说明书

本发明提供一种基于缓存机制的实时数据索引快速动态更新方法，通过在索引树中维护一个插入元素集IS和一个删除元素集DS作为索引元素的辅助处理元素集，实现索引数据的缓存机制；该缓存机制可以有效降低树形索引在动态更新时树结构的调整次数，从而提升树形索引的更新性能。这种缓存机制应用在实时处理系统中，可以同时满足实时处理系统对索引的查询和更新性能的要求。

技术领域

本发明属于计算机数据处理的技术领域。

背景技术

数据的实时处理已经成为数据分析的主流方式。很多系统都会产生大量的实时数据，比如工业传感器检测到的电气信号、移动设备发出的GPS信息、电子商务网站上的用户浏览信息、系统运行日志等。如果对这些实时数据能做出的反应越快，从中获取的好处就越大。毕竟越新鲜的数据才越有价值。在电网系统中更是如此，越早检测或预测出设备故障，就能越快地采取保护措施避免产生更大的损失。比如下面一个例子：一个设备的故障会产生一系列的动作，故障导致线路短路；短路的过流电流导致线路上的开关断开；然后设备会产生一个紧急保护动作。整个过程中的开关断开信号和紧急保护动作信号会上传到实时处理系统中。实时系统根据这个两个信号判断出某个设备发生了故障，然后传递给下游系统处理这个故障。一次故障的开关断开信号的保护动作信号并不是按时有序到达系统的，这期间会有网络延迟。所以这两个信号是乱序到达的，两者之间的间隔可能高达十几秒。系统每秒接收的数据量高达百万，如果再缓存十几秒的历史数据，那么系统处理的数据量就高达千万。从千万级别的数据中检测出所有的设备故障信息并且要求低延迟，这是一件有挑战的事情。

然而，在实时处理系统中不仅要求索引有良好的查询性能，还要求索引有快速的更新能力。因为实时处理系统中要求数据具有实时性，所以需要频繁地从索引中删除旧数据和插入新数据。

索引树通常是一棵平衡树。如果不保证树的平衡性，在极端情况下索引树就会变成一个链表。在这种情况下，索引的查询就变成对链表的穷举扫描。索引也就失去了意义。但保证树形索引的平衡性也是索引更新性能低下的原因。因为在动态更新索引的情景下，树会经常失衡，这就使得索引树需要经常调整树结构。

接下来介绍在动态更新时索引树是如何调树结构的。

a)R树

R树是B树在高维数据上的拓展。它广泛应用在地理信息系统，地图应用和轨迹处理等领域中。R树的每个节点的数据结构可以用如下的方式表达。

MBR,Level,Data,Parent

在R树中所有的索引对象存储在叶节点中，即叶节点的索引项都是R树的索引对象。非叶节点的索引项是该节点的子节点。在R树中每个索引项被表示成它的MBR(最小外包矩形)。非叶节点的MBR是它所有索引项的MBR的最小外包矩形，即MBR的MBR。Level指的是当前节点在树中的高度。Data是每个节点的索引项。每个节点的索引项的数量有一个上界M和一个下届m。m是M的两倍，但叶节点的索引项的下界是2。Parent是当前节点的父节点。另外，R树是一颗完全平衡的树，即所有叶子节点都在树的最低层。

在R树上执行的查询有两种，一种是范围查询，另一种是K临近查询。范围查询指的是查找在一个指定空间区域内所有的对象。K临近查询指的是查找距指定对象距离最近的K的对象。K临近查询可以转换为范围查询。范围查询调用一个递归算法，这个算法的大致过程如下：第一，把根节点作为当前节点；第二，当前节点是非叶节点，把所有子节点的MBR与查询区域的MBR相交的子节点先后作为下一个当前节点继续递归算法；第三，当前节点是叶节点，若某个索引对象的MBR被包含在查询区域的MBR中，就将这个索引对象添加到结果集中。

接下来介绍一下R树的插入算法。插入算法的任务就是将一个索引对象插入到R树中。它可以被表示成下面三个步骤：