[发明专利]一种基于最小略图的流模式下有向标签图的略图构建方法

说明书

一种基于最小略图的流模式下有向标签图的略图构建方法。在这个数据爆炸的时代，各类应用每天都会产生海量的数据，同时各类应用所产生的数据也在不断地飞速增长中。当前大量应用所产生的海量数据都可以用图模型、特别是有标签图模型来表示。为适应大数据的数据容量大以及输入输出速度快的特征，图压缩与略图上的查询成为了支持很多应用的一种有效手段。为了得到流模式下有标签图的略图，提出本发明的略图构建方法，该方法包括：对图数据上点的标签和标识符进行两级哈希映射；对图数据上边的标签进行哈希映射；利用一组质数的特性将多个边标签压缩在一个整数中；对流模式下滑动窗口的子窗口划分；对流模式下失效数据的自动处理。

技术领域

本发明属于图数据处理的技术领域。

背景技术

在这个数据爆炸的时代，各类应用每天都会产生海量的数据，同时各类应用所产生的数据也在不断地飞速增长中。常见的应用如社交网络平台微博，电话网络，web服务器请求，道路网络等等，这些应用都可以方便的用图结构，特别是有标签图结构来进行表示。包括但不限于以上所提到的这些应用，这些应用所涉及的数据都是以一种流模式的方式不断产生的。

由于数据量的巨大，基于原始图的查询是很困难的。一方面是由于原始图的规模太大，基于原始图的查询可能需要不断地将部分原始图读入内存，这是十分耗费资源和计算时间的。另一方面，在大规模原始图上的搜索查询也是十分耗费时间的。

当前数据应用的另一个特点是大部分都是流模式下的数据应用，即图上的边是一条一条到来的，而到来的速率十分密集，有可能是井喷式的。而更靠近当前时间的数据可能是更有意义的，用户可能会更感兴趣。

为适应大数据的数据容量大以及输入输出速度快的特征，并满足各种在线应用数据实时处理的需求，基于图压缩与略图的查询研究成为了支持很多应用的一种有效手段。然而研究多是基于静态图以及非标签图处理的。因此，如何构建支持流模式下有标签图动态处理的略图成为一个难题。

发明内容

本发明目的是解决流模式下大规模图数据的处理与查询这一问题，提供一种基于最小略图的流模式下有向标签图的略图构建方法。本发明通过对图数据顶点的两级哈希映射以及对边标签的质数表示，将有向标签图数据的方向与标签信息压缩到略图中，保留了原始图的完整信息与图结构，使压缩后的略图能够支持原始图上的各项查询。

本发明提供的基于最小略图的流模式下有向标签图的略图构建方法，以最小略图思想为基础，构建出的略图可以仅使用原始图亚线性的存储空间的前提条件下，保留原图上点和边的标签信息以及图结构信息，同时快速支持原始图支持的各项通用图查询；同时，由于流模式下子窗口的使用，使略图可以自动处理失效数据，以适应流模式下滑动窗口的特殊需求；具体步骤如下：

第1、根据最大存储空间要求或压缩比率要求分配略图存储空间

使用略图的目的是为了利用有限的存储空间，通常是只使用原图存储空间亚线性的存储空间来进行存储。因此，在构建略图之前，需要根据事先要求的压缩比率或允许使用的最大存储空间来为略图分配存储空间。由于略图占用的存储空间与图数据点标签、点标识符以及边标签的映射范围相关，因此需要在给定压缩比率要求或略图占用最大存储空间的基础上确定点标签、点标识符以及边标签的映射范围。具体分为两种情况，具体方法如下：

(1)根据最大存储空间要求分配略图存储空间

给定能够存储n个数据单元的空间，同时已知不同点标签的总数量为l₁，不同点标识符的总数量为l₂，不同边标签的总数量为l₃(对于未知数据的统计信息可通过对数据一小段时间的运行统计得出)。通常情况下，哈希函数的映射范围会远小于被映射数据项的实际数量，以达到存储压缩的目的。在满足存储空间上限要求的前提下，点标签与点标识符的映射范围与点标签总数量和点标识符总数量呈正比，边标签的映射范围远小于边标签的实际数量，则：