[发明专利]一种面向大流量实时图数据的低资源消耗的超级节点识别过滤方法和系统

说明书

本发明公开一种面向大流量实时图数据的低资源消耗的超级节点识别过滤方法和系统，属于大数据预处理领域。该方法包括：1)接收图数据并对其进行格式转化；2)根据过滤规则对格式转化之后的数据进行过滤；3)识别过滤之后的数据中的超级节点，并根据识别出的超级节点对所述过滤规则进行动态修改。该系统包括数据接收模块、数据过滤模块、过滤规则管理模块以及超级节点识别模块。本发明可在海量实时图数据流中识别出超级节点，是一种低资源消耗的超级节点识别方案，只需极少资源就可以在海量数据中识别出超级节点。

技术领域

本发明属于大数据预处理领域，涉及一种在海量实时图数据场景下，识别和过滤超级节点的方法和系统。

背景技术

随着计算机技术的不断发展和信息化程度的不断提高，数据量在迅速增长，数据结构也越来越复杂，传统的关系型数据模型在很多场景下已难以使用，非关系型数据模型越来约流行。图数据模型是非关系数据模型中的一种，模型中的基本元素为点和边，分别可以用来表示现实中的实体和实体之间的关系，因此图数据模型非常适合存储关系网络等复杂的数据。以图数据模型为基础的数据库是图数据库，图数据库是NoSQL数据库的一种类型。

超级节点(super node)指的是有非常多边与其相连的点。超级节点是目前所有图数据库共同面临的难题，在图的遍历过程中，如果遇到超级节点，图检索的结果将瞬间变得非常大，导致遍历结果集太多或者直接导致图遍历不能继续进行，而图遍历正是图数据库的核心功能。太多的超级节点将直接导致图库失去使用价值。而且在很多业务场景下，含有超级节点的数据几乎没有任何价值，甚至严重影响其他数据质量。另一方面，含有超级节点的数据通常是不正常数据，如在邮件模型中，邮箱地址为一个点，每次发送邮件都会产生一条边，边的起始点为发送者，终止点为收件者。正常的邮箱只会产生少量的边，而发送垃圾邮件的邮箱则动辄就会发送百万甚至更多的邮件。及时识别出发送垃圾邮件的邮箱(超级节点)并屏蔽(过滤)是非常有必要的。同样适用于在通话和短信数据中识别出诈骗电话。因此及时识别出图数据中的超级节点是非常有必要的。

传统的超级节点识别方法是，对每个点建立一个计数器，该点每增加一条边计数器加一。在数据量较少时，该方法没有任何问题，但是在数据量非常多时，会需要非常多的内存。虽然可以通过分布式系统来缓解问题，但是在数据量非常大时，分布式系统存在内存不足的问题。另一方面，大多数的点在计数过程中只出现有限的几次，对它们建立计数器是极大的浪费，且资源通常也不允许。

发明内容

针对目前超级节点识别系统的问题，本发明提出了一种面向海量实时图数据的、低资源消耗的超级节点识别与过滤方法和系统。

本发明采用的技术方案如下：

一种面向大流量实时图数据的超级节点识别与过滤方法，包括以下步骤：

1)接收图数据并对其进行格式转化；

2)根据过滤规则对格式转化之后的数据进行过滤；

3)识别过滤之后的数据中的超级节点，并根据识别出的超级节点对所述过滤规则进行动态修改。

进一步地，步骤1)从包括csv文件、消息队列在内的数据源读取数据，将其格式化为triplet数据并放入有界队列；所述triplet数据由两个点，两个点之间的关系，以及点与关系的属性构成。

进一步地，步骤2)从有界队列中取出格式化之后的triplet数据，按照过滤规则对其进行匹配，如果符合过滤规则，则丢弃该条数据，否则进入步骤3)进行处理。