[发明专利]数据去重方法及装置

说明书

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种数据去重方法及装置。

背景技术

随着计算机和通信技术的发展，网络的应用迅速普及，已日益成为成活中不可或缺的工具。与此同时，为了网络安全和服务的需要，需要对网络数据进行采集分析。由于网络设计和采集方案的原因，采集到的数据往往有大量重复数据，这对后续的存储和分析造成重大影响。因此，实际应用中会在存储和分析前对数据进行去重操作。

现有技术中常用的数据去重方法为双哈希法，在双哈希法去重处理过程中，主要包括数据处理流程和辅助处理流程，数据处理流程主要包括如下步骤：

步骤101a、创建两张相同的hash表，命名为哈希表1(h1)和哈希表2(h2)。

步骤102a、当t时间有数据d到来时，先在h1和h2中查找是否存在d的MD5值，如果存在，则执行步骤103，如果不存在，则执行步骤104。

步骤103a、确定d为重复数据，将其丢弃。

步骤104a、将MD5值插入h1和h2中。

辅助处理流程主要包括如下步骤：

步骤101b、初始化h1和h2。

步骤102b、当时间到达超时时间的二分之一时，清空h1。

步骤103b、当时间到达超时时间时，清空h2清空。重复循环上述步骤。

但是，上述双哈希算法操作以下不足：

1、相同的数据会同时保存到h1和h2中，造成资源的浪费；

2、需要额外的辅助线程对h1和h2中的数据进行清空，造成系统资源浪费。

发明内容

有鉴于此，本发明实施例提供一种数据去重方法及装置，以优化现有的数据去重方法，只需要存储一份数据就可完成去重，节约了系统资源。

在第一方面，本发明实施例提供了一种数据去重方法，包括：

向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令；

接收所述采集设备发送的第一数据；

检测缓存中是否存有所述第一数据，若存有所述第一数据，则将所述第一数据丢弃，若未存有所述第一数据，则将所述第一数据插入缓存。

在第二方面，本发明实施例提供了数据去重装置，包括：

发送模块，用于向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令；

接收模块，用于接收所述采集设备发送的第一数据；

检测模块，用于检测缓存中是否存有所述第一数据；

丢弃模块，用于若检测模块检测缓存中存有所述第一数据，则将所述第一数据丢弃；

插入模块，用于若检测模块检测缓存中未存有所述第一数据，则将所述第 一数据插入缓存。

本发明实施例通过向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，并接收所述采集设备发送的第一数据，检测缓存中是否存有所述第一数据，若存有所述第一数据，则将所述第一数据丢弃，若未存有所述第一数据，则将所述第一数据插入缓存，只需要存储一份数据就可完成去重，不仅能够达到数据去重的目的，而且节约了系统资源。

附图说明

图1是本发明第一实施例提供的一种数据去重方法的流程示意图；

图2是本发明第二实施例提供的一种数据去重方法的流程示意图；

图3是本发明第三实施例提供的一种数据去重方法的流程示意图；

图4是本发明第四实施例提供的一种数据去重装置的结构示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图对本发明具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。

本发明实施例的方法可以由数据去重装置来执行，该装置可通过硬件和/或软件的方式实现。

第一实施例 

图1是本发明第一实施例提供的一种数据去重方法的流程示意图，如图1所示，包括如下步骤：

步骤101、向采集设备发送数据采集请求，以使所述采集设备从网络上采集数据，所述数据为网络数据包或通信信令。