[发明专利]一种数据去重方法及系统

说明书

技术领域

本发明涉及数据分析领域，特别是涉及一种数据去重方法及系统。

背景技术

本发明主要针对数据平台中的数据进行数据去重。数据平台，是指承载了海量数据的系统，比如数据共享和交易平台。数据去重，是指识别出因不同名称、作者、来源、格式而存在的同一份数据的多份拷贝，避免同一份数据被以不同形式保存在数据平台中。

由于数据平台中的数据可以被共享和交易，因此当数据平台中存在重复数据时，将会对数据使用者造成困扰，也会对数据提供者造成损失。例如，当一份数据被数据提供者A上传至数据平台后，又被数据提供者B上传至该数据平台。如果未进行数据去重，则对于数据使用者来说，可能会因为下载两份内容相同的数据，而导致金钱、时间和精力的浪费；对于数据提供者来说，假设数据提供者A为数据版权的和合法所有者，则数据提供者A会由于数据使用者采用了数据提供者B提供的相同数据，而损失掉将该数据提供给该数据使用者时可获得的收益。可见，数据去重对于数据平台来说是十分重要的。

现有技术中的数据去重方法，主要是对待存储的数据建立摘要或指纹。通常采用计算数据的哈希值(包括md5，crc32，sha256等算法)的方式建立摘要或指纹。然后将待存储数据的哈希值与已存储数据的哈希值进行比对，如果相同，即判定待存储数据与某个已存储数据相同。之后，再采取进一步措施删除重复数据。

但是，上述方法不适用于于数据平台。一方面由于数据平台中存储的数据很多，对于大量数据进行哈希值计算的代价过高，并且对于哈希值的存储也会占用较大存储空间。通常PB级别的数据会生成TB级别的哈希表，不仅占用大量存储空间，还会导致对于哈希值的检索效率降低，从而降低数据去重效率。另一方面，由于数据平台存储的数据量很大，哈希值发生计算碰撞的可能性也较高，这又会导致把原本不同的数据误判为重复数据。

基于上述原因，导致现有技术中，对于数据平台中的数据去重工作，只能交由人工完成。但是，由于数据平台中的数据量过多，导致人工进行数据去重的效率十分低下。

因此，亟需一种可以有效缩小数据去重范围的数据去重方法，以便将人工进行数据去重的工作量控制在可接受的范围内。

发明内容

本发明的目的是提供一种数据去重方法及系统，可以有效缩小数据去重范围的数据去重方法，以便将人工进行数据去重的工作量控制在可接受的范围内。

为实现上述目的，本发明提供了如下方案：

一种数据去重方法，包括：

获取上传至数据平台的待处理数据；

确定所述待处理数据的元数据信息；

将所述待处理数据的元数据信息与所述数据平台的已存储数据的元数据信息进行比对，得到元数据信息相似度；

获取所述待处理数据的第一数据描述信息；

获取所述已存储数据的第二数据描述信息；

比对所述第一数据描述信息与所述第二数据描述信息，得到数据描述相似度；

对所述元数据信息相似度和所述数据描述相似度进行加权平均，得到总相似度；

按照所述总相似度对所述已存储数据进行排序；

将排序后的所述已存储数据中的前n个数据标记为疑似重复数据。

可选的，所述将所述待处理数据标记为疑似重复数据之后，还包括：

将包含有所述疑似重复数据的信息的数据列表发送至人工审核客户端，以便对所述疑似重复数据与所述已存储数据进行人工审核；所述数据列表由排序后的所述已存储数据的信息构成。

可选的，所述将包含有所述疑似重复数据的信息的数据列表发送至人工审核客户端之后，还包括：

当所述疑似重复数据与所述待处理数据不同时，将所述待处理数据保存至所述数据平台。

可选的，所述比对所述第一数据描述信息与所述第二数据描述信息，得到数据描述相似度，具体包括：

采用SimHash算法计算所述第一数据描述信息与所述第二数据描述信息之间的海明距离，根据所述海明距离确定所述第一数据描述信息与所述第二数据描述信息之间的的数据描述相似度。

一种数据去重系统，包括：

待处理数据获取单元，用于获取上传至数据平台的待处理数据；

元数据信息确定单元，用于确定所述待处理数据的元数据信息；

元数据信息比对单元，用于将所述待处理数据的元数据信息与所述数据平台的已存储数据的元数据信息进行比对，得到元数据信息相似度；

第一数据描述信息获取单元，用于获取所述待处理数据的第一数据描述信息；