[发明专利]一种数据去重方法及系统

权利要求书

1.一种数据去重方法，其特征在于，包括：

获取上传至数据平台的待处理数据；

确定所述待处理数据的元数据信息；

将所述待处理数据的元数据信息与所述数据平台的已存储数据的元数据信息进行比对，得到元数据信息相似度；

获取所述待处理数据的第一数据描述信息；

获取所述已存储数据的第二数据描述信息；

比对所述第一数据描述信息与所述第二数据描述信息，得到数据描述相似度；

对所述元数据信息相似度和所述数据描述相似度进行加权平均，得到总相似度；

按照所述总相似度对所述已存储数据进行排序；

将排序后的所述已存储数据中的前n个数据标记为疑似重复数据。

2.根据权利要求1所述的方法，其特征在于，所述将所述待处理数据标记为疑似重复数据之后，还包括：

将包含有所述疑似重复数据的信息的数据列表发送至人工审核客户端，以便对所述疑似重复数据与所述已存储数据进行人工审核；所述数据列表由排序后的所述已存储数据的信息构成。

3.根据权利要求1所述的方法，其特征在于，所述将包含有所述疑似重复数据的信息的数据列表发送至人工审核客户端之后，还包括：

当所述疑似重复数据与所述待处理数据不同时，将所述待处理数据保存至所述数据平台。

4.根据权利要求1所述的方法，其特征在于，所述比对所述第一数据描述信息与所述第二数据描述信息，得到数据描述相似度，具体包括：

采用SimHash算法计算所述第一数据描述信息与所述第二数据描述信息之间的海明距离，根据所述海明距离确定所述第一数据描述信息与所述第二数据描述信息之间的的数据描述相似度。

5.一种数据去重系统，其特征在于，包括：

待处理数据获取单元，用于获取上传至数据平台的待处理数据；

元数据信息确定单元，用于确定所述待处理数据的元数据信息；

元数据信息比对单元，用于将所述待处理数据的元数据信息与所述数据平台的已存储数据的元数据信息进行比对，得到元数据信息相似度；

第一数据描述信息获取单元，用于获取所述待处理数据的第一数据描述信息；

第二数据描述信息获取单元，用于获取所述已存储数据的第二数据描述信息；

数据描述信息比对单元，用于比对所述第一数据描述信息与所述第二数据描述信息，得到数据描述相似度；

总相似度计算单元，用于对所述元数据信息相似度和所述数据描述相似度进行加权平均，得到总相似度；

排序单元，用于按照所述总相似度对所述已存储数据进行排序；疑似重复数据标记单元，用于将排序后的所述已存储数据中的前n个数据标记为疑似重复数据。

6.根据权利要求5所述的系统，其特征在于，还包括：

疑似重复数据发送单元，用于将所述待处理数据标记为疑似重复数据之后，将包含有所述疑似重复数据的信息的数据列表发送至人工审核客户端，以便对所述疑似重复数据与所述已存储数据进行人工审核；所述数据列表由排序后的所述已存储数据的信息构成。

7.根据权利要求5所述的系统，其特征在于，还包括：

待处理数据保存单元，用于将包含有所述疑似重复数据的信息的数据列表发送至人工审核客户端之后，当所述疑似重复数据与所述待处理数据不同时，将所述待处理数据保存至所述数据平台。

8.根据权利要求5所述的系统，其特征在于，所述数据描述信息比对单元，具体包括：

海明距离计算子单元，用于采用SimHash算法计算所述第一数据描述信息与所述第二数据描述信息之间的海明距离，根据所述海明距离确定所述第一数据描述信息与所述第二数据描述信息之间的的数据描述相似度。