[发明专利]冗余数据的处理方法、装置、服务器及存储介质

权利要求书

1.一种冗余数据的处理方法，其特征在于，所述方法包括：

获取多条待处理数据，每条待处理数据的数据量大于预设阈值；

对所述多条待处理数据进行解析，得到多个字段名称，每个字段名称对应一个字段值和至少一个索引值，所述索引值用于指示字段名称对应的字段在待处理数据中的位置；

根据多个字段名称对应的字段值和索引值，删除所述多条待处理数据中的冗余字段，得到多条处理后的数据。

2.根据权利要求1所述的方法，其特征在于，所述根据多个字段名称对应的字段值和索引值，删除所述多条待处理数据中的冗余字段，得到多条处理后的数据，包括：

根据多个字段名称对应的字段值和索引值，删除多条待处理数据中字段名称相同的冗余字段，得到多条第一数据；

从所述多条第一数据中，获取数据量大于所述预设阈值的多条第二数据；

根据所述多条第二数据中字段名称对应的字段值和索引值，删除多条第二数据中字段名称相似的冗余数据，得到多条处理后的数据。

3.根据权利要求2所述的方法，其特征在于，所述根据多个字段名称对应的字段值和索引值，删除多条待处理数据中字段名称相同的冗余字段，得到多条第一数据，包括：

将每个字段名称及其对应的字段值拼接成第一字符串，得到多个第一字符串；

采用指定算法对所述多个第一字符串进行加密计算，得到多个第一指纹；

根据所述多个字段名称对应的索引值和所述多个第一指纹，确定所述多条待处理数据中字段名称相同的冗余字段；

删除所述多条待处理数据中字段名称相同的冗余字段，得到所述多条第一数据。

4.根据权利要求3所述的方法，其特征在于，所述根据所述多个字段名称对应的索引值和所述多个第一指纹，确定所述多条待处理数据中字段名称相同的冗余字段，包括：

从每个字段名称对应的索引值中，获取一个目标索引值；

将每个目标索引值对应的目标指纹与同字段名称的其余索引值对应的第一指纹进行比较；

获取指纹与每个目标指纹相同的指定索引值；

将所述指定索引值指示的字段，确定为字段名称相同的冗余字段。

5.根据权利要求4所述的方法，其特征在于，所述将所述指定索引值指示的字段，确定为字段名称相同的冗余字段之后，还包括：

将所述指定索引值对应的标记更改为删除标记；

所述删除所述多条待处理数据中字段名称相同的冗余字段，得到所述多条第一数据，包括：

删除所述删除标记对应的索引值指示的字段，得到所述多条第一数据。

6.根据权利要求2至5中任一项所述的方法，其特征在于，所述根据所述多条第二数据中字段名称对应的字段值和索引值，删除多条第二数据中字段名称相似的冗余数据，得到多条处理后的数据，包括：

将所述多条第二数据中每个字段名称及其对应的索引值拼接成第二字符串，得到多个第二字符串；

采用指定算法对所述多个第二字符串进行加密计算，得到多个第二指纹；

计算任意两个第二指纹之间的海明距离；

根据海明距离小于距离阈值的第二指纹，生成无向关联子图，所述无向关联子图包括多对节点和邻接矩阵，每对节点表示海明距离小于距离阈值的两个第二指纹对应的索引值；

根据所述多对节点和所述邻接矩阵，确定所述多条第二数据中字段名称相似的冗余字段；

删除所述多条第二数据中字段名称相似的冗余字段，得到所述多条处理后的数据。

7.根据权利要求6所述的方法，其特征在于，所述根据所述多对节点和所述邻接矩阵，确定所述多条第二数据中字段名称相似的冗余字段，包括：

对于任一对节点，获取包括的两个节点之间的一阶相似度；

当所述一阶相似度小于一阶相似度阈值，根据所述邻接矩阵，获取所述两个节点之间的二阶相似度；

当所述二阶相似度小于二阶相似度阈值，将所述两个节点中任一节点对应的索引值指示的字段，确定为字段名称相似的冗余字段。