[发明专利]冗余数据的处理方法、装置、服务器及存储介质

说明书

本公开提供了一种冗余数据的处理方法、装置、服务器及存储介质，属于互联网技术领域。所述方法包括：对多条待处理数据进行解析，得到多个字段名称，每个字段名称对应一个字段值和至少一个索引值；根据多个字段名称对应的字段值和索引值，删除多条待处理数据中的冗余字段，得到多条第一数据。本公开无需技术人员编写大量代码，根据对多条待处理数据解析得到的字段名称对应的索引值和字段值，即可删除多条待处理数据中的冗余字段，不仅节约了人力成本，而且无需针对不同的业务修改所编写的代码，因而冗余数据的处理方式更灵活。

技术领域

本公开涉及计算机技术领域，特别涉及一种冗余数据的处理方法、装置、服务器及存储介质。

背景技术

随着互联网领域对数据的日趋重视，各个企业都在积累数据，并通过对数据进行加工，衍生出大量新数据。由于沟通不畅、标准不同等原因，在对数据加工过程中，常常会产生冗余数据。由于冗余数据不仅会占用大量的存储空间，而且会影响业务的实现，甚至会降低系统性能，造成系统雪崩，因此，需要对冗余数据进行处理。

目前，在对冗余数据进行处理时，主要采用如下两种方式：

第一种方式、技术人员预先编写冗余数据筛选代码，基于所编写的冗余数据筛选代码，从待处理数据中筛选出冗余数据，进而对筛选出来的冗余数据进行存储。

第二种方式、技术人员预先编写冗余数据筛选代码和冗余数据清洗代码，基于所编写的冗余数据筛选代码，从待处理数据中筛选出冗余数据，进而基于所编写的冗余数据清洗代码，对筛选出的冗余数据进行删除。

然而，上述两种方式依赖于技术人员编写的代码，消耗的人力成本较高，且随着业务变化，需要技术人员不断修改所编写的代码，导致数据处理方式不够灵活。

发明内容

本公开实施例提供了一种冗余字段的处理方法、装置、服务器及存储介质，能够降低冗余数据处理过程中消耗的人力成本，提高冗余数据处理的灵活度。

所述技术方案如下：

一方面，提供了一种冗余字段的处理方法，所述方法包括：

获取多条待处理数据，每条待处理数据的数据量大于预设阈值；

对所述多条待处理数据进行解析，得到多个字段名称，每个字段名称对应一个字段值和至少一个索引值，所述索引值用于指示字段名称对应的字段在待处理数据中的位置；

根据多个字段名称对应的字段值和索引值，删除所述多条待处理数据中的冗余字段，得到多条处理后的数据。

另一方面，提供了一种冗余数据的处理装置，所述装置包括：

获取模块，用于获取多条待处理数据，每条待处理数据的数据量大于预设阈值；

解析模块，用于对所述多条待处理数据进行解析，得到多个字段名称，每个字段名称对应一个字段值和至少一个索引值，所述索引值用于指示字段名称对应的字段在待处理数据中的位置；

删除模块，用于根据多个字段名称对应的字段值和索引值，删除所述多条待处理数据中的冗余字段，得到多条处理后的数据。

另一方面，提供了一种服务器，所述服务器包括处理器和存储器，所述存储器中存储有至少一条程序代码，所述至少一条程序代码由所述处理器加载并执行，以实现一方面所述的冗余数据的处理方法。

另一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条程序代码，所述至少一条程序代码由处理器加载并执行，以实现一方面所述的冗余数据的处理方法。

本公开实施例提供的技术方案带来的有益效果是：