[发明专利]数据比对方法及装置

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据比对方法及装置。

背景技术

随着大数据时代的来临，传统的比对碰撞算法已经无法满足当前数据形式下的需要。传统的数据比对算法是依据数据本身的特征值进行归类、比对，找出在不同数据集合下共同出现的元素。但是，如果出现数据源的数据不完整，或者数据表达有一定的不确定性，亦或者数据表达维度不同等情况，则数据比对便无法得到所需要的结论。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种数据比对方法，通过利用全量关联信息数据库对待比对数据进行预处理，再根据设定的数据比对规则对预处理后的待比对数据进行比对，可以最大程度地利用碎片化数据进行数据集合比对工作，从而获得所需求的比对结果，解决了碎片化数据以及异构数据无法进行比对的问题。

本发明的第二个目的在于提出一种数据比对装置。

本发明的第三个目的在于提出一种数据比对装置。

本发明的第四个目的在于提出一种计算机程序产品。

本发明的第五个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种数据比对方法，包括：导入待比对数据；基于全量关联信息数据库对所述待比对数据进行预处理；设定数据比对规则；根据所述数据比对规则对预处理后的待比对数据进行比对；输出比对结果。

本发明实施例的数据比对方法，通过利用全量关联信息数据库对待比对数据进行预处理，再根据设定的数据比对规则对预处理后的待比对数据进行比对，可以最大程度地利用碎片化数据进行数据集合比对工作，从而获得所需求的比对结果，解决了碎片化数据以及异构数据无法进行比对的问题。

另外，本发明实施例的数据比对方法，还有以下附加技术特征：

在本发明的一个实施例中，导入待比对数据，包括：提供数据导入界面；在所述数据导入界面中，接收上传文件操作以导入所述待比对数据。

在本发明的一个实施例中，基于全量关联信息数据库对所述待比对数据进行预处理，包括：对所述待比对数据进行解析，获取所述待比对数据包含的key值的字段；根据所述包含的key值的字段，基于全量关联信息数据库对所述待比对数据中的其他字段进行数据补全。

在本发明的一个实施例中，设定数据比对规则，包括：提供数据比对规则设定界面；在所述数据比对规则设定界面中设定数据比对规则。

在本发明的一个实施例中，上传文件的格式包括文本格式、超文本格式、网页文本格式、可转换成文本格式的图片格式、可转换成文本格式的压缩格式中的一种。

在本发明的一个实施例中，所述方法还包括：如果上传的文件格式不支持，则进行错误提示。

在本发明的一个实施例中，所述方法还包括：采用正则表达式和机器学习的方式对所述待比对数据进行过滤。

在本发明的一个实施例中，根据所述包含的key值的字段，基于全量关联信息数据库对所述待比对数据中的其他字段进行数据补全，包括：

利用预设的数据补全规则对所述待比对数据中的其他字段进行数据补全。

为达上述目的，本发明第二方面实施例提出了一种数据比对装置，包括：导入模块，用于导入待比对数据；预处理模块，用于基于全量关联信息数据库对所述待比对数据进行预处理；设定模块，用于设定数据比对规则；比对模块，用于根据所述数据比对规则对预处理后的待比对数据进行比对；输出模块，用于输出比对结果。

本发明实施例的数据比对装置，通过利用全量关联信息数据库对待比对数据进行预处理，再根据设定的数据比对规则对预处理后的待比对数据进行比对，可以最大程度地利用碎片化数据进行数据集合比对工作，从而获得所需求的比对结果，解决了碎片化数据以及异构数据无法进行比对的问题。

另外，本发明实施例的数据比对装置，还有以下附加技术特征：

在本发明的一个实施例中，所述导入模块，用于：提供数据导入界面；在所述数据导入界面中，接收上传文件操作以导入所述待比对数据。

在本发明的一个实施例中，所述预处理模块，用于：对所述待比对数据进行解析，获取所述待比对数据包含的key值的字段；根据所述包含的key值的字段，基于全量关联信息数据库对所述待比对数据中的其他字段进行数据补全。

在本发明的一个实施例中，所述设定模块，用于：提供数据比对规则设定界面；在所述数据比对规则设定界面中设定数据比对规则。