[发明专利]数据清洗方法、装置、计算机设备及存储介质

说明书

本发明公开了数据清洗方法、装置、计算机设备及存储介质，属于计算机技术领域。本发明的数据清洗方法可自动将获取的用于清洗数据的规则信息转换为规则链路网络，无需人工手动将规则信息转换为规则代码，减少了人力物力、效率快，可适应多种场景；通过待处理信息与规则链路网络匹配，进而可以快速的获取与规则链路数据匹配的待处理匹配数据，基于规则链路数据对待处理匹配数据进行简化、合并处理得到与待处理信息对应的目标信息，以便于对清洗后的目标数据进行相应处理。

技术领域

本发明涉及计算机技术领域，尤其涉及数据清洗方法、装置、计算机设备及存储介质。

背景技术

随着信息技术的发展，信息的数量和种类也呈现井喷式增长。为了避免对数据处理(如：利润预测)时全量信息过载，可根据数据处理的需求，在对数据处理之前对数据进行相应清洗，以便将合并简化后的数据对接到相应的系统中进行处理。例如：在保险领域中，进行利润预测时为了避免保险保单(下文简称保单)的全量信息过载，需先将保单中具有相似属性(例如：年龄、性别、渠道等)的数据合并(即：数据清洗)，以简化数据量，提升利润预测的处理。

随着信息数量和种类越来越多，数据清洗规则越来越复杂，其主要是通过硬编码的方式实现，分支结构众多、嵌套层数多、代码量大、不易于维护(代码修改困难、容易出错)，且与系统代码耦合在一块，已无法满足多样化的场景需求。在实际应用中，为了适应不同的需求代码人员需根据业务要求撰写相应的代码，以便于基于对清洗规则代码实现对数据清洗的目的，这样操作耗时长、效率低。

发明内容

针对现有数据清洗规则无法满足多样化场景需求的问题，现提供一种旨在可满足多样化场景需求的数据清洗方法、装置、计算机设备及存储介质。

为实现上述目的，本发明提供一种数据清洗方法，包括：

获取用于清洗数据的规则信息，将所述规则信息转换为规则链路网络；

接收待处理信息，采用Rete算法将所述待处理信息与所述规则链路网络匹配，获取所述待处理信息中的待处理匹配数据以及与所述待处理匹配数据匹配的所述规则链路网络中的规则链路数据；

基于所述规则链路数据对所述待处理匹配数据进行清洗，以获取目标信息。

可选的，所述获取用于清洗数据的规则信息，将所述规则信息转换为规则链路网络，包括：

获取所述规则信息，所述规则信息至少包括一条规则数据；

将所述规则信息中所有规则数据分别转换为相应的所述规则链路数据，所有的所述规则链路数据构成所述规则链路网络。

可选的，所述规则数据包括至少一个匹配对象和一个执行对象；

所述将所述规则信息中所有规则数据分别转换为相应的规则链路数据，所有的所述规则链路数据构成所述规则链路网络，包括：

获取所述规则数据中的匹配对象和执行对象，识别所述规则数据中各个所述匹配对象之间的关联关系；

将所述匹配对象转换为网络节点，将所述执行对象转换为执行事件；

基于所述匹配对象之间的关联关系，构建各个所述网络节点之间的配置关系；

根据所述执行事件、所述网络节点以及各个所述网络节点之间的配置关系生成所述规则链路数据，所有的所述规则链路数据构成所述规则链路网络。

可选的，所述待处理信息至少包括一条待处理数据；

所述接收待处理信息，采用Rete算法将所述待处理信息与所述规则链路网络匹配，获取所述待处理信息中的待处理匹配数据以及与所述待处理匹配数据匹配的所述规则链路网络中的规则链路数据，包括：

接收待处理信息；