[发明专利]分布式业务数据校验系统、方法及装置

说明书

本申请实施例公开了一种分布式业务数据校验系统、方法及装置。本申请实施例提供的技术方案通过提供依次连接的数据准备模块、数据校验模块和差错处理模块，数据准备模块用于提供待校验的数据源，数据校验模块用于当满足校验周期后触发校验任务，以根据校验规则对待校验的数据源进行校验；并且所述校验规则通过动态修改规则脚本配置获得，当校验规则需要变更，只需要修改规则脚本配置即可，节省大量人力，可以灵活配置，降低开发成本。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种分布式业务数据校验系统、分布式业务数据校验方法、分布式业务数据校验装置、设备及存储介质。

背景技术

目前业界的业务系统普遍采用微服务架构进行设计，不同系统之间通过网络调用进行数据交互，是一种典型的分布式系统。而根据CAP理论，分布式系统无法在保证可用性(Availability)和分区容错性(Partition)之后，继续保证一致性(Consistency)。由于存在网络调用调用失败的可能，或者存在代码漏洞，系统之间必然存在着长或短的数据不一致状态。几个常见的场景是，用户A给用户B送礼，用户A已经支付成功，但是由于网络调用失败，用户B没有收到礼物；用户用积分购买了商品成功，但是积分系统更新积分失败或者错误。这就可能给用户造成了损失，影响用户体验，也可能造成营收资金受损。随着业务的发展，各种业务系统之间相互调用关系日益复杂，各个独立而又相关联的系统之间的数据一致性越来越重要。在很多情况下，系统故障或者网络调用失败导致数据出现不一致，往往造成用户体验下降，甚至导致公司或者用户资金的损失。

目前业界以及公司内部业务已经有各种数据校验服务。但这些实现基本上是针对每个不同的业务需求，开发不同的数据校验服务，而业务需求多变、迭代迅速。现有的实现方案中，数据校验系统的工作流程大体上可以分为三个阶段：数据准备、数据校验、差错处理。数据准备阶段获取需要校验的数据，已有方案一般有用户主动上传文件、接口推送、接口拉取、直接查数据库等方式，这些方式各自都存在一些问题，用户主动上传文件的方式，一般只适合支付账单等规模较少，规则较简单的业务场景；而后面几种方式，都对业务系统有侵入，接口推送方式需要各个业务系统进行改造，在需要对账时主动推送对账数据；接口拉取、直接查数据库的方式，需要数据校验系统控制QPS(每秒查询率)，很容易造成业务系统压力过大，甚至打垮业务系统。数据校验阶段是数据校验系统的核心阶段。这个阶段主要工作是根据给定的规则，校验上阶段获取的数据是否符合预期，符合预期则为平账，不符合预期则进入差错处理阶段。在这个阶段，目前已有的方案大多采用硬编码的方式，将校验规则通过代码表达，并发布数据校验服务或者脚本。这种方式存在几个问题，一是不够灵活，每个需要做数据校验的业务都要自己编写自己的校验代码，并在业务规则变化时同时修改校验代码；二是没有一个平台统一管理这些数据校验服务，开发成本高。差错处理阶段，是在数据校验阶段发现数据差错后，进行后续处理。一般做法是自动修复数据、导出差异明细表、告警通知人工介入处理等方式。

现有的这种方式每次有新的业务需求或者需求变化都需要开发或者修改代码，并发布上线。很明显这种方式的开发效率比较低，成本较高。

发明内容

本申请实施例提供一种分布式业务数据校验系统、方法、装置、设备及存储介质，以实现灵活配置校验规则、从而灵活校验数据，节省大量人力。

在第一方面，本申请实施例提供了分布式业务数据校验系统，包括依次连接的数据准备模块、数据校验模块和差错处理模块；所述数据准备模块用于提供待校验的数据源，所述待校验的数据源包括若干数据；所述数据校验模块用于当满足校验周期后触发校验任务，以根据校验规则对待校验的数据源进行校验；其中，所述校验规则通过动态修改规则脚本配置获得；所述差错处理模块用于对数据校验模块中校验为有差错的待校验的数据源进行处理。

在第二方面，本申请实施例提供了一种分布式业务数据校验方法，包括：

提供待校验的数据源，所述待校验的数据源包括若干数据；