[发明专利]数据校验处理方法及装置

说明书

本发明实施例提供一种数据校验处理方法及装置，其中，方法包括：将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；将所述消息队列中通过格式校验的数据发送给消费程序，以使消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。本发明实施例能够避免脏数据对数据处理流程稳定性的影响，防止错误数据写入存储服务而造成数据应用程序服务异常。

技术领域

本发明涉及计算机技术领域，尤其涉及一种数据校验处理方法及装置。

背景技术

随着信息技术的飞速发展，越来越多领域均利用计算机程序对数据进行处理。

目前，现有的数据消费模型的结构如图1所示。由图1可知，现有的数据消费模型中，将数据源(可以有多个数据源)的数据加入消息队列，由消费程序对消息队列中的数据进行数据落地存储(即将数据存储到存储服务中)，供数据应用程序使用。

但是，现有的数据消费模型中，消费程序不会对数据源的数据进行严格校验，可能会有错误数据写入存储服务，造成数据应用程序服务异常；而且，现有的数据消费模型中的数据消费服务类似于黑盒，不能实时展现数据的消费情况。

发明内容

针对现有技术存在的问题，本发明实施例提供一种数据校验处理方法及装置。

本发明实施例提供一种数据校验处理方法，包括：

将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；

根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；

将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可选地，在将数据源的数据加入消息队列之前，所述方法还包括：

预先配置每个数据源的数据模式schema和每个数据源的异常数据处理策略。

可选地，所述根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理，包括：

根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理丢弃或者清洗数据。

可选地，所述数据校验处理方法还包括：

实时记录消费所述消息队列中数据的情况和未通过格式校验的异常数据的情况，并进行可视化展示。

可选地，所述未通过格式校验的异常数据的情况，包括：未通过格式校验的异常数据在所述消息队列中所有数据中所占的比例。

本发明实施例提供一种数据校验处理装置，应用于数据校验中台，包括：

校验模块，用于将数据源的数据加入消息队列，消费所述消息队列中每个数据源的数据，根据预先配置的每个数据源的数据的模式schema，对所述消息队列中的数据进行格式校验；

异常处理模块，用于根据预先配置的每个数据源的异常数据处理策略，对所述消息队列中未通过格式校验的异常数据进行处理；

发送模块，用于将所述消息队列中通过格式校验的数据发送给消费程序，以使所述消费程序将所述通过格式校验的数据落地存储到存储服务中，供数据应用程序使用。

可选地，所述数据校验处理装置还包括：