[发明专利]数据质量稽核方法、装置、设备及存储介质

说明书

本申请提供一种数据质量稽核方法、装置、设备及存储介质，其中，该方法通过获取待稽核数据，确定预设稽核方式，该预设稽核方式包括滑动时间窗口或滑动事件窗口，从而，根据该滑动时间窗口或滑动事件窗口，对上述待稽核数据进行数据采样，获得稽核采样数据，根据预设校验规则，对上述稽核采样数据进行校验，获得稽核校验结果，解决了现有数据稽核采用全量稽核的方式耗费较多的计算资源，稽核速度较慢的问题。

技术领域

本申请涉及数据校验技术领域，尤其涉及一种数据质量稽核方法、装置、设备及存储介质。

背景技术

数据质量稽核是数据生命周期中生产、加工、传输、存储、使用、交换等各个环节的数据质量控制。计算平台通常根据数据质量规则来检测数据质量是否满足要求，对于质量不通过的进行相应处理。

在计算平台对数据质量进行稽核时，通常会采用全量稽核的方式，进行数据质量检测。

例如以数据仓储中的数据稽核为例，在企业信息化进程中，数据仓库在企业的中长期管理决策中扮演着越来越重要的角色，而随着数据的体量越来越大、格式越来越丰富，管理决策的要求越来越严苛，进而也推动着数据仓库的不断发展。现有数据仓储中的数据稽核基本都是采用全量稽核的方法，耗费了较多的计算资源，处理速度也较慢。

发明内容

本申请提供一种数据质量稽核方法、装置、设备及存储介质，解决了现有数据稽核耗费较多计算资源，处理速度较慢的问题。

第一方面，本申请提供一种数据质量稽核方法，该方法包括如下步骤：

获取待稽核数据；

确定预设稽核方式，所述预设稽核方式包括滑动时间窗口或滑动事件窗口；

根据所述滑动时间窗口或所述滑动事件窗口，对所述待稽核数据进行数据采样，获得稽核采样数据；

根据预设校验规则，对所述稽核采样数据进行校验，获得稽核校验结果。

在一种可能的实现方式中，所述滑动时间窗口的步长和窗口大小均可调，所述滑动事件窗口的步长和窗口大小均可调。

在一种可能的实现方式中，所述获取待稽核数据，包括：

确定待稽核的数据主题，根据所述数据主题，从预设消息队列中获取源数据；

根据所述源数据的数据结构，对所述源数据进行解析，得到所述待稽核数据。

在一种可能的实现方式中，所述确定预设稽核方式，包括：

判断内存中是否缓存有所述预设稽核方式；

若所述内存中缓存有所述预设稽核方式，则获取缓存的所述预设稽核方式，其中，所述预设稽核方式是经过预设时间，基于预设数据库存储的稽核方式刷新缓存后获得的。

在一种可能的实现方式中，在所述根据预设校验规则，对所述稽核采样数据进行校验，获得稽核校验结果之后，还包括：

根据所述稽核校验结果和预设异常数据处理规则，对所述待稽核数据进行入库处理。

在一种可能的实现方式中，所述稽核校验结果包括校验结果正常或校验结果异常，所述预设异常数据处理规则包括正常入库、丢弃或分开入库；

所述根据所述稽核校验结果和预设异常数据处理规则，对所述待稽核数据进行入库处理，包括：

根据所述校验结果正常或所述校验结果异常，对所述待稽核数据进行正常入库、丢弃或分开入库处理。

在一种可能的实现方式中，在所述根据所述稽核校验结果和预设异常数据处理规则，对所述待稽核数据进行入库处理之后，还包括：

根据入库处理结果生成告警和/或质量报告。