[发明专利]多数据源的数据检测方法、装置、设备及可读存储介质

说明书

本发明公开了一种多数据源的数据检测方法、装置、设备及可读存储介质，该方法包括步骤：当侦测到检测至少两个数据源对应数据的检测指令后，根据所述检测指令加载与所述数据源对应的数据源驱动；通过所述数据源驱动读取所述检测指令对应的待检测数据，存储至Spark集群中，并获取与所述待检测数据对应的目标检测规则；通过所述目标检测规则，在所述Spark集群中检测所述待检测数据，得到所述待检测数据的检测结果。本发明通过Spark集群支持跨数据源的数据检测，在数据检测过程中支持多种数据源的配置。

技术领域

本发明涉及大数据技术领域，尤其涉及一种多数据源的数据检测方法、装置、设备及可读存储介质。

背景技术

在诸多数据处理应用中，数据检测是大数据处理业务中最重要的一个环节。现有的数据检测主要有Apache Griffin和阿里DataWorks数据质量(DQC)，其中，Griffin是一个应用于分布式数据系统中的开源数据检测解决方案，例如在Hadoop，Spark和Storm等分布式系统中，Griffin提供了一整套统一的流程来定义和检测数据集的质量并及时报告问题。Griffin已经部署在eBay为核心的数据系统进行提供服务，提供了一组通用的功能来解决数据质量检测方面的痛点。要检测数据质量问题，主要分为以下几步：1.用户注册数据资产；2.为数据资产建立一个数据检测模型；3.模型引擎自动计算数据指标；4.通过邮件或是门户网站报告数据检测结果。DataWorks数据质量是支持多种异构数据源的质量检测、通知、管理服务的一站式平台。DataWorks数据质量以数据集(DataSet)为监控对象，目前支持MaxCompute数据表和DataHub实时数据流的监控，当离线MaxCompute数据发生变化时，DataWorks数据质量会对数据进行校验，并阻塞生产链路，以避免问题数据污染扩散，同时，DataWorks数据质量提供了历史校验结果的管理，以便于对数据质量分析和定级。

但Apache Griffin和阿里DataWorks数据质量支持的数据源单一，Griffin当前只支持Hive和Kafka，DataWorks数据质量只支持阿里本身的MaxCompute和DataHub，不支持多种数据源的配置。

发明内容

本发明的主要目的在于提供一种多数据源的数据检测方法、装置、设备及可读存储介质，旨在解决现有的数据检测方法不能支持多种数据源的配置的技术问题。

为实现上述目的，本发明提供一种多数据源的数据检测方法，所述多数据源的数据检测方法包括步骤：

当侦测到检测至少两个数据源对应数据的检测指令后，根据所述检测指令加载与所述数据源对应的数据源驱动；

通过所述数据源驱动读取所述检测指令对应的待检测数据，存储至Spark集群中，并获取与所述待检测数据对应的目标检测规则；

通过所述目标检测规则，在所述Spark集群中检测所述待检测数据，得到所述待检测数据的检测结果。

优选地，所述获取与所述待检测数据对应的目标检测规则的步骤包括：

获取预设的数据检测规则模板，并确定是否侦测到将所述数据检测规则模板与所述待检测数据关联的关联指令；

若侦测到所述关联指令，则将所述待检测数据与所述关联指令对应的数据检测规则模板关联，得到所述待检测数据对应的目标检测规则。

优选地，所述若侦测到所述关联指令，则将所述待检测数据与所述关联指令对应的数据检测规则模板关联，得到所述待检测数据对应的目标检测规则的步骤包括:

若侦测到所述关联指令，则确定是否侦测到设置所述数据检测规则模板对应检测阈值的设置指令；