[发明专利]一种异常数据诊断方法、系统及存储介质

说明书

本申请涉及一种异常数据诊断方法、系统及存储介质，其包括获取若干待测数据信息；将若干待测数据信息进行实时同步以获得相应的数据源信息；对数据源信息进行处理以创建相应的数据实体模型；获取业务需求信息；根据业务需求信息配置相应的稽核规则；根据相应的稽核任务，在稽核规则配置后将数据实体模型匹配于稽核算法以获得相应的稽核结果，稽核算法对应于不同的稽核规则，稽核结果包含精度结果、数据质量评分等；根据精度结果、数据质量评分判断稽核结果是否表征为异常数据；若是，则将稽核结果进行显示，并生成相应的稽核报告。本申请具有解决异常数据诊断不全面的问题的效果。

技术领域

本申请涉及数据处理的技术领域，尤其是涉及一种异常数据诊断方法、系统及存储介质。

背景技术

数据质量的好坏直接关系到信息准确性和业务有效性，而只有解决数据的质量问题并保证数据资产的科学性，才能有效地反映出企业运营和市场事实，而目前的大数据时代，数据在呈爆炸式增长，大量的数据一方面会为运营商带来大量的信息资产，另一方面大量的无用数据、干扰数据也影响着数据质量，因此，围绕企业大数据的生命周期管理，实现数据的全过程质量监控非常重要。

相关技术中，对于异常数据的诊断首先是通过ETL采集数据，并对采集到的数据进行初步的数据清理和预处理，然后根据预定义的数据稽核和效验规则对数据进行差异分析和异常分析。

而相关技术中的方法，因数据梳理流程设置不当，使得对数据的异常诊断工作只集中在前期的数据清洗、数据的处理和后面的数据质量评估上，而忽略了数据在创建、获取、传输、装载、使用、回收等任意环节会出现的异常，而任一环节中出现异常都会导致数据质量问题，异常数据诊断不全面。

发明内容

本申请提供一种异常数据诊断方法、系统及存储介质，以解决上述异常数据诊断不全面的问题。

第一方面，本申请提供的一种异常数据诊断方法，采用如下的技术方案：

一种异常数据诊断方法，包括以下步骤：

获取若干待测数据信息；

将若干所述待测数据信息进行实时同步以获得相应的数据源信息；

对所述数据源信息进行处理以创建相应的数据实体模型；

获取业务需求信息；

根据所述业务需求信息配置相应的稽核规则；

根据相应的稽核任务，在所述稽核规则配置后将所述数据实体模型匹配于稽核算法以获得相应的稽核结果，所述稽核算法对应于不同的稽核规则，所述稽核结果包含精度结果、数据质量评分等；

根据所述精度结果、数据质量评分判断所述稽核结果是否表征为异常数据；

若是，则将所述稽核结果进行显示，并生成相应的稽核报告。

在其中的一些实施例中，所述稽核任务的创建包括以下步骤：

获取进行稽核的任务信息，所述任务信息包括时间、范围等；

根据所述任务信息加载相应的数据实体模型，并生成相应的稽核任务。

在其中的一些实施例中，对所述数据源信息进行处理以创建相应的数据实体模型，包括模型配置步骤和数据剖析步骤；

所述模型配置步骤包括：

获取所述数据源信息中的目标表和源表；

从所述目标表中选择目标数据的集合和字段；

从所述源表中选择源数据的集合和字段；

将所述目标数据的字段与所述源数据的字段进行映射；

将所述源数据的集合和所述目标数据的集合进行分区配置；

所述数据剖析包括：

获取需要进行剖析的目标数据的集合和字段；

根据所述目标数据的字段选择相应的语法检查逻辑，并获得检查结果；

将所述目标数据的集合进行分区配置。