[发明专利]一种异常数据诊断方法、系统及存储介质

权利要求书

1.一种异常数据诊断方法，其特征在于，包括以下步骤：

获取若干待测数据信息；

将若干所述待测数据信息进行实时同步以获得相应的数据源信息；

对所述数据源信息进行处理以创建相应的数据实体模型；

获取业务需求信息；

根据所述业务需求信息配置相应的稽核规则；

根据相应的稽核任务，在所述稽核规则配置后将所述数据实体模型匹配于稽核算法以获得相应的稽核结果，所述稽核算法对应于不同的稽核规则，所述稽核结果包含精度结果、数据质量评分等；

根据所述精度结果、数据质量评分判断所述稽核结果是否表征为异常数据；

若是，则将所述稽核结果进行显示，并生成相应的稽核报告。

2.根据权利要求1所述的一种异常数据诊断方法，其特征在于：所述稽核任务的创建包括以下步骤：

获取进行稽核的任务信息，所述任务信息包括时间、范围等；

根据所述任务信息加载相应的数据实体模型，并生成相应的稽核任务。

3.根据权利要求1所述的一种异常数据诊断方法，其特征在于：对所述数据源信息进行处理以创建相应的数据实体模型，包括模型配置步骤和数据剖析步骤；

所述模型配置步骤包括：

获取所述数据源信息中的目标表和源表；

从所述目标表中选择目标数据的集合和字段；

从所述源表中选择源数据的集合和字段；

将所述目标数据的字段与所述源数据的字段进行映射；

将所述源数据的集合和所述目标数据的集合进行分区配置；

所述数据剖析包括：

获取需要进行剖析的目标数据的集合和字段；

根据所述目标数据的字段选择相应的语法检查逻辑，并获得检查结果；

将所述目标数据的集合进行分区配置。

4.根据权利要求3所述的一种异常数据诊断方法，其特征在于：所述根据所述业务需求信息配置相应的稽核规则，包括：

根据所述业务需求信息选择相应的规则体系，所述规则体系包括手动配置规则和自动落标规则；

判断所述业务需求信息中是否具有业务逻辑；

若有，则对应配置手动配置规则以对所述数据实体模型进行稽核；

若没有，则对应配置有自动落标规则以对所述数据实体模型进行稽核。

5.根据权利要求4所述的一种异常数据诊断方法，其特征在于：若配置手动配置规则，还包括以下步骤：

获取基于IDE界面的操作指令对所述手动配置规则进行修改以满足所述目标表和所述源表的关联关系和过滤条件；

获取相应的稽核查询信息以对所述数据实体模型内的数据源信息进行稽核；

若出现数据异常，则获取所述异常节点数据信息，并根据所述异常节点数据信息进行定位回溯。

6.根据权利要求5所述的一种异常数据诊断方法，其特征在于：将所述数据实体模型匹配于稽核算法以获得相应的稽核结果，包括：

根据所述目标表和源表的映射关系获取稽核分析结果，并将所述稽核分析结果进行文本和/或图像显示；

对所述数据实体模型内的数据采集层数据、数据处理过程进行监控，以获得数据质量监控报告，并根据预设的时间间隔对所述数据质量监控报告进行文本和/或图像显示。

7.根据权利要求6所述的一种异常数据诊断方法，其特征在于：所述精度结果的计算公式为：所述数据质量评分包括质量评分，所述质量评分＝参与评分的各质量维度评分总和/参与评估维度项，所述维度包括准确性、完整性、差异性、及时性、有效性。