[发明专利]数据异常更新检测方法、装置、计算机设备及存储介质

权利要求书

1.一种数据异常更新检测方法，其特征在于，包括：

接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数；

解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息；

解析获取所述元数据信息中的Hive表类型和数据文件信息；其中，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间；

若目标Hive表对应的数据表波动类型为非波动类型，调用预先训练的Prophet时间序列模型，获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息；

若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端；以及

若目标Hive表对应的数据表波动类型为波动类型，获取目标Hive表对应的源数据，调用预先训练的孤立森林模型对所述源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

2.根据权利要求1所述的数据异常更新检测方法，其特征在于，所述根据所述目标Hive表名称获取对应目标Hive表的元数据信息，包括：

启动元数据服务，通过元数据服务从关系型数据库中获取与所述目标Hive表名称对应的元数据信息。

3.根据权利要求2所述的数据异常更新检测方法，其特征在于，所述启动元数据服务，通过元数据服务从关系型数据库中获取与所述目标Hive表名称对应的元数据信息，包括：

根据所述目标Hive表名称生成对应的第一HDFS指令，将所述第一HDFS指令发送至关系型数据库以获取目标Hive表的Hive表类型；

根据所述目标Hive表名称生成对应的第二HDFS指令，将所述第二HDFS指令发送至关系型数据库以获取目标Hive表的数据文件信息。

4.根据权利要求1所述的数据异常更新检测方法，其特征在于，所述获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息，包括：

获取所述目标Hive表的历史元数据信息中的数据文件大小值及其对应的日期以组成第一输入序列，以及获取所设置的预测时间区间，将第一输入序列输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据文件大小值预测集合；

获取所述目标Hive表的历史元数据信息中的数据更新时间及其对应的日期以组成第二输入序列，以及获取所述预测时间区间，将第二输入序列输入至所述Prophet时间序列模型进行运算，得到与所述预测时间区间对应的数据更新时间预测集合。

5.根据权利要求1所述的数据异常更新检测方法，其特征在于，还包括：

获取待分类样本，根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型。

6.根据权利要求5所述的数据异常更新检测方法，其特征在于，所述获取待分类样本，根据预设的当前异常点比例及所述待分类样本构建用于一场点检测的孤立森林模型，包括：

从所述待分类样本中随机获取数据属性，由数据属性和当前异常点比例所确定的分裂值；

根据所述数据属性及所述分裂值将所述待分类样本进行划分，得到多个孤立树，由多个孤立树组合得到用于异常点检测的孤立森林模型。