[发明专利]数据异常更新检测方法、装置、计算机设备及存储介质

说明书

本发明公开了数据异常更新检测方法、装置、计算机设备及存储介质，涉及云监控技术，包括若目标Hive表为非波动类型，获取目标Hive表的历史元数据信息，将其作为Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息，若数据文件大小值数据更新时间异常，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端，若目标Hive表为波动类型，获取目标Hive表对应的源数据，调用孤立森林模型对源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。实现了通过模型来判别目标Hive表是否异常，避免了人工去设置阈值、设定规则，减少不必要的手工工作，而且对异常的监控更加准确和快速。

技术领域

本发明涉及云监控的性能监控技术领域，尤其涉及一种数据异常更新检测方法、装置、计算机设备及存储介质。

背景技术

目前，当需对不同系统或服务器中的数据表进行数据量监控，例如对Hive数据表进行监控时，一般采用具有数据表更新监控功能的工具。但是有部分的Hive表针数据量变化也与特殊日期（节假日、推广活动等）相关性比较大，在现有的Hive表监控工具中配置针对特殊日期表的监控任务不仅操作复杂，而且由于这类Hive表监控工具的文件大小较大也不利于快速部署到公共集群上。

发明内容

本发明实施例提供了一种数据异常更新检测方法、装置、计算机设备及存储介质，旨在解决现有技术中Hive表监控工具中配置针对特殊日期表的监控任务不仅操作复杂，而且由于这类Hive表监控工具的文件大小较大也不利于快速部署到公共集群上的问题。

第一方面，本发明实施例提供了一种数据异常更新检测方法，其包括：

接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数；

解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息；

解析获取所述元数据信息中的Hive表类型和数据文件信息；其中，所述Hive表类型包括分区表和非分区表，所述数据文件信息包括数据文件大小值和数据更新时间；

若目标Hive表对应的数据表波动类型为非波动类型，调用预先训练的Prophet时间序列模型，获取目标Hive表的历史元数据信息，将所述历史元数据信息作为所述Prophet时间序列模型的输入进行运算，得到目标Hive表的预测元数据信息；

若所述数据文件大小值相对于所述预测元数据信息中包括的预测数据文件大小值对应的文件大小值差异率超出预先设置的差异率阈值，或者若所述数据更新时间与所述预测元数据信息中包括的预测数据更新时间之间的时间间隔超出预先设置的时间阈值，将目标Hive表增加异常数据表标识并生成第一通知信息以发送至目标接收端；以及

若目标Hive表对应的数据表波动类型为波动类型，获取目标Hive表对应的源数据，调用预先训练的孤立森林模型对所述源数据进行异常数据检测，得到异常数据检测结果并生成第二通知信息以发送至目标接收端。

第二方面，本发明实施例提供了一种数据异常更新检测装置，其包括：

配置表接收单元，用于接收待检测数据任务配置表信息；其中，所述待检测数据任务配置表信息中包括待检测Hive表对象和数据检测任务通用配置信息，所述数据检测任务通用配置信息包括日期维度信息、业务活动日期信息和检测任务公共参数；

第一配置表解析单元，用于解析获取所述待检测数据任务配置表信息中待检测Hive表对象对应的目标Hive表名称，根据所述目标Hive表名称获取对应目标Hive表的元数据信息；