[发明专利]一种健康数据指标的异常检测方法及系统

权利要求书

1.一种健康数据指标的异常检测方法，其特征在于，包括以下步骤：

步骤S1，采集待检测的各应用、各数据库、硬件及系统的健康数据指标；将所述健康数据指标进行清洗并存储数据库；其中，所述健康数据指标至少包括运行状态数据和运行性能数据；

步骤S2，根据用户需求生成对应的数据计算任务，根据所述数据计算任务对存储于数据库中的健康数据指标进行处理，获得实时健康数据指标；

步骤S3，将所述实时健康数据指标输入预设的异常检测的学习模型进行训练，生成异常检测模型，通过异常检测模型检测实时健康数据指标，输出异常检测结果。

2.如权利要求1所述的方法，其特征在于，所述步骤S1中，将所述健康数据指标进行清洗，具体包括：

根据每个变量预设的合理阈值范围和各变量之间的对应关系，检查健康数据指标是否符合要求，若健康数据指标中某一变量不符合要求，则对不符合要求的变量进行修复；

其中，当检查到健康数据指标中某一变量存在值缺失时，则关联数据源推导出来对应变量值用于代替缺失的变量；

当检查到健康数据指标中某一变量存在重复记录时，则将相同的重复记录合并为一条记录。

3.如权利要求2所述的方法，其特征在于，所述步骤S2中，根据用户需求生成对应的数据计算任务，具体包括：

当用户需求为需要对数据源按照时间发生顺序被计算，且数据需要持续进行计算时，生成实时计算任务；

当用户需求为需要对数据源进行复杂分析处理且对时延不敏感时，生成离线计算任务；

当用户需求为需要对数据源根据业务维度切分计算时，生成分流计算任务；

当用户需求为需要对多个数据源节点合并成为一个进行计算时，生成合流计算任务。

4.如权利要求3所述的方法，其特征在于，所述步骤S2中，根据所述数据计算任务对所述健康数据指标进行处理，具体包括：

当生成实时计算任务时，识别有新的健康数据指标进入计算序列，立刻发起并进行一次实时计算任务；

当生成离线计算任务时，将健康数据指标输出至计算终端进行离线计算，返回计算结果；

当生成分流计算任务时，将健康数据指标根据业务维度切分成若干数据结构相同的结果数据表；

当生成合流计算任务时，将表结构相同的健康数据指标合并成为一个结果数据表。

5.如权利要求4所述的方法，其特征在于，所述步骤S2还包括：

根据预设的异常监控策略对数据的质量进行监控，并根据检测结果发送告警信息；

其中，当数据源持续一段时间内没有数据上报或者清洗、入库或计算任务持续一段时间没有数据输出时，判定数据源无数据，调用对应异常监控策略进行监控；

当数据在流转或处理过程中不符合计算逻辑或格式错误而主动丢弃时，判定数据无效，调用对应异常监控策略进行监控；

当数据源、清洗、入库和计算任务的数据量相对于上一周期同比减少或增长超过预设的比例时，判定数据波动，调用对应异常监控策略进行监控；

当数据在流转或处理过程中，数据本身的时间相对于本地时间存在延迟时，判定数据时间延迟，调用对应异常监控策略进行监控；

当数据在流转或处理过程中，处理数据的时间相对于本地时间存在延迟时，判定处理事件延迟，调用对应异常监控策略进行监控；

当清洗、入库和计算任务在执行过程中被中断或无法跟踪任务执行情况时，判定数据中断，调用对应异常监控策略进行监控；

当数据在接入、清洗、入库和计算的过程中，任意一个环节的任务出现异常时，判定任务异常，调用对应异常监控策略进行监控。