[发明专利]一种集群数据异常检测方法及电子设备

说明书

本申请提供一种集群数据异常检测方法，包括：基于应用集群的配置信息确定应用集群与存储资源池的映射关系；基于所述映射关系生成不同应用集群在不同存储资源池的分组信息；基于所述分组信息对不同应用集群的关键存储指标进行聚合，确定不同应用集群在不同存储资源池的阈值策略；基于所述阈值策略在对应时间窗口内对目标对象的性能进行异常检测，所述目标对象包括各应用集群或各应用集群中各应用服务器中的至少一个。同时，本申请还提供一种电子设备。

技术领域

本申请涉及数据处理技术，尤其涉及一种集群数据异常检测方法及电子设备。

背景技术

在云平台或虚拟化平台中面向存储系统的运维活动中，往往会因为某些应用或者系统产生的负载过大而造成存储系统出现资源竞争，导致存储平台性能下降。例如对于大数据集群来说，往往单一节点负载波动有限，但是集群累积之后负载过大，观察更加困难，导致在存储平台性能异常时不能识别是哪个应用集群或数据集群导致的异常。

发明内容

有鉴于此，本申请实施例期望提供一种集群数据异常检测方法及电子设备。

为达到上述目的，本申请的技术方案是这样实现的：

根据本申请的一方面，提供一种集群数据异常检测方法，包括：

基于应用集群的配置信息确定应用集群与存储资源池的映射关系；

基于所述映射关系生成不同应用集群在不同存储资源池的分组信息；

基于所述分组信息对不同应用集群的关键存储指标进行聚合，以得到不同应用集群在不同存储资源池的阈值策略；

基于所述阈值策略在对应时间窗口内对目标对象的性能进行异常检测，所述目标对象包括各应用集群或各应用集群中各应用服务器中的至少一个。

上述方案中，所述基于所述阈值策略在对应时间窗口内对目标对象的性能进行异常检测，包括以下之一：

基于所述阈值策略在对应时间窗口内对各应用集群在历史时间窗口内的特定存储指标进行异常检测，所述特定存储指标包括各应用集群与各集群内节点之间的输入输出带宽流量和每秒读写操作的次数中的至少一个；

基于所述阈值策略在对应时间窗口内对各应用集群在历史时间窗口内的节点相关性存储指标进行异常检测；所述节点相关性存储指标包括各集群内节点间的输入输出带宽流量、各集群内节点间的流量节点数量、各集群内节点间的链路数量中的至少一个。

上述方案中，所述基于所述阈值策略在对应时间窗口内对各应用集群在历史时间窗口内的节点相关性存储指标进行异常检测，包括：

对历史时间窗口内各集群内节点的节点相关性存储指标的数据进行处理，得到各滑动窗口中的指标数据；

基于各集群内节点和各所述指标数据得到不同应用集群的指标相关性系数；

基于所述阈值策略将满足目标条件的指标相关性系数所对应的应用集群确定为异常应用集群，所述目标条件表征集群内节点之间指标相关系数较弱。

上述方案中，所述方法还包括：

如果检测结果表征至少一个目标对象存在性能异常，输出报警信息。

上述方案中，所述检测结果表征至少一个目标对象存在性能异常，包括：

获取历史时间窗口内各目标对象的特征聚合数据；

如果所述特征聚合数据的目标值超出边界阈值，确定所述至少一个目标对象存在性能异常；

所述目标值用于反映所述特征聚合数据的数据特性。

上述方案中，所述基于所述分组信息对不同应用集群的关键存储指标进行聚合，以得到不同应用集群在不同存储资源池的阈值策略，包括：