[发明专利]一种智能关联的自适应数据分析方法及装置

说明书

本申请实施例提出了一种智能关联的自适应数据分析方法及装置，包括处理初始高维时间序列得到时序数据，构建每条时序数据相对于与其他时序数据的关联性向量，基于关联性向量构造时间序列关系图模型；对于每一条时序数据关联性向量进行动态异常监测，基于监测结果对关联性向量进行更新；根据关联性向量的更新结果判断是否需要更新关系图模型，如果需要则执行更新关系图模型的操作；基于更新后的关系图模型相应包括聚类和关联时序数据在内的用户查询请求，给出查询结果。根据全局向量和局部向量残差来调整更新速度的策略能对短暂的时序数据异常有较强的抵抗能力，也能对时序数据潜在分布变化有较好的适应力，很好的满足了需求。

技术领域

本申请属于数据挖掘领域，尤其涉及一种智能关联的自适应数据分析方法及装置。

背景技术

随着计算机技术的不断发展，计算机系统朝着不断复杂化的方向发展，伴随着云计算、大数据行业的蓬勃生长，越来越多的企业选择通过购买计算、存储服务的方式完成对于业务的部署。这种现象也导致了服务提供商对系统稳定性的较高要求，一般来说复杂系统在运行过程中往往会出现大量的监控数据，这些数据往往是反映系统运行状态的时间序列数据，以MySQL为例，单机的MySQL数据库在全局维护着300个以上的监控数据，而对于基于MySQL搭建的InnoDB Cluster维护的监控数据，从以往的经验来说，一些计算机、互联网行业的大企业往往会聘请有丰富经验的运维人员手动的对复杂系统进行维护，但是这种经验的可行性正变得越来越低。一方面，随着系统的复杂性不断的增大，人工的完成对系统的维护显得越来越困难。另一方面，雇佣有经验的运维人员需要高昂的成本，这是许多公司无法负担的。在这种环境下智能运维这个概念开始走进人们的视野，智能运维，指的是使用大数据、机器学习技术来支持 IT 运维，机器学习可以处理海量的监控数据并且提供强大的推断能力。目前已经有许多公司和研究机构使用智能运维技术取得了非常显著的进展，包括磁盘故障的预测，微服务故障的定位等等。

如何对于这些时间序列进行有效的关联分析是一个具有挑战性的问题，以往已经有许多关于时间序列聚类、关联分析的方法，但是这些方法往往不适用于实时处理数据的环境，一方面实时数据的处理需要时效性，之前的方法复杂度和存储空间开销往往过高，无法实时地完成时间序列之前关联分析的任务。另一方面，对于长时间时序数据的关联分析，既要考虑局部时序数据的关联性，同时也要考虑到在一个较长的时间段里时序数据的关联性，这是传统静态场景的算法无法做到的。

发明内容

为了解决现有技术中存在的缺点和不足，本申请公开了一种智能关联的自适应数据分析方法，根据全局向量和局部向量残差来调整更新速度的策略能对短暂的时序数据异常有较强的抵抗能力，也能对时序数据潜在分布变化有较好的适应力，很好的满足了需求。

一方面，本实施例提出的一种智能关联的自适应数据分析方法，所述方法包括：

处理初始高维时间序列得到时序数据，构建每条时序数据相对于与其他时序数据的关联性向量，基于关联性向量构造时间序列关系图模型；

对于每一条时序数据关联性向量进行动态异常监测，基于监测结果对关联性向量进行更新；

根据关联性向量的更新结果判断是否需要更新关系图模型，如果需要则执行更新关系图模型的操作；

基于更新后的关系图模型相应包括聚类和关联时序数据在内的用户查询请求，给出查询结果。

可选的，所述方法还包括：

对得到的时序数据进行预处理操作，基于预处理结果进行关联向量计算。

可选的，所述对得到的时序数据进行预处理的操作，包括：

异常监测模型的构造和动态标准化处理。

可选的，所述对于每一条时序数据关联性向量进行动态异常监测，包括：

对时序数据中的极端数据点进行更新；