[发明专利]一种大数据运行维护分析方法、装置及服务器

说明书

本发明提出一种大数据运行维护分析方法、装置及服务器，所述方法包括：采集计算机集群中各节点的服务信息；将采集的各节点的所述服务信息进行预处理操作；采用机器学习算法构建策略模型；依据所述策略模型，根据预处理后的服务信息，生成运行维护策略；将所述运行维护策略下发至集群中的各节点进行执行。上述技术方案可以实现：采用机器学习算法构建策略模型，以使得所述策略模型根据预处理后的服务信息，生成运行维护策略，并将所述运行维护策略下发至集群中的各节点进行执行，由于所下发的策略是根据集群中各节点的服务信息得到的，因此可以使各大数据服务之间的资源做到自动弹性的伸缩和共享，提高集群资源的整体利用率。

技术领域

本发明涉及大数据运行维护技术领域，具体为一种大数据运行维护分析方法、装置及服务器。

背景技术

随着我国信息化程度的提高，各类数据中心不断涌现，相应地，IT运行维护的数据量也成几何速度上升。在IT运行维护监控领域，一个有效的运行维护系统能帮助运行维护人员及时发现系统故障的隐患。运行维护系统需要包括指标数据的采集、展示，再到数据分析等，各个环节的设计要保障高效稳定，这在大数据运行维护系统中尤为重要。

传统的运行维护分析系统仅针对单一的数据统计项进行管理，根据单一数据统计项进行统计分析。例如，仅针对单一数据统计项设定阈值，根据该数据统计项是否达到阈值来下发运行维护管理策略；再例如，仅根据网络日志的记载来下发运行维护策略。这种方式忽略了数据之间的关联关系，导致集群资源的整体利用率较低。

发明内容

本发明实施例提供一种大数据运行维护分析方法、装置及服务器，以至少解决现有技术中的以上技术问题。

第一方面，本发明实施例提供了一种大数据运行维护分析方法，包括：

采集计算机集群中各节点的服务信息；

将采集的各节点的所述服务信息进行预处理操作；

采用机器学习算法构建策略模型；

依据所述策略模型，根据预处理后的服务信息，生成运行维护策略；

将所述运行维护策略下发至集群中的各节点进行执行。

结合第一方面，本发明在第一方面的第一种实施方式中，

将采集的各节点的所述服务信息进行预处理操作，包括：

对所述服务信息进行数据清洗，以过滤掉不符合要求的数据；

对清洗后的服务信息进行数据抽取，以获得所述服务信息的有用特性；

将数据抽取后获得的有用特征进行数据转换，以获得适合于所述策略模型训练的数据类型。

结合第一方面的第一种实施方式，采用机器学习算法构建策略模型，包括：

采集计算机集群中各节点对预处理之前的服务信息的监控数据，以将所述监控数据作为数据样本；

根据所述监控数据，采用机器学习算法构建所述策略模型；

获取人工反馈结果；

根据所述人工反馈结果，对所述策略模型进行优化。

结合第一方面，本发明在第一方面的第二实施方式中，采集计算机集群中各节点的服务信息之后，所述方法还包括：

存储集群中各节点的服务信息；

为所述服务信息提供查询服务，其中所述查询服务包括批量查询服务和实时查询服务。

第二方面，本发明实施例提供了一种大数据运行维护分析装置，包括：

采集模块，配置为采集计算机集群中各节点的服务信息；