[发明专利]一种大数据运行维护分析方法、装置及服务器在审
| 申请号: | 201711484351.4 | 申请日: | 2017-12-29 |
| 公开(公告)号: | CN108197251A | 公开(公告)日: | 2018-06-22 |
| 发明(设计)人: | 宋传园;呙昊甦;缪翎 | 申请(专利权)人: | 百度在线网络技术(北京)有限公司 |
| 主分类号: | G06F17/30 | 分类号: | G06F17/30 |
| 代理公司: | 北京市铸成律师事务所 11313 | 代理人: | 王珺;徐瑞红 |
| 地址: | 100085 北京市*** | 国省代码: | 北京;11 |
| 权利要求书: | 查看更多 | 说明书: | 查看更多 |
| 摘要: | |||
| 搜索关键词: | 运行维护 服务信息 策略模型 集群 大数据 预处理 机器学习算法 策略下发 构建 服务器 采集计算机 预处理操作 整体利用率 集群资源 自动弹性 伸缩 分析 采集 共享 服务 | ||
1.一种大数据运行维护分析方法,其特征在于,
采集计算机集群中各节点的服务信息;
将采集的各节点的所述服务信息进行预处理操作;
采用机器学习算法构建策略模型;
依据所述策略模型,根据预处理后的服务信息,生成运行维护策略;
将所述运行维护策略下发至集群中的各节点进行执行。
2.根据权利要求1所述的方法,其特征在于,将采集的各节点的所述服务信息进行预处理操作,包括:
对所述服务信息进行数据清洗,以过滤掉不符合要求的数据;
对清洗后的服务信息进行数据抽取,以获得所述服务信息的有用特性;
将数据抽取后获得的有用特征进行数据转换,以获得适合于所述策略模型训练的数据类型。
3.根据权利要求1所述的方法,其特征在于,采用机器学习算法构建策略模型,包括:
采集计算机集群中各节点对预处理之前的服务信息的监控数据,以将所述监控数据作为数据样本;
根据所述监控数据,采用机器学习算法构建所述策略模型;
获取人工反馈结果;
根据所述人工反馈结果,对所述策略模型进行优化。
4.根据权利要求2所述的方法,其特征在于,采集计算机集群中各节点的服务信息之后,所述方法还包括:
存储集群中各节点的服务信息;
为所述服务信息提供查询服务,其中所述查询服务包括批量查询服务和实时查询服务。
5.一种大数据运行维护分析装置,其特征在于,包括:
采集模块,配置为采集计算机集群中各节点的服务信息;
预处理模块,配置为将采集的各节点的所述服务信息进行预处理操作;
建模模块,配置为采用机器学习算法构建策略模型;
生成策略模块,配置为依据所述策略模型,根据预处理后的服务信息,生成运行维护策略;
下发策略模块,配置为将所述运行维护策略下发至集群中的各节点进行执行。
6.根据权利要求5所述的装置,其特征在于,所述预处理模块包括:
数据清洗子模块,配置为对所述服务信息进行数据清洗,以过滤掉不符合要求的数据;
数据抽取子模块,配置为对清洗后的服务信息进行数据抽取,以获得所述服务信息的有用特性;
数据转换子模块,将数据抽取后获得的有用特征进行数据转换,以获得适合于所述策略模型训练的数据类型。
7.根据权利要求5所述的装置,其特征在于,所述生成策略模块包括:
采集子模块,配置为采集计算机集群中各节点对预处理之前的服务信息的监控数据,以将所述监控数据作为数据样本;
构建子模块,配置为根据所述监控数据,采用机器学习算法构建所述策略模型;
获取子模块,配置为获取人工反馈结果;
优化子模块,配置为根据所述人工反馈结果,对所述策略模型进行优化。
8.根据权利要求6所述的装置,其特征在于,所述装置还包括:
存储模块,配置为存储计算机集群中各节点的服务信息;
查询模块,配置为为所述服务信息提供查询服务,其中所述查询服务包括批量查询服务和实时查询服务。
9.一种服务器,其特征在于,所述服务器包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。
10.一种计算机可读存储介质,其存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于百度在线网络技术(北京)有限公司,未经百度在线网络技术(北京)有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711484351.4/1.html,转载请声明来源钻瓜专利网。





