[发明专利]一种基于机器学习和文本分类的服务故障定位方法及装置在审
申请号: | 202110392903.9 | 申请日: | 2021-04-13 |
公开(公告)号: | CN113094198A | 公开(公告)日: | 2021-07-09 |
发明(设计)人: | 许璟亮;廖鸿存;皇甫晓洁;周魁 | 申请(专利权)人: | 中国工商银行股份有限公司 |
主分类号: | G06F11/07 | 分类号: | G06F11/07;G06N20/00;G06N3/04;G06N3/08;G06F40/279;G06K9/62 |
代理公司: | 北京三友知识产权代理有限公司 11127 | 代理人: | 任默闻;王涛 |
地址: | 100140 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 机器 学习 文本 分类 服务 故障 定位 方法 装置 | ||
1.一种基于机器学习和文本分类的服务故障定位方法,其特征在于,该方法包括:
抽取运维数据;
根据所述运维数据实时获取集群日志数据及时序运行数据;
根据所述集群日志数据进行故障日志解析,得到服务运行时的监控指标,并根据服务执行的起止日志信息,得到服务执行耗时指标;
根据所述时序运行数据,得到容器级和服务级的资源监控指标;
根据所述服务运行时的监控指标、服务执行耗时指标及资源监控指标,利用故障判断模型对故障根因进行分析判断,得到故障根因分析结果;
根据所述故障根因分析结果,利用自然语言分类算法解析日志信息中的错误字段信息,对故障根因进行定位。
2.根据权利要求1所述的基于机器学习和文本分类的服务故障定位方法,其特征在于,抽取的运维数据至少包括:应用信息、节点信息及日志信息;
该方法还包括:
对所述应用信息、节点信息及日志信息进行格式化处理。
3.根据权利要求2所述的基于机器学习和文本分类的服务故障定位方法,其特征在于,根据所述运维数据实时获取集群日志数据及时序运行数据,包括:
实时获取日志信息流入并存储到ES集群,得到集群日志数据;
实时获取运行容器CPU、内存及磁盘IO信息。
4.根据权利要求1所述的基于机器学习和文本分类的服务故障定位方法,其特征在于,服务运行时的监控指标至少包括:请求书、请求成功率、请求正确率、请求响应时间及错误信息。
5.根据权利要求3所述的基于机器学习和文本分类的服务故障定位方法,其特征在于,所述容器级和服务级的资源监控指标至少包括:容器CPU、容器内存及宿主机IO在内的资源监控指标。
6.根据权利要求1所述的基于机器学习和文本分类的服务故障定位方法,其特征在于,根据所述服务运行时的监控指标、服务执行耗时指标及资源监控指标,利用故障判断模型对故障根因进行分析判断,得到故障根因分析结果,包括:
利用机器学习中机器学习中的朴素贝叶斯分类算法构建故障判断模型,将服务运行时的监控指标、服务执行耗时指标及资源监控指标的历史数据作为输入特征,将判断结果作为输出特征,对故障判断模型进行训练;其中,所述故障判断模型是有监督的机器学习模型,用于进行多因子预测模型判断;
将新产生的服务运行时的监控指标、服务执行耗时指标及资源监控指标作为输入特征,利用故障判断模型进行故障判断,得到故障发生概率。
7.根据权利要求6所述的基于机器学习和文本分类的服务故障定位方法,其特征在于,该方法还包括:
在模型判断故障发生概率大于预设值时,辅助进行CPU、内存、服务执行成功率的矫正判断,得到矫正后的故障根因分析结果。
8.根据权利要求4所述的基于机器学习和文本分类的服务故障定位方法,其特征在于,根据所述故障根因分析结果,利用自然语言分类算法解析日志信息中的错误字段信息,对故障根因进行定位,包括:
将历史错误信息作为输入值进行数据标注,构建浅层网络模型;
将新的错误信息输入至所述浅层网络模型,采用浅层网络模型的自然语言分类算法解析日志信息中的错误字段,得到分类判断结果,对故障根因进行定位。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国工商银行股份有限公司,未经中国工商银行股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110392903.9/1.html,转载请声明来源钻瓜专利网。