[发明专利]服务器故障定位方法方法、装置、设备及介质在审
申请号: | 202011609838.2 | 申请日: | 2020-12-29 |
公开(公告)号: | CN112698977A | 公开(公告)日: | 2021-04-23 |
发明(设计)人: | 黄友俊;李星;吴建平;李川 | 申请(专利权)人: | 下一代互联网重大应用技术(北京)工程研究中心有限公司 |
主分类号: | G06F11/07 | 分类号: | G06F11/07;G06F11/34;G06N3/04;G06N3/08 |
代理公司: | 中科专利商标代理有限责任公司 11021 | 代理人: | 王文思 |
地址: | 100084 北京市海淀区中*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 服务器 故障 定位 方法 装置 设备 介质 | ||
本公开提供一种服务器故障定位方法,包括:获取所述服务器的原始日志数据,提取所述原始日志数据中的纯文本信息;根据所述纯文本信息将所述原始日志数据划分为不同类别的日志事件,并根据所述不同类别的日志事件及所述原始日志数据生成第一日志数据;对所述第一日志数据进行向量化操作,将所述第一日志数据从文本格式转换为向量格式;获取故障问题,根据所述故障问题推导得到所述服务器发生该故障问题的所有可能故障原因,并将所述故障原因转化为故障向量;将所述向量格式的日志数据及所述故障向量输入动态记忆网络模型进行迭代计算,生成情节记忆,根据所述情节记忆生成故障分析结果。本公开还提供一种服务器故障定位装置、设备及介质。
技术领域
本公开涉及智能化运维技术领域,更具体地,涉及一种服务器故障定位方法方法、装置、设备及介质。
背景技术
随着现代服务器系统的日志的数量日益增加,日志数据呈现一种海量的态势。在应对这些海量的日志数据时候,借助于人工检测的传统日志分析方法无法满足现实生产的需要。这种传统日志分析的方法不仅浪费大量的人力,还会造成很多分析错误。
为了解决上述的问题,很多研究人员提出使用数据挖掘技术来实现自动化日志分析的方案,其中典型的方案包括自动化日志分析进行系统异常检测、程序验证和一些保证系统安全的方案。但是由于为了方便开发人员使用并且使得开发人员在开发时候更加灵活,开发人员通常被允许使用自定义的文本信息记录系统信息,也就是说这些从服务器的系统中获取的日志都是无格式的原始数据,其中包含很多干扰日志分析的信息。所以,在进行自动化日志分析之前,首先需要做的就是对这些原始日志数据进行数据解析,去除干扰日志分析的无关信息。
因此,在实现本公开构思的过程中,发明人发现现有技术至少包括以下技术缺陷:从服务器中获取的日志都是无格式的原始数据,其中包含很多干扰日志分析的信息,影响分析结果。大部分服务器日志的数据格式基本都是自然语言格式的文本数据,所以可以利用自然语言处理方面的深度学习模型进行日志分析。但是,由于日志数据都是文本格式,无法输入到深度学习模型进行训练和分析。缺乏一个适用于通过日志数据准确找出服务器故障原因的深度学习模型。通常情况下,深度学习模型通常有大量的权重参数,而权重参数的调节过程比较费时,所以深度学习模型的训练会消耗大量的时间。
发明内容
有鉴于此,本公开提供了一种服务器故障定位方法方法、装置、设备及介质。
本公开的一个方面提供了一种服务器故障定位方法,包括:获取所述服务器的原始日志数据,提取所述原始日志数据中的纯文本信息;根据所述纯文本信息将所述原始日志数据划分为不同类别的日志事件,并根据所述不同类别的日志事件及所述原始日志数据生成第一日志数据;对所述第一日志数据进行向量化操作,将所述第一日志数据从文本格式转换为向量格式;获取故障问题,根据所述故障问题推导得到所述服务器发生该故障问题的所有可能故障原因,并将所述故障原因转化为故障向量;将所述向量格式的日志数据及所述故障向量输入动态记忆网络模型进行迭代计算,生成情节记忆,根据所述情节记忆生成故障分析结果。
根据本公开的实施例,所述根据所述纯文本信息将所述原始日志数据划分为不同类别的日志事件,并根据所述不同类别的日志事件及所述原始日志数据生成第一日志数据包括:基于所述纯文本信息,将每条原始日志数据拆分为多个单词对;基于上述单词对,通过局部搜索策略将所述原始日志数据划分为多个日志数据组,其中,每个日志数据组包含的公共单词对的数量大于预设数值;根据每个日志数据组中的公共单词对生成其对应的日志事件,得生成日志事件列表;将每个日志数据组中各日志数据组标注为该日志数据组对应的日志事件,生成结构化日志列表;根据所述日志事件列表与结构化日志列表生成第一日志数据。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于下一代互联网重大应用技术(北京)工程研究中心有限公司,未经下一代互联网重大应用技术(北京)工程研究中心有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011609838.2/2.html,转载请声明来源钻瓜专利网。