[发明专利]一种利用图分析的Hadoop系统异常原因诊断方法及装置

说明书

本发明涉及一种利用图分析的Hadoop系统异常原因诊断方法及装置，其中方法包括：步骤S1：导入异常日志文件，并获取文件中的异常日志信息；步骤S2：基于异常日志信息，获取调用栈里面的函数调用关系，并结合先验知识绘制错误堆栈的调用关系图模型，其中调用关系图模型包括多个用于表示根本原因的第一类节点和多个用于表示调用栈中涉及函数的第二类节点，以及用于表示函数之间调用关系的第一类边和用于表示函数和根本原因关联关系的第二类边；步骤S3：获得待诊断的异常记录，提取其涉及的函数，并基于调用关系图模型输出导致异常的根本原因同时增量更新调用关系图模型。与现有技术相比，本发明具有可以实现可视化的异常根本原因分析等优点。

技术领域

本发明涉及一种异常诊断技术，尤其是涉及一种利用图分析的Hadoop系统异常原因诊断方法及装置。

背景技术

随着IT系统的规模及其复杂度的不断增加，系统运维所需的人力成本与物力成本也随之增加，甚至会超过系统的构建成本。因此，自动化、智能化的运维系统不但能提高系统的可靠性与使用效率，同时也将大幅度的节约运维成本。系统的稳定运行依赖系统内各个组件的相互协作和正常运行，而系统日志数据非常有效地记录了关于系统运行期间各个组件的运行状态，所以，分析日志数据有助于帮助运维人员了解系统的运行状态，从而实现智能运维。现目前智能运维关注的主要是三个方面的内容：异常检测、异常预测和异常原因分析。其中异常检测和异常预测借助于现有的成熟机器学习技术加之很少的先验知识都能实现比较好的自动化和智能化，唯独异常原因分析在发现了异常之后由于涉及到进一步的推理工作，导致现目前无论在工业界还是学术界都没有能用较少的领域知识就能很好的进行自动化智能化分析的方法。实际应用中也主要依靠的是运维人员丰富的领域知识和项目经验来进行人工的分析，所以效率通常较低。并且一旦涉及到多组件异常的原因分析难度将会大幅度增加，所以一直是研究和应用的热点和难点。

根本原因分析(Root Cause Analysis，RCA)是一种结构化的问题处理方法，用以逐步找出问题的根本原因并协助解决，而不是仅仅关注问题的表征。在IT系统内，异常根本原因分析能够有效地帮助系统运维人员发现系统问题的症结，并找出根本性的解决方案，可以有效的提高系统运维质量。其中单组件异常的分析相对于多组件的异常分析显得更加简单和高效，多组件的异常分析，因为不仅涉及到组件内部异常之间关联的分析还涉及到不同组件之间的关联分析，所以实际推理难度更大，要做到实时有效的根本原因分析显得非常难。

现有的根本原因分析方法主要包括四种，分别是建立因果图，头脑风暴法，基于鱼骨图的因果分析，基于WHY-WHY图的因果分析。但这些方法在针对IT系统中的多组件异常的根本原因分析都显得不够有效，所以在此发明当中提出一种新的方法来进行IT系统中多组件的异常根本原因分析。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种利用图分析的Hadoop系统异常原因诊断方法及装置。

本发明的目的可以通过以下技术方案来实现：

一种利用图分析的Hadoop系统异常原因诊断方法，包括：

步骤S1：导入异常日志文件，并获取文件中的异常日志信息；

步骤S2：基于异常日志信息，获取调用栈里面的函数调用关系，并结合先验知识绘制错误堆栈的调用关系图模型，其中所述调用关系图模型包括多个用于表示根本原因的第一类节点和多个用于表示调用栈中涉及函数的第二类节点，以及用于表示函数之间调用关系的第一类边和用于表示函数和根本原因关联关系的第二类边；

步骤S3：获得待诊断的异常记录，提取其涉及的函数，并基于调用关系图模型输出导致异常的根本原因。

所述第一类边和第二类边均为有向线段，且所述第一类边的箭头指向被调用的函数。

所述步骤S3具体包括：