[发明专利]基于轨迹日志学习的微服务潜在错误与故障根源预测方法

说明书

本发明属于软件工程技术领域，具体为一种基于轨迹日志学习的微服务潜在错误与故障根源预测方法。本发明方法包括离线训练和在线预测两部分；离线训练部分通过运行微服务应用及其经故障注入得到的故障版本获得大量的轨迹日志，在此基础上通过特征抽取和机器学习获得微服务潜在错误与故障根源预测模型；在线预测部分持续收集运行中的微服务应用执行轨迹日志，抽取特征后利用训练好的预测模型预测潜在错误、故障类型以及故障所在的微服务。

技术领域

本发明属于软件工程技术领域，具体涉及微服务应用的轨迹日志分析以及基于机器学习的错误和故障预测方法。

背景技术

微服务架构具有更快的交付速度、更好的可扩展性和更大的自主性等优点，已成为构建云计算应用程序的最新趋势。许多互联网服务都是基于微服务架构构建的。这些微服务系统通常有几十到数千个微服务实例运行在数百到数万台机器上。在生产环境中，微服务应用程序的运行通常是比较脆弱的，通常由于基础设施（如网络、硬件）问题或应用程序问题而发生运行时故障，并且在测试环境中重现和诊断这些微服务应用程序故障是很困难的。应用程序故障传统上依赖开发人员通过代码检查、测试和调试来检测和修复。然而，由于复杂和动态的交互和运行时环境，微服务应用程序故障原因变得很复杂。一个微服务可以有几个到几千个实例，根据缩放要求动态创建和销毁。这些实例通常在复杂的环境配置下运行，例如微服务和容器的内存/CPU限制等等。微服务应用程序通常具有复杂的调用链，每个调用链涉及多到几十个微服务调用，其中大多数是异步的。不正确的环境配置、微服务实例的协调以及异步交互都有可能导致运行时故障。

发明内容

本发明的目的是提供一种基于轨迹日志机器学习的微服务潜在错误与故障根源预测方法，从而在运行时针对每一个收集到的微服务应用轨迹实例进行预测，判断其是否包含潜在的错误并对其故障进行诊断（包括故障类型及其所在的微服务）。

本发明提供的基于轨迹日志学习的微服务潜在错误与故障根源预测方法，包括离线训练和在线预测两部分，如图1所示。所述离线训练部分，通过运行微服务应用及其经故障注入得到的故障版本获得大量的轨迹日志，在此基础上通过特征抽取和机器学习获得微服务潜在错误与故障根源预测模型；所述在线预测部分，持续收集运行中的微服务应用执行轨迹日志，抽取特征，然后利用训练好的预测模型预测潜在错误、故障类型以及故障所在的微服务。

本发明中，所述预测模型融合了执行轨迹（trace）和微服务（microservice）两个层次的预测，如图2所示。其中，轨迹层次包括三个模型，即LE模型（用于预测潜在错误）、FM模型（用于预测故障微服务）、FT模型（用于预测故障类型）；微服务层次包含一个模型（MS模型），用于直接预测每个微服务是否包含故障及其故障类型。所有四个预测模型都是分类模型。轨迹层次的三个模型在训练和预测时都将所给的轨迹实例作为整体，其中：LE模型是一个二元分类模型，将一个轨迹实例分类为包含潜在错误和不包含潜在错误两类；FM模型是一个多标签分类模型，将一个轨迹实例中包含的一个或多个微服务预测为有故障的；FT模型是一个多标签分类模型，预测一个轨迹实例中所包含的一个或多个故障类型。微服务层次的模型（MS模型）针对所给的轨迹实例中涉及的微服务分别进行训练和预测，该模型是一个单标签分类模型，预测一个微服务的故障状态（无故障或者某种故障类型）。

两个层次的预测模型在使用时按照如下方式组合：首先使用轨迹层次的LE模型预测当前微服务运行轨迹是否存在潜在错误；如果LE模型预测结果置信度达到阈值（一般取值0.6-0.8），那么继续使用轨迹层次的FM模型和FT模型分别预测故障所在的微服务及其类型；置信度未达到阈值的，改为使用微服务级别模型（MS模型）进行预测。

本发明中，离线训练部分具体步骤如下：