[发明专利]用于失败代码验证的测试结果分类

说明书

在本文中公开了用于对失败代码验证的测试结果进行分类的系统、方法和软件。接收指示在客户端设备中执行的失败代码验证的测试结果。根据所述测试结果来生成指示在所述失败代码验证期间发生的一种或多种失败模式的失败数据。通过将所述一种或多种失败模式中的每种失败模式与先前识别出的失败模式进行比较，来确定与所述一种或多种失败模式中的每种失败模式相关联的后续动作。基于确定出的与所述一种或多种失败模式中的每种失败模式相关联的后续动作，来向所述客户端设备传送指令。

技术领域

本公开的各方面涉及计算硬件和软件技术，并且具体涉及对失败代码验证的测试结果进行分类。

背景技术

诸如计算机、平板计算机、移动电话、可穿戴设备等现代电子设备已经成为现代生活中的常见部分。电子设备的许多用户常规地利用各种类型的软件应用进行商业和个人活动。软件应用的示例能够包括文字处理器、电子表格应用、电子邮件客户端、笔记软件、演示应用、游戏、计算软件等。这些软件应用还能够被用于执行计算、产生图表、组织数据、接收和发送电子邮件、与他人实时通信等。软件应用的范围能够从简单的软件到非常复杂的软件。

对复杂软件的开发常常由软件开发人员的团队来执行。当已经添加或修改软件代码时，测试通常是针对受控的环境来运行的。这些测试提供关于代码的输出是否符合预期和可重复的反馈。如果测试通过，则测试指示代码没有问题。如果测试未通过，则测试指示代码包含错误。

在许多情况下，测试可能由于与可能代码配置无关的未确定的原因而失败，诸如延迟的虚拟机、网络连接不良、超时、安全验证失败等。这些不确定性测试(也被称为片状(flaky)测试)通常需要大量的开发人员资源来调查和分类在测试期间发生的失败。此外，测试失败通常包括需要不同响应的多种不同的失败模式。例如，一种失败模式可能是网络连接不良的结果，这仅需要重试所述测试。然而，另一种失败模式可能是硬失败的结果，这不应当重试。

这个问题的先前解决方案包括维护关于测试是否具有基本的非确定性状态(即，片状状态)的基本数据。然而，该解决方案不提供关于不同失败模式的任何反馈。这些失败模式中的每种失败模式都可能具有根本原因。然而，在开发人员手动地解析代码并且确定测试失败时代码没有问题之前，不会将测试确定为非确定性的。遗憾的是，先前的解决方案需要许多资源来仅确定测试是非确定性的，而没有关于各种失败模式是什么的任何额外信息，更不用说如何响应各种失败模式。

此外，先前的解决方案对具有相同名称的所有测试用例相同地处置。当在各种环境中运行具有相同名称的测试用例时，这会非常低效。例如，在操作系统(OS)上运行的测试用例与在中央处理单元(CPU)架构上运行的具有相同名称的测试用例通常具有不同的失败模式。遗憾的是，对于具有相同名称但是在不同环境中运行的测试用例，先前的解决方案并不将这些失败模式视为不同的。这限制了应用在调查和响应失败的代码测试时增强开发人员的经验的能力。

发明内容

在本文中公开了改善对失败代码验证的测试结果进行分类的增强系统、方法和软件。接收指示在客户端设备中执行的失败代码验证的测试结果。根据所述测试结果来生成指示在失败代码验证期间发生的一种或多种失败模式的失败数据。然后，通过将一种或多种失败模式中的每种失败模式与先前识别出的失败模式进行比较，来确定与所述一种或多种失败模式中的每种失败模式相关联的后续动作。基于确定出的与所述一种或多种失败模式中的每种失败模式相关联的后续动作，来向客户端设备传送指令。

提供本概述以介绍对在下文的详细描述中进一步描述的简化形式的概念的选择。本概述并不意图识别所要求保护的主题的关键特征或必要特征，也并不旨在用于限制所要求保护的主题的范围。示例的额外方面、特征和/或优点将部分地在随后的描述中进行阐述，并且部分地将从所述描述变得明显，或者可以通过对本公开的实践而获悉。

附图说明

参考以下附图能够更好地理解本公开的许多方面。尽管结合这些附图描述了若干实现方式，但是本公开并不限于在本文中所公开的实现方式。相反，其意图是涵盖所有替代、修改和等效物。