[发明专利]一种众包测试自动化评估方法及装置

说明书

本发明公开了一种众包测试自动化评估方法及装置，自动化评估方法包括：将标准测试用例集中每个标准测试用例均转化为第一关键词集合，将待评估测试用例集中每个待评估测试用例均转化为第二关键词集合；获取第一关键词集合与第二关键词集合的交集，根据交集将每个待评估测试用例映射到唯一对应的标准测试用例；获取第一关键词集合与对应的第二关键词集合的并集，根据并集计算得到每个标准测试用例的得分；计算总得分的平均值，根据平均值对待评估测试用例集进行评估。本发明提供一种众包测试自动化评估方法及装置，以解决现有技术无法准确对众包测试进行评估的技术问题，实现准确地对众包测试自动化评估。

技术领域

本发明涉及软件测试技术领域，尤其是涉及一种众包测试自动化评估方法及装置。

背景技术

在互联网时代，各式各样的软件被开发出来，这些软件无一例外在不同程度上有着缺陷，软件测试的目的是尽可能的在系统上线之前发现这些缺陷，使其能够及时修正从而减小缺陷造成的影响。在传统的软件测试中，少数的测试人员需要对一个软件进行大量测试，这种测试耗费少数人大量的精力，耗时时间长，而且往往具有局限性。众包测试是为了解决传统软件测试耗费时间长，消耗人力物力资源大，测试具有局限性的缺点而衍生出来的测试方法。众包测试成本低廉，通过在众包平台上发布测试任务，用较低的报酬让众包平台上的用户参与到众包测试任务中来，从而有效降低测试成本。在众包平台上的注册用户分布在世界各地，这些互联网人员使用的上网设备、操作系统、编程语言各不相同，对于同一个测试任务，可以发现更多真实环境下软件可能存在的问题，如兼容性问题。利用众包测试收集反馈回来的信息，可以获取到大量软件可能存在的缺陷，进而有针对性的对其进行改进。但是众包测试的低成本也导致了参与众包测试的人员水平参差不齐，某些测试人员会为了快速获得报酬而提交低质量的测试报告，导致测试任务收集到的测试信息质量差，难以用于有针对性地改善软件质量。

本申请的发明人在研究中发现，现有技术通过人工手段对大量的测试用例进行评估，由于测试用例的数量较大且众包测试的参与者可信度没有具体的量化指标，导致无法准确对众包测试进行评估。

发明内容

本发明提供一种众包测试自动化评估方法及装置，以解决现有技术通过人工手段无法准确对众包测试中大量的测试用例进行评估的技术问题，从而实现准确地对众包测试进行自动化评估。

本发明第一实施例提供了一种众包测试自动化评估方法，包括：

将标准测试用例集中每个标准测试用例均转化为第一关键词集合，将待评估测试用例集中每个待评估测试用例均转化为第二关键词集合；

获取每个所述标准测试用例对应的第一关键词集合与每个待评估测试用例所述第二关键词集合的交集，根据所述交集将每个所述待评估测试用例映射到唯一对应的所述标准测试用例；

获取每个所述标准测试用例的第一关键词集合与对应的所述待评估测试用例的第二关键词集合的并集，根据所述并集计算得到每个所述标准测试用例的得分；

根据每个所述标准测试用例的得分计算所有所述标准测试用例的总得分，并计算所述总得分的平均值，根据所述平均值对所述待评估测试用例集进行评估。

进一步地，将标准测试用例集中每个标准测试用例均转化为第一关键词集合，将待评估测试用例集中每个待评估测试用例均转化为第二关键词集合，具体包括：

采用自然语言处理技术将所述标准测试用例集中每个标准测试用例均转化为第一关键词集合；采用自然语言处理技术将待评估测试用例集中每个待评估测试用例均转化为第二关键词集合。

进一步地，所述根据所述交集将每个所述待评估测试用例映射到唯一对应的所述标准测试用例，具体包括：

获取每个所述第一关键词集合与每个所述第二关键词集合的最大交集，将所述最大交集对应的待评估测试用例映射到唯一对应的标准测试用例。