[发明专利]一种众包测试报告聚合和摘要的方法

说明书

一种众包测试报告聚合和摘要的方法，利用自然语言处理和图片处理的技术，计算测试报告的相似程度，并基于此对测试报告进行层次聚类，展示每个层级聚类的重要信息，最终根据报告的主题特征、开发人员的历史修复记录，自动地把聚类得到的测试报告分配给开发者，以进行测试报告管理和诊断。

技术领域

本发明属于软件工程中程序分析与验证技术领域，尤其是并发软件的分析与验证领域；同时本发明亦属于软件工程中Bug修复验证领域。这些领域主要依托程序静态或动态亦或动静态结合的程序分析技术，对软件的正确性、修复的正确性进行验证。

背景技术

由于众包测试能够提供大量的、不同的、真实场景下的测试结果，众包已经成为一个广受欢迎的移动应用测试方式。和传统的测试方式相比，众包测试通过雇佣许多非专业测试人员的众包工人，在给定的时间内，完成测试任务，并且根据完成的测试任务数量，决定工人报酬。而由于测试报告中存在大量的重复报告，因此需求者通常需要对所有的报告进行诊断。和传统的桌面应用测试相比，移动应用的测试人员更习惯于提交截屏，而不是对异常的文本描述，因此，对移动测试报告的分类、理解和诊断往往非常耗时。

较为广泛使用的Bugzilla和Mantis，都是通过关键词搜索的技术，减少重复报告的数目。然而，由于众包测试报告通常是在有限的时间段内提交的，并且基于多提交报告多报酬的激励，这种基于搜索的特性很少用于众包测试。

目前，在对众包测试进行重复检测的研究工作主要集中在以下三种主要方法:(1)自动聚类测试报告，(2)过滤重复报告，减少测试报告的数量，(3)确定诊断的测试报告优先级。经研究发现，这些不能在重复集群中利用的测试报告信息，对于提供报告理解和调试的额外信息非常有用。基于这些研究基础，本文提出一种众包测试报告聚合和摘要的方法。

发明内容

本发明所要解决的技术问题是：一种众包测试报告聚合和摘要的方法，利用自然语言处理和图片处理两个方面，检测测试报告的重复性并对其进行聚类。

本发明的技术方案为：一种众包测试报告聚合和摘要的方法，利用自然语言处理和图片处理的技术，计算测试报告的相似程度，并基于此对测试报告进行层次聚类，展示每个层级聚类的重要信息，最终根据报告的主题特征、开发人员的历史修复记录，自动地把聚类得到的测试报告分配给开发者，以进行测试报告管理和诊断，包括以下步骤：

1)一种众包测试报告聚合和摘要的方法，定义了一些名词帮助理解和表达：

聚合报告：相似和重复报告集群，总结性的展示最为相关或最为一致的细节；

主报告：能最好地代表一个集群特征的一份测试报告；

补充点：测试报告子群，拥有主报告中没有包含的特征或者主题。

2)对于大量测试报告的重复性检测。由于移动应用众包测试的报告是由文本描述和异常截图组成的，因此，重复报告的检测工作由文本相似性和图片相似性两个部分组成。在文本相似性部分，使用自然语言技术(NLP)处理，从词性标注、停用词删除和相似性计算这三步完成。在图的相似性部分，使用空间金字塔匹配(SPM)算法，提取尺度不变量特征变换 (SIFT)特征，计算卡方距离。文本和图片的双重检测，精确了测试报告的重复性检测，为测试报告的聚类提供基础。

3)确定一个聚类集群的主要报告，并从重复的报告中提取补充的主题。基于重复报告检测中生成的距离矩阵，在聚合的过程，使用网页排名(PageRank)算法来度量集群中每个测试报告的重要性，以进一步确认主报告。