[发明专利]一种基于tf-idf和倒排索引的众测助理实现方法

说明书

本发明提出了一种基于tf‑idf和倒排索引的众测助理实现方法。数据采集阶段，从百度问答中爬取问答数据集，在爬取过程中进行筛选；数据预处理阶段，对每一个问题进行分词，并计算每一个词的频率，获得每个句子的tf‑idf向量表示；输入预处理阶段，对用户的输入进行分词，若涉及到不合适的词，如敏感词，政治词，则不予返回，将用户的输入去除停用词后转化为tf‑idf向量表示；答案返回阶段，利用倒排索引获得与输入相关的候选问题，计算输入与候选问题的相似度，并将相似度最高的k个问题的答案返回给用户作为结果。本发明利用倒排索引的思想加快了查找相似问题的效率，能应对问答对增加带来的内存爆炸问题。

技术领域

本发明属于众包测试领域，尤其涉及一种基于tf-idf和倒排索引的众测助理实现方法。

背景技术

随着互联网技术的发展，使得雇佣不同平台，不同位置的测试人员成为可能。众包测试作为测试领域的新兴趋势，充分利用了众包和云平台的优势。它可以扩展测试池，避免了内部测试人员的偏见性，且产品公司只为报告的有效漏洞付费，降低了测试的成本。

在传统的测试领域，要求测试人员具有较为专业的能力素质，包括测试技术，领域知识，甚至是相关经验等。众测平台降低了测试准入门槛，却带来了更大的不确定性，由于众测成员能力参差不齐，这给众测任务的高质量完成带来了挑战。如何平衡测试人员的测试技能，发现更多有效的漏洞，提高软件的质量，面临着巨大的挑战。

当前的解决方法集中于为测试人员进行评分，绘制测试人员的能力记录，信用记录。根据用户历史完成情况判断其测试技术；同时，对每一个测试任务划分其测试难度，选择特定的调度算法，将合适的任务分配给合适的测试对象。然而这不能解决非专业测试人员经常提交无效、重复的漏洞。通过构建测试领域的问答机器人，实现人机协同-反馈机制，形成兼具机器高效性和人工领域特性的人工协同测试技术，深层次泛化和延伸众包测试的内涵，从而为获得高质量测试结果提供全面支持。

发明内容

本发明目的在于提供一种基于tf-idf和倒排索引的众测助理实现方法,以解决众测成员能力参差不齐，软件质量低的技术问题。

为解决上述技术问题，本发明的具体技术方案如下：

一种基于tf-idf和倒排索引的众测助理实现方法，其特征在于，包括以下步骤：

步骤1、数据采集，从互动平台爬取问答对，在爬取的过程中进行筛选；

步骤2、数据预处理，分词后去除停用词，构建每个词的倒排索引表，计算出每个词的频率，将每个问题表示为tf-idf向量，并用三元组存储向量；

步骤3、输入预处理，将输入分词后，在没有敏感词的情况下，计算得到输入的tf-idf向量表示；

步骤4、答案返回，利用倒排索引表获得与输入相关的候选问题，利用余弦定理计算候选问题与输入的相似度，返回相似度最高的k个问题的答案。

进一步的，步骤1中爬取的过程中进行筛选的方法包括以下步骤：

步骤1.1、去掉与测试无关的问答对，仅保留与测试相关的问答对；相关性的度量通过是否包含测试领域关键词来判断，若包含测试领域关键词则具有相关性；测试领域关键词通过从测试能力答题网站，测试书籍，百科类知识中人工获取；

步骤1.2、去掉涉及敏感词的问答对。

进一步的，步骤2具体包括以下步骤：

步骤2.1、分词，去除停用词；

步骤2.2、构建倒排索引表，以每个词作为键，涉及到该词的问题作为值构建表，通过词索引到与该词相关的所有问题；

步骤2.3、计算出每一个词的出现频率和每一个词在问题中的逆文本频率指数；