[发明专利]一种语义相似性分析方法及深度神经网络训练方法

说明书

本发明提供一种语义相似性分析方法及深度神经网络训练方法，用于分析原文本与基于所述原文本自动生成的文本测试用例，包括以下步骤：S1：语义分析，结合编辑距离和提取特征获取所述文本测试用例与所述原文本的相似度分数；S2：语法分析，获取所述文本测试用例的困惑度分数。应用本发明的方法，可以解决当前自动生成测试用例误报警率高，影响深度神经网络训练效果的技术问题，实现更好的模型性能。

技术领域

本发明涉及深度神经网络训练领域，尤其涉及一种语义相似性分析方法及深度神经网络训练方法。

背景技术

如今，深度神经网络(DNN，Deep Neural Networks)被大量用于自然语言处理(NLP，Natural Language Processing)的应用中，但由于DNN的低可靠性，为了保证实际应用中的效果，经常需要设计大量测试用例。然而，手动构造测试用例需求大量人工及时间，因此研究者们已经提出了各种自动化测试技术来提高NLP应用的可靠性。理论上，这些技术大部分会基于现有的测试用例(通常是文本-标签对)做变换，并假设通过变换后生成的文本保留了完全一致或至少相似的语义，进而能够保持相同的标签，然而现有技术还存在高误报率和低质量的测试用例的问题。

评估研究发现，现有技术中，最先进的测试方法生成的测试用例中，有44％是误报警。这些测试用例会占用大量的人工检查时间，并且当他们被包含在DNN模型迭代训练中时，他们甚至会降低模型的能力。现有的检测语义相似度的方法很难在这个场景上准确地检测语义相似性。因此，现有自动化测试技术中存在自动生成的测试用例误报警率高，影响深度神经网络训练效果的技术问题。这些误报实例若加入模型训练过程中则会对模型性能产生负面影响。

发明内容

针对现有技术中存在的不足之处，本发明提出了一种语义相似性分析方法及深度神经网络训练方法，解决了当前自动生成测试用例误报警率高，影响深度神经网络训练效果的技术问题。

为了实现上述目的，本发明采用如下技术方案：

一种语义相似性分析方法，用于分析原文本与基于所述原文本自动生成的文本测试用例，包括以下步骤：

S1：语义分析，结合编辑距离和提取特征获取所述文本测试用例与所述原文本的相似度分数；

S2：语法分析，获取所述文本测试用例的困惑度分数。

进一步地，步骤S1和步骤S2中均包含以下步骤：在分析前，对需要分析的文本进行分词处理。

进一步地，步骤S1包括以下步骤：

S1-1：接收所述原文本与所述文本测试用例，将编辑距离算法应用于所述原文本与所述文本测试用例，分别将两个文本中与对方不一致的字段及其前后特定数量的词语提取出来作为一个小短句；

S1-2：对所有所述小短句，分别计算其上下文相关特征，得到每一个小短句的向量化表示；

S1-3：计算所述文本测试用例的小短句与所述原文本的小短句的第一余弦相似度，以及所述文本测试用例与所述原文本的第二余弦相似度；

S1-4：获取所有所述第一余弦相似度中最小的余弦相似度，计算所有所述第一余弦相似度的平均余弦相似度，最后和所述第二余弦相似度进行加权求和(权重由在不同数据集MR、Yelp、SNLI、MNLI、QQP上的实验结果总结得出)，得到相似度分数。

进一步地，步骤S1-3具体包括以下步骤：

S1-3-1：将所述原文本中某一小短句的上下文相关特征记为a，将所述文本测试用例中与a相对应的小短句的上下文相关特征记为b，计算第一余弦相似度，并对所有小短句都进行本操作，计算公式为：