[发明专利]问答系统测试方法、装置、计算机设备和存储介质

权利要求书

1.一种问答系统测试方法，所述方法包括：

接收测试终端发送的原始测试用例，并将所述原始测试用例输入至预先训练得到的语言模型中得到扩展测试用例；

将所述原始测试用例和所述扩展测试用例输入至问答系统中得到对应的系统回复；

从所述原始测试用例和所述扩展测试用例中提取出标准回复；

将所述系统回复和所述标准回复输入至问答系统测试模型中得到测试结果，所述问答系统测试模型是预先根据所述系统回复和标准回复通过梯度下降的方式训练得到的；

所述问答系统测试模型的训练方式包括：

接收测试终端发送的训练测试用例；

将所述训练测试用例输入至预先训练的语言模型中得到与所述训练测试用例对应的新增测试用例；

将所述训练测试用例和所述新增测试用例输入至问答系统得到初始答案；

将所得到的初始答案发送至测试终端，以使得测试终端得到与初始答案对应的标准测试指标；

将初始答案输入至待训练问答系统测试模型中得到待训练测试指标；

根据所述标准测试指标和所述待训练测试指标构建目标损失函数，并通过梯度下降算法得到所述损失函数的最小值；

根据所述损失函数的最小值的对应的损失函数确定问答系统测试模型。

2.根据权利要求1所述的方法，其特征在于，所述将所述原始测试用例输入至预先训练得到的语言模型中得到扩展测试用例，包括：

获取原始测试用例中标签为问题的数据为原始问题，标签为回复的数据为原始回复；

将所述原始问题输入至预先训练得到的语言模型中得到扩展问题；

根据所述扩展问题与对应的所述原始回复得到扩展测试用例。

3.根据权利要求2所述的方法，其特征在于，所述根据所述扩展问题与对应的所述原始回复得到扩展测试用例之后，还包括：

提取所述原始测试用例的业务标识，并根据所述原始测试用例的业务标识生成所述扩展测试用例的业务标识；

所述将所述系统回复和所述标准回复输入至问答系统测试模型中得到测试结果之后，还包括：

根据所述原始测试用例和所述扩展测试用例的业务标识对所述测试结果进行分类；

分别计算每一类测试结果中测试指标计算得到所述业务标识对应的测试结果；

获取所述业务标识对应的测试结果中不符合要求的测试结果，将所述不符合要求的测试结果返回至所述测试终端。

4.根据权利要求3所述的方法，其特征在于，所述将所述不符合要求的测试结果返回至所述测试终端之后，还包括：

接收所述测试终端发送的与所述不符合要求的测试结果对应的优化测试用例；

通过所述优化测试用例对所述问答系统测试模型进行优化。

5.根据权利要求1所述的方法，其特征在于，所述根据所述标准测试指标和所述待训练测试指标构建目标损失函数，包括：

根据业务标识对所述标准测试指标和所述待训练测试指标进行分类；

基于每一类中的所述标准测试指标和所述待训练测试指标构建初始损失函数；

根据各个类对应的初始损失函数得到目标损失函数；

计算所述目标损失函数的最小值，以得到所述初始损失函数对应的参数；

根据所述初始损失函数以及对应的参数得到目标损失函数。