[发明专利]问答系统测试方法、装置、计算机设备和存储介质

说明书

本申请涉及测试领域，尤其是一种问答系统测试方法、装置、计算机设备和存储介质。所述方法包括：接收测试终端发送的原始测试用例，并将所述原始测试用例输入至预先训练得到的语言模型中得到扩展测试用例；将所述原始测试用例和所述扩展测试用例输入至问答系统中得到对应的系统回复；从所述原始测试用例和所述扩展测试用例中提取出标准回复；将所述系统回复和所述标准回复输入至问答系统测试模型中得到测试结果，所述问答系统测试模型是预先根据所述系统回复和标准回复通过梯度下降的方式训练得到的。采用本方法能够提高测试准确性。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种问答系统测试方法、装置、计算机设备和存储介质。

背景技术

在人机交互过程中通常需要使用问答系统(Question Answer System,QA)。问答系统又称人机对话系统(Human-machine conversation,HMC)，是指这样的一个机器系统：能够对于用户通过自然语言输入的问句，给出简洁、准确、人性化的回答，这种回答通常是指一小段文本。

然而，针对该问答系统进行测试的时候，通常是人工构建有限的测试用例，然后输入至问答系统中得到对应的回复，然后根据该回复生成对应的测试报告，但是这样的情况下，由于人工构建的测试用例的数量有限，导致测试结果可能存在偏差。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高测试准确性的问答系统测试方法、装置、计算机设备和存储介质。

一种问答系统测试方法，所述方法包括：

接收测试终端发送的原始测试用例，并将所述原始测试用例输入至预先训练得到的语言模型中得到扩展测试用例；

将所述原始测试用例和所述扩展测试用例输入至问答系统中得到对应的系统回复；

从所述原始测试用例和所述扩展测试用例中提取出标准回复；

将所述系统回复和所述标准回复输入至问答系统测试模型中得到测试结果，所述问答系统测试模型是预先根据所述系统回复和标准回复通过梯度下降的方式训练得到的。

在其中一个实施例中，所述将所述原始测试用例输入至预先训练得到的语言模型中得到扩展测试用例，包括：

获取原始测试用例中标签为问题的数据为原始问题，标签为回复的数据为原始回复；

将所述原始问题输入至预先训练得到的语言模型中得到扩展问题；

根据所述扩展问题与对应的所述原始回复得到扩展测试用例。

在其中一个实施例中，所述根据所述扩展问题与对应的所述原始回复得到扩展测试用例之后，还包括：

提取所述原始测试用例的业务标识，并根据所述原始测试用例的业务标识生成所述扩展测试用例的业务标识；

所述将所述系统回复和所述标准回复输入至问答系统测试模型中得到测试结果之后，还包括：

根据所述原始测试用例和所述扩展测试用例的业务标识对所述测试结果进行分类；

分别计算每一类测试结果中测试指标计算得到所述业务标识对应的测试结果；

获取所述业务标识对应的测试结果中不符合要求的测试结果，将所述不符合要求的测试结果返回至所述测试终端。

在其中一个实施例中，所述将所述不符合要求的测试结果返回至所述测试终端之后，还包括：

接收所述测试终端发送的与所述不符合要求的测试结果对应的优化测试用例；

通过所述优化测试用例对所述问答系统测试模型进行优化。