[发明专利]基于人机对话的任务测试方法、相关设备及存储介质

权利要求书

1.一种基于人机对话的任务测试方法，其特征在于，所述基于人机对话的任务测试方法包括：

获取针对目标任务的状态机图，其中，所述状态机图的每个节点表示对话的状态，所述状态机图的每条边表示用户操作和对话上下文；

加载所述状态机图；

根据预设遍历算法，对所述状态机图的节点S_i对应的所有边以及所述所有边对应的节点S_(i+x)进行遍历，其中，i、x均为非负整数；

若所述状态机图的节点S_i对应的所有边以及所述所有边对应的节点S_(i+x)均遍历完成，且S_i不是初始节点S₀，根据预设的边排序算法，从所述所有边中确定第一边；

根据所述第一边的用户操作以及对话上下文的语义表示，从语料库中选取符合所述语义表示的第一语料；

将所述第一语料发送至被测设备；

根据所述被测设备针对所述第一语料的响应信息，确定所述被测设备的第一系统状态；

根据所述第一系统状态，更新所述状态机图的所有节点的第一节点参数值和所有边的第一边参数值；

根据所述第一系统状态、所述第一节点参数值、所述第一边参数值、第一预期状态以及第一预期参数值，对所述被测设备在所述目标任务上的成功率进行评估，获得第一测评结果。

2.根据权利要求1所述的基于人机对话的任务测试方法，其特征在于，所述基于人机对话的任务测试方法还包括：

若所述状态机图的节点S_i对应的所有边未遍历完成，根据所述边排序算法，从未遍历完成的边中确定第二边；

从所述语料库中选取所述第二边对应的第二语料；

将所述第二语料发送至所述被测设备；

根据所述被测设备针对所述第二语料的响应信息，确定所述被测设备的第二系统状态；

根据所述第二系统状态，更新所述状态机图的所有节点的第二节点参数值和所有边的第二边参数值；

根据所述第二系统状态、所述第二节点参数值、所述第二边参数值、第二预期状态以及第二预期参数值，对所述被测设备在所述目标任务上的成功率进行评估，获得第二测评结果。

3.根据权利要求1所述的基于人机对话的任务测试方法，其特征在于，所述基于人机对话的任务测试方法还包括：

若所述所有边对应的节点S_(i+x)未遍历完成，根据所述边排序算法，从未遍历完成的节点S_(i+x)对应的边中确定第三边；

从所述语料库中选取所述第三边对应的第三语料；

将所述第三语料发送至所述被测设备；

根据所述被测设备针对所述第三语料的响应信息，确定所述被测设备的第三系统状态；

根据所述第三系统状态，更新所述状态机图的所有节点的第三节点参数值和所有边的第三边参数值；

根据所述第三系统状态、所述第三节点参数值、所述第三边参数值、第三预期状态以及第三预期参数值，对所述被测设备在所述目标任务上的成功率进行评估，获得第三测评结果。

4.根据权利要求1至3中任意一项所述的基于人机对话的任务测试方法，其特征在于，所述根据所述被测设备针对所述第一语料的响应信息，确定所述被测设备的第一系统状态之后，所述基于人机对话的任务测试方法还包括：

判断所述第一系统状态是否为预设状态，所述预设状态包括成功状态或失败状态；

若所述第一系统状态为所述预设状态，执行所述的根据所述第一系统状态，更新所述状态机图的所有节点的第一节点参数值和所有边的第一边参数值。

5.根据权利要求4所述的基于人机对话的任务测试方法，其特征在于，所述基于人机对话的任务测试方法还包括：

若所述第一系统状态不为所述预设状态，根据所述预设遍历算法，对所述状态机图的节点S_i对应的所有边以及所述所有边对应的节点S_(i+x)进行遍历。