[发明专利]基于人机对话的任务测试方法、相关设备及存储介质

说明书

一种基于人机对话的任务测试方法，包括：获取针对目标任务的状态机图；加载状态机图；对状态机图的节点S_i对应的所有边以及节点S_(i+x)进行遍历；若节点S_i对应的所有边以及节点S_(i+x)均遍历完成，且S_i不是初始节点S₀，确定第一边；从语料库中选取符合语义表示的第一语料；将第一语料发送至被测设备；根据被测设备的响应信息，确定第一系统状态；根据第一系统状态，更新状态机图的所有节点和所有边的状态；根据所有节点和所有边的状态与预设状态，对被测设备在目标任务上的成功率进行评估，获得第一测评结果。本申请还提供一种相关设备及存储介质。本申请能将海量的语料映射到测试系统的每一轮输入中进行端到端的成功率测试。

技术领域

本申请涉及终端技术领域，尤其涉及一种基于人机对话的任务测试方法、相关设备及存储介质。

背景技术

随着人工智能和自然语言处理技术的发展，人机对话系统在金融服务、家居生活、个人助理中将逐步得到应用。在人机对话系统中，每一次人机交互，系统都会把对话的上下文记录下来并进入不同的状态，因此，一般从任务的初始状态到最终完成任务会有多条路径，评价该任务的成功率需要综合参考每一条路径和边的成功率以及上下文处理逻辑的正确性。

目前，在评价人机对话系统在此任务上的成功率上，现有的测试技术一般分为如下三种：一、按照分析出的状态图进行固定路径的功能测试，二、有限的状态节点下的NLU(Natural Language Understanding，自然语言理解)识别率测试，三、固定顺序的多轮对话语料测试。然而，上述三种测试技术，都无法将海量的语料映射到人机对话系统的每一轮输入中进行端到端的成功率测试。

发明内容

本申请实施例公开了一种基于人机对话的任务测试方法、相关设备及存储介质，能够解决现有技术中存在的无法将海量的语料映射到人机对话系统的每一轮输入中进行端到端的成功率测试的问题。

本申请第一方面公开了一种基于人机对话的任务测试方法，所述基于人机对话的任务测试方法包括：获取针对目标任务的状态机图，其中，所述状态机图的每个节点表示对话的状态，所述状态机图的每条边表示用户操作和对话上下文；加载所述状态机图；根据预设遍历算法，对所述状态机图的节点S_i对应的所有边以及所述所有边对应的节点S_(i+x)进行遍历，其中，i、x均为非负整数；若所述状态机图的节点S_i对应的所有边以及所述所有边对应的节点S_(i+x)均遍历完成，且S_i不是初始节点S₀，根据预设的边排序算法，从所述所有边中确定第一边；根据所述第一边的用户操作以及对话上下文的语义表示，从语料库中选取符合所述语义表示的第一语料；将所述第一语料发送至被测设备；根据所述被测设备针对所述第一语料的响应信息，确定所述被测设备的第一系统状态；根据所述第一系统状态，更新所述状态机图的所有节点的第一节点参数值和所有边的第一边参数值；根据所述第一系统状态、所述第一节点参数值、所述第一边参数值、第一预期状态以及第一预期参数值，对所述被测设备在所述目标任务上的成功率进行评估，获得第一测评结果。

本申请中，能够保证状态机图加载海量数据，快速收敛完成状态机图和所有语料的遍历，将所有的语料映射到不同的状态路径上进行测试，确保所有的语料在正确的路径上被覆盖执行，最终能得到端到端的任务成功率，同时，能够动态的实时判断被测设备的系统状态，能够动态的进行多轮对话准确率的测试，得到不同上下文的NLU识别率的准确结果。此外，还能够根据状态机图的配置，动态地生成测试路径和用例，不需要手工编写大量的测试用例，并且能够保证状态路径的全覆盖。