[发明专利]人机对话语料测试方法、装置、设备及存储介质

说明书

本发明涉及研发管理领域，公开了一种人机对话语料测试方法、装置、设备及存储介质，可应用于医院导航机器人中，所述方法包括：选择问答引擎模型并上传提测语料集；根据提测语料集生成模型评测集并由问答引擎模型进行评测，得到加语料前的第一模型评测结果；更新问答引擎模型索引以及意图识别索引后，再由更新索引后的问答引擎模型进行评测，得到加语料后的第二模型评测结果；根据第一、二模型评测结果，对问答引擎模型进行模型效果评估；若模型效果评估通过后，基于问答引擎模型对提测语料集进行语料测试，否则重新训练问答引擎模型。本发明能够检测新语料发布后对已有语料问答效果的影响以及新语料是否应答生效，为新语料的发布提供了评价依据。

技术领域

本发明涉及研发管理领域，尤其涉及一种人机对话语料测试方法、装置、设备及存储介质。

背景技术

随着人工智能技术的快速发展，在客服业务中的人机对话需求也越来越高，人机对话不仅能够降低人工成本，同时不受工作时间限制，从而大幅提升企业的客服水平与质量。

现有人机对话通常需要训练智能问答引擎模型，用于通过检索语料库获取与用户问最匹配的问题的答案。语料是人机对话的重要组成部分，为提升人机对话的智能程度，通常需要对构建的语料进行测试。传统的语料测试涉及到多个测试环节，且各测试环节均需要测试人员手动完成，因此测试过程非常繁琐且效率低下，占用大量人力和时间成本，而且每个测试环节都需要依赖上一测试环节完成后才能进行，等待时间长，对测试效率产生很大影响。

发明内容

本发明的主要目的在于解决现有人机对话语料测试过程操作繁琐，导致测试时间长且成本高，进而影响测试效率的技术问题。

本发明第一方面提供了一种人机对话语料测试方法，所述人机对话语料测试方法包括：

选择待测试的问答引擎模型，并上传提测语料集；

判断所述提测语料集的语料条数是否超过预置阈值；

若所述提测语料集的语料条数超过预置阈值，则生成模型评测集，并根据所述模型评测集，对当前问答引擎模型进行评测，得到加语料前的第一模型评测结果；

根据所述提测语料集，更新所述问答引擎模型索引以及意图识别索引，并根据所述模型评测集，对更新索引后的问答引擎模型进行评测，得到加语料后的第二模型评测结果；

根据所述第一模型评测结果和所述第二模型评测结果，对所述问答引擎模型进行模型效果评估；

若模型效果评估通过，则基于所述问答引擎模型，对所述提测语料集进行语料测试，生成语料测试结果，否则重新训练所述问答引擎模型。

可选的，在本发明第一方面的第一种实现方式中，所述若所述提测语料集的语料条数超过预置阈值，则生成模型评测集包括：

若所述提测语料集的语料条数超过预置阈值，则异步调用预置评测集生成脚本，离线拉取最近的预置时间段内的线上问答日志；

统计所述线上问答日志中各用户提问出现的频次，并参照预置的高中低频次比例，抽取所述线上问答日志中对应数量的用户提问作为模型评测集，所述频次包括：低频次、中频次和高频次。

可选的，在本发明第一方面的第二种实现方式中，所述根据所述模型评测集，对当前问答引擎模型进行评测，得到加语料前的第一模型评测结果包括：

异步调用预置模型评测脚本，依次获取所述模型评测集中的用户提问；

将所述用户提问输入当前问答引擎模型，输出应答结果，并将各用户提问与对应的应答结果作为加语料前的第一模型评测结果；

所述根据所述模型评测集，对更新索引后的问答引擎模型进行评测，得到加语料后的第二模型评测结果包括：

异步调用预置模型评测脚本，依次获取所述模型评测集中的用户提问；