[发明专利]一种系统回复质量的评价方法及装置

说明书

本申请公开了一种系统回复质量的评价方法及装置，该方法包括：首先生成目标对话系统的系统评价指标，包括根据目标对话系统的每一选定回复与对应问题之间的主题相关度生成的第一评价指标、根据目标对话系统的每一选定回复与对应人工回复之间的语义相似度生成的第二评价指标、以及根据目标对话系统的每一选定回复为通用回复的可能性生成的第三评价指标中的至少一个，然后根据生成的系统评价指标，确定出目标对话系统的回复质量，可见，本申请在对目标对话系统的回复质量进行评价时，考虑了系统回复与问题之间的主题相关度、系统回复与人工回复之间的语义相似度以及系统回复为通用回复的可能性，从而能够更准确地评价目标对话系统的回复质量。

技术领域

本申请涉及自然语言理解技术领域，尤其涉及一种系统回复质量的评价方法及装置。

背景技术

聊天机器人作为人工智能技术的重要应用，已经广泛应用于各类智能终端设备，例如手机、可穿戴设备等。目前，聊天机器人按照用途可分为任务型和非任务型的闲聊机器人，不同用途的聊天机器人的实现技术不太相同。

任务型聊天机器人通过任务型对话系统与用户进行交互，从而完成相关任务，比如点餐任务、天气查询任务等，关于任务型对话系统的回复质量的评价，一般根据任务完成与否、以及完成该任务进行的对话轮数进行判断，通常以越少对话轮数完成任务的系统效果越好。任务型对话系统由于目标明确、领域专一，能够很好地进行回复质量的评价。

非任务型聊天机器人通过非任务型对话系统与用户进行交互，关于非任务型对话系统的回复质量的评价，一般采用检索和生成两种方法进行评价。其中，检索式的方法是从已有对话库中找出最合适的回复，检索式产生的回复是事先人工标注的，不会生成对话库以外的回复，对于检索系统回复质量的评估，可以使用检索的准确度进行判断，例如，判断检索得到的前K个句子中是否包含问题的最佳答案，因此，也能对检索系统的回复质量进行很好地评价；而生成式的方法一般是构建概率分布模型，在给定问句的前提下生成概率最大的回复，相比较检索式的方法，生成式的方法能产生已有语料中未出现的回复，灵活性强，但生成式的方法也可能产生不符合语法规则的回复、甚至与问句相关度较低的回复，因此，对于生成式的方法，对其回复质量的评价难度较大，较难准确地对其回复质量进行评价。

发明内容

本申请实施例的主要目的在于提供一种系统回复质量的评价方法及装置，能够更准确地评价系统回复质量。

本申请实施例提供了一种系统回复质量的评价方法，包括：

生成目标对话系统的系统评价指标，所述系统评价指标包括第一评价指标、第二评价指标以及第三评价指标中的至少一个；

其中，所述第一评价指标是根据所述目标对话系统的每一选定回复与对应问题之间的主题相关度生成的；所述第二评价指标是根据所述目标对话系统的每一选定回复与对应人工回复之间的语义相似度生成的；所述第三评价指标是根据所述目标对话系统的每一选定回复为通用回复的可能性生成的；

根据所述系统评价指标，确定所述目标对话系统的回复质量。

可选的，所述生成目标对话系统的第一评价指标，包括：

利用预先构建的主题相关度模型，确定所述目标对话系统的每一选定回复与对应问题之间的主题相关度；

根据每一选定回复对应的主题相关度，生成所述目标对话系统的第一评价指标。

可选的，所述确定所述目标对话系统的每一选定回复与对应问题之间的主题相关度，包括：

对于所述目标对话系统的每一选定回复，生成所述选定回复的回复表达结果，并生成所述选定回复的对应问题的问题表达结果；其中，所述回复表达结果和所述问题表达结果中携带了所述选定回复与所述对应问题之间的主题相关度信息；

根据所述回复表达结果和所述问题表达结果，生成所述选定回复与对应问题之间的主题相关度。