[发明专利]一种系统回复质量的评价方法及装置

权利要求书

1.一种系统回复质量的评价方法，其特征在于，包括：

生成目标对话系统的系统评价指标，所述系统评价指标包括第一评价指标、第二评价指标以及第三评价指标中的至少一个；

其中，所述第一评价指标是根据所述目标对话系统的每一选定回复与对应问题之间的主题相关度生成的；所述第二评价指标是根据所述目标对话系统的每一选定回复与对应人工回复之间的语义相似度生成的；所述第三评价指标是根据所述目标对话系统的每一选定回复为通用回复的可能性生成的；

根据所述系统评价指标，确定所述目标对话系统的回复质量。

2.根据权利要求1所述的方法，其特征在于，所述生成目标对话系统的第一评价指标，包括：

利用预先构建的主题相关度模型，确定所述目标对话系统的每一选定回复与对应问题之间的主题相关度；

根据每一选定回复对应的主题相关度，生成所述目标对话系统的第一评价指标。

3.根据权利要求2所述的方法，其特征在于，所述确定所述目标对话系统的每一选定回复与对应问题之间的主题相关度，包括：

对于所述目标对话系统的每一选定回复，生成所述选定回复的回复表达结果，并生成所述选定回复的对应问题的问题表达结果；其中，所述回复表达结果和所述问题表达结果中携带了所述选定回复与所述对应问题之间的主题相关度信息；

根据所述回复表达结果和所述问题表达结果，生成所述选定回复与对应问题之间的主题相关度。

4.根据权利要求3所述的方法，其特征在于，所述生成所述选定回复的回复表达结果，并生成所述选定回复的对应问题的问题表达结果，包括：

生成所述选定回复的第一语义表达结果，并生成所述选定回复的对应问题的第二语义表达结果；

确定所述第一语义表达结果的每一表达单元与所述第二语义表达结果之间的相关度，并根据所述第一语义表达结果的每一表达单元与每一表达单元对应的相关度，生成所述选定回复的回复表达结果；

确定所述第二语义表达结果的每一表达单元与所述第一语义表达结果之间的相关度，并根据所述第二语义表达结果的每一表达单元与每一表达单元对应的相关度，生成所述选定回复的对应问题的问题表达结果。

5.根据权利要求1所述的方法，其特征在于，所述生成目标对话系统的第二评价指标，包括：

利用预先构建的语义相似度模型，确定所述目标对话系统的每一选定回复与对应人工回复之间的语义相似度；

根据每一选定回复对应的语义相似度，生成所述目标对话系统的第二评价指标。

6.根据权利要求5所述的方法，其特征在于，所述确定所述目标对话系统的每一选定回复与对应人工回复之间的语义相似度，包括：

对于所述目标对话系统的每一选定回复，生成所述选定回复的第三语义表达结果，并生成所述选定回复的对应人工回复的第四语义表达结果；

根据所述第三语义表达结果和所述第四语义表达结果，生成所述选定回复与对应人工回复之间的语义相似度。

7.根据权利要求1所述的方法，其特征在于，所述生成目标对话系统的第三评价指标，包括：

利用预先构建的通用回复鉴别模型，确定所述目标对话系统的每一选定回复为通用回复的可能性；

根据每一选定回复对应的可能性，生成所述目标对话系统的第三评价指标。

8.根据权利要求7所述的方法，其特征在于，所述确定所述目标对话系统的每一选定回复为通用回复的可能性，包括：

对于所述目标对话系统的每一选定回复，将所述选定回复的各个文本单元依次作为当前文本单元，并将所述当前文本单元之前的各个文本单元作为各个在前文本单元；

预测所述各个在前文本单元之后出现所述当前文本单元的可能性；

根据每一所述当前文本单元对应的出现可能性，确定所述选定回复为通用回复的可能性。