[发明专利]问答一致性的评估方法、装置、电子设备及介质

说明书

本申请提供了一种问答一致性的评估方法、装置、电子设备及介质。该方法包括：获取第一应答模型的第一问询语句，并获取第二应答模型响应第一问询语句生成的第一回复语句；基于第一回复语句，生成针对第一回复语句的第二问询语句；将第二问询语句输入至第二应答模型，并获取第二应答模型响应第二问询语句生成的第二回复语句；根据第一回复语句与第二回复语句，对第二应答模型的问答一致性进行评估，能够准确的判断第二应答模型的问答一致性是否符合要求。

技术领域

本申请涉及计算机及通信技术领域，特别涉及一种问答一致性的评估方法、装置、电子设备及介质。

背景技术

人工智能是计算机学科的一个分支，被认为是二十一世纪三大尖端技术之一。近三十年来人工智能获得了迅速的发展，在很多学科领域都获得了广泛应用，并取得了丰硕的成果。

人工智能技术中的自然语言处理技术可以用于实现智能问答，现有技术中，针对同一事实的问询，由于使用的语句文本不同，问答机器人可能会出现不同的回答，从而出现问答不一致的问题，导致用户无法获得确定答案。

发明内容

本申请旨在提供一种问答一致性的评估方法、装置、电子设备及介质，能够对应答模型的问答一致性进行评估，从而准确的判断第二应答模型的问答一致性是否符合要求。

根据本申请实施例的一个方面，提供了一种问答一致性的评估方法，包括：获取第一应答模型的第一问询语句，并获取所述第二应答模型响应所述第一问询语句生成的第一回复语句；基于所述第一回复语句，生成针对所述第一回复语句的第二问询语句；将所述第二问询语句输入至所述第二应答模型，并获取所述第二应答模型响应所述第二问询语句生成的第二回复语句；根据所述第一回复语句与所述第二回复语句，对所述第二应答模型的问答一致性进行评估。

根据本申请实施例的一个方面，提供了一种问答一致性的评估装置，包括：获取模块，配置为获取第一应答模型的第一问询语句，并获取所述第二应答模型响应所述第一问询语句生成的第一回复语句；生成模块，配置为基于所述第一回复语句，生成针对所述第一回复语句的第二问询语句；发送模块，配置为将所述第二问询语句输入至所述第二应答模型，并获取所述第二应答模型响应所述第二问询语句生成的第二回复语句；比较模块，配置为根据所述第一回复语句与所述第二回复语句，对所述第二应答模型的问答一致性进行评估。

在本申请的一个实施例中，基于前述方案，所述生成模块配置为：识别所述第一回复语句中的目标词；基于所述第一回复语句和所述目标词，生成针对所述目标词进行问询的第二问询语句。

在本申请的一个实施例中，基于前述方案，所述生成模块配置为：对所述第一回复语句进行分词处理，得到多个回复单词；从所述多个回复单词中选取用于表示事实和/或观点的实体词，作为所述目标词。

在本申请的一个实施例中，基于前述方案，所述生成模块配置为：将所述第一回复语句和所述目标词进行组合，得到回复组合；基于所述回复组合的语义，将所述回复组合拆分成多个语义单元；分别确定各个语义单元对应的单元表征向量，得到多个单元表征向量；基于所述多个单元表征向量，生成所述第二问询语句。

在本申请的一个实施例中，基于前述方案，所述生成模块配置为：将所述多个单元表征向量输入至特征提取单元组合，得到所述特征提取单元组合输出的单词表征向量；基于所述单词表征向量从词汇表的候选单词中，选取所述第二问询语句中位于首位的起始问询单词；将所述多个单元表征向量和所述单词表征向量，重新输入至所述特征提取单元组合，得到所述第二问询语句中的下一问询单词对应的下一单词表征向量，基于所述下一单词表征向量从所述候选单词中，选取所述第二问询语句中的下一问询单词，直至完成确定。