[发明专利]语义效果评估方法以及相关装置

权利要求书

1.一种语义效果评估方法，其特征在于，包括：

获得待评估对话；其中，所述待评估对话中包括与用户意图相关的预测文本；

将所述待评估对话输入至多轮对话测试集，利用所述多轮对话测试集对所述待评估对话中不同节点的预测文本进行验证；

响应于所述待评估对话中存在至少一个识别错误的错误节点，基于所述多轮对话测试集对所述待评估对话中所述错误节点之后的内容进行重构以获得第一对话；

基于所述第一对话中的所有节点对所述第一对话进行评估。

2.根据权利要求1所述的语义效果评估方法，其特征在于，所述多轮对话测试集基于当前对话中的第一文本和历史对话中的第二文本构建，所述第一文本和所述第二文本为对话中用户的语音文本；所述多轮对话测试集的构建过程包括：

获得所述第一文本对应的第一结构化信息；

将所述第一结构化信息与每个所述第二文本对应的第二结构化信息进行相似度匹配；

响应于所述第一结构化信息与所述第二结构化信息的相似度大于预设阈值，将所述当前对话和所述第二结构化信息对应的历史对话进行组合，以构建所述多轮对话测试集。

3.根据权利要求2所述的语义效果评估方法，其特征在于，所述第一结构化信息包括所述第一文本对应的第一意图标签和第一标记标签树，所述第二结构化信息包括所述第二文本对应的第二意图标签和第二标记标签树；所述将所述第一结构化信息与每个所述第二文本对应的第二结构化信息进行相似度匹配的步骤，包括：

基于所述第二结构化信息中的第二意图标签，从所有所述第二结构化信息中获得所述第二意图标签与所述第一意图标签一致的第三结构化信息；

将所述第一结构化信息中的第一标记标签树与所述第三结构化信息中的第二标记标签树进行相似度匹配。

4.根据权利要求2所述的语义效果评估方法，其特征在于，所述获得所述第一文本对应的第一结构化信息的步骤，包括：

将所述第一文本输入至结构化模型，并基于所述结构化模型获得所述第一文本对应的第一标记标签树；

获得每个所述第一文本对应的第一意图标签；

将所述第一标记标签树和所述第一意图标签进行组合以获得所述第一结构化信息。

5.根据权利要求4所述的语义效果评估方法，其特征在于，所述基于所述结构化模型获得所述第一文本对应的第一标记标签树的步骤，包括：

利用BERT编码和CRF解码预测获得所述第一文本中区间类标记标签及其起止点位置，并通过注意力机制交互获得所述第一文本对应的主要意图节点；

基于区间类标记标签及其起止点位置和主要意图节点构建所述第一文本对应的第一标记标签树。

6.根据权利要求4所述的语义效果评估方法，其特征在于，所述获得每个所述第一文本对应的第一意图标签的步骤，包括：

将所述第一文本进行BERT编码以获得第一特征向量、将所述第一标记标签树进行GCN编码以获得第二特征向量；

将所述第一特征向量和所述第二特征向量进行注意力机制交互以获得第三特征向量；

基于所述第三特征向量获得所述第一文本对应的第一意图标签。

7.根据权利要求1所述的语义效果评估方法，其特征在于，所述基于所述多轮对话测试集对所述待评估对话中所述错误节点之后的内容进行重构以获得第一对话的步骤，包括：

针对所述待评估对话，基于所述多轮对话测试集和所述错误节点对应的标记标签和意图标签在所述错误节点之后构建至少一个正确节点以构建出所述第一对话。

8.根据权利要求1所述的语义效果评估方法，其特征在于，所述基于所述第一对话中的所有节点对所述第一对话进行评估的步骤，包括：

根据所述第一对话中所有节点的完成率对所述第一对话进行评估。