[发明专利]语义理解方法、装置、电子设备和存储介质

权利要求书

1.一种语义理解方法，其特征在于，包括：

确定待理解的文本；

将所述文本输入至融合多个语义理解子任务的语义理解模型，得到所述语义理解模型输出的语义理解结果；

所述语义理解模型是基于样本文本及其样本语义理解结果，以及各语义理解子任务分别对应的教师模型，进行多任务联合的蒸馏训练得到的，所述多个语义理解子任务包括实体识别、问题类型识别和意图识别。

2.根据权利要求1所述的语义理解方法，其特征在于，所述语义理解模型的损失函数是基于各语义理解子任务的子任务损失函数确定的；

所述实体识别和问题类型识别的子任务损失函数包括蒸馏损失，或包括标签损失和所述蒸馏损失，其中所述蒸馏损失是基于对应语义理解子任务的教师模型确定的。

3.根据权利要求2所述的语义理解方法，其特征在于，所述蒸馏损失是基于如下步骤确定的：

基于任一语义理解子任务的教师模型，确定所述样本文本在所述任一语义理解子任务中的教师分类概率分布；

基于训练阶段的语义理解模型，确定所述样本文本在所述任一语义理解子任务中的学生分类概率分布；

基于所述样本文本在所述任一语义理解子任务中的教师分类概率分布和学生分类概率分布，确定所述任一语义理解子任务的蒸馏损失。

4.根据权利要求2所述的语义理解方法，其特征在于，所述意图识别的子任务损失函数是基于对各候选意图进行二分类的标签损失确定的。

5.根据权利要求1至4中任一项所述的语义理解方法，其特征在于，所述将所述文本输入至融合多个语义理解子任务的语义理解模型，得到所述语义理解模型输出的语义理解结果，包括：

将所述文本输入至所述语义理解模型的文本编码层，得到所述文本编码层输出的所述文本的文本语义编码，以及所述文本中每个字的字语义编码；

将所述文本语义编码输入至所述语义理解模型的语义识别层，得到所述语义识别层输出的所述语义理解结果中的问题类型识别结果和意图识别结果；

将每个字的字语义编码输入至所述语义理解模型的实体识别层，得到所述实体识别层输出的所述语义理解结果中的实体识别结果。

6.根据权利要求5所述的语义理解方法，其特征在于，所述将所述文本语义编码输入至所述语义理解模型的语义识别层，得到所述语义识别层输出的所述语义理解结果中的问题类型识别结果和意图识别结果，包括：

将所述文本语义编码输入至所述语义识别层中的问题编码层，得到所述问题编码层输出的问题编码；

将所述问题编码输入至所述语义识别层中的问题识别层，得到所述问题识别层输出的所述问题类型识别结果；

将所述文本语义编码输入至所述语义识别层中的意图编码层，得到所述意图编码层输出的意图编码；

将所述意图编码输入至所述语义识别层中的意图识别层，得到所述意图识别层输出的所述意图识别结果。

7.根据权利要求1至4中任一项所述的语义理解方法，其特征在于，所述语义理解模型是基于如下步骤训练得到的：

确定融合多个语义理解子任务的初始模型；

将所述初始模型作为各语义理解子任务的学生模型，基于样本文本及其样本语义理解结果，以及各语义理解子任务分别对应的教师模型，对所述初始模型进行多任务联合的蒸馏训练，得到所述语义理解模型。

8.一种语义理解装置，其特征在于，包括：

文本获取单元，用于确定待理解的文本；

语义理解单元，用于将所述文本输入至融合多个语义理解子任务的语义理解模型，得到所述语义理解模型输出的语义理解结果；

所述语义理解模型是基于样本文本及其样本语义理解结果，以及各语义理解子任务分别对应的教师模型，进行多任务联合的蒸馏训练得到的，所述多个语义理解子任务包括实体识别、问题类型识别和意图识别。