[发明专利]语义理解方法、装置、电子设备和存储介质

说明书

本发明提供一种语义理解方法、装置、电子设备和存储介质，其中方法包括：确定待理解的文本；将文本输入至融合多个语义理解子任务的语义理解模型，得到语义理解模型输出的语义理解结果；语义理解模型是基于样本文本及其样本语义理解结果，以及各语义理解子任务分别对应的教师模型，进行多任务联合的蒸馏训练得到的，多个语义理解子任务包括实体识别、问题类型识别和意图识别。本发明提供的方法、装置、电子设备和存储介质，通过多任务联合的蒸馏训练得到融合多个语义理解子任务的语义理解模型，在压缩模型规模、降低运算量的同时，提高基于同一模型实现的多任务语义理解效果，从而实现准确、可靠且可广泛应用的语义理解方案。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种语义理解方法、装置、电子设备和存储介质。

背景技术

语义理解是指，机器依据用户给出的自然语言，理解出用户的意图，进一步地，还可以做出相应的操作。语义理解通常包含实体识别、问题类型识别和意图识别等多个任务。

多任务的语义理解系统，通常需要为各个任务分别设置其对应的模型，多个模型单独训练、独立运行，计算量惊人，维护难度大，在实际场景中的可用性低。而通过多任务学习的方式能够使得各个任务共享编码层，再通过各自独立的参数实现单个模型下的多任务运行，可以减小计算量、降低维护难度，但是多任务学习过程中，仅凭各个任务分别对应的损失函数加权的方式，难以关注平衡各个任务的训练进度和学习难度，由此得到的模型难以达到与各个任务的独立模型相当的效果，直接影响了语义理解的可靠性和准确性。

发明内容

本发明提供一种语义理解方法、装置、电子设备和存储介质，用以解决现有技术中多任务的语义理解方案计算量大、效果欠佳的缺陷。

本发明提供一种语义理解方法，包括：

确定待理解的文本；

将所述文本输入至融合多个语义理解子任务的语义理解模型，得到所述语义理解模型输出的语义理解结果；

所述语义理解模型是基于样本文本及其样本语义理解结果，以及各语义理解子任务分别对应的教师模型，进行多任务联合的蒸馏训练得到的，所述多个语义理解子任务包括实体识别、问题类型识别和意图识别。

根据本发明提供的一种语义理解方法，所述语义理解模型的损失函数是基于各语义理解子任务的子任务损失函数确定的；

所述实体识别和问题类型识别的子任务损失函数包括蒸馏损失，或包括标签损失和所述蒸馏损失，其中所述蒸馏损失是基于对应语义理解子任务的教师模型确定的。

根据本发明提供的一种语义理解方法，所述蒸馏损失是基于如下步骤确定的：

基于任一语义理解子任务的教师模型，确定所述样本文本在所述任一语义理解子任务中的教师分类概率分布；

基于训练阶段的语义理解模型，确定所述样本文本在所述任一语义理解子任务中的学生分类概率分布；

基于所述样本文本在所述任一语义理解子任务中的教师分类概率分布和学生分类概率分布，确定所述任一语义理解子任务的蒸馏损失。

根据本发明提供的一种语义理解方法，所述意图识别的子任务损失函数是基于对各候选意图进行二分类的标签损失确定的。

根据本发明提供的一种语义理解方法，所述将所述文本输入至融合多个语义理解子任务的语义理解模型，得到所述语义理解模型输出的语义理解结果，包括：

将所述文本输入至所述语义理解模型的文本编码层，得到所述文本编码层输出的所述文本的文本语义编码，以及所述文本中每个字的字语义编码；

将所述文本语义编码输入至所述语义理解模型的语义识别层，得到所述语义识别层输出的所述语义理解结果中的问题类型识别结果和意图识别结果；