[发明专利]模型训练方法、品牌词识别方法、装置及电子设备

权利要求书

1.一种模型训练方法，所述方法包括：

采用第一内容样本对第一知识增强语义表示模型进行训练得到第一品牌词识别模型，所述第一品牌词识别模型的输出为所述第一内容样本中每个字的品牌词属性，所述品牌词属性为品牌词起始字、品牌词中间或结尾字、或非品牌词；

将所述第一品牌词识别模型作为知识蒸馏中的教师模型，将第二知识增强语义表示模型作为知识蒸馏中的学生模型，采用知识蒸馏的方法对所述第二知识增强语义表示模型进行训练，得到第二品牌词识别模型，所述第二品牌词识别模型的输出和所述第一品牌词识别模型的输出一致，所述第二知识增强语义表示模型的模型参数少于所述第一知识增强语义表示模型的模型参数。

2.根据权利要求1所述的方法，其中，所述采用知识蒸馏的方法对所述第二知识增强语义表示模型进行训练，得到第二品牌词识别模型，包括：

将内容样本分别输入至所述第一品牌词识别模型和所述第二知识增强语义表示模型，并根据所述第一品牌词识别模型和所述第二知识增强语义表示模型之间的损失函数，对所述第二知识增强语义表示模型的模型参数进行更新，得到所述第二品牌词识别模型。

3.根据权利要求2所述的方法，其中，所述内容样本包括第二内容样本和第三内容样本，所述损失函数包括第一损失函数和第二损失函数；

所述将内容样本分别输入至所述第一品牌词识别模型和所述第二知识增强语义表示模型，并根据所述第一品牌词识别模型和所述第二知识增强语义表示模型之间的损失函数，对所述第二知识增强语义表示模型的模型参数进行更新，得到所述第二品牌词识别模型，包括：

将所述第二内容样本分别输入至所述第一品牌词识别模型和所述第二知识增强语义表示模型，根据所述第二知识增强语义表示模型的中间层的输出与所述第一品牌词识别模型的中间层的输出之间的所述第一损失函数，对所述第二知识增强语义表示模型的模型参数进行更新，得到初始品牌词识别模型；

将所述第三内容样本分别输入至所述第一品牌词识别模型和所述初始品牌词识别模型，根据所述第一品牌词识别模型的输出、所述初始品牌词识别模型的输出以及第三内容样本的真实品牌标签的所述第二损失函数，对所述初始品牌词识别模型的模型参数进行更新，得到所述第二品牌词识别模型。

4.根据权利要求3所述的方法，其中，所述第二知识增强语义表示模型的中间层的层数为M，所述第一品牌词识别模型的中间层的层数是n*M，M为大于或等于1的整数，n为大于1的整数；

所述第一损失函数为所述第二知识增强语义表示模型的第m层中间层的输出，与所述第一品牌词识别模型的第n*m层中间层的输出之间的均方误差损失在m的取值遍历1至M之间的整数时的和。

5.根据权利要求3所述的方法，其中，所述第二损失函数为所述第一品牌词识别模型的输出与所述初始品牌词识别模型的输出之间的交叉熵损失，以及所述初始品牌词识别模型的输出与所述第三内容样本的真实品牌标签之间的交叉熵损失的和。

6.一种品牌词识别方法，所述方法包括：

将待识别内容输入品牌词识别模型，得到所述待识别内容中每个字的品牌词属性，所述品牌词属性为品牌词起始字、品牌词中间或结尾字、或非品牌词，所述品牌词识别模型为采用权利要求1-5中任一项所述的方法训练得到的品牌词识别模型；

根据所述待识别内容中每个字的品牌词属性确定所述待识别内容中的品牌词。

7.根据权利要求6所述的方法，其中，所述根据所述待识别内容中每个字的品牌词属性确定所述待识别内容中的品牌词，包括：

按照所述待识别内容中每个字的顺序，将品牌词属性为品牌词起始字的字以及品牌词属性为品牌词中间或结尾字的字依次组合为所述待识别内容中的品牌词。