[发明专利]一种语义向量提取模型的训练方法、装置及电子设备

说明书

本公开公开了一种语义向量提取模型的训练方法、装置及电子设备，涉及人工智能领域，尤其涉及深度学习以及自然语言处理技术领域。具体实现方法为：获取预训练文本，基于所述预训练文本，对语义表达提取网络进行训练，以生成预语义表达提取网络；获取敏感文本样本，并将所述敏感文本样本输入所述预语义表达识别网络中进行识别，获取所述敏感文本样本的语义向量；将所述语义向量输入语义匹配网络进行训练，并基于每次训练的损失值，调整所述预语义表达提取网络和所述语义匹配网络，以生成语义向量提取模型，避免了语义向量提取模型在小样本数据训练时易发生的过拟合问题，提高了语义向量提取模型训练过程中的效率和可靠性。

技术领域

本公开涉及数据处理技术领域，尤其涉及深度学习以及自然语言学习技术领域。

背景技术

伴随着深度学习(Deep Learning，简称DL)领域相关技术的兴起，将训练好的语义向量提取模型应用于多种不同的应用场景中，均能过起到较好的效果。特别地，针对文本敏感信息审核应用场景，性能良好的语义向量提取模型能够促进和谐信息的传播、净化互联网环境。

然而，相关技术中的语义向量提取模型的训练方法，由于敏感文本的样本数据规模极小，势必会因极易产生过拟合(Overfitting)现象导致语义向量提取模型的训练效果极低。因此，如何提高语义向量提取模型的训练过程中的效率和可靠性，已成为了重要的研究方向之一。

发明内容

本公开提供了一种语义向量提取模型的训练方法、装置及电子设备。

根据本公开的一方面，提供了一种语义向量提取模型的训练方法，包括：

获取预训练文本，基于所述预训练文本，对语义表达提取网络进行训练，以生成预语义表达提取网络；

获取敏感文本样本，并将所述敏感文本样本输入所述预语义表达识别网络中进行识别，获取所述敏感文本样本的语义向量；

将所述语义向量输入语义匹配网络进行训练，并基于每次训练的损失值，调整所述预语义表达提取网络和所述语义匹配网络，以生成语义向量提取模型，其中，所述语义向量提取模型包括训练结束时生成的目标语义表达提取网络和目标语义匹配网络。

根据本公开的另一方面，提供了另一种语义向量提取模型的训练方法，适用于如本公开第一方面所训练出的语义向量提取模型，包括：

获取待识别文本；

将所述待识别文本输入所述语义向量提取模型中进行识别，以获取所述待识别文本的第一语义向量；

基于所述第一语义向量和所述语义向量提取模型的敏感文本样本的第二语义向量，确定所述待识别文本的类型标签，其中，所述类型标签为敏感标签或者非敏感标签。

根据本公开的另一方面，提供了一种语义向量提取模型的训练装置，包括：

第一训练模块，用于获取预训练文本，基于所述预训练文本，对语义表达提取网络进行训练，以生成预语义表达提取网络；

获取模块，用于获取敏感文本样本，并将所述敏感文本样本输入所述预语义表达识别网络中进行识别，获取所述敏感文本样本的语义向量；

第二训练模块，用于将所述语义向量输入语义匹配网络进行训练，并基于每次训练的损失值，调整所述预语义表达提取网络和所述语义匹配网络，以生成语义向量提取模型，其中，所述语义向量提取模型包括训练结束时生成的目标语义表达提取网络和目标语义匹配网络。

根据本公开的另一方面，提供了另一种语义向量提取模型的训练装置，适用于如本公开第一方面所训练出的语义向量提取模型，包括：

文本获取模块，用于获取待识别文本；

语义向量获取模块，用于将所述待识别文本输入所述语义向量提取模型中进行识别，以获取所述待识别文本的第一语义向量；