[发明专利]一种语义向量提取模型的训练方法、装置及电子设备

权利要求书

1.一种语义向量提取模型的训练方法，包括：

获取预训练文本，基于所述预训练文本，对语义表达提取网络进行训练，以生成预语义表达提取网络；

获取敏感文本样本，并将所述敏感文本样本输入所述预语义表达提取网络中进行识别，获取所述敏感文本样本的语义向量；

将所述语义向量输入语义匹配网络进行训练，并基于每次训练的损失值，调整所述预语义表达提取网络和所述语义匹配网络，以生成语义向量提取模型，其中，所述语义向量提取模型包括训练结束时生成的目标语义表达提取网络和目标语义匹配网络；

所述将所述敏感文本样本输入预语义表达提取网络中进行识别，还包括：

对所述敏感文本样本进行组合处理，生成满足数据匹配任务要求的样本组，将每个所述样本组输入到所述预语义表达提取网络中进行识别；

所述对所述敏感文本样本进行组合处理，生成满足数据匹配任务要求的样本组，包括：

以任意两个所述敏感文本样本形成一个组合；

获取所述任意两个所述敏感文本样本所标记的类型；

基于所述任意两个所述敏感文本样本所标记的类型，确定所述组合的标签，以所述组合和所述组合的标签，生成一个所述样本组。

2.根据权利要求1所述的语义向量提取模型的训练方法，其中，所述基于所述预训练文本，对语义表达提取网络进行训练，以生成预语义表达提取网络，包括：

获取多个预训练任务；

基于所述预训练任务，对所述预训练文本进行预处理，以获取所述预训练任务对应的预训练样本；

根据每个所述预训练任务对应的预训练样本，对所述语义表达提取网络进行训练，以生成所述预语义表达提取网络。

3.根据权利要求1所述的语义向量提取模型的训练方法，其中，所述基于所述任意两个所述敏感文本样本所标记的类型，确定所述组合的标签，包括：

响应于所述任意两个所述敏感文本样本所标记的类型相同，则确定所述组合的标签为同类标签；

响应于所述任意两个所述敏感文本样本所标记的类型不同，则确定所述组合的标签为非同类标签。

4.根据权利要求1所述的语义向量提取模型的训练方法，其中，所述对所述敏感文本样本进行组合处理，生成满足数据匹配任务要求的样本组，包括：

获取两个第一敏感文本样本和一个第二敏感文本样本，其中，所述两个第一敏感文本样本所标记的类型相同，且与所述第二敏感文本样本所标记的类型不同；

以所述两个第一敏感文本样本和一个第二敏感文本样本生成一个所述样本组。

5.根据权利要求1所述的语义向量提取模型的训练方法，其中，还包括：

在所述语义匹配网络的训练过程中，获取所述组合中所述任意两个所述敏感文本样本的语义向量之间的第一相似度，基于所述第一相似度，获取所述损失值。

6.根据权利要求4所述的语义向量提取模型的训练方法，其中，还包括：

在所述语义匹配网络的训练过程中，获取两个所述第一敏感文本样本的语义向量之间的第二相似度；

分别获取每个所述第一敏感文本样本的语义向量与所述第二敏感文本样本的语义向量之间的第三相似度；

基于所述第二相似度和所述第三相似度，获取所述损失值。

7.一种敏感文本识别方法，适用于如权利要求1-6任一项所述的语义向量提取模型的训练方法所训练出的语义向量提取模型，所述方法包括：

获取待识别文本；

将所述待识别文本输入所述语义向量提取模型中进行识别，以获取所述待识别文本的第一语义向量；

基于所述第一语义向量和所述语义向量提取模型的敏感文本样本的第二语义向量，确定所述待识别文本的类型标签，其中，所述类型标签为敏感标签或者非敏感标签。