[发明专利]一种序列标注模型的训练方法及装置

权利要求书

1.一种序列标注模型的训练方法，其特征在于，包括：

获取待训练的序列标注模型和样本训练语句集合；

基于所述样本训练语句集合对所述序列标注模型进行训练，得到第一损失信息；

根据所述序列标注模型的模型参数，确定对抗扰动因子，并基于加入所述对抗扰动因子的样本训练语句集合对所述序列标注模型进行训练，得到第二损失信息；

基于所述第一损失信息和所述第二损失信息计算得到目标损失信息，并基于所述目标损失信息对所述序列标注模型的模型参数进行调整并进行迭代训练，以及确定满足预设的收敛条件时，输出训练后的所述序列标注模型。

2.如权利要求1所述的方法，其特征在于，所述根据所述序列标注模型的模型参数，确定对抗扰动因子，包括：

获取所述序列标注模型当前的模型参数，并基于所述模型参数计算所述序列标注模型的梯度，并基于所述梯度以及预设的超参数计算对抗扰动因子，其中，所述超参数用于调整生成的对抗扰动的强弱。

3.如权利要求2所述的方法，其特征在于，所述基于所述梯度以及预设的超参数计算对抗扰动因子，包括：

获取所述超参数，并将获得的所述超参数与所述梯度的乘积，与所述梯度的范数做商得到对抗扰动因子。

4.如权利要求1所述的方法，其特征在于，所述基于所述目标损失信息对所述序列标注模型的模型参数进行调整并进行迭代训练之前，进一步包括：

获取为所述序列标注模型中的预训练模型设置的原始学习率，所述预训练模型用于基于输入的样本训练语句生成相应的字向量集合；

根据对应所述预训练模型中各个层级预设的层系数，结合所述原始学习率，分别确定各个层级对应的学习率，其中，所述学习率用于表征对各个层级对应的模型参数的调整幅度；

所述基于所述目标损失信息对所述序列标注模型的模型参数进行调整并进行迭代训练，包括：

基于确定的所述序列标注模型中各个层级的学习率以及所述目标损失信息，采用误差反向传播的方式调整所述序列标注模型中各个层级的模型参数。

5.如权利要求1-4任一项所述的方法，其特征在于，基于所述样本训练语句集合对所述序列标注模型进行训练，得到第一损失信息，包括：

将所述样本训练语句集合中的各个样本训练语句输入序列标注模型，针对各个输入所述序列标注模型中的样本训练语句，分别执行以下操作：

确定一个样本训练语句中各个字符对应的字向量，生成相应的第一字向量集合；

基于所述第一字向量集合对所述一个样本训练语句进行实体标注，得到对应的第一预测标注信息；

基于所述第一预测标注信息与所述一个样本训练语句对应的真实标注信息之间的标注差异计算得到一个第一损失信息。

6.如权利要求5所述的方法，其特征在于，所述基于加入所述对抗扰动因子的样本训练语句集合对所述序列标注模型进行训练，得到第二损失信息，包括：

将所述对抗扰动因子加入所述第一字向量集合，得到第二字向量集合；

基于所述第二字向量集合对所述一个样本训练语句进行实体标注，得到对应的第二预测标注信息；

基于所述第二预测标注信息与所述一个样本训练语句对应的真实标注信息之间的标注差异计算得到一个第二损失信息。

7.如权利要求1-4任一项所述的方法，其特征在于，所述输出训练后的所述序列标注模型后，进一步包括：

获取待处理语句，调用所述序列标注模型对所述待处理语句进行序列标注处理，得到输出的预测标注信息。