[发明专利]文本审核模型的训练方法、装置及文本审核的方法、装置

权利要求书

1.一种文本审核模型的训练方法，其特征在于，所述文本审核模型包括敏感词抽取模型和文本分类模型；所述方法包括：

根据审核样本中的敏感词及其分类训练第一预训练模型，得到所述敏感词抽取模型，所述敏感词抽取模型用于确定待审核文本的句子向量和敏感词类型序列向量；

根据所述审核样本的句子向量和敏感词类型序列向量训练第二预训练模型，得到所述文本分类模型，所述文本分类模型用于根据所述待审核文本的句子向量和敏感词类型序列向量确定所述待审核文本的审核结果。

2.根据权利要求1所述的方法，其特征在于，所述第一预训练模型包括：文本转换层、自注意力机制网络层和实体识别层；

根据审核样本中的敏感词及其分类训练第一预训练模型，包括：将所述审核样本输入所述文本转换层，以将所述审核样本转换为以字为单位的句子向量；将所述句子向量输入自注意力机制网络层，以得到关键信息向量；将所述关键信息向量输入所述实体识别层，根据所述实体识别层的输出信息以及所述审核样本的敏感词类型序列向量调整所述文本转换层、所述自注意力机制网络层和所述实体识别层的参数。

3.根据权利要求2所述的方法，其特征在于，所述文本转换层采用Roberta网络。

4.根据权利要求2所述的方法，其特征在于，所述实体识别层为条件随机场模型。

5.根据权利要求1所述的方法，其特征在于，所述第二预训练模型包括：全连接层、自注意力机制网络层和标签分类器；

根据所述审核样本的句子向量和敏感词类型序列向量训练第二预训练模型，包括：拼接所述审核样本的句子向量和敏感词类型序列向量，得到拼接向量；将所述拼接向量输入所述全连接层和自注意力机制网络层，得到多层向量；将所述多层向量输入所述标签分类器，根据所述标签分类器的输出信息以及所述审核样本的文本类型调整所述全连接层、所述自注意力机制网络层和所述标签分类器的参数。

6.一种文本审核的方法，其特征在于，包括：

将待审核文本输入文本审核模型，得到所述待审核文本的审核结果；其中，所述文本审核模型是采用权利要求1-5任一所述的方法训练得到的。

7.一种文本审核模型的训练装置，其特征在于，包括：

第一训练模块，用于根据审核样本中的敏感词及其分类训练第一预训练模型，得到所述敏感词抽取模型，所述敏感词抽取模型用于确定待审核文本的句子向量和敏感词类型序列向量；

第二训练模块，用于根据所述审核样本的句子向量和敏感词类型序列向量训练第二预训练模型，得到所述文本分类模型，所述文本分类模型用于根据所述待审核文本的句子向量和敏感词类型序列向量确定所述待审核文本的审核结果。

8.一种文本审核的装置，其特征在于，包括：文本接收模块和文本审核模型的训练装置；其中，

文本审核模型的训练装置用于根据审核样本中的敏感词及其分类训练第一预训练模型，得到所述敏感词抽取模型，所述敏感词抽取模型用于确定待审核文本的句子向量和敏感词类型序列向量；根据所述审核样本的句子向量和敏感词类型序列向量训练第二预训练模型，得到所述文本分类模型，所述文本分类模型用于根据所述待审核文本的句子向量和敏感词类型序列向量确定所述待审核文本的审核结果；

所述文本接收模块将待审核文本输入文本审核模型，得到所述待审核文本的审核结果。

9.一种电子设备，其特征在于，包括：

一个或者多个处理器；

存储装置，用于存储一个或者多个程序，

当所述一个或者多个程序被所述一个或者多个处理器执行时，所述一个或者多个处理器实现如权利要求1-6中任一所述的方法。

10.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1-6中任一所述的方法。