[发明专利]文本审核模型的训练方法、装置及文本审核的方法、装置

说明书

本发明公开了文本审核模型的训练方法、装置及文本审核的方法、装置，涉及计算机技术领域。文本审核模型的训练方法的一具体实施方式包括：根据审核样本中的敏感词及其分类训练第一预训练模型，得到敏感词抽取模型；根据所述审核样本的句子向量和敏感词类型序列向量训练第二预训练模型，得到文本分类模型。该实施方式能够提高文本审核模型的可移植性及其抽取敏感词的准确性和泛化能力。文本审核方法的一具体实施方式包括：将待审核文本输入上述文本审核模型，得到所述待审核文本的审核结果。该实施方式能够从待审核文本中准确解析敏感词及其类型，减少人力成本，更容易发现类型相同的新敏感词，并得到待审核文本的审核结果。

技术领域

本发明涉及计算机技术领域，尤其涉及文本审核模型的训练方法、装置及文本审核的方法、装置。

背景技术

文本审核在新闻校对、社交评论及即时通讯等众多场景中起着重要的作用。在文本审核时，通常将文本中的敏感词抽取作为命名实体识别任务，通过预先设定的规则抽取该文本中的敏感词，通过机器学习等方法根据文本语义以及其中的敏感词判断该文本的类型，从而得到文本审核结果。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

不能准确判断文本类型，且泛化能力和可移植性低。

发明内容

有鉴于此，本发明实施例提供一种文本审核模型的训练方法、装置及文本审核的方法、装置，能够在文本中自动抽取敏感词并进行敏感词分类，减少人工消耗，能够提高敏感词抽取效果的泛化能力和准确性，能够提高文本审核方法的可移植性。

为实现上述目的，根据本发明实施例的第一个方面，提供了一种文本审核模型的训练方法，所述文本审核模型包括敏感词抽取模型和文本分类模型，所述方法包括：

根据审核样本中的敏感词及其分类训练第一预训练模型，得到所述敏感词抽取模型，所述敏感词抽取模型用于确定所述待审核文本的句子向量和敏感词类型序列向量；

根据所述审核样本的句子向量和敏感词类型序列向量训练第二预训练模型，得到所述文本分类模型，所述文本分类模型用于根据所述待审核文本的句子向量和敏感词类型序列向量确定所述待审核文本的审核结果。

可选地，所述第一预训练模型包括：文本转换层、自注意力机制网络层和实体识别层；

根据审核样本中的敏感词及其分类训练第一预训练模型，包括：将所述审核样本输入所述文本转换层，以将所述审核样本转换为以字为单位的句子向量；将所述句子向量输入自注意力机制网络层，以得到关键信息向量；将所述关键信息向量输入所述实体识别层，根据所述实体识别层的输出信息以及所述审核样本的敏感词类型序列向量调整所述文本转换层、所述自注意力机制网络层和所述实体识别层的参数。

可选地，所述文本转换层采用Roberta网络。

可选地，所述实体识别层为条件随机场模型。

可选地，所述第二预训练模型包括：全连接层、自注意力机制网络层和标签分类器；

根据所述审核样本的句子向量和敏感词类型序列向量训练第二预训练模型，包括：拼接所述审核样本的句子向量和敏感词类型序列向量，得到拼接向量；将所述拼接向量输入所述全连接层和自注意力机制网络层，得到多层向量；将所述多层向量输入所述标签分类器，根据所述标签分类器的输出信息以及所述审核样本的文本类型调整所述全连接层、所述自注意力机制网络层和所述标签分类器的参数。

根据本发明实施例的第二方面，提供一种文本审核的方法，包括：

将待审核文本输入文本审核模型，得到所述待审核文本的审核结果；其中，所述文本审核模型是采用本发明实施例的第一个方面中任一所述的方法训练得到的。

根据本发明实施例的第三方面，提供一种文本审核模型的训练装置，包括：