[发明专利]一种判别文本信息的方法和装置

说明书

本发明公开了一种判别文本信息的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：采用语料库中的页面文本信息训练自然语言预训练模型，得到局部预训练模型；采用包含绝对化用语的文本信息及其对应的标签，训练所述局部预训练模型，得到绝对化语义判别模型；将待识别的包含绝对化用语的文本信息输入到所述绝对化语义判别模型，从而得到判别结果。该实施方式能够解决无法准确判别绝对化用语是否违规的技术问题。

技术领域

本发明涉及计算机技术领域，尤其涉及一种判别文本信息的方法和装置。

背景技术

广告法规定禁止使用绝对化用语，但是仍有部分商家在商品页面宣传中使用违反广告法的绝对化用语。例如，广告法中禁止使用的绝对化用语包含但不限于：“国家级、世界级、最高级、最佳、最大、第一、唯一、首个、最好、最大、顶级、最高、最低、最、最具、最便宜、绝对、独家”等。

但是，包含绝对化用语的并不一定都违规，需区分绝对化用语和语境词，如表达个人情感、意愿的绝对化用语。例如：“每一次选择都是对生活最好的期待”表达的是个人感情，不违规；而“本车贴使用了最好的反光材料”指向的是自己销售的商品，应为违规。因此，针对绝对化用语违规的识别，必须是基于语言环境的。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

直接使用已开源的自然语言预训练模型进行绝对化用语违规的识别，在一定程度上缺少对语境的理解，并且通过直接设定超参数进行训练的方法，容易导致训练过程中出现过拟合或训练不充分的现象，使得模型上线后，判别效果大幅度下降。

发明内容

有鉴于此，本发明实施例提供一种判别文本信息的方法和装置，以解决无法准确判别绝对化用语是否违规的技术问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种判别文本信息的方法，包括：

采用语料库中的页面文本信息训练自然语言预训练模型，得到局部预训练模型；

采用包含绝对化用语的文本信息及其对应的标签，训练所述局部预训练模型，得到绝对化语义判别模型；

将待识别的包含绝对化用语的文本信息输入到所述绝对化语义判别模型，从而得到判别结果。

可选地，采用语料库中的页面文本信息训练自然语言预训练模型之前，还包括：

通过光学字符识别从页面图像中识别出页面文本信息；

去除所述页面文本信息中的特殊字符，将去除特殊字符后的页面文本信息保存到语料库中。

可选地，采用包含绝对化用语的文本信息及其对应的标签，训练所述局部预训练模型之前，还包括：

通过光学字符识别从页面图像中识别出包含绝对化用语的文本信息；

判断所述包含绝对化用语的文本信息的长度是否大于长度阈值；

若是，则对所述绝对化用语的文本信息进行切分，得到包含绝对化用语的短文本信息；

对各个所述包含绝对化用语的文本信息和各个所述包含绝对化用语的短文本信息分别标记标签。

可选地，采用包含绝对化用语的文本信息及其对应的标签，训练所述局部预训练模型，得到绝对化语义判别模型，包括：

将包含绝对化用语的文本信息及其对应的标签分为训练集和测试集；

采用训练集训练所述局部预训练模型，得到绝对化语义判别模型；

采用测试集对所述绝对化语义判别模型进行测试，通过迭代训练得到最优的绝对化语义判别模型。