[发明专利]一种文本信息的识别方法以及相关装置

说明书

本申请公开了一种文本信息的识别方法以及相关装置，应用于人工智能的自然语言处理技术。通过获取预设语料；然后基于预设规则从预设语料中提取对应于目标类型的多个正相关词。进一步的调用预设语料和多个正相关词对预训练模型进行训练，以得到第一识别模型；并基于第一识别模型进行调整得到第二识别模型；进而基于第二识别模型中进行文本识别。从而实现高效且准确的文本识别过程，采用与目标类型关联的预设语料以及补充的正相关词同时执行掩蔽操作，保证了识别模型对于目标类型关联词汇的识别能力，进而提高了文本信息识别的准确性。

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本信息的识别方法以及相关装置。

背景技术

随着互联网技术的迅速发展，在人们生活中的信息流越来越丰富。但是在丰富的信息流中需要进行特征的区别；例如低俗(软色情)识别一直是信息流内容质量治理的一个重要任务。信息流内容包含多种形态，例如：图文、视频等，无论何种形态的内容，用户首先接触的是标题(短视频描述)和封面，因此如何对其中的文本信息进行识别成为难题。

一般，可以通过机器学习模型进行文本信息的识别过程，即采用目标类型相关的语料对机器学习模型进行训练，然后对待识别信息流中的目标类型信息进行识别。

但是，对于采用目标类型相关的语料对机器学习模型进行训练的过程需要大量的语料，但是在语料收集的过程中无法保证语料的强相关性，使得机器学习模型偏离目标类型信息的识别维度，影响文本信息识别的准确性。

发明内容

有鉴于此，本申请提供一种文本信息的识别方法，可以有效提高文本信息识别的准确性。

本申请第一方面提供一种文本信息的识别方法，可以应用于终端设备中包含文本信息的识别功能的系统或程序中，具体包括：

获取预设语料，所述预设语料与目标类型的文本信息相关联；

基于预设规则从所述预设语料中提取对应于所述目标类型的多个正相关词，所述预设规则基于所述预设语料中的词汇与目标标签的互信息设定，所述目标标签与所述目标类型相对应。

调用所述预设语料和多个所述正相关词对预训练模型进行训练，以得到第一识别模型，所述预训练模型的训练过程基于训练任务进行，所述训练任务指示的掩蔽操作与多个所述正相关词相关联；

基于所述预设语料对所述第一识别模型进行调整，以得到第二识别模型；

获取待检测信息，并将所述待检测信息输入所述第二识别模型中，以得到所述待检测信息中的文本信息对应于所述目标类型的识别结果。

可选的，在本申请一些可能的实现方式中，所述基于预设规则从所述预设语料中提取对应于所述目标类型的多个正相关词，包括：

基于所述预设规则从所述预设语料中提取对应于所述目标类型的多个候选词；

将多个所述候选词输入预设识别模型进行打分，以得到候选特征值；

基于所述候选特征值对所述候选词进行筛选，以得到多个所述正相关词。

可选的，在本申请一些可能的实现方式中，所述基于所述预设规则从所述预设语料中提取对应于所述目标类型的多个候选词，包括：

统计所述预设语料中各个词汇的频率信息；

基于所述频率信息确定高频词汇；

基于所述预设规则确定所述高频词汇与所述目标标签的互信息；

根据所述互信息确定对应于所述目标类型的多个所述候选词。

可选的，在本申请一些可能的实现方式中，所述基于所述候选特征值对所述候选词进行筛选，以得到多个所述正相关词，包括：