[发明专利]一种文本信息识别方法及识别装置

说明书

本发明实施例提供了一种文本信息识别方法及识别装置，其中方法包括：获取待处理的UGC文本；对UGC文本进行预处理，得到所述UGC文本的笔顺特征向量和拼音特征向量；将所述笔顺特征向量和所述拼音特征向量输入预先训练好的文本识别模型中，得到所述UGC文本的目标类型识别结果。本发明实施例能够准确识别出UGC文本的目标类型，从而能够更加准确地识别出不良UGC文本。

技术领域

本发明涉及信息处理技术领域，特别是涉及一种文本信息识别方法及识别装置。

背景技术

随着视频播放平台中用户数量快速增加，用户产生的UGC(User GeneratedContent，用户原创内容)文本也以爆炸式的速度快速增加。例如，视频播放平台中出现的弹幕、评论、直播聊天室内容等UGC文本。伴随海量UGC文本的是充斥其中的不良文本信息，例如，广告、辱骂、色情等信息，这些文本信息往往会降低用户体验，还有可能导致用户财产损失，因此需要在大量的UGC文本中处理这些不良文本信息。

目前的不良文本信息识别方法，通常是基于机器学习模型进行识别，具体地，可以预先训练用于识别垃圾UGC文本的机器学习模型，然后将待识别UGC文本输入模型中，得到识别结果。

然而，发明人在实现本发明的过程中发现，现有技术至少存在如下问题：现有的机器学习模型通常基于汉字的文字特征和拼音特征进行识别，但是，不良文本信息中经常出现将词语替换为相近词语以规避识别的情况，例如将“微信”替换为“徽信”，微与徽的含义和拼音均改变，导致目前的神经网络模型难以准确识别出不良文本信息。

发明内容

本发明实施例的目的在于提供一种文本信息识别方法及识别装置，实现更加准确地识别出不良UGC文本。具体技术方案如下：

第一方面，本发明实施例提供了一种文本信息识别方法，所述方法包括：

获取待处理的用户原创内容UGC文本，所述UGC文本中包含汉字；

对所述UGC文本进行预处理，得到所述UGC文本的笔顺特征向量和拼音特征向量，其中，所述笔顺特征向量基于所述UGC文本中各汉字的笔顺生成，所述拼音特征向量基于所述UGC文本中各汉字的拼音生成；

将所述笔顺特征向量和所述拼音特征向量输入预先训练好的文本识别模型中，得到所述UGC文本的目标类型识别结果，所述目标类型至少包括：广告类型或者色情类型。

可选的，所述对所述UGC文本进行预处理，得到所述UGC文本的笔顺特征向量和拼音特征向量的步骤，包括：

提取所述UGC文本中的汉字；

将所提取的汉字组成字级文本，所述字级文本中，各汉字按照在所述UGC文本中的先后顺序排列；

基于所述字级文本中各汉字的笔顺信息生成所述字级文本的笔顺特征向量；

基于所述字级文本中各汉字的拼音信息生成所述字级文本的拼音特征向量。

可选的，所述基于所述字级文本中各汉字的笔顺信息生成所述字级文本的笔顺特征向量的步骤，包括：

从预设的字向量字典中，获取所述字级文本中各汉字的字向量，每个汉字的字向量用以表示该汉字的笔顺特征。

可选的，所述基于所述字级文本中各汉字的拼音信息生成所述字级文本的拼音特征向量的步骤，包括：

将所述字级文本中的各汉字转换为拼音；

将各拼音转化为拼音特征向量。

可选的，所述方法还包括：

如果所述字级文本的长度大于预设长度，则对所述字级文本进行截取处理，使截取后的字级文本的长度等于预设长度；