[发明专利]一种文本数据处理方法、装置、设备以及介质

说明书

本申请实施例提供了一种文本数据处理方法、装置、设备以及介质，该方法涉及人工智能领域，方法包括：获取待推送信息流的目标文本数据，通过第一网络模型确定编码特征向量；获取与第二网络模型相关联的规则知识库，基于目标文本数据和规则知识库中的规则类知识，确定规则特征向量；获取与第三网络模型相关联的领域知识库，基于目标文本数据和领域知识库中的正相关词知识，确定相关特征向量；将编码特征向量、规则特征向量以及相关特征向量进行向量拼接，得到目标拼接向量，将目标拼接向量输入至目标推荐模型的分类器，由分类器输出目标文本数据所属的目标分类标签。采用本申请，可以提高分类标签识别的准确性，进而提高信息优化的准确度。

技术领域

本申请涉及计算机技术领域，尤其涉及一种文本数据处理方法、装置、设备以及介质。

背景技术

现有的低俗识别任务通常是直接使用任务数据集对预训练模型进行微调(fine-tuning)，以得到对文本数据进行低俗识别的低俗文本分类模型。但是，当任务数据集中的样本数量不足，或者低俗文本分类模型对新鲜样本的适应能力(即低俗文本分类模型的泛化能力)不足时，难以确保对文本数据进行低俗识别的准确性。

基于此，当采用现有的低俗文本分类模型对某个携带低俗文本的目标文本数据(例如，视频D的文本数据)进行误识别之后，则会将该携带低俗文本的目标文本数据(例如，视频D的文本数据)所对应的视频D误添加至内容数据库。这样，当后台服务器向某个用户推送信息流时，会无差别地将从内容数据库拿到的多个视频或者图文等构建成信息流，以直接将其推送给该用户对应的用户终端，以至于存在将前述携带低俗文本的视频D推送至用户终端的现象，这意味着现有的信息流的推送方式，难以实现对当前推送的信息流的信息优化。

发明内容

本申请实施例提供一种文本数据处理方法、装置、设备以及介质，可以提高分类标签识别的准确性，进而提高信息优化的准确度。

本申请实施例一方面提供了一种文本数据处理方法，包括：

获取待推送信息流的目标文本数据，通过第一网络模型确定目标文本数据对应的编码特征向量；第一网络模型属于与目标文本数据相关联的目标推荐模型；目标推荐模型包括不同于第一网络模型的第二网络模型和第三网络模型；

获取与第二网络模型相关联的规则知识库，基于目标文本数据和规则知识库中的规则类知识，确定目标文本数据对应的规则特征向量；

获取与第三网络模型相关联的领域知识库，基于目标文本数据和领域知识库中的正相关词知识，确定目标文本数据对应的相关特征向量；

将编码特征向量、规则特征向量以及相关特征向量进行向量拼接，得到目标文本数据的目标拼接向量，将目标拼接向量输入至目标推荐模型的分类器，由分类器输出目标文本数据所属的目标分类标签；目标分类标签用于对待推送信息流进行信息处理。

本申请实施例一方面提供了一种文本数据处理装置，包括：

第一输出模块，用于获取待推送信息流的目标文本数据，通过第一网络模型确定目标文本数据对应的编码特征向量；第一网络模型属于与目标文本数据相关联的目标推荐模型；目标推荐模型包括不同于第一网络模型的第二网络模型和第三网络模型；

第二输出模块，用于获取与第二网络模型相关联的规则知识库，基于目标文本数据和规则知识库中的规则类知识，确定目标文本数据对应的规则特征向量；

第三输出模块，用于获取与第三网络模型相关联的领域知识库，基于目标文本数据和领域知识库中的正相关词知识，确定目标文本数据对应的相关特征向量；

标签确定模块，用于将编码特征向量、规则特征向量以及相关特征向量进行向量拼接，得到目标文本数据的目标拼接向量，将目标拼接向量输入至目标推荐模型的分类器，由分类器输出目标文本数据所属的目标分类标签；目标分类标签用于对待推送信息流进行信息处理。

其中，第一输出模块包括：