[发明专利]基于迁移学习的互联网垃圾信息检测方法及系统

说明书

本发明公开了基于迁移学习的互联网垃圾信息检测方法及系统，该方法包括以下步骤：对带标记的第一语料进行预处理，得到相应的第一词向量序列，预训练BERT模型；构建垃圾信息检测模型，包括训练好的BERT模型、LSTM网络模型、全连接层及Softmax分类器；以及，对带互联网垃圾信息标记的第二语料进行预处理后，对垃圾信息检测模型进行训练和测试，其中第二语料与第一语料对应同一种语言；对不带标记的第二语料进行预处理，得到相应的第三词向量序列，通过训练好的垃圾信息检测模型，确定是否含有互联网有害信息。本发明减少了训练所需的有标签的第二语料的数据量，缩短模型训练时间，节省计算资源，同时确保模型的准确性和稳定性。

技术领域

本发明涉及人工智能垃圾信息检测的技术领域，特别涉及一种基于迁移学习的互联网垃圾信息检测方法及系统。

背景技术

随着我国互联网技术的不断发展，各种社交网站平台如微博，微信公众号等如雨后春笋般大量涌现并且繁荣发展，网络上的信息通过此类平台逐渐渗透到人们日常生活中的各个角落。然而，这些信息中往往也夹杂着大量无用甚至有害的垃圾信息，推广传播这些有害信息不仅会降低正常用户的平台使用体验满意度，更有可能诱导一部分网络用户不知不觉中收到网络诈骗的侵害。

现有的针对互联网有害信息识别的自然语言处理深度学习模型往往需要大量的有标签数据进行训练，而在实际应用中，很难获得针对某一特殊领域或者特殊用户群体的大量的有标签的训练信息，因而造成互联网垃圾信息识别能力低下，且成本高昂。

发明内容

本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于迁移学习的互联网垃圾信息检测方法，能够有效降低识别成本，提高互联网垃圾信息的检测能力。

本发明还提出一种具有上述基于迁移学习的互联网垃圾信息检测方法的基于迁移学习的互联网垃圾信息检测系统。

本发明还提出一种具有上述基于迁移学习的互联网垃圾信息检测方法的计算机可读存储介质。

根据本发明的第一方面实施例的基于迁移学习的互联网垃圾信息检测方法，包括以下步骤：S100，对带标记的第一语料进行预处理，得到相应的第一词向量序列，输入BERT模型，获得隐藏层的输出，经过全连接层，再进入Softmax分类器，对所述BERT模型的训练和测试，得到预训练好的所述BERT模型；S200，构建垃圾信息检测模型，所述垃圾信息检测模型包括预训练好的所述BERT模型、LSTM网络模型、全连接层及Softmax分类器；以及，对带互联网垃圾信息标记的第二语料进行预处理，得到相应的第二词向量序列，基于训练好的所述BERT模型，获取隐藏层输出的第二语义特征向量，并基于LSTM网络模型获取第三语义特征向量，经过全连接层输入Softmax分类器，对所述垃圾信息检测模型进行训练和测试，其中所述第二语料与所述第一语料对应同一种语言；S300，对不带标记的所述第二语料进行预处理，得到相应的第三词向量序列，通过训练好的所述垃圾信息检测模型，确定是否含有互联网有害信息。

根据本发明实施例的基于迁移学习的互联网垃圾信息检测方法，至少具有如下有益效果：通过将预训练的BERT模型与LSTM网络组合，构建深度迁移模型，减少了训练所需的有标签的第二语料的数据量，可以大大缩短模型训练时间，节省计算资源，同时确保模型的准确性和稳定性。

根据本发明的一些实施例，所述步骤S100包括：S110，按预设规则将对带标记的所述第一语料划分为第一训练集与第一测试集，并分别进行预处理，生成数据字典，进行文本字符化，得到相应的第一文本序列，通过字符标识对所述第一文本序列进行分割，得到所述第一词向量序列；S120，基于所述第一训练集的所述第一词向量序列对所述BERT模型进行预训练，获得隐藏层的输出的第一语义特征向量，经过全连接层输入至Softmax分类器，计算第一训练准确率，根据所述第一训练准确率调整所述BERT模型的超参数并进行迭代训练；S130，基于所述第一测试集的所述第一词向量序列对所述BERT模型进行测试，计算第一测试准确率，根据所述第一测试准确率调整所述BERT模型的超参数并进行迭代训练。