[发明专利]基于迁移学习的互联网垃圾信息检测方法及系统

权利要求书

1.一种基于迁移学习的互联网垃圾信息检测方法，其特征在于，包括以下步骤：

S100，对带标记的第一语料进行预处理，得到相应的第一词向量序列，输入BERT模型，获得隐藏层的输出，经过全连接层，再进入Softmax分类器，对所述BERT模型的训练和测试，得到预训练好的所述BERT模型；

S200，构建垃圾信息检测模型，所述垃圾信息检测模型包括预训练好的所述BERT模型、LSTM网络模型、全连接层及Softmax分类器；以及，对带互联网垃圾信息标记的第二语料进行预处理，得到相应的第二词向量序列，基于训练好的所述BERT模型，获取隐藏层输出的第二语义特征向量，并基于LSTM网络模型获取第三语义特征向量，经过全连接层输入Softmax分类器，对所述垃圾信息检测模型进行训练和测试，其中所述第二语料与所述第一语料对应同一种语言；

S300，对不带标记的所述第二语料进行预处理，得到相应的第三词向量序列，通过训练好的所述垃圾信息检测模型，确定是否含有互联网有害信息；

其中，所述步骤S100包括：

S110，按预设规则将对带标记的所述第一语料划分为第一训练集与第一测试集，并分别进行预处理，生成数据字典，进行文本字符化，得到相应的第一文本序列，通过字符标识对所述第一文本序列进行分割，得到所述第一词向量序列；

S120，基于所述第一训练集的所述第一词向量序列对所述BERT模型进行预训练，获得隐藏层的输出的第一语义特征向量，经过全连接层输入至Softmax分类器，计算第一训练准确率，根据所述第一训练准确率调整所述BERT模型的超参数并进行迭代训练；

S130，基于所述第一测试集的所述第一词向量序列对所述BERT模型进行测试，计算第一测试准确率，根据所述第一测试准确率调整所述BERT模型的超参数并进行迭代训练；

其中，所述步骤S200包括：

S210，按预设规则将带互联网垃圾信息标记的所述第二语料划分为第二训练集与第二测试集，并分别进行预处理，生成数据字典，进行文本字符化，得到相应的第二文本序列，通过字符标识对所述第二文本序列进行分割，得到相应的所述第二词向量序列；

S220，基于所述第二训练集的所述第二词向量序列对所述垃圾信息检测模型进行预训练，基于预训练好的所述BERT模型提取语义特征，得到隐藏层输出的所述第二语义特征向量，基于LSTM网络模型对所述第二语义特征向量提取特征，得到所述第三语义特征向量，将所述第三语义特征向量经过全连接层输入Softmax分类器，计算第二训练准确率，根据所述第二训练准确率调整所述垃圾信息检测模型的超参数并进行迭代训练；

S230，基于所述第二测试集的所述第二词向量序列对所述垃圾信息检测模型进行测试，计算第二测试准确率，根据所述第二测试准确率调整所述垃圾信息检测模型的超参数并进行迭代训练。

2.根据权利要求1所述的基于迁移学习的互联网垃圾信息检测方法，其特征在于，所述步骤S120还包括：若所述第一训练集的迭代训练次数大于等于第一预设最大迭代数或者所述第一训练准确率大于等于第一预设阈值，则转入步骤S130。

3.根据权利要求1所述的基于迁移学习的互联网垃圾信息检测方法，其特征在于，所述步骤S130还包括：若检测到所述BERT模型的超参数的调整次数大于等于第一最大值，则输出预训练好的所述BERT模型。

4.根据权利要求1所述的基于迁移学习的互联网垃圾信息检测方法，其特征在于，所述步骤S220还包括：若所述第二训练集的迭代训练次数大于等于第二预设最大迭代数或者所述第二训练准确率大于等于第二预设阈值，则转入步骤S230。

5.根据权利要求4所述的基于迁移学习的互联网垃圾信息检测方法，其特征在于，所述步骤S230还包括：若检测到所述垃圾信息检测模型的超参数的调整次数大于等于第二最大值，则输出训练好的所述垃圾信息检测模型。