[发明专利]一种基于迁移学习和深度学习的多标签化工领域新闻分类方法

权利要求书

1.一种基于迁移学习和深度学习的多标签化工领域新闻分类方法，其特征在于，包括以下步骤：

步骤S1：获取新闻数据；

步骤S2：对新闻数据进行分段及添加标签，建立数据集序列M；

步骤S3：将数据集序列M中每段文本转化为向量序列，获得每段文本的组合向量；

步骤S4：选择预训练模型并利用组合向量进行训练，得到文本向量；

步骤S5：利用迁移学习构建多标签化工新闻分类模型，以捕捉文本向量中局部的特征和全局的语义信息；

步骤S6：对多标签化工新闻分类模型进行优化；

步骤S7：对多标签化工新闻分类模型进行性能分析。

2.根据权利要求1所述的基于迁移学习和深度学习的多标签化工领域新闻分类方法，其特征在于，步骤S1所述的新闻数据是指已收集的国内外化工新闻。

3.根据权利要求1所述的基于迁移学习和深度学习的多标签化工领域新闻分类方法，其特征在于，步骤S2所述的分段及添加标签包括以下子步骤：

步骤S201：将所有新闻数据按Stop_word＝{'/n','。'}停用词进行分割，其中'/n'代表换行符，形成n段文本；

步骤S202：对每段文本添加标签label，即将每段文本逐一对比标签列表LABEL中关键词，符合关键词记为1，不符合记为0，形成关于1或0的数据列表，作为这段文本的标签label；

步骤S203：得到的每段文本记为：Para＝{id,content,label}，其中id＝1,2...n，content表示文本内容；

步骤S204：获得数据集序列M：M＝{Para₁,Para₂,Para₃,...,Para_n}。

4.根据权利要求3所述的基于迁移学习和深度学习的多标签化工领域新闻分类方法，其特征在于，所述的标签列表LABEL为：

LABEL＝{'行业动态','政策解读','企业动态','市场分析','技术创新','无用信息'}。

5.根据权利要求1所述的基于迁移学习和深度学习的多标签化工领域新闻分类方法，其特征在于，步骤S3所述的将数据集序列M中每段文本转化为向量序列，获得每段文本的组合向量，包括以下子步骤：

步骤S301：对数据集序列M中每段文本进行文本分类任务，即将每段文本前添加一个标志[CLS]表示该文本是用于分类任务，结尾添加一个标志[SEP]将每段文本隔开；

步骤S302：将每段文本进行分词，得到每个单词的向量表示，即词语向量；将多组单词合并成一个整体的向量表示，得到片段向量；使用不同的正弦和余弦函数对每个分词分配一个向量，以表示其在序列中的相对位置，得到位置向量；

步骤S303：计算每段文本的词语向量、片段向量和位置向量之和，获得每段文本的组合向量。

6.根据权利要求5所述的基于迁移学习和深度学习的多标签化工领域新闻分类方法，其特征在于，其中对每个分词分配一个向量得到位置向量，具体为：

设其中一段文本的长度为Z，则这段文本中第i个单词的位置向量PE(i,j)为：

其中d是嵌入向量的维度，j是每个维度，j∈(1,d)。

7.根据权利要求1所述的基于迁移学习和深度学习的多标签化工领域新闻分类方法，其特征在于，步骤S4所述的选择预训练模型并利用组合向量对其进行训练，得到文本向量，包括以下子步骤：

步骤S401：选用bert-base-chinese预训练模型；

步骤S402：将数据集序列M中每段文本的组合向量输入预训练模型中，对模型进行训练；

步骤S403：经过多轮训练，直到损失函数loss的值不再变化后，得到一系列具有丰富语义信息的文本向量，该向量是一个高维向量，其中每个维度代表了不同的语义信息。