[发明专利]文档分类方法、装置、设备和存储介质

权利要求书

1.一种文档分类方法，其特征在于，包括如下步骤：

提取待分类文档的关键词，构建关键词知识库；

获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量；

将待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量通过注意力机制融合，得到融合向量；

将所述融合向量作为全连接层的输入，从全连接层的输出得到待分类文档的分类结果。

2.根据权利要求1所述的文档分类方法，其特征在于，构建关键词知识库具体包括如下步骤：

对待分类文档进行预处理；

通过第一Bert模型提取预处理后的待分类文档的文档向量，所述第一Bert模型为已完成预训练的Bert模型，其预训练过程包括MLM和NSP两个训练任务；

使用N元语法模型从所述文档向量中提取候选关键词的词向量；

计算候选关键词的词向量与文档向量之间的相似度，根据所述相似度确定待分类文档的关键词，形成关键词知识库。

3.根据权利要求2所述的文档分类方法，其特征在于，通过计算候选关键词的词向量与文档向量之间余弦值确定候选关键词与待分类文档之间的相似度。

4.根据权利要求1所述的文档分类方法，其特征在于，通过第二Bert模型获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量，所述第二Bert模型为已完成预训练的Bert模型，其预训练过程不包括NSP训练任务。

5.根据权利要求1所述的文档分类方法，其特征在于，所述注意力机制为多头注意力机制。

6.一种文档分类装置，其特征在于，包括：

关键词生成模块，用于提取待分类文档的关键词，构建关键词知识库；

词嵌入模块，用于获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量；

融合模块，用于将待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量通过注意力机制融合，获得融合向量；

全连接层，用于通过所述融合向量获取待分类文档的分类结果。

7.根据权利要求6所述的文档分类装置，其特征在于，所述关键词生成模块包括：

文档嵌入模块，用于提取预处理后的待分类文档的文档向量，所述文档嵌入模块包括已完成预训练的第一Bert模型，所述第一Bert模型的预训练过程包括MLM训练任务和NSP训练任务；

候选关键词生成模块，所述候选关键词生成模块包括N元语法模型，用于从所述文档向量中提取候选关键词的词向量；

关键词选取模块，用于计算候选关键词的词向量与文档向量之间的余弦相似度，根据所述余弦相似度确定待分类文档的关键词。

8.根据权利要求6所述的文档分类装置，其特征在于，所述词嵌入模块包括已完成预训练的第二Bert模型，所述第二Bert模型的预训练过程包括MLM训练任务但不包括NSP训练任务，其MLM训练任务采用动态掩码方式。

9.一种文档分类设备，其特征在于，所述文档分类设备包括：存储器和至少一个处理器，所述存储器中存储有计算机程序；所述至少一个处理器调用所述存储器中的所述计算机程序，以使得所述文档分类设备执行如权利要求1-5中任意一项所述的文档分类方法。

10.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述文档分类方法。