[发明专利]文档分类方法、装置、设备和存储介质

说明书

本发明公开了一种文档分类方法、装置、设备和存储介质，所述文档分类方法包括：抽取待分类文档自身的关键词，形成关键词知识库，再通过改进后的Bert模型获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量；然后将待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量通过注意力机制融合，增强待分类文档和关键词知识库的相关性，为文档分类器提供更加有效特征信息，减少无效信息的干扰，提高长文档分类的准确性。

技术领域

本发明涉及自然语言处理技术领域，特别涉及一种文档分类方法、装置、设备及存储介质。

背景技术

近些年来，随着深度学习不断地掀起的热潮，自然语言处理技术领中提出了许多模型，例如基于特征和机器学习的word2vec模型、基于深度学习的Bi-LSTM-Attention模型和不断改进的卷积神经网络模型等。其中，基于Transformer模型的Bert模型在训练和实际测试中具有优异表现。

但是，将现有技术中的Bert模型用于解决文档分类问题时，模型与待分类文档之间缺乏深层语义的融合，并且在数据训练过程中受无关因素影响较大，导致文档类别解析模糊，对篇幅过长、包含大量无效信息的文档分类效果较差，各分类界限容易混淆。

发明内容

有鉴于此，本发明提供一种文档分类方法、装置、设备和存储介质，相比于现有的应用Bert模型的档案分类方法及装置，本发明减少了无关要素的干扰影响，突出有效关键信息对文档分类的影响，从而提高文档的分类精度。

第一方面，本发明提供的一种文档分类方法，包括如下步骤：

提取待分类文档的关键词，构建关键词知识库；

获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量；

将待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量通过注意力机制融合，得到融合向量；

将所述融合向量作为全连接层的输入，从全连接层的输出得到待分类文档的分类结果。

在本发明第一方面的一种可能的实现方式中，构建关键词知识库具体包括如下步骤：

对待分类文档进行预处理；

通过第一Bert模型提取预处理后的待分类文档的文档向量，所述第一Bert模型为已完成预训练的Bert模型，其预训练过程包括MLM和NSP两个训练任务；

使用N元语法模型从所述文档向量中提取候选关键词的词向量；

计算候选关键词的词向量与文档向量之间的相似度，根据所述相似度确定待分类文档的关键词，形成关键词知识库。

优选地，通过计算候选关键词的词向量与文档向量之间余弦值确定候选关键词与待分类文档之间的相似度。

在本发明第一方面的一种可能的实现方式中，通过第二Bert模型获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量，所述第二Bert模型为已完成预训练的Bert模型，其预训练过程不包括NSP训练任务。

在本发明第一方面的一种可能的实现方式中，所述注意力机制为多头注意力机制。

第二方面，本发明提供的一种文档分类装置，包括：

关键词生成模块，用于提取待分类文档的关键词，构建关键词知识库；

词嵌入模块，用于获取待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量；

融合模块，用于将待分类文档的词嵌入向量和所述关键词知识库的词嵌入向量通过注意力机制融合，获得融合向量；

全连接层，用于通过所述融合向量获取待分类文档的分类结果。