[发明专利]基于BERT模型的文档关键词抽取方法及装置

权利要求书

1.一种基于BERT模型的文档关键词抽取方法，其特征在于，包括：

步骤1、将文档集合中的每篇文档通过BERT模型进行编码，并提取所述BERT模型生成的文档语义对每个子词的注意力权重；

步骤2、将所述子词还原成词语，并将所述子词的注意力权重聚合为所述词语的注意力权重；

步骤3、将所述文档中不同位置的同一所述词语的注意力权重聚合为所述词语的与位置无关的注意力权重，记为p(word_weight|doc)；

步骤4、计算每个所述词语在所述文档集合上的注意力权重，记为p(word_weight|corpus)；以及

步骤5、联合所述p(word_weight|doc)和所述p(word_weight|corpus)计算所述词语的最终注意力权重，并选取N个所述最终注意力权重最高的所述词语作为所述文档关键词。

2.如权利要求1所述的基于BERT模型的文档关键词抽取方法，其特征在于，所述步骤1中所述子词的注意力权重为所述BERT模型中的最后一层编码器所生成的。

3.如权利要求1所述的基于BERT模型的文档关键词抽取方法，其特征在于，所述步骤2中将所述子词还原成词语包括：

对于每个所述子词，记录其在所述文档中的起始位置和结束位置，使用分词器对文档进行词语级别的分词，对于切分出来的每个所述词语，记录其在所述文档中的起始位置和结束位置，通过所述子词的起始位置、结束位置以及所述词语的起始位置、结束位置，将所述子词还原成所述词语。

4.如权利要求1或3所述的基于BERT模型的文档关键词抽取方法，其特征在于，所述步骤2中将所述子词的注意力权重聚合为所述词语的注意力权重包括：

将所述词语的所述子词的注意力权重相加并作为所述词语的注意力权重，或者将所述词语的第一个所述子词作为所述词语的注意力权重。

5.如权利要求1所述的基于BERT模型的文档关键词抽取方法，其特征在于，所述步骤3中将所述文档中不同位置的同一所述词语的注意力权重聚合为所述词语的与位置无关的注意力权重包括：

将不同位置的同一所述词语的注意力权重相加并作为所述词语的与位置无关的注意力权重，或者将不同位置的同一所述词语的注意力权重中的最大者作为所述词语的与位置无关的注意力权重。

6.如权利要求1所述的基于BERT模型的文档关键词抽取方法，其特征在于，所述步骤5中所述词语的最终注意力权重通过所述p(word_weight|doc)减去所述p(word_weight|corpus)计算得到。

7.一种基于BERT模型的文档关键词抽取装置，其特征在于，包括：

BERT编码单元，用于将文档集合中的每篇文档通过BERT模型进行编码，并提取所述BERT模型生成的文档语义对每个子词的注意力权重；

词语还原单元，用于将所述子词还原成词语，并将所述子词的注意力权重聚合为所述词语的注意力权重；

文档词语权重计算单元，用于将所述文档中不同位置的同一所述词语的注意力权重聚合为所述词语的与位置无关的注意力权重，记为p(word_weight|doc)；

文档集合词语权重计算单元，用于计算每个所述词语在所述文档集合上的注意力权重，记为p(word_weight|corpus)；以及

最终权重计算单元，用于联合所述p(word_weight|doc)和所述p(word_weight|corpus)计算所述词语的最终注意力权重，并选取N个所述最终注意力权重最高的所述词语作为所述文档关键词。

8.如权利要求7所述的基于BERT模型的文档关键词抽取装置，其特征在于，所述子词的注意力权重为所述BERT模型中的最后一层编码器所生成的。