[发明专利]一种基于长篇科学文献的关键词抽取方法

权利要求书

1.一种基于长篇科学文献的关键词抽取方法，其特征在于，对科学文献的单词进行统计，统计字数长度在8000-40000字，人工统计时间在10-60分钟，将长篇科学文献进行分块处理，再对文档进行标记并用词性Part-Of-Speech(POS)标签标记文档。文档D被标记为{Wt₁,Wt₂,…,Wt_n}，从文档D中提取的候选词组则被表示为{CP₀,CP₁,…,CP_n}。使用BERT来获取上下文动态向量的表示{T₁,T₂,…,T_N}＝BERT({t_1,t₂,…,t_N})。

2.根据权利要求1所述的基于长篇科学文献的关键词抽取方法，其特征在于，所述T_i是每个tokent_i所对应的向量表示。然后通过计算短语标记向量的平均值来获取候选短语的向量表示表示候选词组对应的数个token的编号组成的集合。

3.根据权利要求1所述的基于长篇科学文献的关键词抽取方法，其特征在于，将为整个文档的向量表示，包含全局的语义信息和一系列候选短语短语和文档的相似度采用曼哈顿距离进行计算：

4.根据权利要求1所述的基于长篇科学文献的关键词抽取方法，其特征在于，进行候选短语的排名，局部信息采用图结构模型进行处理，基于图的关键词提取排序算法通常将文档看作一个图其中的表示图中节点的向量集合，其中表示候选短语之间点积相似度得分组成的向量。表示每对候选短语向量表示点积相似度得分。

5.根据权利要求1所述的基于长篇科学文献的关键词抽取方法，其特征在于，使用节点的中心性来衡量节点的重要性，点i的中心度权重矩阵。此时

6.根据权利要求1所述的基于长篇科学文献的关键词抽取方法，其特征在于，为控制长篇科学文献中的首位边界关键词的重要性，加入边界函数F_b(x)，F_b(x)＝min(x,α(N-x))，N代表候选短语的数量，α表示一个控制文档各个位置相对重要性的超参数。如果F_b(i)F_b(j)，则说明节点i比节点j更加靠近边界。

7.根据权利要求1所述的基于长篇科学文献的关键词抽取方法，其特征在于，对于i，j两个节点之间中心性的作用，需要减少中心性的相互作用，重构相似度权重矩阵的计算。其中

，λ用于减少不在边界附近出现的短语对节点i的中心性的影响。

8.根据权利要求1所述的基于长篇科学文献的关键词抽取方法，其特征在于，使用阈值θ来过滤与节点i完全不同的噪声节点，对于e_ijθ,将其设置为0，来消除这些噪声节点对中心度的影响。β是一个控制过滤边界的超参数，随着噪声过滤策略的引入。此时节点的中心性：

9.根据权利要求1所述的基于长篇科学文献的关键词抽取方法，其特征在于，联合全局和局部信息进行处理，根据的得分，选择出top n个关键词作为最终敲定的结果。