[发明专利]一种关键词自动抽取方法

权利要求书

1.一种关键词自动抽取方法，其特征在于，包括：抽取通用词，抽取候选关键词，针对候选关键词过滤通用词，综合位置特征、词共现特征以及上下文语义特征计算候选关键词权重得分，根据候选关键词权重得分范围计算动态阈值，利用动态阈值确定结果关键词；

位置特征权重的计算方法包括：针对3GPP技术标准不同层级标题对应的正文部分以标点为边界分别划分句子集，对句子集中的句子从1开始依次编号，记技术标准d_i中候选关键词集CK(d_i)＝{ck₁，ck₂...ck_i...ck_n}，其中，ck_i为集合中任意一个候选关键词，n为候选关键词个数，记特殊位置集合为

SP＝{Title，Scope，Reference，Definitions，Abbrevations，NOTE}，

locate(ck_i)表示候选关键词ck_i出现的位置，定义特征函数Pos(ck_i)表示候选关键词ck_i在出现位置这一维度上的权重赋值，则

其中，Sno_cki表示候选关键词ck_i所在的句子编号，Snu_cki表示候选关键词ck_i所在正文段落中句子数量，len(ck_i)表示候选关键词ck_i包含的单词个数；将出现在不同位置的权重取平均值，记W(Pos(ck_i))表示位置权重的平均值，则

其中，fre(ck_i)表示候选关键词ck_i在同一篇技术标准中出现的频率；

词共现特征权重计算方法为：

记所有技术标准的候选关键词集为CK＝{CK(d₁)，CK(d₂)...CK(d_i)...CK(d_n)}，对技术标准d_i中任意一个候选关键词ck_i，记组成ck_i的单词分别为cw₁，cw₂…cw_i…cw_m，m为ck_i包含的单词个数，记cw_i的共现词集为cocur_i＝{wco₁，wco₂…wco_i…wco_p}，p为共现词集的大小，其中wco_j表示单词cw_i的其中一个共现词，wco_j∈CK(d_i)且满足wco₁∩wco₂∩…∩wco_j∩…∩wco_p＝{cw_i}，其中1≤j≤p，则cw_i对候选关键词ck_i的贡献表示为

其中，fre(wco_j)表示单词cw_i的共现词wco_j出现的频率，len(wco_j)表示共现词wco_j包含的单词个数；当候选关键词ck_i包含多个单词时，计算候选关键词ck_i在词共现这一维度上的权重计算公式为

上下文语义特征权重计算方法为：

将计算任务分解为由当前词w分别独立预测每一个构成上下文Context(w)词的概率最大值，其目标函数为

其中c_i∈Context(w)，D为技术标准语料库，θ为模型参数，条件概率P(c_i|w)表示为

其中，和v_w分别为单词c_i和w的向量表示，c′为语料库中所有不重复的单词，v_c′为c′的向量表示；将技术标准集合D中的每一篇技术标准d_i看作是由一系列单词w₁…w_i…w_n构成，假设单词之间相互独立，对技术标准d_i中每一个候选关键词ck_i，若为单词型，则计算预测概率的公式为

对技术标准d_i中任意一个候选关键词ck_i，综合考虑位置特征、词共现特征以及上下文语义特征，计算候选关键词ck_i在三个特征维度上的权重得分的公式为

W(ck_i)＝W(Pos(ck_i))+W(Coo(ck_i))+W(Sem(ck_i))；

记d_i中每一个候选关键词ck_i对应的得分

Score(d_i)＝{W(ck₁)...W(ck_i)...W(ck_n))}，对Score(d_i)中的得分从高到低排序，设定动态阈值λ为所有得分的平均值，其计算公式为

若d_i中候选关键词满足W(ck_i)≥λ，则将ck_i加入到结果关键词集中。