[发明专利]基于主题模型的领域标签获取方法

权利要求书

1.一种基于主题模型的领域标签获取方法，其特征在于：包括以下的步骤，

S1，数据预处理

获取初始数据集合；

S2，关键词抽取

通过FLDA进行“主题-短语”抽取，根据在文中出现的位置对短语进行权重赋值，并使用word2vec对其进行向量表征；

S3，领域体系映射

将“主题-短语”映射到体系，实现学者领域的统一管理；

S4，综合排序

将向量表征结果与权重赋值结果加权排序，通过阈值获得最能代表学者的标签词；

其中，所述的通过FLDA进行“主题-短语”抽取的方法为，通过Gibbs抽样获得抽样参数和θ，

z_i的后验公式为如下式所示：

P(z_i＝j|z_-i,w)→P(w_i|z_i＝j,z_-i,w_-i)P(z_i＝j|z_-i)，

其中，z_i＝j为将主题j分配给当前词W_i，z_-i为分配给非z_i的词语权重和，W_-i为非当前位置的词，

已知P(w|z)仅与相关，因此通过在上积分，得到下式：

其中，为Gibbs抽样参数，为当前主题j对应的Gibbs抽样参数，为对参数进行积分，

是“主题-短语”的多项式分布，遵循下式：

另外，同时，是的先验分布，因此对后验概率进行积分，即可获得下式：

其中，是分配给主题j且与词w相同的词的权重和，为分配给主题j且的所有词的权重和，β为Dirichlet分布的参数，v为词库的大小，

同理可知，P(z)仅与θ有关，因此通过在θ上积分可得下式：

表示d_i中分配给主题i的词语权重和，T为主题数，

通过公式P(z_i＝j|z_-i,w)→P(w_i|z_i＝j,z_-i,w_-i)P(z_i＝j|z_-i)，结合得到下式：

经过上述的计算，得到了LDA的非标准分布，然后除去所有“主题-短语”分配的概率和，如下式所示：

其中，w_i第i个词语，z_i＝j为将当前主题j分配给当前词w_i，z_-i为分配给非z_i的词权重和，表示主题为j且词语与词语w_i相同的权重和，表示文档d_i中主题为i的词语的权重和，表示当前文档中拥有主题的词语的权重和，V表示词库大小，T表示主题个数,P(z_i＝j|z_-i,w_i)为经过重新计算的后验概率；

模型的词频加权公式如下：

其中，n_i表示当前此的词频，n_mid表示选择中频词的词频，n_max表示词频统计结果中的最大值，n_min表示词频统计结果中的最小值，C_i表示当前词的权重，取值范围为[1,2]，为保障加权后总特征词的个数不变，需要对每个特征词的权重做调整，其中，F_i为特征词调整后的权重，为当前词出现的个数，为所有词的权重和；

将计算得到的Fi替换掉Gibbs采样过程中初始化的随机值，并在此基础上循环计算至收敛并获得参数和θ。