[发明专利]一种基于词向量增强的短文本主题抽取方法

权利要求书

1.一种基于词向量增强的短文本主题抽取方法，其特征在于，包括：

步骤1、对短文本语料数据集进行预处理；

步骤2、利用基于词向量的平均最小距离对短文本聚类，生成伪长文本，具体是基于以下定义：对于短文本s₁和s₂，计算出s₁中的每个词与s₂中每个词的词向量余弦相似度，并将其保存在距离矩阵D中；D中每行的最小距离平均值表示s₁到s₂的距离d(s₁-＞s₂)，而每列的最小距离平均值表示s₂到s₁的距离d(s₂-＞s₁)，则衡量s₁，s₂之间的距离的方式为

步骤3、识别伪长文本中的语义相关词对，为步骤4语义强化奠定基础；具体是首先判断词对中两个词的词向量余弦相似度是否小于设定阈值；若小于设定阈值，则将该词对识别为语义相关词对，对其进行语义强化，否则，不进行语义强化；

步骤4、基于主题模型CRFTM对强化后的伪长文本进行主题抽取，具体是利用条件随机场将语义强化机制融入主题层，使得语义相关词汇以高概率归属于同一主题，并利用下上文相关词来消除主题推断过程中所产生的噪声；

步骤5、利用坍缩吉布斯采样的方法对如下CRFTM模型的主题后验分布进行参数推断。

2.根据权利要求1所述的一种基于词向量增强的短文本主题抽取方法，其特征在于，步骤1中预处理基于以下处理条件：

处理条件一、将所有字母转变为小写字母；

处理条件二、过滤掉非拉丁字符和停用词；

处理条件三、过滤掉出现次数小于设定次数的词。

3.根据权利要求1所述的一种基于词向量增强的短文本主题抽取方法，其特征在于，步骤2中，对短文本聚类的具体方法是利用K中心点聚类将短文本聚合成伪长文本，

其中，d(s_i,c_i)表示短文本s_i和聚类中心c_j之间的基于词向量的平均最小距离；通过K中心点聚类，所有短文本将聚合成伪长文本。

4.根据权利要求1所述的一种基于词向量增强的短文本主题抽取方法，其特征在于，所述步骤3中，对于伪长文档中的每个词对(w_i,w_j)，如果满足条件d(w_i,w_j)＜μ，其中d(w_i,w_j)表示词对两个词向量的余弦相似度，μ表示设定阈值，则将该词对识别为语义相关词对，词w_i和词w_j之间是语义强化关系。

5.根据权利要求1所述的一种基于词向量增强的短文本主题抽取方法，其特征在于，所述步骤4中，若两个词之间是语义强化的关系，则在CRFTM概率图模型中，用一条无向边连接它们的主题标签，此时，主题标签的联合概率如下所示：

其中z_m表示第m篇伪长文本的主题概率分布，x_m表示第m篇伪长文本的下上文相关词概率分布，如果词w_i的上下文相关词x_i与w_j的余弦相似度超过设定阈值，则解除词w_i和词w_j之间是语义强化关系，以消除主题推断过程中所产生的噪声；N_m代表第m篇文章的长度，ψ(.)表示语义强化函数，如下所示：

其中，λ是平衡超参数，如果λ为0，CRFTM则和LDA模型一致；A是概率归一化因子；E表示语义强化连通图；f(z_mi,z_mj)是计数函数，表示w_mi有多少个语义强化词属于同一主题z_mi，最终强化词w_mi归属于主题z_mi的概率。

6.根据权利要求1所述的一种基于词向量增强的短文本主题抽取方法，其特征在于，所述步骤5中，进行参数推断基于以下公式：

其中，V表示字典的词汇个数，α是θ的狄利克雷先验分布参数,β是的狄利克雷先验分布参数，充分统计量表示将词w_mi排除出伪长文档m或主题k之外的计数；根据狄利克雷分布与多项式分布的共轭关系，能够依次估计出文档-主题分布θ和主题-词分布

其中，表示词w属于主题k的概率，θ_m,k表示伪长文本m属于主题k的概率，表示第m篇伪长文本中词汇w属于主题k出现的次数，表示第m篇伪长文本中主题k出现的次数。