[发明专利]一种基于词向量增强的短文本主题抽取方法

摘要

本发明涉及一种基于词向量增强的短文本主题抽取方法，具体涉及了一种新的短文本主题抽取模型，称为CRFTM(Condition Random Field regularized Topic Model)。首先，本发明设计了一种通用的短文本距离衡量方式——基于词向量的平均最小距离，通过将短文本聚合成伪文档来缓解稀疏性问题。其次，CRFTM还利用条件随机场(CRF)正则化模型，对语义相关的词语进行语义强化，使其以更高的概率分配至同一的主题。在新闻数据集上的实验结果表明，本发明的短文本主题抽取方法在主题连贯性指标上优于5种基准主题模型。

主权项

1.一种基于词向量增强的短文本主题抽取方法，其特征在于，包括：步骤1、对短文本语料数据集进行预处理；步骤2、利用基于词向量的平均最小距离对短文本聚类，生成伪长文本，具体是基于以下定义：对于短文本s₁和s₂，计算出s₁中的每个词与s₂中每个词的词向量余弦相似度，并将其保存在距离矩阵D中；D中每行的最小距离平均值表示s₁到s₂的距离d(s₁‑＞s₂)，而每列的最小距离平均值表示s₂到s₁的距离d(s₂‑＞s₁)，则衡量s₁，s₂之间的距离的方式为步骤3、识别伪长文本中的语义相关词对，为步骤4语义强化奠定基础；具体是首先判断词对中两个词的词向量余弦相似度是否小于设定阈值；若小于设定阈值，则将该词对识别为语义相关词对，对其进行语义强化，否则，不进行语义强化；步骤4、基于主题模型CRFTM对强化后的伪长文本进行主题抽取，具体是利用条件随机场将语义强化机制融入主题层，使得语义相关词汇以高概率归属于同一主题，并利用下上文相关词来消除主题推断过程中所产生的噪声；步骤5、利用坍缩吉布斯采样的方法对如下CRFTM模型的主题后验分布进行参数推断。