[发明专利]一种基于主题词向量和网络结构的主题关键词提取方法

说明书

本发明公开了一种基于主题词向量和网络结构的主题关键词提取方法，具体涉及从文本中提取关键词技术领域。该基于主题词向量和网络结构的主题关键词提取方法基于LDA主题模型对文本语料进行主题聚类，并获得每个主题中与该主题相关度为top100的100个关键词；利用word2vec将文本语料中的每个词表示为一个词向量，通过计算获得每两个词之间的语义相似度，分别计算出与关键词中的每个关键词在语义上相似度top5的词，关键词和每个关键词在语义上相似度top5的词共同组成新的关键词集合；构建关键词网络，并获得每个集合top 20的词作为该主题的关键词。该方法既能对文档中词频较高的关键词进行提取，又可以有效地发现词频较低但是与主题关系强的关键词。

技术领域

本发明涉及从文本中提取关键词技术领域，具体涉及一种基于主题词向量和网络结构的主题关键词提取方法。

背景技术

随着表示学习技术在自然语言处理领域广泛应用，应用word2vec进行词语的向量表示，能够很好的描述和获取词语的语义及语法规则，同时，主题模型能够很好的解释文档层级的主题聚集情况。因此，目前融合主题模型及主题关键字的词向量表示的研究越来越广泛。

LDA主题模型：在提出的各种主题模型中，LDA是能够概括主题分布的生成模型。LDA是一个三级分层的贝叶斯模型，其中集合的每个项目被建模为潜在的主题集合上的有限混合，相反，每个主题也被模拟为一组潜在的主题概率的无限混合。在文本建模的上下文中，主题概率提供了文档的显示表示。LDA的建模过程可以被描述为每个资源(即P(z|d))找到对应的主题混合，每个主题由另一概率分布(即P(t|z))来描述。这可以被形式化地表示为：

其中，P(t_i|d)是给定文档d的第i项上的概率，z_i是潜在主题。P(t_i|z_j＝j)是主题j中t_i的概率。P(z_j＝j|d)是文档在主题j上的概率。潜在主题的Z的数量必须提前定义。LDA使用Dirichlet先验分布和确定的主题数来从未标记的语料库中估计主题词分布P(t|z)和文档主题分布P(z|d)。

LDA是使用范围很广的主题模型，多数其他的主题模型都是基于LDA进行扩展。但从整体来看LDA抽取的关键词一般过于宽泛，不能较好反映文章主题，因此本发明提出的方法是创新的。

word embedding：词嵌入是根据句法和语义信息将每个词编码为连续向量(词向量)，因此相似的词在其词向量上的距离是相近的。从自然文本中统计并建立一个语言模型并获得词向量后，可以将其作为神经网络的输入来进行句法分析、情感分析等，也可以作为辅助特征扩充现有模型。但是仅有词向量是无法识别文本预料中的主题的，必须将其与主题模型相结合。

现有无监督的关键词提取技术主要包括TF-IDF，Topic model，TextRank等方案。其技术缺点主要体现在以下几个方面：

TF-IDF是一种用于信息检索与数据挖掘的常用加权技术，是对搜索关键词重要性的度量，应用于文本关键词的提取同样获得较好的效果。但是TF-IDF是基于词频和关键词概率分布的交叉熵，即是不考虑词出现的先后顺序的，没有考虑文本中每个词与上下文之间的关系。

广泛使用的Topic model如LDA等能较好的从文档中挖掘出主题，但是其抽取的关键词过为宽泛，有很多是词频较高但与主题无关的词，不能较好的反应主题，所以作为关键词是不合适的。

TextRank算法是一种用于文本的基于图的排序算法，将文本拆分为句子，利用词在文本中上下文的共现关系来建立图模型，根据图模型中的PageRank值来提取关键词。该算法在考虑了词频和词共现关系的基础上，能简洁有效的提取单篇文档的关键词，但是无法对多篇文档的主题进行识别和聚类，因而无法对特定主题下文档的关键词进行提取。

发明内容