[发明专利]一种基于元信息的语料库主题分布计算方法

说明书

本发明属于主题建模技术领域，具体涉及一种基于元信息的语料库主题分布计算方法。本发明设计了文档和词汇元信息的TWLLDA主题模型，克服了现有技术中模型结构复杂、非共轭、信息获取渠道单一等缺点。本发明将元信息转化为文档和单词的标签信息，标签信息独立于模型本身使得具有相似标签的文档具有相似的狄利克雷先验向量，相似标签的单词在主题上也有相似的分布权重；本发明提出有效的闭合的吉布斯采样方法，完成TWLLDA的推理；以困惑度和主题一致性为评价指标进行多组实验。实验表明相比于LDA等模型，基于元信息的TWLLDA模型在相同条件下表现得更为优秀。

技术领域

本发明属于主题建模技术领域，具体涉及一种基于元信息的语料库主题分布计算方法。

背景技术

传统的LDA主题模型在短文本上表现不佳，其缺陷在于没有足够丰富的词汇信息使得其统计意义成立。对于如何丰富文档的信息并且将其应用于短文本主题建模上，是近年来学者研究的热点方向之一。

短文本主题建模方法虽然各有不同，但是其主要思想却是一致的，即通过各种手段丰富短文本稀疏的词共现信息。其主要实现手段大致可以分为两大类，即基于词嵌入、基于标签等的一类方法以及扩充短文本内容以提高信息量的一类方法。

如今，大多数改进主题模型都以引入例如词向量外部特征或者增加短文本内容为改进手段，而引入词向量特征大致思想是通过词向量使得语义相似的词汇更有概率分配到同一主题下，通过这种方式来增加主题-词分布的准确性，此类方法仅依靠词向量这种手段丰富词共现信息，而文档的元信息则没有有效利用，因此模型精度虽然比LDA模型有所提升，但仍有提高的空间。

现有的改进主题模型往往忽视了语料中丰富的元信息。元信息是描述信息的信息，文本的作者、时间戳、文档的特征向量等不在文本内容内，却可以对文本属性进行描述的文档特征信息都可称为文档的元信息。词特征等知识也可作为词语的元信息。在主题模型中一个词汇的信息是词汇的主题分布，那么词汇元信息就是描述词汇的主题分布的信息，并且元信息是在读取文档前就获知的信息。引入元信息增加了信息获取渠道，能够有效提高建模的精度。

发明内容

本发明的目的在于提供一种基于元信息的语料库主题分布计算方法。

本发明的目的通过如下技术方案来实现：包括以下步骤：

步骤1：输入待计算的语料库，获取语料库的文档元信息和词汇元信息，设定最大迭代次数；

步骤2：将语料库的文档元信息和词汇元信息转化为文档标签和词汇标签；根据文档标签，生成文档-文档标签向量矩阵F_d,l；根据词汇标签，生成词汇-词汇标签向量矩阵

步骤3：以超参数为u₀的Gamma函数为文档标签l与主题k对应的参数λ_l,k赋值，λ_l,k～Gamma(u₀,u₀)，得到主题-文档标签的相关性矩阵；以超参数为v₀的Gamma函数为词汇标签l^*与主题k对应的参数赋值，得到主题-词汇标签的相关性矩阵；其中，主题总数为K；文档标签总数为L；词汇标签总数为L^*；

步骤4：计算主题k与词汇v对应的参数β_k,v，为词汇-词汇标签向量矩阵的元素；计算文档语料d与主题k与对应的参数α_d,k，f_d,l为文档-文档标签向量矩阵F_d,l的元素；计算每一个单词v被分配给主题k的次数n_k,v，计算每一个文档语料d中被分配给主题k的词汇数量m_d,k，

步骤5：通过q_d～Beta(α_d,·,m_d,·)采样参数q_d；