[发明专利]一种基于动态语义建模的短文本聚合方法

说明书

本发明涉及一种基于动态语义建模的短文本聚合方法，包括以下步骤：在设定间隔的时间片上，获取待聚合短文本数据，进行数据预处理，形成数据集；在每个时间片上，通过建立动态自聚合主题模型捕获数据集中主题的多项分布和词的多项分布；采用吉布斯采样对动态自聚合主题模型中的多项分布进行推导，最后采样收敛时，统计每个时间片上的主题分布和词分布；根据每个时间片上的主题分布和词分布，计算与主题相关的短文本聚合的概率，自适应地聚合短文本。本发明自动聚合短文本为标准长文档，使得其能够捕获到更多的一致性主题，来克服短文本稀疏性问题，并且不需要启发式的前处理或者后处理技术，使得模型简单，处理效率较高。

技术领域

本发明属于短文本聚合技术领域，具体涉及一种基于动态语义建模的短文本聚合方法。

背景技术

短文本语义建模就是对海量的短文本数据进行某种运算和处理，能够实现自动地建模短文本主题，而不需要一些额外的预处理和后处理操作，并能够准确的推测出短文本中可能包含的主题。而动态主题建模要求方法本身支持流数据，并能够建模话题中的时间属性，并根据先前的话题和当前获取的新数据来动态地推测当前的话题。尤其在当前社交媒体环境下，每天产生大量的带有时间属性的短文本数据，就需要一种能够支持动态主题建模的方法，同时要求其不仅能够处理标准长文本数据，同时也要能够克服短文本话题建模中存在的数据稀疏性问题。传统的主题模型方法被设计用于静态地建模长文本数据，在短文本话题建模和建模话题的动态性上效果较差。

发明内容

鉴于上述的分析，本发明旨在公开短文本聚合了一种基于动态语义建模的方法，解决短文本聚合的问题。

本发明公开了一种基于动态语义建模的短文本聚合方法，包括以下步骤：

在设定间隔的时间片上，获取待聚合短文本数据，进行数据预处理，形成数据集；

在每个时间片上，通过建立动态自聚合主题模型捕获数据集中主题的多项分布θ_t,k和词的多项分布φ_t,v；t为时间片，k＝1,2,…,K；K为数据集中主题数量；v＝1,2,…,V；V为数据集中词的数量；

在所述建立动态自聚合主题模型中，本时间片主题的多项分布θ_t,k和词的多项分布φ_t,v依赖前一时间片主题的多项分布θ_t-1,k和词的多项分布φ_t-1,v；

采用吉布斯采样对动态自聚合主题模型中的多项分布进行推导，最后采样收敛时，统计每个时间片上的主题分布和词分布；

根据每个时间片上的主题分布和词分布，计算与主题相关的短文本聚合的概率，自适应地聚合短文本。

进一步地，所述动态自聚合主题模型中，采用狄利克雷先验构建主题的持久性准确度和词的持续性准确度

进一步地，利用吉布斯采样算法推断主题分布当采样收敛时，得到所述主题的持久性准确度α_t；其中，θ_t-1,k为当前的主题分布θ_t,k所依赖的先前的主题分布；

通过先前时间片t-1的词分布φ_t-1推断当前时间片t的词分布φ_t；利用吉布斯采样算法推断主题分布采样收敛时，得到所述词的持续性准确度β_t，其中，φ_t-1,v为当前的词分布φ_t,v所依赖的先前的词分布。

进一步地，利用{R,S}表示数据集中短文本数据集合，其中，R表示无序的短文本；S为聚合文档的分配；聚合后的文档集合为D；

在当前时间片t，动态自聚合主题模型建模过程如下：