[发明专利]一种基于动态语义建模的短文本聚合方法

权利要求书

1.一种基于动态语义建模的短文本聚合方法，其特征在于，包括以下步骤：

在设定间隔的时间片上，获取待聚合短文本数据，进行数据预处理，形成数据集；

在每个时间片上，通过建立动态自聚合主题模型捕获数据集中主题的多项分布θ_t,k和词的多项分布φ_t,v；t为时间片，k＝1,2,…,K；K为数据集中主题数量；v＝1,2,…,V；V为数据集中词的数量；

在所述建立动态自聚合主题模型中，本时间片主题的多项分布θ_t,k和词的多项分布φ_t,v依赖前一时间片主题的多项分布θ_t-1,k和词的多项分布φ_t-1,v；

采用吉布斯采样对动态自聚合主题模型中的多项分布进行推导，最后采样收敛时，统计每个时间片上的主题分布和词分布；

根据每个时间片上的主题分布和词分布，计算与主题相关的短文本聚合的概率，自适应地聚合短文本。

2.根据权利要求1所述的基于动态语义建模的短文本聚合方法，其特征在于，所述动态自聚合主题模型中，采用狄利克雷先验构建主题的持久性准确度和词的持续性准确度

3.根据权利要求2所述的基于动态语义建模的短文本聚合方法，其特征在于，利用吉布斯采样算法推断主题分布当采样收敛时，得到所述主题的持久性准确度α_t；其中，θ_t-1,k为当前的主题分布θ_t,k所依赖的先前的主题分布；

通过先前时间片t-1的词分布φ_t-1推断当前时间片t的词分布φ_t；利用吉布斯采样算法推断主题分布采样收敛时，得到所述词的持续性准确度β_t，其中，φ_t-1,v为当前的词分布φ_t,v所依赖的先前的词分布。

4.根据权利要求3所述的基于动态语义建模的短文本聚合方法，其特征在于，

利用{R,S}表示数据集中短文本数据集合，其中，R表示无序的短文本；S为聚合文档的分配；聚合后的文档集合为D；

在当前时间片t，动态自聚合主题模型建模过程如下：

1)对于文本数据集中的每个主题k＝1,...,K，利用学习到的所述词的持续性准确度β_t和先前时间片t-1的词分布φ_t-1，采样当前时间片t词分布φ_t,k～Dirichlet(β_tφ_t-1,k)，其中词分布φ_t是多项分布，Dirichlet表示狄利克雷分布；

2)对文本数据集中的每个聚合文档d，d∈D，利用学习到的主题的持久性准确度α_t和先前的主题分布θ_t-1，采样主题分布θ_t,d～Dirichlet(α_tθ_t-1,d)，其中主题分布θ_t是多项分布；

3)利用词对的共现来生成主题，从短文本R中独立地提取词对B_w，基于多项分布采样短文本R的主题分配k_Rn～Multinomial(θ_s,d)，基于多项分布采样词对B_w的分布w_i,w_j～Multinomial(φ_z,d)；z为词w_i或w_j的分配；θ_s,d为基于短文本分配和聚合文档d的主题分布；φ_z,d为基于词分配和聚合文档d的主题分布。