[发明专利]一种基于数据增强的主题建模方法

说明书

本发明公开了一种基于数据增强的主题建模方法，其特征是按如下步骤进行：步骤一、获取文档集合并表示；步骤二、使用潜在狄利克雷分布模型抽取所述文档集合D的主题，得到K个主题‑词分布和|D|个文档主题分布；步骤三、对单词进行主题影响力赋值；步骤四、对每篇文档进行数据增强；步骤五、建立数据增强的主题模型，并得到最终的主题‑词分布。本发明能在数据稀疏情况下充分利用文档信息进行数据增强，从而提高主题质量。

技术领域

本发明属于数据挖掘领域，具体地说是一种基于数据增强的主题建模方法。

背景技术

随着社交媒体和移动互联网的发展，微博、即时信息等短文本充斥着互联网，使文本内容成为社交网络中最重要的元素之一。基于短文本内容的分析可以帮助我们分析用户兴趣、检测新兴话题、识别有趣内容、实时网络搜索等。当前对于文本内容的分析主流方法就是使用标准的主题模型如概率潜在语义分析模型和潜在狄利克雷分配方法挖掘正常文本内容，但在稀疏的短文本上依然具有挑战。

针对短文本特征的稀疏性问题，主要有三种处理方法来弥补短文本信息量少的缺陷，一是结合当前数据特点进行处理；二是对数据做出更强的假设；三是引入外部知识对短文本内容进行扩充。三种处理方法虽然能在一定程度上缓解短文本的特征稀疏性问题，但假设性太强，在数据源上或外部知识的选取上也会直接影响短文本特征的拓展与选择效果，并且这些方法还会增加许多额外的时间成本，不利于大规模数据的短文本特征拓展与选择。在数据稀疏情况下如何更好地挖掘现有信息的主题成为数据挖掘问题中的热点。

发明内容

本发明是为了解决上述现有技术存在的不足之处，提出一种基于数据增强的主题建模方法，以期能在数据稀疏情况下不引用外部知识只利用文档自身信息即可进行数据增强，从而提高短文档的主题质量。

为达到上述目的，本发明采用的技术方案为：

本发明一种基于数据增强的主题建模方法的特点是按如下步骤进行：

步骤一、获取文档集合D＝{D₁,…,D_d,…,D_|D|}，其中，D_d表示第d篇文档，1≤d≤|D|；假设所述第d篇文档D_d是由|S|个句子组成，则令第d篇文档D_d的句子集合为S_d＝{S_d,1,…,S_d,s,…,S_d,|S|}，S_d,s表示第d篇文档D_d中第s个句子，1≤s≤|S|；假设所述第d篇文档D_d是N个单词组成，则令第d篇文档D_d的单词集合为W_d,j表示第d篇文档D_d中第j个单词，1≤j≤N_d；则令所述文档集合D中所有单词构成单词集合W＝{W₁,...,W_i,...,W_V}，W_i表示第i个单词，1≤i≤V；

步骤二、使用潜在狄利克雷分布模型抽取所述文档集合D的主题，得到K个主题-词分布φ＝{φ₁,...,φ_k,...,φ_K}和|D|个文档-主题分布θ＝{θ₁,...,θ_d,...,θ_|D|}，其中，θ_d表示第d篇文档-主题分布；φ_k表示第k个主题-词分布，并有表示第v个单词，表示第k个主题-词分布中第v个单词对应的概率，且1≤v≤V，1≤k≤K；

步骤三、主题影响力赋值：