[发明专利]用于识别文本主题的方法和装置

权利要求书

1.一种用于识别文本主题的方法，其特征在于，所述方法包括：

对待识别文本进行预处理得到关键词集合；

随机确定所述关键词集合中的每个关键词所属的主题；

统计各个主题包括的关键词的数目；

对所述关键词集合中的每个关键词重复执行以下步骤，直到结果收敛或达到预设的迭代次数，其中，所述结果收敛包括重复执行以下步骤得到的各个主题的关键词分布的变化量小于预定阈值：将关键词所属主题包括的关键词的数目减一；根据预先训练获得的概率分布进行抽样得到关键词所属主题，将抽样得到的主题包括的关键词的数目加一；

根据各个主题包括的关键词的数目与所述关键词集合中关键词的数目确定各个主题出现在待识别文本中的概率。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括训练获得概率分布的步骤，其中，所述训练获得概率分布的步骤，包括：

获取历史文本集合，其中，所述历史文本集合包括至少一个历史文本子集，所述历史文本子集是根据所述历史文本集合中文本的生成时间和文本的数量对所述历史文本集合划分得到的；

通过文本主题生成模型训练获得所述待识别文本所在的历史文本子集中各个主题的关键词分布。

3.根据权利要求2所述的方法，其特征在于，所述通过文本主题生成模型训练获得所述待识别文本所在的历史文本子集中各个主题的关键词分布，包括：

通过文本主题生成模型训练获得文本生成时间最早的历史文本子集中各个主题的关键词分布；

基于训练获得的历史文本子集中各个主题的关键词分布，按照所述历史文本子集中文本的生成时间，依次确定除所述文本生成时间最早的子集外其他子集中文本的主题分布与各个主题的关键词分布。

4.根据权利要求3所述的方法，其特征在于，所述通过文本主题生成模型训练获得文本生成时间最早的子集中各个主题的关键词分布，包括：

对于文本生成时间最早的子集中文本，执行以下步骤，直到生成该文本：

对于每个主题，从第一狄利克雷分布中抽样出一个多项式分布作为该主题在关键词上的分布；

从一个离散概率分布中随机采样出一个值作为该文本的长度；

从第二狄利克雷分布中抽样出一个多项式分布作为该文本在主题上的分布；

对于该文本中的每个关键词，从该文本在主题上的分布中抽样出一个主题，再从抽样出的主题在关键词上的分布中抽样出一个关键词。

5.根据权利要求2-4中任一项所述的方法，其特征在于，所述方法还包括：

计算所述关键词集合中每个关键词的词频-逆向文件频率值；

响应于所述词频-逆向文件频率值与该关键词出现在子集的次数的比值小于预定阈值，则将所述关键词加入停用词表；以及

所述预处理为分词以及根据所述停用词表删除停用词。

6.一种用于识别文本主题的装置，其特征在于，所述装置包括：

预处理单元，配置用于对待识别文本进行预处理得到关键词集合；

主题确定单元，配置用于随机确定所述关键词集合中的每个关键词所属的主题；

统计单元，配置用于统计各个主题包括的关键词的数目；

抽样单元，配置用于对所述关键词集合中的每个关键词重复执行以下步骤，直到结果收敛或达到预设的迭代次数，其中，所述结果收敛包括重复执行以下步骤得到的各个主题的关键词分布的变化量小于预定阈值：将关键词所属主题包括的关键词的数目减一；根据预先训练获得的概率分布进行抽样得到关键词所属主题，将抽样得到的主题包括的关键词的数目加一；

概率确定单元，配置用于根据各个主题包括的关键词的数目与所述关键词集合中关键词的数目确定各个主题出现在待识别文本中的概率。