[发明专利]一种文档主题生成方法和装置

权利要求书

1.一种文档主题生成方法，其特征在于，包括：

对文档集合的文档进行分词并提取出词语；

统计表征所有提取的词语中两两之间的语义相关性的词间关系数据；

统计表征每个词语在每个文档中的重要性的词语文档关系数据；

随机生成表征各个文档对于各预设主题的相关性的文档主题关系数据，以及表征各个词语对于各所述主题的相关性的词语主题关系数据；

根据所述词语主题关系数据和词间关系数据生成调整因子；

依据所述文档主题关系数据、词语主题关系数据和词语文档关系数据的关系，以及词语主题关系数据、调整因子和词间关系数据的关系，迭代更新所述文档主题关系数据、词语主题关系数据和调整因子达到设定结束条件，以使在确定词语文档关系数据和词间关系数据的情况下同时生成文档主题关系数据、词语主题关系数据和调整因子的目标概率达到设定要求，包括：第N次迭代用于生成最新的词语主题关系数据、文档主题关系数据以及调整因子；在第N+1次迭代中，根据第N次迭代中生成的最新的文档主题关系数据、词语主题关系数据和调整因子，生成所述词语主题关系数据在本次迭代中的第一调整值，并以所述第一调整值和设定的学习速率常数更新所述词语主题关系数据；在第N+1次迭代中，根据第N次迭代中生成的最新的文档主题关系数据和词语主题关系数据，生成所述文档主题关系数据在本次迭代中的第二调整值，并以所述第二调整值和设定的学习速率常数更新所述文档主题关系数据；在第N+1次迭代中，根据第N次迭代中生成的最新的词语主题关系数据和调整因子，生成所述调整因子在本次迭代中的第三调整值，并以所述第三调整值和设定的学习速率常数更新所述调整因子，直至达到所述设定结束条件结束迭代更新，使得所述目标概率达到设定要求；

以迭代更新得到的词语主题关系数据生成文档集合的文档主题。

2.根据权利要求1所述的方法，其特征在于，所述对文档集合的文档进行分词并提取出词语包括：

对所述文档集合的文档进行分词；

提取出排除了设定的不需要的词语的剩余词语。

3.根据权利要求2所述的方法，其特征在于，所述设定的不需要的词语包括设定的停用词、识别的没有实际意义的词语。

4.根据权利要求1所述的方法，其特征在于，所述统计表征所有提取的词语中两两之间的语义相关性的词间关系数据包括：

根据语义相关性将所有提取的词语转换为词向量；

对所有提取的词语对应的词向量两两之间进行相似度计算，得到所述词间关系数据。

5.根据权利要求1所述的方法，其特征在于，所述统计表征每个词语在每个文档中的重要性的词语文档关系数据包括：

计算每个词语在每个文档中的出现频率，以及总文件数目除以包含该词语的文件的数目的商的对数；

对于每个词语将所述出现频率和对应的对数相乘得到表征每个词语在每个文档中的重要性的词语文档关系数据。

6.根据权利要求1所述的方法，其特征在于，在所述随机生成表征各个文档对于各预设主题的相关性的文档主题关系数据，以及表征各个词语对于各所述主题的相关性的词语主题关系数据之前，所述方法还包括：

对所述词语文档关系数据进行归一化处理，得到归一化处理后的所述词语文档关系数据。