[发明专利]基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法

权利要求书

1.基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法，其特征在于，包括如下步骤：

S1：将文本数据集表示为词袋模型BOW作为Wasserstein自编码器的输入，对数据集进行预处理；

S2：利用Wasserstein自编码器将数据通过编码器得到主题分布θ；

S3：采用高斯混合分布作为潜在特征的先验分布，生成潜在的向量表示θ′；

S4：以S2步骤得到的主题分布θ进行解码，将其映射到V个单元的输出层获得词汇中单词的概率分布计算重构损失，并且计算两个分布之间的差异；

S5：迭代，更新模型参数对生成模型进行优化。

2.根据权利要求1所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法，其特征在于，所述S1步骤中，在将文本数据集表示为词袋模型BOW时，一个文档中由所有词表示，表示为：

D(W)＝{w₁，w₂，...，w_D}。

其中，w_i表示文档中的第i个词。

3.根据权利要求2所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法，其特征在于，所述S2步骤中，主题分布θ的表达公式为：

θ＝enc(w)。

4.根据权利要求1所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法，其特征在于，所述S3步骤具体包括：

S31：高斯混合模型通过初始化获得隐变量{z′_i}，表达公式如下：

{z′_i}～N(μ，σ²I)

S32：一篇文档假设主题θ′和z′_i的关系表达公式如下：

θ′＝{z′_i}

其中，θ′为高斯混合分布假设的文档隐含主题分布即潜在的向量，z′_i表示假设的文档某一主题，μ表示高斯混合分布中平均差，σ²表示高斯混合分布中方差，分别由神经网络拟合而成。

5.根据权利要求1-4任一权利要求所述的基于Wasserstein自编码器和高斯混合分布作为先验的主题建模方法，其特征在于，所述S4步骤具体包括：

S41：将S2步骤所得主题分布θ进行解码获得表示词汇中单词的概率分布，计算公式如下：

h＝βθ+b

其中，表示第i个单词的概率分布，β是如LDA中的主题词向量的矩阵，b是偏移向量，h_i、h_j表示某一神经元的输出，h表示线性计算公式。

S42：计算自动编码器的重构损失，所述重构损失为词袋BOW模型w和之间的负交叉熵，计算公式如下：

S43：MMD在使用m个样本的时候，计算先验分布P_θ与编码器引入的分布Q_θ的差异，计算公式如下：

其中，k为核函数，z_i，z_j分别表示由编码器编码得到的第i个主题和第j个主题，z′_i，z′_j分别表示由高斯先验分布采样得到的第i个主题和第j个主题。

S44：计算模型总损失loss，用于迭代更新模型参数：