[发明专利]文档网络主题建模方法、变分邻域编码器、终端及介质

权利要求书

1.一种文档网络主题建模方法，其特征在于，所述方法包括如下步骤：

获取文档网络集，并分别确定所述文档网络集中各文档的文档输入表示；

将各文档的文档输入表示输入预训练后的变分邻域编码器进行编码处理，得到各文档的隐藏层表示，并根据所述隐藏层表示确定中心文档的表示；

根据所述中心文档的表示确定文档-主题分布，并根据所述文档-主题分布确定主题-词分布；

所述分别确定所述文档网络集中各文档的文档输入表示采用的公式包括：

；

；

；

其中，V表示文档集中词构成的词典，表示文档与文档之间最短路径的长度，为文档中单词出现的次数，是文本向量，为0-1邻域向量，是高阶邻域向量，代表单词在文档中的权重，表示中心文档；

所述将各文档的文档输入表示输入预训练后的变分邻域编码器进行编码处理之前，还包括：

获取各样本文档的样本输入表示，并将各样本文档的样本输入表示输入所述变分邻域编码器进行编码处理，得到样本推断分布参数；

根据所述样本推断分布参数确定样本主题表示，并根据所述样本主题表示对各样本文档进行重构，得到重构文档；

根据所述各样本文档的样本推断分布参数和先验正态分布参数确定先验损失，并根据各样本文档和所述重构文档确定重构损失；

根据所述先验损失和所述重构损失对所述变分邻域编码器进行参数更新，直至所述变分邻域编码器收敛，得到预训练后的所述变分邻域编码器；

所述根据所述各样本文档的样本推断分布参数和先验正态分布参数确定先验损失，并根据各样本文档和所述重构文档确定重构损失采用的公式包括：

；

其中，为各样本文档的邻域文档，为由隐藏主题重新生成的邻域文档，表示总损失，表示重构损失，表示先验损失，表示权重参数，为样本文档中的单词，为重构样本中的单词，KL(·)表示所述样本推断分布参数和先验正态分布参数的KL散度，和分别为所述变分邻域编码器中推断网络推断出的推断分布的均值与方差，和为所述先验正态分布参数的均值与方差，为正态分布。

2.如权利要求1所述的文档网络主题建模方法，其特征在于，所述根据所述隐藏层表示确定中心文档的表示，包括：

对所述隐藏层表示进行重参数化和注意力机制处理，得到所述中心文档的主题表示；

使用点积注意力机制聚集各文档的邻域文档和所述中心文档的主题表示，得到所述中心文档的表示。

3.如权利要求2所述的文档网络主题建模方法，其特征在于，所述将各文档的文档输入表示输入预训练后的变分邻域编码器进行编码处理，得到各文档的隐藏层表示采用的公式包括：

；

其中，表示激活函数，均表示所述变分邻域编码器中编码器对应全连接层的训练参数，，，和，表示全体实数空间，为主题个数，为词典大小，表示对数化方差，表示中心文档的隐藏层表示，表示从规模与μ和σ相同的多元标准正态分布中随机生成得到的样本表示。

4.如权利要求3所述的文档网络主题建模方法，其特征在于，所述根据所述中心文档的表示确定文档-主题分布采用的公式包括：

；

其中，表示与中心文档之间存在路径的邻域文档集合，表示中心文档的邻域文档，表示标准对数正态分布，表示邻域文档对中心文档的影响程度，为中心文档与邻域文档之间的最短路径长度，为中心文档与邻域文档的关联程度，为中心文档隐藏层表示的转置，为邻域文档的隐藏层表示，为中心文档隐藏层表示与邻域文档隐藏层表示的注意力系数，为文档-主题分布，为未归一化的中心文档主题表示，表示归一化函数。