[发明专利]用于主题发现和词嵌入的相互学习的系统和方法

权利要求书

1.一种用于使用一个或多个处理器进行具有主题发现和词嵌入的相互学习的计算机实现方法，以导致执行以下步骤：

接收输入，所述输入包括狄利克雷先验和具有至少一个文档的文档集；

对于所述文档集中的每个词：

从词嵌入矩阵绘制用于所述词的词嵌入，使用用主题稀疏化的编码器更新所述词嵌入矩阵以反映词的主题分布，所述编码器是使用词损失函数训练的自动编码器，其中所述词损失函数包括稀疏项和主题引导项，所述稀疏项包括与稀疏参数有关的第一Kullback-Leibler(KL)散度，所述主题引导项包括与主题稀疏参数有关的第二KL散度，所述主题引导项使用在所述文档集中词的主题分布以更新所述词嵌入矩阵中的词嵌入；

从残差矩阵为对应于所述词的每个词共现绘制残差，每个残差表示所述词与每个文档中的另一词之间的非线性或噪声交互；

从主题嵌入矩阵绘制与所述词对应的一个或多个主题嵌入；

对于所述文档集中的每个文档：

从所述狄利克雷先验，为每个文档绘制表示主题之间的相对比例的混合主题比例；

基于所述混合主题比例，从每个文档中第j个词的主题矩阵绘制至少一个主题，j为正整数；

给定从所述主题矩阵中绘制的所述至少一个主题，根据词的概率，从词汇表中绘制所述词；

通过优化主题的似然函数来更新一个或多个主题表示，其中所述主题的似然函数是所述文档集、所述主题矩阵、所述残差矩阵、所述词嵌入矩阵和所述主题嵌入矩阵的函数；以及

输出更新后的词嵌入矩阵和所述一个或多个主题表示。

2.如权利要求1所述的计算机实现方法，其中所述词嵌入矩阵通过预训练的词嵌入被初始化。

3.如权利要求1所述的计算机实现方法，还包括：

为所述文档集配置主题损失函数以优化所述步骤。

4.如权利要求1所述的计算机实现方法，其中所述自动编码器是稀疏自动编码器。

5.如权利要求4所述的计算机实现方法，其中使用所述稀疏自动编码器，通过利用前馈传播编码所述词的词共现，生成所述词嵌入矩阵中的所述词嵌入。

6.如权利要求5所述的计算机实现方法，其中所述前馈传播包括权重矩阵和嵌入偏置向量的参数。

7.如权利要求4所述的计算机实现方法，其中所述第二KL散度位于针对主题的主题稀疏参数与针对所述主题的嵌入的平均激活之间。

8.一种用于使用一个或多个处理器生成词嵌入的计算机实现方法，以导致执行以下步骤：

接收输入，所述输入包括狄利克雷先验和具有至少一个文档的文档集；

对于每个文档：

构造包括分别对应于多个词对的多个词共现概率的词共现矩阵；

使用利用主题信息稀疏化的稀疏自动编码器，通过前馈传播将每个文档中的输入词的至少词共现编码为嵌入表示；

使用解码器将所述输入词的所述嵌入表示解码回重构的表示；

通过最小化词损失函数而训练所述稀疏自动编码器以更新所述词嵌入，其中所述词损失函数包括稀疏项和主题引导项，所述稀疏项包括与稀疏参数有关的第一Kullback-Leibler(KL)散度，所述主题引导项包括与主题稀疏参数有关的第二KL散度，所述主题引导项使用词的主题分布封装主题信息，使得更新后的词嵌入反映词的主题分布。

9.如权利要求8所述的计算机实现方法，其中所述前馈传播包括权重矩阵和嵌入偏置向量的参数。

10.如权利要求9所述的计算机实现方法，其中所述主题信息是使用更新后的词嵌入更新的。

11.如权利要求8所述的计算机实现方法，其中从文本窗口中所述文档集的每个文档中的词序列提取所述词共现矩阵。

12.如权利要求11所述的计算机实现方法，其中所述文本窗口是固定的并且跨文档保持相同。