[发明专利]用于主题发现和词嵌入的相互学习的系统和方法

说明书

本文公开用于使用全局主题发现和局部词嵌入的相互机器学习的系统和方法的实施例。主题建模和词嵌入都将文档映射到低维空间上，前者将词聚类到全局主题空间中，而后者将词映射到局部连续嵌入空间中。主题建模和稀疏自动编码器(TMSA)框架的实施例通过在基于词共现的主题建模和自动编码器之间构建相互学习机制统一这两个互补模式。在实施例中，使用主题建模生成的词主题被传递到自动编码器中，以对自动编码器施加主题稀疏性以学习主题有关词表示。作为回报，由自动编码器学习的词嵌入被发送回主题建模以改进主题生成的质量。对各种数据集的性能评估证明了公开的TMSA框架在发现主题和嵌入词方面的有效性。

技术领域

本发明一般涉及用于机器学习的系统和方法。更具体地，本发明涉及用于具有全局主题发现和局部词嵌入的相互机器学习的系统和方法。

背景技术

主题模型和词嵌入模型在模拟人类语言中扮演重要角色，并且已经成为用于自然语言处理的必不可少的工具。各种主题建模模型已经使用探索由词共现矩阵表示的模式成功地揭露文档的集合的主题结构。主题建模的优点是其跨文档的全局聚类能力。当语料库足够大时，可以暴露语义关联性和相干主题而无需监督。相反，已经证明词嵌入模型是将稀疏离散词变换成密集和低维连续向量的有效方法。由于词嵌入通常使用局部词搭配模式以构造嵌入链接功能，表示的语义和句法关联性与主题建模相比也更局部。

因此，需要的是可以组合它们各自的优点用于在自然语言处理中进一步改进性能的系统和方法。

附图说明

在第一方面中，本发明提供一种用于使用一个或多个处理器进行具有主题发现和词嵌入的相互学习的计算机实现方法，以导致执行以下步骤：

接收输入，所述输入包括狄利克雷先验和具有至少一个文档的文档集；

对于所述文档集中的每个词：

从词嵌入矩阵绘制用于所述词的词嵌入，使用用主题稀疏化的编码器更新所述词嵌入矩阵以反映词的主题分布；

从残差矩阵为对应于所述词的每个词共现绘制残差，每个残差表示所述词与每个文档中的另一词之间的非线性或噪声交互；

从主题嵌入矩阵绘制与所述词对应的一个或多个主题嵌入；

对于所述文档集中的每个文档：

从所述狄利克雷先验，为每个文档绘制表示主题之间的相对比例的混合主题比例；

基于所述混合主题比例，从每个文档中第j个词的主题矩阵绘制至少一个主题，j为正整数；以及

将为所述第j个词绘制的所述至少一个主题传递到所述编码器中用于更新所述词嵌入矩阵。

在第二方面中，本发明提供一种用于使用一个或多个处理器生成词嵌入的计算机实现方法，以导致执行以下步骤：

接收输入，所述输入包括狄利克雷先验和具有至少一个文档的文档集；

对于每个文档：

构造包括分别对应于多个词对的多个词共现的词共现矩阵；

使用利用主题信息稀疏化的稀疏自动编码器，通过前馈传播将每个文档中的输入词的至少词共现编码为嵌入表示；

使用解码器将所述输入词的所述嵌入表示解码回重构的表示；

通过最小化合并主题稀疏参数的词损失函数而训练所述稀疏自动编码器。

在第三方面中，本发明提供一种用于使用一个或多个处理器进行具有主题发现和词嵌入的相互学习的计算机实现方法，以导致执行以下步骤：

接收输入，所述输入包括狄利克雷先验、词共现矩阵和具有至少一个文档的文档集；