[发明专利]词向量增量方法、电子设备及计算机存储介质

说明书

本申请公开了一种词向量增量方法、电子设备及计算机存储介质。该词向量增量方法包括：获取待对齐词向量空间中第一词语集与目标词向量空间中第二词语集之间的交集词语集；获取第一词语集相对于第二词语集的新增词；获取新增词的在待对齐词向量空间中由交集词语集中的交集词构成的局部线性关系；利用局部线性关系构造新增词在目标词向量空间中的词向量。通过这种方式，能够提高不同词向量空间中词向量的对齐及融合质量，实现对目标词向量空间的扩增。

技术领域

本申请涉及自然语言处理技术领域，特别是涉及一种词向量增量方法、电子设备及计算机存储介质。

背景技术

近年来，自然语言处理技术得到了迅猛的发展。其中，词向量作为自然语言处理技术中的重要基石，在自然语言处理领域发挥着重要的作用。特别地，因为语料、算法、模型参数等的差异，通常需要将不同的词向量模型进行对齐以及融合。

在传统技术中，通常在跨语言词向量中使用基于线性的假设，将不同向量空间的词向量通过正交映射等方法映射到同一词向量空间中，以此解决词向量空间不一致的问题。但基于线性正交映射的假设通常存在一定的局限性，使得词向量空间对齐的效果欠佳，导致部分词语映射后的词向量差异性较大，导致词向量的对齐及融合效果较差。

发明内容

本申请主要解决的技术问题是提供一种词向量增量方法、电子设备及计算机存储介质，以提高不同词向量空间中词向量的对齐及融合质量。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种词向量增量方法。该词向量增量方法包括：获取待对齐词向量空间中第一词语集与目标词向量空间中第二词语集之间的交集词语集；获取第一词语集相对于第二词语集的新增词；获取新增词的在待对齐词向量空间中由交集词语集中的交集词构成的局部线性关系；利用局部线性关系构造新增词在目标词向量空间中的词向量。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种电子设备。该电子设备包括相互耦接的存储器和处理器，处理器用于执行存储器中存储的程序数据，以实现上述词向量增量方法。

为解决上述技术问题，本申请采用的一个技术方案是：提供一种计算机存储介质。该计算机存储介质上存储有程序数据，程序数据能够被执行以实现上述词向量增量方法。

本申请实施例的有益效果是：本申请词向量增量方法包括：获取待对齐词向量空间中第一词语集与目标词向量空间中第二词语集之间的交集词语集；获取第一词语集相对于第二词语集的新增词；获取新增词的在待对齐词向量空间中由交集词语集中的交集词构成的局部线性关系；利用局部线性关系构造新增词在目标词向量空间中的词向量。通过局部线性映射的方式，本申请利用待对齐词向量空间相对于目标词向量空间的新增词在待对齐词向量空间中由交集词构成的局部线性关系构造该新增词在目标词向量空间中的词向量，能够将待对齐词向量空间中的新增词增量至目标词向量空间，不仅能够增加目标词向量空间中的词语的数量，实现对目标词向量空间的扩增，且能够将待对齐词向量空间中的新增词的局部线性特征保持到目标词向量空间中，实现局部线性嵌入，能够改善线性假设的局限性问题，进而能够有效提升不同词向量空间中词向量的对齐及融合质量。且本申请将新增词的邻近词语集限定在待对齐词向量空间的第一词语集与目标词向量空间的第二词语集之间的交集词语集，能够避免后续在目标词向量空间中利用新增词的邻近词构造新增词时，部分邻近词不存在而导致新增词的局部线性特征表示欠佳的问题，因此能够提高不同词向量空间中词向量对齐及融合效果。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本申请词向量增量方法一实施例的流程示意图；

图2是图1实施例中步骤S13的具体流程示意图；