[发明专利]一种基于正交普氏分析的多语言词向量加权对齐方法

说明书

本发明涉及自然语言处理技术领域，公开了一种基于正交普氏分析的多语言词向量加权对齐方法，其包括如下步骤：S1：随机初始化一个正交矩阵R，对汉语词向量进行随机旋转，即X‑XR；代入权重矩阵A，根据提供的加权普氏分析计算加权后的正交变换矩阵W，获得加权对齐下的汉语词向量XW2，汉语词向量通过给定的词向量链接进行下载，获得汉语和英语的词向量X和Y，给定对齐词典L针对情感词进行加权，目标是X向Y进行加权对齐。本发明提供的方法，能够根据下游任务的需要，按照设定的权重地进行加权对齐，进一步提升下游任务的表现，实现了共享的词向量空间，且提出了加权的正交普氏分析数学证明。

技术领域

本发明涉及自然语言处理技术领域，具体为一种基于正交普氏分析的多语言词向量加权对齐方法。

背景技术

自然语言处理在世界上大多数的语种(汉语、英语等)上获得了快速的发展。由于资源的缺乏和标签的不均衡，针对小语种的研究一直举步维艰。通常一种提升低资源语种的范式是：通过构建一个共享的语言特征空间，低资源语料可以在这种空间下基于丰富资源的语料进行跨语言迁移学习，从而提升各种下游任务的表现。其中，多语言词向量就是一种实现词级别的共享的语言特征空间方法。为了实现这种共享的词向量空间，就必须考虑多语言词向量对齐方法。

在正交线性变换中，由于受到同构性的局限，难以再进一步提升对齐的质量。对于非正交线性变换的方法来说，由于放松了W的限制，使得在对齐质量上有了上升，但是同时也牺牲了部分原有的词向量的结构信息，并且使得对齐更加复杂难懂。总的来说，以上的研究，无论是基于正交线性变换还是非正交线性变换的方法，都在追求更加极致的对齐质量。而往往在多语言自然语言处理的实际应用中，更高对齐质量的多语言词向量不一定适合下游任务的实际所需。例如情感分析任务，倘若我们使用有语料数量充足的英语语料，去提升汉语语料不充足的情况，那么在人类的直觉上，我们对齐happy，快乐和sad，伤心对应的词向量，要比对齐mercaptan，硫醇或者green，绿油油等要更有意义。另一方面，有同构性的局限，我们可以知道对齐的空间是有理论的上限，过多对齐一些无意义的词向量甚至可能损害某些关键词向量的对齐效果。

发明内容

本发明的目的在于设计一种多语言词向量的加权对齐算法，能够根据下游任务的需要，按照设定的权重地进行加权对齐，进一步提升下游任务的表现。

为实现上述目的，本发明提供如下技术方案：

一种基于正交普氏分析的多语言词向量加权对齐方法，包括以下步骤：

S1：随机初始化一个正交矩阵R，对汉语词向量进行随机旋转，即X-XR。

S2：代入权重矩阵A，根据提供的加权普氏分析计算加权后的正交变换矩阵W，获得加权对齐下的汉语词向量XW2。

优选的，所述汉语词向量通过给定的词向量链接进行下载，获得汉语和英语的词向量X和Y。

优选的，所述给定对齐词典L：L＝{sun：太阳，moon：月亮，king：国王，queen：王后，male：男性，female：女性，afraid：害怕，angry：生气，excited：兴奋}。

优选的，所述给定对齐词典L针对情感词进行加权，对应L中的{afraid：害怕，angry：生气，excited：兴奋}。

优选的，所述目标是X向Y进行加权对齐，并且与非加权对齐进行对比。

与现有技术相比，本发明的有益效果是：

1、本发明提出一种多语言词向量的加权对齐算法，能够根据下游任务的需要，按照设定的权重地进行加权对齐，进一步提升下游任务的表现，且提出了加权的正交普氏分析数学证明。

附图说明