[发明专利]一种基于频次分布校正的低维词表征学习方法

说明书

本发明公开了一种基于频次分布校正的低维词表征学习方法，对给定的语料，统计出设定窗口内词对的共现频次，通过对共现频次的对数值进行适当的幂次变换，根据语料自适应地优选幂次变换中的幂指数参数值，先将词对共现频次的分布校正为Zipf分布，再通过GloVe模型学习得到低维的词表征向量，实验证明得到的词表征有更高的精度，同时训练速度也更快。通过本发明，可以生成精度更高的低维词表征。

技术领域

本发明涉及低维词表征学习领域，尤其涉及一种基于频次分布校正的低维词表征学习方法。

背景技术

自然语言中，词是承载语义的基本单元，如何表征词的意义？ Harris在1954年提出的分布假说(distributional hypothesis)为这一设想提供了理论基础：上下文相似的词，其语义也相似。Firth在1957 年对分布假说进行了进一步的阐述：a word ischaracterized by the company it keeps(一个词的含义可以由它周围的词来刻画)。

随着大规模语料在自然语言中的广泛使用，基于上述分布假说，演化出了词的分布式表示方法(distributional representation)。该方法需要构建一个词对共现矩阵，从矩阵直接获取词的分布式表示，词对共现矩阵的每一行或每一列对应一个词，矩阵中的每个元素对应相应词对在语料中的共现频次，在这种方法下，矩阵中的一行，就成为了对应词的分布式表示。然而这种表示方法有个很大的缺陷：每个词的分布式表示是一个非常稀疏且高维的向量，这导致基于此高维向量的语义计算常常失效。

近年来，低维词表征(distributed representation)学习开始得到人们的广泛关注。随着深度学习的兴起，研究人员提出了许多方法和模型去学习词的低维表征，如CBOW、Skip-gram以及GloVe等。该类方法是将高维稀疏的词的分布式表示映射为低维实值向量，从而使得语义计算变得可行。对低维词表征的精度，一般采用word analogy 任务和wordsimilarity任务来评测。word analogy任务的性能指标是准确率，准确率越高，低维词表征的精度越高；word similarity任务的性能指标是斯皮尔曼相关系数，相关系数越大，低维词表征的精度更高。但是现有的实现低维词表征学习的方法，其低维词表征的精度还有待提高。

发明内容

本发明的目的在于为提高低维词表征的精度而提供一种基于频次分布校正的低维词表征学习方法。

本发明的目的可以通过采用如下的技术措施来实现，设计一种基于频次分布校正的低维词表征学习方法，包括：根据给定的语料C，生成词表V；其中，词表V是语料C中出现的不同词的全部集合；

设定窗口值L，统计由词表V中的所有词对w_i，w_j在语料中的共现频次X_ij，并计算每一词对w_i，w_j的共现频次X_ij的降序值r_ij；

计算幂指数参数β，计算公式如公式1；

r_ij表示词对w_i，w_j的共现频次X_ij的降序值，即将所有X_ij按照从大到小的次序排列，计算出相应的序值，|X|表示非零的共现频次的个数；

使用(logX_ij)^β代替GloVe模型中的logX_ij，学习得到每个低维词表征向量v_i，以及|V|*d大小的词表征矩阵。

其中，使用(logX_ij)^β代替GloVe模型中的logX_ij，得到的目标函数如公式(2)所示；