[发明专利]一种基于高斯分布的词向量生成方法

权利要求书

1.一种基于高斯分布的词向量生成方法，其特征在于：首先对语料库进行预处理；其次利用标点符号将语料库划分为上下文；然后结合局部和全局信息推断词义，确定词与词义的映射关系；最后通过优化目标函数获得词向量；

所述的基于高斯分布的词向量生成方法包括以下步骤：

S1、获取训练语料库，并对语料库进行预处理；

S2、基于语料库中词语的出现频率，构建包含词，词索引和词频率的词典；

S3、根据标点符号切割语料库，把语料划分为上下文，形成训练集；

S4、基于局部上下文信息和全局统计信息，进行词义推断，确定词与词义的映射关系；

S5、采用负采样和自适应的随机梯度下降方法在训练集上优化目标函数，最后获得词向量，优化的目标函数定义为：

L_θ(w，c，c′)＝max(0，m-logE_θ(w，c)+logE_θ(w，c′))

其中m为超参数，其数值为1，w为当前窗口的中心词，c为正样本，c’为负样本。

2.根据权利要求1所述的基于高斯分布的词向量生成方法，其特征在于：所述步骤S1中对语料库进行预处理具体方式为：去掉停用词和低频词，还原词性，转换大小写，构成有效的语料库。

3.根据权利要求2所述的基于高斯分布的词向量生成方法，其特征在于：所述步骤S4：基于局部上下文信息和全局统计信息，进行词义推断，确定词与词义的映射关系；包括以下子步骤：

S41、基于Hellinger距离定义高斯分布之间的相似性，高斯分布之间的相似性为：

S42、计算特定词义与其上下文中的平均相似性，作为该特定词义的局部信息；

特定词义与其上下文中的平均相似性为：

C_t表示词w_t的上下文{w_t-n，...，w_t-1，w_t+1，...，w_t+n}，k表示w_t的第k个特定词义，k∈{1，...，K}，n是上下文的长度，μ，σ分别表示高斯分布的均值向量和方差矩阵；则特定词的局部信息I₁为：

I_l＝{AvgSim(s₁，C_t)，...，AvgSim(s_k，C_t)，...，AvgSim(s_K，C_t)}；

S43、统计词义出现的全局信息I_g，即词义的流行度作为该特定词义的全局信息，I_g＝{N₁，N₂，...，N_k，...，N_K-1，N_K}，N_k表示第k个特定词义已经出现的频数；

S44、结合局部信息I_l和全局信息I_g，通过随机采样推断上下文中的词的词义，建立词与词义的映射关系，随机采样的概率分布为：

γ表示生成新词义的趋势大小。